Metodoloji

Alıcınızın gerçekten sorabileceği sorular üretiliyor, aynı sorular dört asistana ayrı ayrı soruluyor ve her cevap için üç şey kaydediliyor: markanız anıldı mı, kaçıncı sırada anıldı, hangi tonda anıldı.

Skor bu üç ölçümün birleşimi. Adı cevap payı: aynı sorularda verilen cevapların ne kadarında yer aldığınız.

üst      = Σ(değer × kategori_ağırlığı × asistan_ağırlığı)
alt      = Σ(kategori_ağırlığı × asistan_ağırlığı)

pay      = üst / alt
ham_skor = pay × 100
ceza     = min(yanlış_bilgi_sayısı × 5, 15)
skor     = kırp(ham_skor − ceza, 0, 100)

Tek bir ölçümün değeri görünürlüğü temel alır; sıra ve ton onu çarpar. Anılmadığınız yerde sıra ve ton diye bir şey yoktur — o ölçüm doğrudan sıfırdır, ortalamaya karışmaz.

değer = sıra_ağırlığı × ton_çarpanı        (anıldıysa)
      = 0                                (anılmadıysa)

ton_çarpanı = 0,30 + 0,70 × (ton / 100)

Ton sıfır olsa bile anılmak değerin %30'unu getirir: kötü bir bağlamda anılmak, hiç anılmamaktan farklıdır.

Alıcı genelde ilk üç seçeneğe bakıyor. Listenin altında anılmak, anılmamaktan yalnızca biraz iyi.

Her soru aynı değerde değil. Satın alma niyetli bir soruda görünmemek, kategori keşfi sorusunda görünmemekten pahalı.

Marka doğrulama kategorisi skora girmez, bu yüzden tabloda da yok. O sorularda marka adı zaten geçiyor; cevapta anılması bir ölçüm değil totoloji olurdu. Bu sorular ayrı bir metriği, doğruluk puanını üretir.

Ağırlıklar Türkiye'deki tahmini kullanım payını yansıtıyor. Toplamları 1,00.

Bir asistan ölçüm sırasında tümüyle düşerse o sorunun ağırlık toplamı 1,00'in altına iner. Kalan asistanların ağırlıkları kendi aralarındaki oranı koruyarak 1,00'e tamamlanır: duran şey asistan, sorunun değeri değil. Böyle bir tarama sonuçta kısmi olarak işaretlenir.

Asistanın verdiği bilgi, sizin doğrulanmış bilginizle çelişiyorsa her tespit skordan 5 puan düşer, ceza en fazla 15 puandır. Çelişki iddiası kanıt gerektirir: cevapta çelişen cümlenin kendisi kaydedilir.

Yatay eksen görünürlük, dikey eksen ton. Eşikler %50 ve 50 puan.

Hassasiyet ölçüm sayısının kareköküyle artar. Ölçüm, soru sayısı ile asistan sayısının çarpımıdır.

hata_payı = 100 / √(skora giren ölçüm sayısı)

160 ölçüm (40 soru × 4 asistan)  →  ±8
 80 ölçüm (20 soru × 4 asistan)  →  ±11
 12 ölçüm (6 soru × 2 asistan)  →  ±29

Hata payı her raporun üstünde yazar. Yazmayan bir skor karşılaştırılamaz.

Ücretsiz tarama sektörünüzün standart soru setinden hesaplanır: 20 soru, 4 asistan. Bu sorular sektör için 30 günde bir asistanlara sorulur ve cevaplar arşivlenir; taramanız o arşivde aranır. Ölçüm gerçek, ama sorular markanıza özel üretilmemiştir.

Sektörünüz için hazır arşiv yoksa ölçüm canlı yapılır: daha az soru, iki asistan. O skor tahmini olarak işaretlenir.

Tam analiz 40 soru ve 4 asistanla yapılır. Her raporun altındaki "ölçüm tabanı" bloğu hangisinin geçerli olduğunu, ölçümün tarihini ve hata payını yazar.

Bu bir hata değil, ölçülen gerçeğin kendisi. Aynı soruya Claude geniş bir arama yapıp yirmiden fazla firma sayarken, ChatGPT hedefli site sorguları üretip kısa cevap veriyor.

Ölçümlerimizde asistanların önerdiği firma listelerinin örtüşmesi %21. Dağılım da keskin: karşılaştırma sorularında %73, satın alma sorularında %0. ChatGPT'de görünür olmanız Gemini'de görünür olacağınız anlamına gelmiyor.

Bu yüzden asistan kırılımı raporun merkezinde, dipnotta değil. Tek bir "yapay zeka görünürlüğü" sayısı bu farkı gizler.

Ölçümü sağlayıcıların API'leri üzerinden yapıyoruz. Bir kullanıcının ChatGPT uygulamasında aldığı cevapla API'den gelen cevap birebir aynı değildir: tüketici uygulamalarında farklı sistem promptları, kişiselleştirme, hafıza ve konum bilgisi devrede.

Ölçtüğümüz şey, modelin aynı soruya kişiselleştirme olmadan verdiği cevap. Markalar arasında karşılaştırılabilir ve zaman içinde takip edilebilir tek taban bu — kişiselleştirilmiş cevaplar iki markayı karşılaştırmaya elverişli değil.

Bu, kategorinin ortak zayıflığı. Söylüyoruz, çünkü bilmediğiniz bir sınır sizi yanıltır.

Kendi takip etmek istediğiniz özel sorular skora girmez, raporda ayrı bir bölümde gösterilir. Skora girselerdi skor ne rakiple karşılaştırılabilir ne de zaman serisi anlamlı kalırdı — ayrıca skoru şişirmenin en kolay yolu olurdu.