Publicăm cum funcționează scorul nostru — inclusiv unde este slab.

Dacă o firmă numită explicit apare în răspunsul la o întrebare precisă, pusă unui anumit sistem IA, la un anumit moment — și, dacă apare, dacă este recomandată, doar menționată sau descrisă inexact. Nu combinăm aceste lucruri într-un singur scor ponderat cu o formulă ascunsă. Acolo unde arătăm o valoare compusă, componentele ei stau alături.

Panelul de prompturi pe care l-am configurat pentru firma respectivă și nimic mai mult. Este descrierea unui panel de test, nu o estimare a ceea ce întâlnește fiecare cumpărător de pe o piață. Nu îl prezentăm drept vizibilitate IA generală, pentru că nu este așa ceva.

Nu s-a demonstrat, și o spunem deschis. Formulările vin din meseria și specializarea firmei, scrise ca întrebările pe care un cumpărător le-ar pune în mod plauzibil, și sunt verificate de un om. Ce NU avem sunt date observate direct despre ce tastează utilizatorii reali în ChatGPT despre acea meserie — nu le are nimeni în afara furnizorilor de modele. Profound se apropie cel mai mult — licențiază conversații reale din paneluri de consumatori, iar aceasta este o materie primă mai bună decât a noastră. Dar întrebarea cere cum s-a DEMONSTRAT că un set de prompturi reprezintă populația, și nici la ei nu am găsit asta publicat: panelurile nu sunt numite, extrapolarea la populație este descrisă doar ca modelare statistică, iar nicio cifră găsită de noi nu poartă o marjă de eroare. La această întrebare ei au datele mai bune, iar nouă amândurora ne lipsește același argument.

Mai puține decât numărul brut de prompturi, și în prezent nu raportăm o mărime efectivă a eșantionului care să țină cont de faptul că reformulările aceleiași intenții sunt corelate. Este o lacună reală. Până se închide, tratați numărul de prompturi ca număr de teste, nu ca volum de dovezi independente.

Nu sunt ponderate. Fiecare formulare contează o dată. Este o alegere brută și are un cost — o formulare rară contează la fel de mult ca una centrală din punct de vedere comercial —, dar alternativa ar fi un model de ponderare pe care nu l-am putea susține, iar asta ar muta arbitrariul într-un loc mai puțin vizibil.

Formulările sunt înregistrate pentru site la prima rulare și BLOCATE la fiecare repetare, astfel încât al doilea scor se măsoară pe aceleași întrebări ca primul. Un client nu poate adăuga în liniște formulări favorabile sau elimina formulări incomode între două rulări. Dacă setul de formulări este schimbat deliberat, rularea începe o serie nouă în loc să continue linia veche, iar raportul spune asta.

Doar precizia. Mai multe variante ale unui panel nereprezentativ dau o estimare mai stabilă a unui panel nereprezentativ. Nu vindem volumul de prompturi ca substitut pentru rigoare.

Nu știm. În prezent rulăm fiecare formulare o dată per audit și nu am măsurat variația de la o rulare la alta, care ne-ar spune dacă o dată este de ajuns. Este cea mai mare gaură din propria noastră metodă și este prima pe lista de închis.

Nu se calculează niciuna, pentru că întrebarea 8 nu are răspuns — fără o variație măsurată de la o rulare la alta nu există un interval onest de publicat. Până există unul, nicio mișcare a scorului nostru nu ar trebui citită, de una singură, ca semnificativă.

Toată. Nu există un model statistic. Preferăm să arătăm o numărătoare brută cu limitele numite decât un interval de încredere care exclude în tăcere selecția prompturilor, compoziția panelului și deriva modelelor — un interval îngust în jurul unui panel distorsionat este doar un răspuns greșit care arată mai sigur pe sine.

Nu, și nici nu le tratăm ca și cum ar fi. Formulările cu origine comună, și orice formulare rulată pe același model în aceeași zi, se mișcă împreună când se schimbă modelul. Nu le înmulțim într-un număr de dovezi independente.

Nu este, așa că nu măsurăm zilnic. Auditul este o citire la un moment dat, iar contractul de retainer raportează lunar. O linie zilnică ar reprezenta în principal variația răspunsurilor, iar un grafic care se mișcă în fiecare zi este util comercial și gol metodologic.

Nu a fost validată față de un reper extern. Nu avem niciun studiu care să compare scorul nostru cu traficul de recomandare, cu conversiile sau cu notorietatea măsurată prin sondaje. Suntem o companie tânără, fără un asemenea set de date, și preferăm să spunem asta decât să cităm validarea altcuiva pentru un sistem diferit.

Nu există validare, deci nu. Când va exista, va folosi date pe care nu le-am generat, selectat, ponderat sau notat noi — și vom publica și rezultatul negativ, dacă asta va fi.

Singura ipoteză pe care o facem este că o interogare unică, fără autentificare, este o sondă standardizată defensabilă — comparabilă între rulări și între firme și NU același lucru cu ceea ce vede un utilizator autentificat, cu istoric. Vezi întrebarea 16.

Nu ținem cont, și nici nu am putea. Fiecare sondă rulează fără autentificare și într-un singur schimb. Asta face din citirea noastră o măsurătoare controlată, nu o simulare a unei sesiuni reale, iar personalizarea este o sursă de eroare exclusă, nu una modelată. Această limitare se aplică fiecărui furnizor de pe această piață, inclusiv celor care nu o menționează.

Nimic pe care ne-am baza — de aceea nu folosim persona sintetice. A tasta „Sunt CFO în Londra” într-un prompt nu reproduce istoricul contului, locația sau memoria; produce un prompt formulat altfel. A vinde asta ca segment de persona ar însemna să inventăm o variabilă.

Datele de intrare sunt: setul de formulări este blocat și înregistrat, deci un client poate rula din nou exact ce am rulat noi, pe aceleași modele, în afara platformei noastre. Ce nu am publicat este o rată măsurată de concordanță test-retest — vezi întrebarea 8.

Nu am trecut același panel prin platforma unui concurent ca să comparăm. Ar fi un experiment cu adevărat util și l-am publica indiferent de rezultat.

Per model, unul lângă altul. Nu facem media între ChatGPT, Gemini, Perplexity și Google AI Overviews într-un singur număr, pentru că nu avem o bază defensabilă pentru ponderile pe care le-ar cere. O firmă invizibilă într-un sistem și puternică în altul are o problemă precisă, iar media ascunde exact lucrul pe care merită să acționați.

O recomandare pe primul loc și o mențiune în treacăt sunt înregistrate diferit și afișate separat. O mențiune negativă nu contează ca vizibilitate. Aliasurile, denumirile comerciale și societățile-mamă sunt rezolvate manual la configurare, iar un client le poate corecta. Ce nu facem încă: recalcularea istoricului când se schimbă o regulă de rezolvare — în schimb, raportul primește o adnotare.

Un răspuns, o observație. O firmă numită de cinci ori într-un singur răspuns contează o dată. Numitorul pentru cota de voce cuprinde fiecare brand numit în răspuns, nu doar concurenții aleși de client — altfel clientul și-ar stabili singur numitorul.

O citare este o sursă pe care sistemul însuși a afișat-o — o sursă cu link sau o intrare într-un panou de surse — atribuită domeniului. Nu deducem citări, nu numărăm un URL scris în text ca fiind una și nu reproducem textul din AI Overviews cuvânt cu cuvânt ca dovadă, din cauza unei restricții a furnizorului în jurul căreia am preferat să construim decât să ne certăm cu ea.

Un refuz, un timeout sau un răspuns malformat este înregistrat ca EȘEC, nu ca absență a brandului, și este exclus din numitor. Numărul de eșecuri apare în raport. A număra un timeout drept „nu ați fost recomandat” ar fabrica o scădere dintr-o pană.

Clienții primesc setul exact de formulări, modelul și data rulării — suficient pentru a o repeta singuri. Rezultatele complete, needitate, și marcajele de timp sunt disponibile la cerere, dar nu sunt încă exportate implicit. Ar trebui să fie un buton, nu o cerere, și va fi.

O schimbare a setului de formulări sau a notării începe o serie nouă în loc să continue linia veche. Nu rescriem istoricul în tăcere și nu prezentăm citiri făcute cu două instrumente diferite ca o singură tendință continuă.

Niciuna. Nu susținem că o schimbare de conținut a cauzat o mișcare. Nu avem grup de control și nu avem scenariu contrafactual, așa că ne rămâne doar succesiunea în timp, iar succesiunea în timp nu este cauzalitate. Raportăm ce am făcut și cum arăta citirea după aceea, etichetate exact așa.

Nu rulăm agenți autonomi care editează conținut sau creează pagini pe baza unui scor. Fiecare schimbare este scrisă de un om sau verificată de unul înainte de a fi publicată. Dacă vom automatiza vreodată o acțiune pornind de la o măsurătoare, pragul de repetare, mărimea minimă a efectului și obligația de verificare umană vor fi lansate în același timp și vor fi vizibile pentru client — nu adăugate ulterior.

Nu știm, și nu vom pretinde altceva. Nu am demonstrat că o citire mai mare prezice traficul de recomandare, pipeline-ul sau veniturile, la mărime de brand constantă. Îmbunătățirea scorului prezice în prezent un singur lucru cu certitudine: o îmbunătățire ulterioară a scorului.

Nu ar trebui, și nici nu îl descriem așa. Este un instrument de monitorizare direcțională pentru un panel configurat. Această limitare este tipărită la aceeași mărime ca numărul — în raport și pe această pagină.

Oricare dintre acestea, și am spune-o public: o variație măsurată de la o rulare la alta atât de mare încât mișcările obișnuite nu se pot deosebi de zgomot; o rată de concordanță test-retest sub ceea ce am accepta de la un furnizor; o comparație între furnizori care arată că citirile noastre diferă substanțial de alte două, fără să putem arăta că ale noastre sunt mai aproape de ce vede un utilizator; sau un prim studiu de rezultate care nu găsește nicio legătură cu ceva ce contează pentru un client. Dacă niciuna dintre acestea nu ne-ar face să ne răzgândim, metoda nu a fost testată.