Vi publicerar hur vårt mått fungerar — inklusive var det är svagt.

Om ett namngivet företag förekommer i svaret på en bestämd fråga, ställd till ett bestämt AI-system, vid en bestämd tidpunkt — och om det förekommer, huruvida det rekommenderas, bara nämns eller beskrivs felaktigt. Vi väger inte ihop det till en enda poäng med en dold formel. Där vi visar ett sammanvägt värde står delarna bredvid.

Den promptpanel vi konfigurerat för det företaget, och ingenting bredare. Det är en beskrivning av en testpanel, inte en skattning av vad varje köpare på en marknad möter. Vi presenterar det inte som AI-synlighet i allmänhet, för det är det inte.

Det har de inte, och det säger vi rakt ut. Fraserna kommer från företagets egen bransch och specialitet, formulerade som de frågor en köpare rimligen skulle ställa, och de granskas av en människa. Vad vi INTE har är observerad förstahandsdata på vad riktiga användare faktiskt skriver in i ChatGPT om den branschen — det har ingen utanför modelleverantörerna. Profound kommer närmast — de licensierar verkliga samtal från konsumentpaneler, vilket är bättre råmaterial än vi har. Men den här frågan handlar om hur en promptuppsättning har VISATS representera populationen, och det har vi inte heller hittat publicerat: panelerna namnges inte, uppräkningen till populationen beskrivs bara som statistisk modellering, och ingen siffra vi hittat bär någon felmarginal. På den här frågan har de det bättre underlaget, och samma argument saknas hos dem som hos oss.

Färre än det råa antalet prompter, och vi redovisar i dag ingen effektiv stickprovsstorlek justerad för att omskrivningar av en och samma intention är korrelerade. Det är en verklig lucka. Tills den är täppt: behandla antalet prompter som ett antal tester, inte som ett antal oberoende belägg.

De viktas inte. Varje fras räknas en gång. Det är ett trubbigt val och det har ett pris — en sällsynt formulering väger lika tungt som en kommersiellt central — men alternativet är en viktningsmodell vi inte kan belägga, vilket bara skulle flytta godtycket till ett mindre synligt ställe.

Fraserna registreras mot sajten vid första körningen och LÅSES vid varje upprepning, så att den andra mätningen görs mot samma frågor som den första. En kund kan inte i tysthet lägga till gynnsamma fraser eller ta bort svåra mellan körningarna. Om frasuppsättningen ändras medvetet startar körningen en ny serie i stället för att fortsätta den gamla linjen, och rapporten säger det.

Bara precisionen. Att köra fler varianter av en icke-representativ panel ger en stabilare skattning av en icke-representativ panel. Vi säljer inte promptvolym som en approximation av stringens.

Vi vet inte. I dag kör vi varje fras en gång per analys, och vi har inte mätt den variation mellan körningar som skulle säga oss om en gång räcker. Det är den enskilt största luckan i vår egen metod och den står först på listan att täppa till.

Ingen beräknas, eftersom fråga 8 är obesvarad — utan en uppmätt variation mellan körningar finns det inget ärligt intervall att publicera. Tills det finns ett bör ingen rörelse i vårt mått läsas som meningsfull i sig.

All. Det finns ingen statistisk modell. Vi visar hellre en rå räkning med sina gränser utskrivna än ett konfidensintervall som i tysthet utesluter promptval, panelsammansättning och modelldrift — ett smalt intervall runt en skev panel är bara ett mer självsäkert felaktigt svar.

Nej, och vi behandlar dem inte som om de vore det. Fraser med samma ursprung, och varje fras som körs mot samma modell samma dag, rör sig tillsammans när modellen ändras. Vi multiplicerar inte upp dem till ett antal oberoende belägg.

Det är den inte, så vi mäter inte dagligen. Analysen är en avläsning vid en tidpunkt, och det löpande uppdraget rapporterar månadsvis. En daglig kurva skulle mest rita upp variationen i svaren, och ett diagram som rör sig varje dag är kommersiellt användbart och metodologiskt tomt.

Den har inte validerats mot något externt facit. Vi har ingen studie som jämför vårt mått med hänvisad trafik, konverteringar eller vad folk minns i en enkät. Vi är ett ungt bolag utan ett sådant dataunderlag, och vi säger hellre det än hänvisar till någon annans validering av ett annat system.

Det finns ingen validering, alltså nej. När det finns en kommer den att bygga på data som vi inte själva har genererat, valt ut, viktat eller poängsatt — och vi publicerar det negativa resultatet om det är vad det blir.

Det enda antagande vi gör är att en utloggad engångsfråga är ett försvarbart standardiserat test — jämförbart mellan körningar och mellan företag, och INTE detsamma som vad en inloggad användare med historik ser. Se fråga 16.

Det gör vi inte, och vi skulle inte kunna. Varje test är utloggat och görs i en enda tur. Det betyder att vår avläsning är en kontrollerad mätning, inte en simulering av en verklig session, och att personalisering är en utesluten felkälla snarare än en modellerad. Den begränsningen gäller varje leverantör på den här marknaden, även de som inte nämner den.

Ingenting vi skulle luta oss mot, och därför använder vi inte syntetiska personas. Att skriva 'jag är finanschef i London' i en prompt återskapar inte kontohistorik, plats eller minne; det ger en annorlunda formulerad prompt. Att sälja det som ett personasegment vore att uppfinna en variabel.

Indata är det: frasuppsättningen är låst och dokumenterad, så en kund kan köra om exakt det vi körde, mot samma modeller, utanför vår plattform. Vad vi inte har publicerat är en uppmätt grad av överensstämmelse mellan test och omtest — se fråga 8.

Vi har inte kört samma panel genom en konkurrents plattform och jämfört. Det vore ett genuint användbart experiment och vi skulle publicera det oavsett utfall.

Per modell, sida vid sida. Vi slår inte ihop ChatGPT, Gemini, Perplexity och Google AI Overviews till en enda siffra, för vi har ingen försvarbar grund för de vikter det skulle kräva. Ett företag som är osynligt i den ena och starkt i den andra har ett specifikt problem, och ett medelvärde döljer exakt det som är värt att agera på.

En förstaplatsrekommendation och ett omnämnande i förbifarten registreras olika och visas var för sig. Ett negativt omnämnande räknas inte som synlighet. Alias, bifirmor och moderbolag reds ut för hand vid uppsättningen, och en kund kan rätta dem. Vad vi ännu inte gör är att räkna om historiken när en sådan regel ändras — i stället noteras det i rapporten.

Ett svar, en observation. Ett företag som nämns fem gånger i ett och samma svar räknas en gång. Nämnaren för andel av omnämnandena består av varje varumärke som nämns i svaret, inte bara de konkurrenter en kund valt ut — annars sätter kunden sin egen nämnare.

En citering är en källa som motorn själv lyft fram — en länkad källa eller en post i en källpanel — tillskriven domänen. Vi härleder inga citeringar, vi räknar inte en URL i löptext som en citering, och vi återger inte AI Overview-text ordagrant som bevis, på grund av en leverantörsbegränsning vi valde att bygga runt i stället för att bråka om.

En vägran, en timeout eller ett trasigt svar registreras som ett FEL, inte som att varumärket saknas, och räknas bort ur nämnaren. Antalet fel står i rapporten. Att räkna en timeout som 'du blev inte rekommenderad' vore att tillverka en nedgång ur ett driftavbrott.

Kunder får den exakta frasuppsättningen, modellen och körningsdatumet, vilket räcker för att köra om det själva. Fullständiga oredigerade svar och tidsstämplar lämnas ut på begäran men exporteras ännu inte som standard. Det borde vara en knapp, inte en förfrågan, och det kommer det att bli.

En ändring av frasuppsättningen eller av poängsättningen startar en ny serie i stället för att fortsätta den gamla linjen. Vi räknar inte om historien i tysthet, och vi presenterar inte avläsningar gjorda med två olika instrument som en och samma sammanhängande trend.

Inga. Vi påstår inte att en innehållsändring orsakade en rörelse. Vi har ingen kontrollgrupp och inget kontrafaktiskt scenario, så tidsföljd är allt vi har, och tidsföljd är inte orsakssamband. Det vi rapporterar är vad vi gjorde och vad avläsningen blev efteråt, märkt som precis det.

Vi kör inga autonoma agenter som redigerar innehåll eller skapar sidor utifrån ett mått. Varje ändring skrivs av en människa eller granskas av en innan den går live. Om vi någon gång automatiserar en åtgärd utifrån en mätning kommer tröskeln för upprepning, den minsta effektstorleken och kravet på mänsklig granskning att lanseras samtidigt och vara synliga för kunden — inte läggas till i efterhand.

Vi vet inte, och vi tänker inte påstå något annat. Vi har inte visat att en högre avläsning förutsäger hänvisad trafik, pipeline eller intäkter när man kontrollerar för varumärkets storlek. Att förbättra måttet förutsäger i dag en enda sak tillförlitligt: en senare förbättring av måttet.

Det bör det inte, och vi beskriver det inte så. Det är ett riktningsgivande övervakningsverktyg för en konfigurerad panel. Den begränsningen står tryckt i samma storlek som siffran, både i rapporten och på den här sidan.

Något av det här, och vi skulle säga det offentligt: en uppmätt variation mellan körningar som är så stor att vanliga rörelser inte går att skilja från brus; en överensstämmelse mellan test och omtest som ligger under vad vi skulle acceptera från en leverantör; en jämförelse mellan leverantörer som visar att våra avläsningar avviker påtagligt från två andras utan att vi kan visa att vår ligger närmare vad en användare ser; eller en första utfallsstudie som inte finner något samband med något en kund bryr sig om. Om inget av det skulle få oss att ändra oss har metoden inte prövats.