Vi lægger frem, hvordan vores score virker — også hvor den er svag.

Om en navngiven virksomhed optræder i svaret på et bestemt spørgsmål, stillet til et bestemt AI-system, på et bestemt tidspunkt — og hvis den optræder, om den bliver anbefalet, blot nævnt eller beskrevet forkert. Vi lægger ikke de tre ting sammen til én vægtet score med en skjult formel. Hvor vi viser et samlet tal, står delene ved siden af.

Det spørgepanel, vi har sat op for den virksomhed, og ikke bredere end det. Det er en beskrivelse af et testpanel, ikke et estimat af, hvad hver eneste køber i et marked møder. Vi præsenterer det ikke som AI-synlighed i almindelighed, for det er det ikke.

Det er det ikke, og det siger vi. Formuleringerne kommer fra virksomhedens eget fag og speciale, skrevet som de spørgsmål, en køber realistisk ville stille, og de bliver gennemgået af et menneske. Det, vi IKKE har, er observerede førstepartsdata om, hvad rigtige brugere faktisk skriver til ChatGPT om det fag — det har ingen uden for modelleverandørerne. Profound kommer tættest på — de licenserer rigtige samtaler fra forbrugerpaneler, og det er bedre råmateriale, end vi har. Men det her spørgsmål handler om, hvordan det er VIST, at et sæt spørgsmål repræsenterer populationen, og det har vi heller ikke kunnet finde offentliggjort: panelerne er ikke navngivet, opskaleringen til populationen bliver kun beskrevet som statistisk modellering, og intet tal, vi har fundet, er angivet med en fejlmargin. På det spørgsmål har de de bedre data, og vi mangler det samme argument.

Færre end det rå antal spørgsmål, og vi rapporterer i dag ikke en effektiv stikprøvestørrelse, der er justeret for, at omskrivninger af én intention hænger sammen indbyrdes. Det er et reelt hul. Indtil det er lukket, skal antallet af spørgsmål læses som et antal tests og ikke som et antal uafhængige beviser.

De bliver ikke vægtet. Hver formulering tæller én gang. Det er et groft valg, og det koster noget — en sjælden formulering tæller lige så meget som en kommercielt central — men alternativet er en vægtningsmodel, vi ikke kunne dokumentere, og som blot ville flytte vilkårligheden hen et sted, hvor den er sværere at få øje på.

Formuleringerne bliver registreret på sitet ved første kørsel og LÅST ved hver gentagelse, så den anden score bliver målt mod de samme spørgsmål som den første. En kunde kan ikke stille og roligt lægge fordelagtige formuleringer til eller fjerne de svære mellem to kørsler. Bliver sættet ændret med vilje, starter kørslen en ny serie i stedet for at fortsætte den gamle kurve, og det står i rapporten.

Kun præcision. Kører man flere variationer af et ikke-repræsentativt panel, får man et mere stabilt estimat af et ikke-repræsentativt panel. Vi sælger ikke antallet af spørgsmål som en erstatning for grundighed.

Det ved vi ikke. Vi kører i dag hver formulering én gang pr. tjek, og vi har ikke målt den variation mellem kørsler, der ville kunne fortælle os, om én gang er nok. Det er det største enkelte hul i vores egen metode, og det står først på listen over ting, der skal lukkes.

Der bliver ikke beregnet nogen, fordi spørgsmål 8 står ubesvaret — uden en målt variation mellem kørsler findes der ikke et ærligt interval at offentliggøre. Indtil der gør, bør ingen bevægelse i vores score læses som betydningsfuld i sig selv.

Al usikkerhed. Der er ingen statistisk model. Vi viser hellere et råt tal med grænserne skrevet frem end et konfidensinterval, der stiltiende ser bort fra valget af spørgsmål, panelets sammensætning og modellernes forskydning over tid — et smalt interval omkring et skævt panel er bare et forkert svar, der ser mere sikkert ud.

Nej, og vi behandler dem ikke, som om de var. Formuleringer med samme ophav — og alle formuleringer kørt mod den samme model på den samme dag — flytter sig sammen, når modellen ændrer sig. Vi ganger dem ikke op til et antal uafhængige beviser.

Det er den ikke, og derfor kører vi ikke dagligt. Tjekket er en aflæsning på ét tidspunkt, og abonnementet rapporterer månedligt. En daglig kurve ville mest af alt tegne svarenes egen variation, og en graf, der bevæger sig hver dag, er kommercielt anvendelig og metodisk tom.

Den er ikke blevet valideret op mod en ekstern målestok. Vi har ingen undersøgelse, der sammenholder vores score med henvisningstrafik, konverteringer eller hvad folk husker i en spørgeskemaundersøgelse. Vi er en ung virksomhed uden sådan et datasæt, og det siger vi hellere, end vi henviser til en andens validering af et andet system.

Der er ingen validering, så nej. Når der er, kommer den til at bruge data, som vi hverken har genereret, udvalgt, vægtet eller scoret — og vi offentliggør det negative resultat, hvis det er det, der kommer ud af det.

Den eneste antagelse, vi gør, er, at en udlogget forespørgsel uden samtalehistorik er en forsvarlig standardiseret måling — sammenlignelig på tværs af kørsler og på tværs af virksomheder, og IKKE det samme som det, en bruger, der er logget ind og har en historik, ser. Se spørgsmål 16.

Det gør vi ikke, og det kunne vi ikke. Hver forespørgsel er udlogget og består af ét spørgsmål uden opfølgning. Det betyder, at vores aflæsning er en kontrolleret måling og ikke en efterligning af en rigtig samtale, og at personalisering er en udeladt fejlkilde frem for en modelleret. Den begrænsning gælder alle leverandører i det her marked, også dem der ikke nævner den.

Ingenting, vi ville læne os op ad, og derfor bruger vi ikke syntetiske personaer. At skrive »jeg er finansdirektør i London« ind i et spørgsmål gengiver hverken kontohistorik, placering eller hukommelse; det producerer et anderledes formuleret spørgsmål. At sælge det som et personasegment ville være at opfinde en variabel.

Inputtet er det: sættet af formuleringer er låst og registreret, så en kunde kan køre præcis det, vi kørte, mod de samme modeller, uden for vores platform. Det, vi ikke har offentliggjort, er en målt grad af overensstemmelse mellem gentagne tests — se spørgsmål 8.

Vi har ikke kørt det samme panel gennem en konkurrents platform og sammenlignet. Det ville være et reelt nyttigt eksperiment, og vi ville offentliggøre det, uanset hvad der kom ud af det.

Model for model, side om side. Vi lægger ikke ChatGPT, Gemini, Perplexity og Google AI Overviews sammen til ét tal, for vi har intet forsvarligt grundlag for de vægte, det ville kræve. En virksomhed, der er usynlig i den ene og stærk i den anden, har et helt bestemt problem, og et gennemsnit skjuler præcis det, der er værd at gøre noget ved.

En anbefaling på førstepladsen og en forbigående omtale bliver registreret hver for sig og vist hver for sig. En negativ omtale tæller ikke som synlighed. Aliasser, binavne og moderselskaber bliver håndteret manuelt ved opsætningen, og en kunde kan rette dem. Det, vi endnu ikke gør, er at genberegne historikken, når sådan en regel bliver ændret — i stedet får rapporten en note.

Ét svar, én observation. En virksomhed, der bliver nævnt fem gange i det samme svar, tæller én gang. Nævneren i share of voice bruger alle de mærker, der bliver nævnt i svaret, og ikke kun de konkurrenter, kunden selv har valgt — ellers sætter kunden sin egen nævner.

En kildehenvisning er en kilde, maskinen selv har vist frem — et link eller en post i et kildepanel — henført til domænet. Vi udleder ikke kildehenvisninger, vi tæller ikke en URL skrevet ud i brødtekst som en, og vi gengiver ikke tekst fra Google AI Overviews ordret som dokumentation, på grund af en leverandørbegrænsning, vi har valgt at bygge uden om frem for at skændes med.

En afvisning, en timeout eller et ubrugeligt svar bliver registreret som en FEJL og ikke som fravær af virksomheden, og det bliver holdt uden for nævneren. Antallet af fejl står i rapporten. At tælle en timeout som »du blev ikke anbefalet« ville fabrikere en nedgang ud af et driftsudfald.

Kunderne får det præcise sæt af formuleringer, modellen og datoen for kørslen, og det er nok til selv at køre den igen. Fulde uredigerede svar og tidsstempler kan rekvireres, men bliver endnu ikke eksporteret automatisk. Det burde være en knap og ikke en henvendelse, og det bliver det.

En ændring i sættet af formuleringer eller i beregningen starter en ny serie frem for at fortsætte den gamle kurve. Vi omskriver ikke historikken i det stille, og vi præsenterer ikke aflæsninger foretaget med to forskellige instrumenter som én sammenhængende udvikling.

Ingen. Vi hævder ikke, at en ændring i indholdet har forårsaget en bevægelse. Vi har hverken kontrolgruppe eller kontrafaktisk scenarie, så tidsmæssig rækkefølge er alt, hvad vi har, og tidsmæssig rækkefølge er ikke årsagssammenhæng. Det, vi rapporterer, er, hvad vi gjorde, og hvad aflæsningen var bagefter, mærket som præcis det.

Vi kører ikke selvkørende agenter, der redigerer indhold eller opretter sider på baggrund af en score. Hver ændring bliver skrevet af et menneske eller gennemgået af et, før den går live. Hvis vi nogensinde automatiserer en handling ud fra en måling, bliver gentagelsestærsklen, den mindste effektstørrelse og kravet om menneskelig gennemgang leveret samtidig og synligt for kunden — ikke lagt til bagefter.

Det ved vi ikke, og vi påstår ikke andet. Vi har ikke påvist, at en højere aflæsning forudsiger henvisningstrafik, pipeline eller omsætning, når man tager højde for brandets størrelse. At forbedre scoren forudsiger i dag én ting pålideligt: en senere forbedring af scoren.

Det skal det ikke, og vi beskriver det ikke sådan. Det er et retningsgivende overvågningsværktøj for et opsat panel. Den begrænsning står med samme skriftstørrelse som selve tallet, både i rapporten og på denne side.

Hvilket som helst af disse, og vi ville sige det offentligt: en målt variation mellem kørsler, der er så stor, at almindelige bevægelser ikke kan skelnes fra støj; en grad af overensstemmelse mellem gentagne tests, der ligger under, hvad vi ville acceptere fra en leverandør; en sammenligning på tværs af leverandører, der viser, at vores aflæsninger afviger væsentligt fra to andres, uden at vi kan vise, at vores ligger tættere på det, en bruger ser; eller en første udfaldsundersøgelse, der ikke finder nogen sammenhæng med noget som helst, en kunde går op i. Hvis intet af det ville ændre vores opfattelse, er metoden ikke blevet afprøvet.