Vi publiserer hvordan scoren vår virker — også der den er svak.

Om en navngitt virksomhet dukker opp i svaret på et bestemt spørsmål, stilt til et bestemt KI-system, på et bestemt tidspunkt — og hvis den dukker opp, om den blir anbefalt, bare nevnt, eller beskrevet feil. Vi slår ikke dette sammen til én vektet score med en skjult formel. Der vi viser en sammensatt verdi, står delene ved siden av.

Promptpanelet vi satte opp for den virksomheten, og ikke noe mer. Det er en beskrivelse av et testpanel, ikke et anslag over hva enhver kjøper i et marked møter. Vi framstiller det ikke som generell KI-synlighet, for det er det ikke.

Det er de ikke, og det sier vi. Formuleringene kommer fra virksomhetens eget fag og spesialfelt, skrevet som spørsmålene en kjøper med rimelighet ville stilt, og et menneske går gjennom dem. Det vi IKKE har, er egne observasjonsdata på hva ekte brukere faktisk skriver inn i ChatGPT om det faget — dem har ingen utenfor modelleverandørene. Profound kommer nærmest: de lisensierer ekte samtaler fra forbrukerpaneler, og det er bedre råmateriale enn vårt. Men dette spørsmålet handler om hvordan det er VIST at et promptsett representerer populasjonen, og noe publisert svar på det fant vi ikke hos dem heller: panelene er ikke navngitt, oppskaleringen til populasjon er bare beskrevet som statistisk modellering, og ingen av tallene vi fant, bærer en feilmargin. På dette spørsmålet har de de bedre dataene, og vi mangler den samme begrunnelsen.

Færre enn det rå antallet prompter, og vi rapporterer foreløpig ingen effektiv utvalgsstørrelse justert for at omskrivninger av én og samme intensjon er korrelerte. Dette er et reelt hull. Til det er tettet, behandle antallet prompter som et antall tester, ikke som mengden uavhengig belegg.

De vektes ikke. Hver formulering teller én gang. Det er et grovt valg, og det har en kostnad — en sjelden formulering teller like mye som en kommersielt sentral — men alternativet er en vektingsmodell vi ikke kunne begrunnet, og den ville bare flyttet vilkårligheten til et mindre synlig sted.

Formuleringene registreres mot nettstedet ved første kjøring og LÅSES ved hver gjentakelse, slik at den andre scoren måles mot de samme spørsmålene som den første. En kunde kan ikke stille og rolig legge til gunstige formuleringer eller fjerne ubehagelige mellom kjøringene. Endres formuleringssettet bevisst, starter kjøringen en ny serie i stedet for å videreføre den gamle linjen, og rapporten sier det.

Bare presisjon. Flere varianter av et ikke-representativt panel gir et mer stabilt anslag på et ikke-representativt panel. Vi selger ikke antall prompter som en erstatning for grundighet.

Vi vet ikke. Vi kjører i dag hver formulering én gang per analyse, og vi har ikke målt variasjonen fra kjøring til kjøring som ville fortalt oss om én gang er nok. Dette er det største hullet i vår egen metode, og det står først på listen over ting som skal tettes.

Ingen beregnes, fordi spørsmål 8 står ubesvart — uten en målt variasjon fra kjøring til kjøring finnes det ikke noe ærlig intervall å publisere. Inntil det gjør det, bør ingen bevegelse i scoren vår leses som meningsfull i seg selv.

All sammen. Det finnes ingen statistisk modell. Vi viser heller en rå opptelling med grensene sagt høyt enn et konfidensintervall som stilltiende holder promptutvalg, panelsammensetning og modelldrift utenfor — et smalt intervall rundt et skjevt panel er bare et galt svar som ser mer selvsikkert ut.

Nei, og vi behandler dem ikke som om de var det. Formuleringer med felles opphav, og hver formulering som kjøres mot samme modell samme dag, beveger seg sammen når modellen endres. Vi ganger dem ikke opp til en mengde uavhengig belegg.

Det er den ikke, så vi måler ikke daglig. Analysen er en avlesning på ett tidspunkt, og under en løpende avtale rapporteres det månedlig. En daglig kurve ville stort sett tegnet variasjonen i svarene, og en graf som beveger seg hver dag, er kommersielt nyttig og metodisk tom.

Den er ikke validert mot noen ekstern målestokk. Vi har ingen studie som sammenligner scoren vår med henvisningstrafikk, konverteringer eller hukommelse målt i undersøkelser. Vi er et ungt selskap uten et slikt datagrunnlag, og det sier vi heller enn å sitere andres validering av et annet system.

Det finnes ingen validering, så nei. Når den kommer, vil den bruke data vi verken har laget, valgt ut, vektet eller skåret — og vi publiserer også det negative resultatet, hvis det er det vi finner.

Den eneste antakelsen vi gjør, er at et utlogget engangssøk er en forsvarlig standardisert sondering — sammenlignbar mellom kjøringer og mellom virksomheter, og IKKE det samme som det en innlogget bruker med historikk ser. Se spørsmål 16.

Det gjør vi ikke, og vi kunne ikke gjort det. Hver sondering er utlogget og enkeltstående. Det betyr at avlesningen vår er en kontrollert måling og ikke en simulering av en ekte økt, og at personalisering er en utelatt feilkilde snarere enn en modellert en. Denne begrensningen gjelder alle leverandører i dette markedet, også dem som ikke nevner den.

Ingenting vi ville støttet oss på, og derfor bruker vi ikke syntetiske personaer. Å skrive «jeg er finansdirektør i Oslo» inn i en prompt gjenskaper verken kontohistorikk, posisjon eller hukommelse; det gir en annerledes formulert prompt. Å selge det som et personasegment ville vært å finne opp en variabel.

Inndataene er det: formuleringssettet er låst og registrert, så en kunde kan kjøre nøyaktig det vi kjørte, mot de samme modellene, utenfor plattformen vår. Det vi ikke har publisert, er en målt grad av samsvar mellom gjentatte tester — se spørsmål 8.

Vi har ikke kjørt det samme panelet gjennom en konkurrents plattform og sammenlignet. Det ville vært et virkelig nyttig eksperiment, og vi ville publisert det uansett utfall.

Per modell, side om side. Vi slår ikke ChatGPT, Gemini, Perplexity og Google AI Overviews sammen til ett tall, for vi har ikke noe forsvarlig grunnlag for vektene det ville krevd. En virksomhet som er usynlig i én og sterk i en annen, har et bestemt problem, og et gjennomsnitt skjuler nettopp det som er verdt å gjøre noe med.

En anbefaling på førsteplass og en omtale i forbifarten registreres hver for seg og vises hver for seg. En negativ omtale teller ikke som synlighet. Alias, foretaksnavn og morselskaper avklares manuelt ved oppsett, og en kunde kan rette dem. Det vi ennå ikke gjør, er å regne om historikken når en avklaringsregel endres — rapporten får en merknad i stedet.

Ett svar, én observasjon. En virksomhet som nevnes fem ganger i det samme svaret, teller én gang. Nevneren i andel av omtale bygger på hver merkevare som nevnes i svaret, ikke bare konkurrentene kunden har valgt — ellers setter kunden sin egen nevner.

Et sitat er en kilde motoren selv løftet fram — en lenket kilde eller en oppføring i et kildepanel — tilskrevet domenet. Vi utleder ikke sitater, vi teller ikke en ren tekst-URL i brødteksten som ett, og vi gjengir ikke tekst fra AI Overviews ordrett som belegg, på grunn av en leverandørbegrensning vi valgte å bygge rundt heller enn å krangle med.

En nekting, et tidsavbrudd eller et ødelagt svar registreres som en FEIL, ikke som fravær av merkevaren, og holdes utenfor nevneren. Antall feil står i rapporten. Å telle et tidsavbrudd som «du ble ikke anbefalt» ville vært å produsere en nedgang ut av et driftsavbrudd.

Kunder får det nøyaktige formuleringssettet, modellen og kjøredatoen, og det er nok til å kjøre det på nytt selv. Fullstendige, uredigerte svar og tidsstempler er tilgjengelige på forespørsel, men eksporteres ennå ikke som standard. Det bør være en knapp og ikke en forespørsel, og det kommer det til å bli.

En endring i formuleringssettet eller i skåringen starter en ny serie i stedet for å videreføre den gamle linjen. Vi omskriver ikke historikken i stillhet, og vi presenterer ikke avlesninger tatt med to forskjellige instrumenter som én sammenhengende trend.

Ingen. Vi hevder ikke at en innholdsendring forårsaket en bevegelse. Vi har verken kontrollgruppe eller kontrafaktisk situasjon, så tidsrekkefølge er alt vi har, og tidsrekkefølge er ikke årsak. Det vi rapporterer, er hva vi gjorde og hva avlesningen ble etterpå, merket som nøyaktig det.

Vi kjører ingen autonome agenter som redigerer innhold eller lager sider på grunnlag av en score. Hver endring skrives av et menneske eller gjennomgås av et før den går ut. Skulle vi noen gang automatisere en handling ut fra en måling, kommer gjentakelsesterskelen, minste effektstørrelse og kravet om menneskelig gjennomgang samtidig og synlig for kunden — ikke i etterkant.

Vi vet ikke, og vi kommer ikke til å påstå noe annet. Vi har ikke vist at en høyere avlesning predikerer henvisningstrafikk, pipeline eller omsetning når det kontrolleres for merkevarestørrelse. Å forbedre scoren predikerer i dag én ting pålitelig: en senere forbedring av scoren.

Det bør det ikke, og vi omtaler det ikke som en. Det er et retningsgivende overvåkingsverktøy for et oppsatt panel. Den begrensningen står i samme skriftstørrelse som tallet, både i rapporten og på denne siden.

Hvilken som helst av disse, og vi ville sagt det offentlig: en målt variasjon fra kjøring til kjøring stor nok til at vanlige bevegelser ikke kan skilles fra støy; en grad av samsvar mellom gjentatte tester lavere enn det vi ville godtatt fra en leverandør; en sammenligning på tvers av leverandører som viser at avlesningene våre avviker vesentlig fra to andres uten at vi kan vise at våre ligger nærmere det en bruker ser; eller en første utfallsstudie som ikke finner noen sammenheng med noe en kunde bryr seg om. Hvis ingen av dem ville fått oss til å skifte mening, er metoden ikke testet.