We publiceren hoe onze score werkt — inclusief waar hij zwak is.

Of een bedrijf met naam voorkomt in het antwoord op een specifieke vraag, gesteld aan een specifiek AI-systeem, op een specifiek moment — en als het voorkomt, of het wordt aanbevolen, alleen genoemd, of onjuist beschreven. Die drie gooien we niet samen in één gewogen score met een verborgen formule. Waar we wel een samengesteld cijfer tonen, staan de onderdelen ernaast.

Het promptpanel dat we voor dat bedrijf hebben ingericht, en niets breders. Het is een beschrijving van een testpanel, geen schatting van wat elke koper in een markt tegenkomt. We presenteren het niet als algemene AI-zichtbaarheid, want dat is het niet.

Dat is niet aangetoond, en dat zeggen we ook. De zinnen komen uit het vak en de specialisatie van het bedrijf zelf, geschreven als de vragen die een koper plausibel zou stellen, en ze worden door een mens nagelopen. Wat we níét hebben, is waargenomen first-partydata over wat echte gebruikers werkelijk over dat vak in ChatGPT intypen — niemand buiten de modelaanbieders heeft die. Profound komt daar het dichtst bij — zij nemen echte gesprekken in licentie af van consumentenpanels, en dat is beter ruw materiaal dan wij hebben. Maar deze vraag gaat erover hoe van een promptset is AANGETOOND dat die de populatie vertegenwoordigt, en ook dat hebben we nergens gepubliceerd gevonden: de panels worden niet bij naam genoemd, de opschaling naar de populatie wordt alleen omschreven als statistische modellering, en geen enkel cijfer dat we vonden draagt een foutmarge. Op deze vraag hebben zij de betere data en hebben wij hetzelfde ontbrekende argument.

Minder dan het ruwe aantal prompts, en we rapporteren op dit moment geen effectieve steekproefomvang die corrigeert voor het feit dat parafrasen van één intentie met elkaar samenhangen. Dat is een echt gat. Zolang het niet gedicht is, moet je het aantal prompts lezen als een aantal tests, niet als een hoeveelheid onafhankelijk bewijs.

Ze worden niet gewogen. Elke zin telt één keer. Dat is een grove keuze en die heeft een prijs — een zeldzame formulering telt even zwaar als een commercieel cruciale — maar het alternatief is een weegmodel dat we niet kunnen onderbouwen, en dan verplaats je de willekeur alleen naar een minder zichtbare plek.

De zinnen worden bij de eerste meting bij de site vastgelegd en bij elke herhaling VERGRENDELD, zodat de tweede score langs dezelfde vragen wordt gelegd als de eerste. Een klant kan er tussendoor niet stilletjes gunstige zinnen bij zetten of moeilijke laten vallen. Wordt de set bewust gewijzigd, dan begint de meting een nieuwe reeks in plaats van de oude lijn door te trekken, en dat staat in het rapport.

Alleen de precisie. Meer varianten draaien van een niet-representatief panel levert een stabielere schatting op van een niet-representatief panel. Wij verkopen promptvolume niet als bewijs van degelijkheid.

Dat weten we niet. We draaien elke zin nu één keer per audit en we hebben de spreiding tussen twee metingen nooit gemeten — precies het cijfer dat zou vertellen of één keer genoeg is. Dit is het grootste gat in onze eigen methode en het staat bovenaan de lijst om te dichten.

Die wordt niet berekend, omdat vraag 8 onbeantwoord is — zonder gemeten spreiding tussen metingen bestaat er geen eerlijk betrouwbaarheidsinterval om te publiceren. Zolang dat zo is, mag geen enkele beweging in onze score op zichzelf als betekenisvol worden gelezen.

Alle. Er is geen statistisch model. Wij tonen liever een ruwe telling met de grenzen erbij dan een betrouwbaarheidsinterval dat promptkeuze, panelsamenstelling en modeldrift stilzwijgend buitensluit — een smal interval rond een scheef panel is een fout antwoord dat er alleen zelfverzekerder uitziet.

Nee, en we doen ook niet alsof. Zinnen met dezelfde herkomst, en elke zin die op dezelfde dag tegen hetzelfde model wordt gedraaid, bewegen mee zodra het model verandert. We vermenigvuldigen ze niet tot een hoeveelheid onafhankelijk bewijs.

Dat is hij niet, dus we meten niet dagelijks. De audit is een momentopname en het abonnement rapporteert maandelijks. Een dagelijkse lijn zou vooral de variatie in antwoorden plotten, en een grafiek die elke dag beweegt is commercieel aantrekkelijk en methodologisch leeg.

Hij is niet gevalideerd aan de hand van een externe maatstaf. We hebben geen onderzoek dat onze score vergelijkt met verwijsverkeer, conversies of merkherinnering uit enquêtes. We zijn een jong bedrijf en beschikken niet over zo'n dataset, en dat zeggen we liever dan dat we de validatie van iemand anders voor een ander systeem aanhalen.

Er is geen validatie, dus nee. Als die er komt, gebruikt hij data die wij niet hebben gegenereerd, geselecteerd, gewogen of gescoord — en publiceren we ook het negatieve resultaat, als dat eruit komt.

De enige aanname die we doen, is dat een uitgelogde vraag in één keer een verdedigbare gestandaardiseerde probe is — vergelijkbaar tussen metingen en tussen bedrijven, en NIET hetzelfde als wat een ingelogde gebruiker met geschiedenis ziet. Zie vraag 16.

Dat doen we niet, en dat zouden we ook niet kunnen. Elke probe is uitgelogd en bestaat uit één beurt. Onze meting is dus een gecontroleerde meting en geen simulatie van een echte sessie, en personalisatie is een uitgesloten foutenbron in plaats van een gemodelleerde. Deze beperking geldt voor elke aanbieder in deze markt, ook voor de aanbieders die er niets over zeggen.

Niets waar we op zouden bouwen, en daarom gebruiken we geen synthetische persona's. ‘Ik ben CFO in Londen’ in een prompt typen levert geen accountgeschiedenis, locatie of geheugen op; het levert een anders geformuleerde prompt op. Dat verkopen als een personasegment zou neerkomen op het verzinnen van een variabele.

De invoer wel: de set zinnen ligt vast en is vastgelegd, dus een klant kan precies opnieuw draaien wat wij draaiden, tegen dezelfde modellen, buiten ons platform om. Wat we niet gepubliceerd hebben, is een gemeten mate van overeenstemming tussen twee metingen — zie vraag 8.

We hebben hetzelfde panel nooit door het platform van een concurrent gehaald en de uitkomsten vergeleken. Het zou een oprecht nuttig experiment zijn en we zouden het resultaat publiceren, welke kant het ook op valt.

Per model, naast elkaar. We middelen ChatGPT, Gemini, Perplexity en Google AI Overviews niet tot één getal, omdat we de gewichten die daarvoor nodig zijn niet kunnen verdedigen. Een bedrijf dat in het ene onzichtbaar is en in het andere sterk, heeft een specifiek probleem, en middelen verbergt precies datgene waar iets aan te doen valt.

Een aanbeveling op de eerste plaats en een terloopse vermelding worden verschillend vastgelegd en apart getoond. Een negatieve vermelding telt niet als zichtbaarheid. Aliassen, handelsnamen en moederbedrijven worden bij de inrichting met de hand uitgezocht en een klant kan ze corrigeren. Wat we nog niet doen, is de geschiedenis herberekenen als zo'n regel verandert — in plaats daarvan zetten we er een aantekening bij in het rapport.

Eén antwoord, één waarneming. Een bedrijf dat vijf keer in hetzelfde antwoord genoemd wordt, telt één keer. De noemer voor share of voice bestaat uit elk merk dat in het antwoord genoemd wordt, niet alleen de concurrenten die een klant zelf heeft uitgekozen — anders bepaalt de klant zijn eigen noemer.

Een citatie is een bron die de machine zelf naar voren haalde — een gelinkte bron of een vermelding in een bronnenpaneel — toegekend aan het domein. We leiden citaties niet af, we tellen een kale URL in een lopende tekst niet mee, en we nemen tekst uit AI Overviews niet letterlijk over als bewijs: dat is een beperking van de leverancier waar we omheen hebben gebouwd in plaats van erover te gaan discussiëren.

Een weigering, time-out of onbruikbaar antwoord wordt vastgelegd als FOUT, niet als afwezigheid van het merk, en telt niet mee in de noemer. Het aantal fouten staat in het rapport. Een time-out tellen als ‘je werd niet aanbevolen’ zou een daling fabriceren uit een storing.

Klanten krijgen de exacte set zinnen, het model en de datum van de meting — genoeg om het zelf opnieuw te draaien. Volledige, onbewerkte antwoorden en tijdstempels zijn op verzoek beschikbaar, maar worden nog niet standaard geëxporteerd. Dat hoort een knop te zijn en geen verzoek, en dat wordt het ook.

Een wijziging in de set zinnen of in de scoring start een nieuwe reeks in plaats van de oude lijn door te trekken. We herschrijven de geschiedenis niet stilzwijgend, en we presenteren metingen met twee verschillende instrumenten niet als één doorlopende trend.

Geen enkele. We beweren niet dat een contentwijziging een beweging heeft veroorzaakt. We hebben geen controlegroep en geen contrafeitelijke situatie, dus volgorde in de tijd is alles wat we hebben, en volgorde in de tijd is geen oorzakelijk verband. Wat we rapporteren is wat we deden en wat de meting daarna was, precies zo gelabeld.

Wij draaien geen autonome agents die op basis van een score content aanpassen of pagina's aanmaken. Elke wijziging wordt door een mens geschreven of door een mens nagekeken voordat hij live gaat. Als we ooit een handeling automatiseren op basis van een meting, gaan de herhalingsdrempel, de minimale effectgrootte en de eis van menselijke controle op hetzelfde moment mee live en zijn ze zichtbaar voor de klant — niet er later bij geplakt.

Dat weten we niet, en we gaan niet doen alsof van wel. We hebben niet aangetoond dat een hogere meting verwijsverkeer, pipeline of omzet voorspelt, gecorrigeerd voor merkgrootte. Het verbeteren van de score voorspelt op dit moment betrouwbaar één ding: een latere verbetering van de score.

Dat zou het niet moeten, en zo beschrijven we het ook niet. Het is een richtinggevend instrument om een ingericht panel te volgen. Die beperking staat even groot gedrukt als het cijfer zelf — in het rapport en op deze pagina.

Elk van deze uitkomsten, en we zouden het publiekelijk zeggen: een gemeten spreiding tussen metingen die zo groot is dat gewone bewegingen niet van ruis te onderscheiden zijn; een mate van overeenstemming tussen twee metingen die we van een leverancier niet zouden accepteren; een vergelijking tussen aanbieders waaruit blijkt dat onze uitkomsten wezenlijk afwijken van die van twee anderen zonder dat we kunnen laten zien dat de onze dichter ligt bij wat een gebruiker ziet; of een eerste effectonderzoek dat geen enkel verband vindt met iets waar een klant om geeft. Als niets hiervan ons van gedachten zou doen veranderen, is de methode niet getoetst.