Zverejňujeme, ako naše skóre funguje — vrátane miest, kde je slabé.

Či sa menovite uvedená firma objaví v odpovedi na konkrétnu otázku, položenú konkrétnemu AI systému v konkrétnom čase — a ak sa objaví, či je odporúčaná, len spomenutá, alebo opísaná nepresne. Nespájame to skrytým vzorcom do jediného váženého skóre. Kde ukazujeme zloženú hodnotu, jej zložky stoja vedľa nej.

Panel promptov, ktorý sme pre danú firmu nastavili, a nič širšie. Je to opis testovacieho panela, nie odhad toho, s čím sa stretne každý kupujúci na trhu. Nepredstavujeme ho ako všeobecnú viditeľnosť v AI, lebo ňou nie je.

Nepreukázalo sa to a hovoríme to nahlas. Formulácie pochádzajú z odboru a špecializácie samotnej firmy, napísané ako otázky, ktoré by kupujúci vierohodne položil, a kontroluje ich človek. Čo NEMÁME, sú vlastné pozorované dáta o tom, čo skutoční používatelia o danom odbore naozaj píšu do ChatGPT — tie nemá nikto mimo poskytovateľov modelov. Najbližšie k nim je Profound — licencujú skutočné konverzácie zo spotrebiteľských panelov, a to je lepší surový materiál, než máme my. Táto otázka sa však pýta, ako sa PREUKÁZALO, že súbor promptov zastupuje populáciu, a ani k tomu sme nenašli nič zverejnené: panely nie sú pomenované, prepočet na populáciu je opísaný len ako štatistické modelovanie a žiadne číslo, ktoré sme našli, nenesie chybu odhadu. V tejto otázke majú lepšie dáta a obom nám chýba to isté zdôvodnenie.

Menej než je hrubý počet promptov a zatiaľ neuvádzame efektívnu veľkosť vzorky očistenú o to, že parafrázy jedného zámeru spolu korelujú. To je skutočná medzera. Kým ju nezavrieme, berte počet promptov ako počet testov, nie ako množstvo nezávislých dôkazov.

Nevážia sa. Každá formulácia počíta raz. Je to hrubé rozhodnutie a má svoju cenu — zriedkavá formulácia váži rovnako ako obchodne kľúčová —, ale alternatívou by bol váhový model, ktorý by sme nevedeli podložiť, a ten by len presunul svojvôľu na menej viditeľné miesto.

Formulácie zaznamenáme k webu pri prvom behu a pri každom opakovaní ich UZAMKNEME, aby sa druhé skóre meralo na tých istých otázkach ako prvé. Klient nemôže medzi behmi potichu pridať priaznivé formulácie ani vypustiť nepohodlné. Ak sa súbor formulácií zmení zámerne, beh začína novú sériu namiesto pokračovania starej línie a správa to hovorí.

Len presnosť. Viac variantov nereprezentatívneho panela dá stabilnejší odhad nereprezentatívneho panela. Objem promptov nepredávame ako náhradu za dôslednosť.

Nevieme. Každú formuláciu momentálne spúšťame raz za audit a nezmerali sme rozptyl medzi behmi, ktorý by nám povedal, či raz stačí. Toto je najväčšia diera v našej vlastnej metóde a je prvá na zozname na zaplátanie.

Žiadna sa nepočíta, lebo otázka 8 zostáva nezodpovedaná — bez nameraného rozptylu medzi behmi neexistuje poctivý interval, ktorý by sa dal zverejniť. Kým taký nebude, žiadny pohyb nášho skóre sa nemá sám osebe čítať ako významný.

Celá. Žiadny štatistický model neexistuje. Radšej ukážeme surový počet s pomenovanými hranicami než interval spoľahlivosti, ktorý potichu vynecháva výber promptov, zloženie panela a posun modelov — úzky interval okolo skresleného panela je len sebavedomejšie vyzerajúca nesprávna odpoveď.

Nie sú a ani s nimi tak nezaobchádzame. Formulácie so spoločným pôvodom aj každá formulácia spustená v ten istý deň proti tomu istému modelu sa pohybujú spolu, keď sa model zmení. Nenásobíme ich do počtu nezávislých dôkazov.

Nie je, preto nemeriame denne. Audit je snímka v čase a pri dlhodobej spolupráci sa vykazuje mesačne. Denná krivka by prevažne kreslila rozptyl odpovedí a graf, ktorý sa hýbe každý deň, je obchodne užitočný a metodicky prázdny.

Nebola overená voči vonkajšiemu meradlu. Nemáme štúdiu, ktorá by porovnávala naše skóre s návštevnosťou z odkazov, s uzavretými obchodmi alebo s podporenou znalosťou z prieskumu. Sme mladá firma a taký dátový súbor nemáme; radšej to povieme, než by sme citovali cudzie overenie iného systému.

Žiadne overenie neexistuje, takže nie. Keď bude, použije dáta, ktoré sme nevytvorili, nevybrali, nevážili ani nehodnotili — a zverejníme aj negatívny výsledok, ak taký vyjde.

Jediný predpoklad, ktorý robíme, je, že jednorazový dopyt bez prihlásenia je obhájiteľná štandardizovaná sonda — porovnateľná medzi behmi aj medzi firmami a NIE to isté, čo vidí prihlásený používateľ s históriou. Pozrite otázku 16.

Nijako a ani by sme nemohli. Každá sonda beží odhlásená a na jeden ťah. Naše čítanie je preto kontrolované meranie, nie simulácia skutočnej relácie, a personalizácia je vylúčený zdroj chyby, nie modelovaný. Toto obmedzenie platí pre každého dodávateľa na tomto trhu, aj pre tých, ktorí ho nespomínajú.

Nič, na čo by sme sa spoľahli — preto syntetické persóny nepoužívame. Kto do promptu napíše „som finančný riaditeľ v Londýne“, nereprodukuje tým históriu účtu, polohu ani pamäť; vyrobí len inak sformulovaný prompt. Predávať to ako segment persóny by znamenalo vymyslieť si premennú.

Vstupy sú: súbor formulácií je uzamknutý a zaznamenaný, takže klient si presne to, čo sme spustili, môže zopakovať proti tým istým modelom mimo našej platformy. Čo sme nezverejnili, je nameraná miera zhody pri opakovanom teste — pozrite otázku 8.

Ten istý panel sme cez platformu konkurenta nespustili a neporovnali. Bol by to naozaj užitočný experiment a výsledok by sme zverejnili tak či tak.

Podľa modelu, vedľa seba. ChatGPT, Gemini, Perplexity a Google AI Overviews nespriemerujeme do jedného čísla, lebo pre potrebné váhy nemáme obhájiteľný základ. Firma, ktorá je v jednom systéme neviditeľná a v druhom silná, má konkrétny problém a priemerovanie zakryje práve to, s čím sa oplatí niečo robiť.

Odporúčanie na prvom mieste a letmá zmienka sa zaznamenávajú odlišne a vykazujú oddelene. Negatívna zmienka sa ako viditeľnosť nepočíta. Alternatívne názvy, obchodné mená a materské spoločnosti priraďujeme ručne pri nastavení a klient to môže opraviť. Čo zatiaľ nerobíme: neprepočítavame históriu, keď sa pravidlo priradenia zmení — správa sa namiesto toho opatrí poznámkou.

Jedna odpoveď, jedno pozorovanie. Firma spomenutá v jednej odpovedi päťkrát sa počíta raz. Menovateľ pre podiel na hlase zahŕňa každú značku uvedenú v odpovedi, nielen konkurentov, ktorých si klient vybral — inak si klient určuje menovateľ sám.

Citácia je zdroj, ktorý systém sám zobrazil — odkazovaný prameň alebo položka v paneli zdrojov —, priradený k doméne. Citácie neodvodzujeme, URL v bežnom texte za citáciu nepočítame a text z AI Overviews nereprodukujeme doslovne ako dôkaz, pre obmedzenie dodávateľa, ktoré sme radšej obišli, než by sme sa o ňom hádali.

Odmietnutie, vypršanie časového limitu alebo poškodená odpoveď sa zaznamená ako ZLYHANIE, nie ako neprítomnosť značky, a vyradí sa z menovateľa. Počet zlyhaní je uvedený v správe. Počítať vypršanie limitu ako „neodporučili vás“ by z výpadku vyrobilo pokles.

Klienti dostanú presný súbor formulácií, model aj dátum behu, čo stačí na to, aby si to zopakovali sami. Úplné neupravované výstupy a časové značky sú na požiadanie, ale zatiaľ sa neexportujú automaticky. Malo by to byť tlačidlo, nie žiadosť, a bude.

Zmena súboru formulácií alebo spôsobu hodnotenia začína novú sériu namiesto pokračovania starej línie. Históriu potichu neprepisujeme a merania urobené dvoma rôznymi prístrojmi nepredkladáme ako jeden súvislý priebeh.

Žiadne. Netvrdíme, že zmena obsahu spôsobila pohyb. Nemáme kontrolnú skupinu ani protiscenár, takže nám zostáva len časová postupnosť, a časová postupnosť nie je príčinnosť. Vykazujeme, čo sme urobili a aké bolo meranie potom, a označíme to presne takto.

Neprevádzkujeme autonómnych agentov, ktorí by na základe skóre upravovali obsah alebo zakladali stránky. Každú zmenu píše človek alebo ju človek skontroluje, kým ide von. Ak niekedy zautomatizujeme konanie odvodené od merania, prah opakovania, minimálna veľkosť účinku aj povinnosť ľudskej kontroly pôjdu von v tom istom čase a budú pre klienta viditeľné — nie doplnené dodatočne.

Nevieme a netvrdíme opak. Nepreukázali sme, že vyššie meranie predpovedá návštevnosť z odkazov, pipeline alebo tržby pri konštantnej veľkosti značky. Zlepšovať skóre dnes spoľahlivo predpovedá jedinú vec: neskoršie zlepšenie skóre.

Nemala by a ani ju tak neopisujeme. Je to smerový nástroj na sledovanie nastaveného panela. Toto obmedzenie je vytlačené rovnako veľkým písmom ako číslo — v správe aj na tejto stránke.

Ktorákoľvek z týchto vecí, a povedali by sme to verejne: nameraný rozptyl medzi behmi taký veľký, že bežné pohyby sa nedajú odlíšiť od šumu; miera zhody pri opakovanom teste nižšia, než by sme prijali od dodávateľa; porovnanie medzi dodávateľmi, ktoré ukáže, že naše merania sa výrazne rozchádzajú s dvoma inými a my nedokážeme ukázať, že tie naše sú bližšie k tomu, čo vidí používateľ; alebo prvá výsledková štúdia, ktorá nenájde vzťah k ničomu, na čom klientovi záleží. Ak by nás nič z toho neprinútilo zmeniť názor, metóda nebola overená.