Zveřejňujeme, jak naše skóre funguje — včetně toho, kde je slabé.

Jestli se jmenovitě uvedená firma objeví v odpovědi na konkrétní otázku, položenou konkrétnímu AI systému v konkrétní čas — a pokud se objeví, jestli je doporučená, jen zmíněná, nebo popsaná nepřesně. Neslučujeme to do jediného váženého skóre se skrytým vzorcem. Kde ukazujeme složené číslo, jsou jeho složky vidět hned vedle něj.

Sadu dotazů, kterou jsme pro danou firmu nastavili, a nic širšího. Je to popis testovací sady, ne odhad toho, co potká každého kupujícího na trhu. Nevydáváme to za obecnou AI viditelnost, protože to obecná AI viditelnost není.

Nedoložili, a říkáme to. Formulace vycházejí z oboru a specializace samotné firmy, napsané jako otázky, které by kupující věrohodně položil, a prochází je člověk. Co NEMÁME, jsou vlastní pozorovaná data o tom, co skuteční uživatelé o tom oboru do ChatGPT opravdu píší — ta nemá nikdo mimo poskytovatele modelů. Nejblíž je Profound — licencuje skutečné konverzace od spotřebitelských panelů, což je lepší surovina, než máme my. Jenže tahle otázka se ptá, jak se DOLOŽILO, že sada dotazů populaci zastupuje, a to jsme zveřejněné nenašli ani u nich: panely nejsou jmenovitě uvedené, přepočet na populaci je popsaný jen jako statistické modelování a u žádného čísla, které jsme našli, není uvedená chyba odhadu. V téhle otázce mají lepší data a chybí jim přesně tentýž argument jako nám.

Méně, než kolik je dotazů, a zatím neuvádíme efektivní velikost vzorku očištěnou o to, že přeformulování jednoho a téhož záměru spolu korelují. To je skutečná mezera. Dokud ji nezavřeme, berte počet dotazů jako počet testů, ne jako množství nezávislých důkazů.

Neváží se. Každá formulace se počítá jednou. Je to hrubé rozhodnutí a něco stojí — vzácná formulace váží stejně jako obchodně zásadní —, ale alternativou by byl model vah, který bychom neuměli doložit, a ten by tu libovůli jen přesunul na méně viditelné místo.

Formulace se při prvním běhu zapíšou k webu a při každém opakování se UZAMKNOU, takže druhé skóre se měří na stejných otázkách jako první. Klient nemůže mezi běhy potichu přidat příznivé formulace nebo vyhodit ty nepříjemné. Když se sada formulací změní záměrně, běh začíná novou řadu, místo aby pokračoval ve staré, a report to uvádí.

Jen přesnost. Víc variant nereprezentativní sady dá stabilnější odhad nereprezentativní sady. Neprodáváme objem dotazů jako náhradu za důkladnost.

Nevíme. Každou formulaci teď pouštíme jednou za audit a nezměřili jsme rozptyl mezi běhy, který by nám řekl, jestli jednou stačí. Je to největší díra v naší vlastní metodě a je první na řadě k zaplnění.

Žádná se nepočítá, protože otázka 8 zůstává bez odpovědi — bez změřeného rozptylu mezi běhy neexistuje poctivý interval, který by šlo zveřejnit. Dokud takový interval nemáme, nemá se žádný pohyb našeho skóre číst sám o sobě jako významný.

Celá. Žádný statistický model není. Raději ukážeme holý počet s vypsanými limity než interval spolehlivosti, který potichu vynechává výběr dotazů, složení sady i posun modelů — úzký interval kolem zkreslené sady je jen sebevědoměji vypadající špatná odpověď.

Nejsou, a ani s nimi tak nezacházíme. Formulace se společným původem — a každá formulace puštěná proti stejnému modelu tentýž den — se hýbou spolu, jakmile se model změní. Nenásobíme je do počtu nezávislých důkazů.

Není, a proto denně neměříme. Audit je snímek v čase a v rámci paušálu se reportuje měsíčně. Denní křivka by z větší části zobrazovala rozptyl odpovědí, a graf, který se hýbe každý den, je obchodně užitečný a metodicky prázdný.

Nebyla validována proti žádnému vnějšímu referenčnímu standardu. Nemáme studii, která by naše skóre srovnala s návštěvností z odkazů, s uzavřenými obchody nebo s vybavením značky v průzkumu. Jsme mladá firma a takový soubor dat nemáme — a raději to řekneme, než abychom citovali cizí validaci úplně jiného systému.

Žádná validace není, takže ne. Až bude, použije data, která jsme nevytvořili, nevybrali, neváhovali ani neohodnotili — a zveřejníme i záporný výsledek, pokud takový vyjde.

Jediný předpoklad, který děláme, je, že odhlášený jednorázový dotaz je obhajitelná standardizovaná sonda — porovnatelná mezi běhy i mezi firmami a NE totéž, co vidí přihlášený uživatel s historií. Viz otázka 16.

Nezohledňujeme a ani bychom nemohli. Každá sonda běží odhlášená a na jeden dotaz. To znamená, že naše čtení je řízené měření, ne simulace skutečné relace, a personalizace je vyloučený zdroj chyby, ne modelovaný. Tohle omezení platí pro každého dodavatele na tomhle trhu, včetně těch, kteří ho nezmiňují.

Nic, na co bychom se spolehli — proto syntetické persony nepoužíváme. Když do dotazu napíšete „jsem finanční ředitel v Londýně“, nereprodukujete tím historii účtu, polohu ani paměť; vyrobíte jinak formulovaný dotaz. Prodávat to jako segment persony by znamenalo vymyslet si proměnnou.

Vstupy ano: sada formulací je uzamčená a zapsaná, takže klient si může přesně to, co jsme pustili my, pustit znovu proti stejným modelům a mimo naši platformu. Co jsme nezveřejnili, je změřená míra shody při opakovaném testu — viz otázka 8.

Stejnou sadu jsme neprohnali platformou konkurenta a neporovnali. Byl by to opravdu užitečný experiment a zveřejnili bychom ho tak či tak.

Po jednotlivých modelech, vedle sebe. Neprůměrujeme ChatGPT, Gemini, Perplexity a Google AI Overviews do jednoho čísla, protože pro váhy, které by to vyžadovalo, nemáme obhajitelný podklad. Firma neviditelná v jednom a silná v druhém má konkrétní problém a průměr schová právě to, s čím má cenu něco dělat.

Doporučení na prvním místě a letmá zmínka se zaznamenávají jinak a ukazují se zvlášť. Negativní zmínka se jako viditelnost nepočítá. Aliasy, obchodní názvy a mateřské společnosti přiřazujeme při nastavení ručně a klient je může opravit. Co zatím neděláme: nepřepočítáváme historii, když se pravidlo přiřazení změní — místo toho se do reportu doplní poznámka.

Jedna odpověď, jedno pozorování. Firma jmenovaná v jedné odpovědi pětkrát se počítá jednou. Do jmenovatele podílu hlasu jde každá značka jmenovaná v té odpovědi, ne jen konkurenti, které si klient vybral — jinak si klient určuje jmenovatel sám.

Citace je zdroj, který vyhledávač sám zobrazil — odkazovaný zdroj nebo položka v panelu zdrojů — přiřazený k doméně. Citace nedovozujeme, prostou URL v textu jako citaci nepočítáme a text z Google AI Overviews nereprodukujeme doslova jako důkaz — kvůli omezení od dodavatele, které jsme raději obešli, než abychom se o něm přeli.

Odmítnutí, timeout nebo poškozená odpověď se zaznamená jako SELHÁNÍ, ne jako nepřítomnost značky, a vyřadí se ze jmenovatele. Počet selhání je vidět v reportu. Počítat timeout jako „nedoporučili vás“ by z výpadku vyrobilo pokles.

Klienti dostanou přesnou sadu formulací, model i datum běhu, což stačí k tomu, aby si ho pustili sami. Úplné neupravené výstupy a časová razítka jsou na vyžádání, ale zatím se neexportují automaticky. Má to být tlačítko, ne žádost, a bude.

Změna sady formulací nebo způsobu hodnocení začíná novou řadu, místo aby pokračovala ve staré. Historii potichu nepřepisujeme a čtení pořízená dvěma různými přístroji nevydáváme za jeden souvislý trend.

Žádná. Netvrdíme, že změna obsahu způsobila nějaký pohyb. Nemáme kontrolní skupinu ani kontrafaktuál, takže nám zbývá jen časová posloupnost, a časová posloupnost není příčinnost. Reportujeme, co jsme udělali a jaké bylo čtení potom, a označíme to přesně takhle.

Neprovozujeme autonomní agenty, kteří by na základě skóre upravovali obsah nebo zakládali stránky. Každou změnu píše člověk, nebo ji člověk zkontroluje, než jde ven. Pokud někdy nějakou akci z měření zautomatizujeme, práh opakování, minimální velikost účinku i požadavek na lidskou kontrolu půjdou ven ve stejnou chvíli a klient je uvidí — ne že se doplní až potom.

Nevíme a nebudeme tvrdit opak. Neprokázali jsme, že vyšší čtení předpovídá návštěvnost z odkazů, obchodní příležitosti nebo tržby, když se drží velikost značky konstantní. Zlepšit skóre zatím spolehlivě předpovídá jednu jedinou věc: pozdější zlepšení skóre.

Neměla, a tak ji ani nepopisujeme. Je to směrový monitorovací nástroj pro jednu nastavenou sadu dotazů. To omezení je vytištěné stejně velkým písmem jako samo číslo — v reportu i na téhle stránce.

Kterákoli z těchhle věcí, a řekli bychom to veřejně: změřený rozptyl mezi běhy tak velký, že běžné pohyby nejdou odlišit od šumu; míra shody při opakovaném testu nižší, než jakou bychom uznali u dodavatele; srovnání napříč dodavateli, které ukáže, že se naše čtení výrazně rozchází se dvěma dalšími a my neumíme doložit, že to naše je blíž tomu, co vidí uživatel; nebo první studie výsledků, která nenajde vztah k ničemu, na čem klientovi záleží. Kdyby nás nic z toho nepřimělo změnit názor, metoda nebyla prověřená.