Közzétesszük, hogyan működik a pontszámunk — azt is, hol gyenge.

Azt, hogy egy név szerint megadott vállalkozás megjelenik-e egy adott kérdésre adott válaszban, amelyet egy adott MI-rendszernek, egy adott időpontban tettünk fel — és ha megjelenik, ajánlják-e, csak megemlítik, vagy pontatlanul írják le. Ezeket nem vonjuk össze egyetlen, rejtett képlettel súlyozott pontszámba. Ahol összesített értéket mutatunk, mellette ott vannak az összetevői.

Azt a promptpanelt, amelyet az adott vállalkozásnak beállítottunk, és semmi tágabbat. Egy tesztpanel leírása, nem becslés arról, mivel találkozik egy piac minden vevője. Nem tüntetjük fel általános MI-láthatóságként, mert nem az.

Sehogy, és ezt ki is mondjuk. A kifejezések a vállalkozás saját szakmájából és szakterületéből származnak, azokként a kérdésekként megírva, amelyeket egy vevő valószínűsíthetően feltenne, és egy ember átnézi őket. Ami NINCS meg nekünk, az saját megfigyelési adat arról, mit gépelnek be valódi felhasználók a ChatGPT-be az adott szakmáról — ilyen a modellszolgáltatókon kívül senkinek sincs. A Profound jár ehhez a legközelebb: valódi beszélgetéseket licencelnek fogyasztói panelekből, ami jobb nyersanyag, mint a miénk. Ez a kérdés azonban azt firtatja, hogyan IGAZOLTÁK, hogy egy promptkészlet a sokaságot képviseli, és ezt náluk sem találtuk közzétéve: a paneleket nem nevezik meg, a sokaságra való kivetítést csak statisztikai modellezésként írják le, és egyetlen általunk talált számhoz sem tartozik hibahatár. Ebben a kérdésben nekik jobbak az adataik, és mindkettőnknek ugyanaz az érvelés hiányzik.

Kevesebbet, mint a nyers promptszám, és jelenleg nem közlünk olyan effektív mintanagyságot, amely figyelembe venné, hogy egyazon szándék átfogalmazásai korrelálnak egymással. Ez valódi hiányosság. Amíg nincs pótolva, a promptok számát tesztek számaként kezelje, ne független bizonyítékok számaként.

Nincsenek súlyozva. Minden kifejezés egyszer számít. Ez durva döntés, és ára van — egy ritka megfogalmazás ugyanannyit ér, mint egy kereskedelmileg központi —, de az alternatíva egy olyan súlyozási modell lenne, amelyet nem tudnánk alátámasztani, és amely az önkényességet csak egy kevésbé látható helyre tolná át.

A kifejezéseket az első futtatáskor rögzítjük az oldalhoz, és minden ismétlésnél ZÁROLJUK, így a második pontszámot ugyanazokon a kérdéseken mérjük, mint az elsőt. Az ügyfél nem tud két futtatás között csendben kedvező kifejezéseket hozzáadni vagy nehezeket kivenni. Ha a kifejezéskészletet szándékosan megváltoztatják, a futtatás új sorozatot kezd, ahelyett hogy a régi vonalat folytatná, és a jelentés ezt jelzi.

Csak a pontosságot. Egy nem reprezentatív panel több változatának futtatása egy nem reprezentatív panel stabilabb becslését adja. A promptmennyiséget nem áruljuk az alaposság helyettesítőjeként.

Nem tudjuk. Jelenleg auditonként egyszer futtatunk minden kifejezést, és nem mértük meg azt a futtatások közötti szórást, amely megmondaná, elég-e az egyszer. Ez a saját módszerünk legnagyobb lyuka, és az első a listán, amelyet be kell tömni.

Nem számolunk ilyet, mert a 8. kérdés megválaszolatlan — mért futtatások közötti szórás nélkül nincs őszinte intervallum, amelyet közzé lehetne tenni. Amíg nincs, a pontszámunk egyetlen elmozdulását sem szabad önmagában jelentősnek olvasni.

Az egész. Nincs statisztikai modell. Inkább mutatunk egy nyers számlálást a megnevezett korlátaival, mint egy konfidenciaintervallumot, amely csendben kihagyja a promptok kiválasztását, a panel összetételét és a modellek sodródását — egy torz panel köré húzott szűk intervallum csak egy magabiztosabbnak látszó rossz válasz.

Nem, és nem is kezeljük őket úgy, mintha azok lennének. A közös eredetű kifejezések, és minden kifejezés, amely ugyanazon a napon ugyanazon a modellen fut, együtt mozdul, amikor a modell változik. Nem szorozzuk fel őket független bizonyítékok számává.

Nem az, ezért nem mérünk naponta. Az audit egy adott időpontra vonatkozó olvasat, a havidíjas megbízás pedig havonta jelent. Egy napi görbe főként a válaszok szórását rajzolná ki, és egy diagram, amely minden nap mozog, kereskedelmileg hasznos és módszertanilag üres.

Külső viszonyítási alappal szemben nem validáltuk. Nincs olyan vizsgálatunk, amely a pontszámunkat átirányított forgalommal, konverziókkal vagy kérdőíves felidézéssel vetné össze. Fiatal cég vagyunk ilyen adatállomány nélkül, és ezt inkább kimondjuk, mint hogy valaki más, egy másik rendszerre vonatkozó validálását idézzük.

Nincs validálás, tehát nem. Amikor lesz, olyan adatokat fog használni, amelyeket nem mi állítottunk elő, választottunk ki, súlyoztunk vagy pontoztunk — és a negatív eredményt is közzétesszük, ha az jön ki.

Az egyetlen feltevésünk az, hogy egy kijelentkezett, egyszeri lekérdezés védhető, szabványosított próba — összehasonlítható futtatások és vállalkozások között, és NEM ugyanaz, mint amit egy bejelentkezett, előzményekkel rendelkező felhasználó lát. Lásd a 16. kérdést.

Sehogy, és nem is tudnánk. Minden próba kijelentkezett és egyfordulós. Ez azt jelenti, hogy az olvasatunk kontrollált mérés, nem egy valódi munkamenet szimulációja, és a személyre szabás kizárt hibaforrás, nem modellezett. Ez a korlát a piac minden szolgáltatójára érvényes, azokra is, amelyek nem említik.

Semmit, amire támaszkodnánk — ezért nem használunk szintetikus perszónákat. Ha valaki azt gépeli egy promptba, hogy „londoni pénzügyi igazgató vagyok”, azzal nem állítja elő a fiókelőzményeket, a tartózkodási helyet vagy a memóriát; csak egy másképp megfogalmazott promptot kap. Ezt perszónaszegmensként eladni egy változó kitalálása lenne.

A bemenetek azok: a kifejezéskészlet zárolt és rögzített, így az ügyfél pontosan azt futtathatja újra, amit mi futtattunk, ugyanazokon a modelleken, a platformunkon kívül. Amit nem tettünk közzé, az egy mért teszt–újrateszt egyezési arány — lásd a 8. kérdést.

Nem futtattuk ugyanazt a panelt egy versenytárs platformján, és nem hasonlítottuk össze. Valóban hasznos kísérlet lenne, és az eredményt mindenképpen közzétennénk.

Modellenként, egymás mellett. Nem átlagoljuk egy számmá a ChatGPT-t, a Geminit, a Perplexityt és a Google AI Overviews-t, mert nincs védhető alapunk az ehhez szükséges súlyokhoz. Egy vállalkozásnak, amely az egyikben láthatatlan és a másikban erős, konkrét problémája van, és az átlagolás pontosan azt rejti el, amivel érdemes foglalkozni.

Az első helyen álló ajánlást és a futó említést eltérően rögzítjük és külön mutatjuk. A negatív említés nem számít láthatóságnak. Az álneveket, kereskedelmi neveket és anyavállalatokat beállításkor kézzel feleltetjük meg, és az ügyfél javíthatja őket. Amit még nem teszünk: nem számoljuk újra az előzményeket, ha egy megfeleltetési szabály változik — ehelyett a jelentést látjuk el megjegyzéssel.

Egy válasz, egy megfigyelés. Egy vállalkozás, amelyet egyetlen válaszban ötször neveznek meg, egyszer számít. A hangarány (share of voice) nevezőjében a válaszban megnevezett összes márka szerepel, nem csak az ügyfél által kiválasztott versenytársak — különben az ügyfél maga állítaná be a saját nevezőjét.

A hivatkozás olyan forrás, amelyet maga a motor jelenített meg — egy belinkelt forrás vagy egy tétel a forráspanelen —, a domainhez rendelve. Nem következtetünk hivatkozásokra, nem számítunk hivatkozásnak egy folyó szövegben szereplő sima URL-t, és nem másoljuk be bizonyítékként az AI Overview szövegét szó szerint — egy szolgáltatói korlátozás miatt, amelyet inkább megkerültünk, mint hogy vitatkozzunk vele.

A visszautasítást, az időtúllépést vagy a hibás formátumú választ HIBAKÉNT rögzítjük, nem a márka hiányaként, és kivesszük a nevezőből. A hibák száma szerepel a jelentésben. Ha egy időtúllépést úgy számolnánk, hogy „Önt nem ajánlották”, egy üzemzavarból visszaesést gyártanánk.

Az ügyfelek megkapják a pontos kifejezéskészletet, a modellt és a futtatás dátumát, ami elég ahhoz, hogy maguk futtassák újra. A teljes, szerkesztetlen kimenetek és az időbélyegek kérésre elérhetők, de alapértelmezésben még nem exportáljuk őket. Ennek egy gombnak kellene lennie, nem kérésnek, és az is lesz.

A kifejezéskészlet vagy a pontozás változása új sorozatot kezd, ahelyett hogy a régi vonalat folytatná. Nem írjuk át csendben az előzményeket, és nem mutatunk be két különböző műszerrel vett olvasatot egyetlen folytonos trendként.

Semmilyen. Nem állítjuk, hogy egy tartalomváltozás okozott egy elmozdulást. Nincs kontrollcsoportunk és nincs ellentényállásunk, így csak az időbeli sorrend áll rendelkezésünkre, és az időbeli sorrend nem okság. Azt közöljük, mit tettünk, és mi volt utána az olvasat, pontosan így címkézve.

Nem működtetünk olyan autonóm ügynököket, amelyek egy pontszám alapján tartalmat szerkesztenek vagy oldalakat hoznak létre. Minden változtatást ember ír, vagy ember nézi át, mielőtt élesbe menne. Ha valaha automatizálunk egy műveletet egy mérés alapján, az ismétlési küszöb, a minimális hatásnagyság és az emberi felülvizsgálat követelménye ugyanakkor kerül élesbe, és látható lesz az ügyfél számára — nem utólag kerül hozzá.

Nem tudjuk, és nem is állítunk mást. Nem bizonyítottuk, hogy egy magasabb olvasat átirányított forgalmat, ügyfélcsatornát vagy bevételt jelezne előre a márka méretének kontrollálása mellett. A pontszám javítása jelenleg egyetlen dolgot jelez előre megbízhatóan: a pontszám későbbi javulását.

Nem kellene, és nem is így írjuk le. Egy beállított panelre vonatkozó, irányjelző monitorozó eszköz. Ez a korlát ugyanakkora betűmérettel szerepel, mint a szám — a jelentésben és ezen az oldalon.

Ezek bármelyike, és nyilvánosan kimondanánk: egy mért futtatások közötti szórás, amely olyan nagy, hogy a szokásos elmozdulások megkülönböztethetetlenek a zajtól; egy teszt–újrateszt egyezési arány, amely alacsonyabb annál, amit egy beszállítótól elfogadnánk; egy szolgáltatók közötti összehasonlítás, amely azt mutatja, hogy az olvasataink lényegesen eltérnek két másikétól, és nem tudjuk megmutatni, hogy a miénk áll közelebb ahhoz, amit a felhasználó lát; vagy egy első hatásvizsgálat, amely semmilyen összefüggést nem talál azzal, ami egy ügyfélnek számít. Ha ezek egyike sem változtatná meg a véleményünket, a módszert nem tesztelték.