Objavljamo, kako naša ocena deluje — tudi tam, kjer je šibka.

Ali se poimensko navedeno podjetje pojavi v odgovoru na določeno vprašanje, zastavljeno določenemu sistemu AI, ob določenem času — in če se pojavi, ali je priporočeno, zgolj omenjeno ali napačno opisano. Tega ne združujemo v eno uteženo oceno po skriti formuli. Kjer prikažemo sestavljeno vrednost, so njeni deli navedeni ob njej.

Nabor poizvedb, ki smo ga postavili za to podjetje, in nič širšega. To je opis testnega nabora in ne ocena tega, s čimer se sreča vsak kupec na trgu. Ne prikazujemo ga kot splošno vidnost v AI, ker to ni.

Ni bilo pokazano in to tudi povemo. Ubeseditve izhajajo iz dejavnosti in specializacije samega podjetja, napisane kot vprašanja, ki bi jih kupec verjetno postavil, pregleda pa jih človek. Česar NIMAMO, so lastni opazovani podatki o tem, kaj resnični uporabniki o tej dejavnosti dejansko vtipkajo v ChatGPT — tega nima nihče zunaj ponudnikov modelov. Profound je temu najbližje: licencirajo resnične pogovore iz potrošniških panelov, kar je boljša surovina od naše. A to vprašanje sprašuje, kako je bilo POKAZANO, da nabor poizvedb predstavlja populacijo, in tudi za to nismo našli objavljenega odgovora: paneli niso poimenovani, prenos na populacijo je opisan zgolj kot statistično modeliranje, nobena številka, ki smo jo našli, pa ne nosi meje napake. Pri tem vprašanju imajo boljše podatke, obema pa manjka isti dokaz.

Manj, kot je surovo število poizvedb, in trenutno ne poročamo o učinkoviti velikosti vzorca, ki bi upoštevala, da so preubeseditve ene same namere med seboj povezane. To je resnična vrzel. Dokler ni zaprta, štejte število poizvedb kot število testov in ne kot količino neodvisnih dokazov.

Ne utežujemo jih. Vsaka ubeseditev šteje enkrat. To je groba odločitev in ima svojo ceno — redka ubeseditev šteje enako kot komercialno osrednja — a druga možnost bi bil model uteževanja, ki ga ne bi mogli utemeljiti, in to bi samovoljnost le prestavilo na manj vidno mesto.

Ubeseditve se ob prvem izvajanju zabeležijo ob spletni strani in se ob vsaki ponovitvi ZAKLENEJO, tako da se druga ocena meri na istih vprašanjih kot prva. Stranka med dvema izvajanjema ne more po tiho dodati ugodnih ubeseditev ali odstraniti neprijetnih. Če se nabor ubeseditev namenoma spremeni, izvajanje začne nov niz, namesto da bi nadaljevalo staro črto, in poročilo to pove.

Samo natančnost. Več različic nereprezentativnega nabora da stabilnejšo oceno nereprezentativnega nabora. Števila poizvedb ne prodajamo kot nadomestka za temeljitost.

Ne vemo. Vsako ubeseditev trenutno izvedemo enkrat na analizo in nismo izmerili razpršenosti med izvajanji, ki bi nam povedala, ali je enkrat dovolj. To je največja luknja v naši lastni metodi in prva na seznamu za zaprtje.

Nobena se ne izračuna, ker je osmo vprašanje neodgovorjeno — brez izmerjene razpršenosti med izvajanji ni poštenega intervala, ki bi ga bilo mogoče objaviti. Dokler ga ni, nobenega premika naše ocene ne gre brati kot pomembnega samega po sebi.

Vsa. Statističnega modela ni. Raje prikažemo surovo število z navedenimi mejami kot interval zaupanja, ki po tiho izpusti izbor poizvedb, sestavo nabora in premikanje modela — ozek interval okoli pristranskega nabora je le bolj samozavestno videti napačen odgovor.

Niso in jih tudi ne obravnavamo, kot da bi bila. Ubeseditve s skupnim izvorom in vsaka ubeseditev, izvedena na istem modelu istega dne, se premaknejo skupaj, takoj ko se model spremeni. Ne seštevamo jih v količino neodvisnih dokazov.

Ni, zato ne merimo dnevno. Analiza je posnetek trenutka, v pogodbi o vodenju pa poročamo mesečno. Dnevna črta bi večinoma risala nihanje odgovorov, graf, ki se premika vsak dan, pa je komercialno uporaben in metodološko prazen.

Ni bila potrjena glede na zunanje merilo. Nimamo raziskave, ki bi našo oceno primerjala z napotitvenim prometom, konverzijami ali priklicem v anketah. Smo mlado podjetje brez takega nabora podatkov in to raje povemo, kot da bi navajali tujo potrditev nekega drugega sistema.

Potrditve ni, torej ne. Ko bo, bo uporabila podatke, ki jih nismo ne ustvarili ne izbrali ne utežili ne ocenili — in objavili bomo tudi negativen rezultat, če bo tak.

Edina predpostavka, ki jo naredimo, je, da je odjavljena enkratna poizvedba zagovorljiva standardizirana sonda — primerljiva med izvajanji in med podjetji in NI isto, kar vidi prijavljen uporabnik z zgodovino. Glejte vprašanje 16.

Nikakor in tudi ne bi mogli. Vsaka sonda je odjavljena in v enem koraku. To pomeni, da je naše odčitavanje nadzorovana meritev in ne simulacija resnične seje ter da je personalizacija izključen in ne modeliran vir napake. Ta omejitev velja za vsakega ponudnika na tem trgu, tudi za tiste, ki je ne omenjajo.

Nič, na kar bi se oprli, zato sintetičnih person ne uporabljamo. Kdor v poizvedbo natipka »sem finančni direktor v Londonu«, s tem ne reproducira ne zgodovine računa ne lokacije ne spomina; ustvaril je drugače ubesedeno poizvedbo. Prodajati to kot segment persone bi pomenilo izmisliti si spremenljivko.

Vhodi so: nabor ubeseditev je zaklenjen in zabeležen, zato lahko stranka natanko to, kar smo izvedli mi, ponovi na istih modelih zunaj naše platforme. Česar nismo objavili, je izmerjena stopnja ujemanja med dvema meritvama — glejte vprašanje 8.

Istega nabora nismo pognali skozi platformo tekmeca in primerjali. To bi bil resnično koristen poskus in objavili bi ga, kakor koli bi se iztekel.

Po modelu, drug ob drugem. ChatGPT-ja, Geminija, Perplexityja in Googlovih pregledov AI ne povprečimo v eno številko, ker za uteži, ki bi jih to zahtevalo, nimamo zagovorljive podlage. Podjetje, ki je v enem sistemu nevidno in v drugem močno, ima zelo določeno težavo, povprečje pa skrije prav tisto, na čemer se splača delati.

Priporočilo na prvem mestu in mimobežna omemba se beležita različno in prikažeta ločeno. Negativna omemba ne šteje kot vidnost. Vzporedna imena, poslovna imena in matične družbe se ob postavitvi razrešijo ročno, stranka pa jih lahko popravi. Česar še ne počnemo, je ponovni izračun zgodovine, ko se pravilo razreševanja spremeni — namesto tega poročilo dobi opombo.

En odgovor, eno opazovanje. Podjetje, omenjeno petkrat v enem odgovoru, šteje enkrat. Imenovalec za delež glasu zajame vsako znamko, imenovano v odgovoru, in ne samo tekmecev, ki jih je izbrala stranka — sicer si imenovalec določi stranka sama.

Navedba je vir, ki ga je sistem sam prikazal — povezan vir ali vnos na seznamu virov — pripisan domeni. Navedb ne sklepamo, URL-ja sredi besedila ne štejemo za navedbo in besedila iz pregledov AI ne povzemamo dobesedno kot dokaz, zaradi omejitve dobavitelja, ki smo jo raje obšli, kot da bi se z njo prepirali.

Zavrnitev, iztek časa ali pokvarjen odgovor se zabeleži kot NEUSPEH in ne kot odsotnost znamke ter se izloči iz imenovalca. Število neuspehov je navedeno v poročilu. Šteti iztek časa kot »niste bili priporočeni« bi iz motnje ustvarilo padec.

Stranke dobijo natančen nabor ubeseditev, model in datum izvajanja, kar zadošča, da ga ponovijo same. Celotni neurejeni izpisi in časovni žigi so na voljo na zahtevo, a se še ne izvozijo samodejno. To bi moral biti gumb in ne zahteva, in tudi bo.

Sprememba nabora ubeseditev ali načina ocenjevanja začne nov niz, namesto da bi nadaljevala staro črto. Zgodovine ne prepisujemo po tiho in odčitkov, zajetih z dvema različnima instrumentoma, ne prikazujemo kot enega neprekinjenega trenda.

Nobene. Ne trdimo, da je sprememba vsebine povzročila premik. Nimamo kontrolne skupine in nimamo protidejstvenega scenarija, zato nam ostane le časovno zaporedje, časovno zaporedje pa ni vzročnost. Poročamo, kaj smo naredili in kakšen je bil odčitek potem, in točno tako to tudi poimenujemo.

Ne poganjamo avtonomnih agentov, ki bi na podlagi ocene urejali vsebino ali ustvarjali strani. Vsako spremembo napiše človek ali jo človek pregleda, preden gre v živo. Če bomo kdaj avtomatizirali ukrep na podlagi meritve, bodo prag ponovitev, najmanjša velikost učinka in zahteva po človeškem pregledu šli v živo ob istem času in bodo stranki vidni — ne dodani naknadno.

Ne vemo in ne bomo trdili drugače. Nismo pokazali, da višji odčitek napoveduje napotitveni promet, prodajni lijak ali prihodek ob nadzoru velikosti znamke. Izboljšanje ocene zanesljivo napoveduje eno samo stvar: poznejše izboljšanje ocene.

Ne bi in ga tudi ne opisujemo tako. Je usmeritveno orodje za spremljanje enega postavljenega nabora. Ta omejitev je natisnjena enako veliko kot številka — v poročilu in na tej strani.

Kar koli od tega, in povedali bi javno: izmerjena razpršenost med izvajanji, tako velika, da običajnih premikov ni mogoče ločiti od šuma; stopnja ujemanja dveh meritev, nižja od tiste, ki bi jo sprejeli od dobavitelja; primerjava med ponudniki, ki pokaže, da naši odčitki bistveno odstopajo od dveh drugih, mi pa ne moremo pokazati, da so naši bližje temu, kar vidi uporabnik; ali prva raziskava izidov, ki ne najde povezave z ničimer, kar je stranki pomembno. Če nas nič od tega ne bi premislilo, metoda ni bila preverjena.