Objavljujemo kako naš rezultat radi — uključujući ono gdje je slab.

Pojavljuje li se imenovana tvrtka u odgovoru na određeno pitanje, postavljeno određenom AI sustavu, u određenom trenutku — i ako se pojavljuje, je li preporučena, tek spomenuta ili netočno opisana. Sve to ne spajamo u jednu ponderiranu ocjenu po skrivenoj formuli. Gdje prikazujemo složenu vrijednost, njezini sastavni dijelovi stoje uz nju.

Skup upita koji smo postavili za tu tvrtku i ništa šire. To je opis testnog skupa, a ne procjena onoga s čime se susreće svaki kupac na tržištu. Ne prikazujemo ga kao opću AI vidljivost, jer to nije.

Nije pokazano i to i kažemo. Formulacije dolaze iz djelatnosti i specijalnosti same tvrtke, napisane kao pitanja koja bi kupac uvjerljivo postavio, i pregledava ih čovjek. Ono što NEMAMO jesu vlastiti podaci o tome što stvarni korisnici o toj djelatnosti doista upisuju u ChatGPT — nema ih nitko izvan pružatelja modela. Profound je tome najbliži: oni licenciraju stvarne razgovore iz potrošačkih panela, a to je bolja sirovina od naše. No ovo pitanje traži kako je POKAZANO da skup upita predstavlja populaciju, a ni za to nismo našli objavljen odgovor: paneli se ne imenuju, skaliranje na populaciju opisano je samo kao statističko modeliranje, a nijedna brojka koju smo našli ne nosi granicu pogreške. U ovom pitanju oni imaju bolje podatke, a obojici nedostaje isti dokaz.

Manje nego što je sirovi broj upita, a trenutačno ne iskazujemo efektivnu veličinu uzorka koja uzima u obzir da su preformulacije jedne namjere međusobno povezane. To je stvarna rupa. Dok se ne zatvori, broj upita čitajte kao broj testova, a ne kao količinu neovisnih dokaza.

Ne ponderiraju se. Svaka formulacija broji se jednom. To je gruba odluka i ima svoju cijenu — rijetka formulacija vrijedi jednako kao komercijalno ključna — ali alternativa bi bio model ponderiranja koji ne bismo mogli potkrijepiti, a to bi proizvoljnost samo premjestilo na manje vidljivo mjesto.

Formulacije se pri prvom izvođenju bilježe uz web stranicu i pri svakom ponavljanju ZAKLJUČAVAJU, pa se drugi rezultat mjeri na istim pitanjima kao prvi. Klijent između dva izvođenja ne može potiho dodati povoljne formulacije ni izbaciti neugodne. Ako se skup formulacija namjerno promijeni, izvođenje započinje novi niz umjesto da nastavi staru liniju, i izvještaj to piše.

Samo preciznost. Više varijacija nereprezentativnog skupa daje stabilniju procjenu nereprezentativnog skupa. Broj upita ne prodajemo kao zamjenu za temeljitost.

Ne znamo. Svaku formulaciju trenutačno izvodimo jednom po analizi i nismo izmjerili raspršenost između izvođenja koja bi nam rekla je li jednom dovoljno. To je najveća rupa u našoj vlastitoj metodi i prva je na popisu za zatvaranje.

Ne računa se nikakva, jer je osmo pitanje neodgovoreno — bez izmjerene raspršenosti između izvođenja nema poštenog intervala koji bi se mogao objaviti. Dok ga nema, nijedan pomak našeg rezultata sam po sebi ne treba čitati kao značajan.

Sva. Statističkog modela nema. Radije prikazujemo sirov broj s navedenim granicama nego interval pouzdanosti koji potiho isključuje odabir upita, sastav skupa i pomicanje modela — uzak interval oko pristranog skupa samo je samouvjerenije netočan odgovor.

Nisu, i ne tretiramo ih kao da jesu. Formulacije zajedničkog podrijetla, i svaka formulacija izvedena na istom modelu istoga dana, pomiču se zajedno čim se model promijeni. Ne zbrajamo ih u količinu neovisnih dokaza.

Nije, pa ne mjerimo dnevno. Analiza je snimka trenutka, a u ugovoru o vođenju izvještava se mjesečno. Dnevna bi linija uglavnom crtala kolebanje odgovora, a graf koji se svaki dan pomiče komercijalno je koristan i metodološki prazan.

Nije potvrđena u odnosu na vanjsko mjerilo. Nemamo istraživanje koje uspoređuje naš rezultat s dolaznim prometom, konverzijama ili prisjećanjem u anketama. Mlada smo tvrtka bez takvog skupa podataka i radije to kažemo nego da citiramo tuđu potvrdu nekog drugog sustava.

Potvrde nema, dakle ne. Kad je bude, koristit će podatke koje nismo ni stvorili, ni odabrali, ni ponderirali, ni ocijenili — i objavit ćemo i negativan rezultat ako takav bude.

Jedina pretpostavka koju radimo jest da je odjavljen jednokratni upit branjiva standardizirana sonda — usporediva između izvođenja i između tvrtki, i NIJE isto što vidi prijavljen korisnik s poviješću. Vidjeti pitanje 16.

Nikako, i ne bismo ni mogli. Svaka je sonda odjavljena i u jednom potezu. To znači da je naše očitanje kontrolirano mjerenje, a ne simulacija stvarne sesije, i da je personalizacija isključen izvor pogreške, a ne modelirani. To ograničenje vrijedi za svakog ponuđača na ovom tržištu, uključujući one koji ga ne spominju.

Ništa na što bismo se oslonili, pa sintetičke persone ne koristimo. Tko u upit utipka „ja sam financijski direktor u Londonu”, time ne reproducira ni povijest računa ni lokaciju ni pamćenje; proizveo je drukčije formuliran upit. Prodavati to kao segment persone značilo bi izmisliti varijablu.

Ulazi jesu: skup formulacija je zaključan i zabilježen, pa klijent može točno ono što smo mi izveli ponoviti na istim modelima, izvan naše platforme. Ono što nismo objavili jest izmjerena stopa podudarnosti između dva mjerenja — vidjeti pitanje 8.

Nismo isti skup propustili kroz platformu konkurenta i usporedili. Bio bi to doista koristan pokus i objavili bismo ga kako god ispao.

Po modelu, jedan uz drugi. ChatGPT, Gemini, Perplexity i Google AI preglede ne prosječujemo u jedan broj, jer za težine koje bi to tražilo nemamo branjivu osnovu. Tvrtka koja je u jednom sustavu nevidljiva, a u drugom jaka ima vrlo određen problem, a prosjek skriva upravo ono na čemu se isplati raditi.

Preporuka na prvom mjestu i usputan spomen bilježe se različito i prikazuju odvojeno. Negativan spomen ne broji se kao vidljivost. Alternativni nazivi, trgovački nazivi i matična društva razrješavaju se ručno pri postavljanju i klijent ih može ispraviti. Ono što još ne radimo jest ponovni izračun povijesti kad se pravilo razrješavanja promijeni — umjesto toga izvještaj dobiva napomenu.

Jedan odgovor, jedno opažanje. Tvrtka spomenuta pet puta u jednom odgovoru broji se jednom. Nazivnik za udio glasa obuhvaća svaki brend imenovan u odgovoru, a ne samo konkurente koje je klijent odabrao — inače klijent sam sebi određuje nazivnik.

Citat je izvor koji je sustav sam prikazao — poveznica na izvor ili stavka u popisu izvora — pripisan domeni. Citate ne izvodimo zaključivanjem, URL u tekstu ne brojimo kao citat i ne prenosimo doslovno tekst iz AI pregleda kao dokaz, zbog ograničenja dobavljača oko kojega smo radije gradili nego se s njim prepirali.

Odbijanje, istek vremena ili neispravan odgovor bilježe se kao NEUSPJEH, a ne kao odsutnost brenda, i izuzimaju se iz nazivnika. Broj neuspjeha stoji u izvještaju. Brojati istek vremena kao „niste bili preporučeni” značilo bi od smetnje proizvesti pad.

Klijenti dobivaju točan skup formulacija, model i datum izvođenja, što je dovoljno da ga sami ponove. Cjeloviti neuređeni ispisi i vremenske oznake dostupni su na zahtjev, ali se još ne izvoze automatski. To bi trebao biti gumb, a ne zahtjev, i bit će.

Promjena skupa formulacija ili načina ocjenjivanja započinje novi niz umjesto da nastavi staru liniju. Povijest ne prepisujemo potiho i očitanja uzeta s dva različita instrumenta ne prikazujemo kao jedan neprekinut trend.

Nikakve. Ne tvrdimo da je promjena sadržaja izazvala pomak. Nemamo kontrolnu skupinu ni protučinjenični scenarij, pa nam ostaje samo vremenski slijed, a vremenski slijed nije uzročnost. Izvještavamo što smo napravili i kakvo je očitanje bilo poslije toga, i tako to i nazivamo.

Ne vodimo autonomne agente koji na temelju rezultata uređuju sadržaj ili stvaraju stranice. Svaku promjenu piše čovjek ili je čovjek pregleda prije objave. Ako ikad automatiziramo radnju na temelju mjerenja, prag ponavljanja, najmanja veličina učinka i obveza ljudske provjere idu u rad u isto vrijeme i vidljivi su klijentu — a ne dodaju se naknadno.

Ne znamo i nećemo tvrditi drukčije. Nismo pokazali da veće očitanje predviđa dolazni promet, popunjenost prodajnog lijevka ili prihod uz kontrolu veličine brenda. Poboljšanje rezultata trenutačno pouzdano predviđa jedno: kasnije poboljšanje rezultata.

Ne bi, i ne opisujemo je tako. To je orijentacijski alat za praćenje jednog postavljenog skupa. To ograničenje otisnuto je jednako veliko kao i sam broj — i u izvještaju i na ovoj stranici.

Bilo što od ovoga, i rekli bismo to javno: izmjerena raspršenost između izvođenja tolika da se uobičajeni pomaci ne razlikuju od šuma; stopa podudarnosti dvaju mjerenja niža od one koju bismo prihvatili od dobavljača; usporedba s drugim ponuđačima koja pokazuje da naša očitanja bitno odstupaju od dvaju drugih, a ne možemo pokazati da su naša bliža onome što korisnik vidi; ili prvo istraživanje ishoda koje ne nalazi vezu ni s čim do čega je klijentu stalo. Ako nas ništa od toga ne bi predomislilo, metoda nije ni provjeravana.