Skelbiame, kaip veikia mūsų rodiklis — įskaitant tai, kur jis silpnas.

Ar konkreti, vardu įvardyta įmonė pasirodo atsakyme į konkretų klausimą, konkrečiu metu pateiktą konkrečiai DI sistemai — ir, jei pasirodo, ar ji rekomenduojama, tik paminima, ar apibūdinama netiksliai. Mes to nesudedame į vieną svertinį rodiklį su paslėpta formule. Kur rodome sudėtinę reikšmę, jos dedamosios matomos šalia.

Užklausų rinkinį, kurį sudarėme šiai įmonei, ir nieko daugiau. Jis apibūdina bandymų rinkinį, o ne vertina tai, ką rinkoje mato kiekvienas pirkėjas. Mes jo nepateikiame kaip bendro DI matomumo, nes toks jis nėra.

Niekaip, ir mes tai pasakome. Formuluotės ateina iš pačios įmonės srities ir specializacijos, parašytos kaip klausimai, kuriuos pirkėjas tikėtinai užduotų, ir jas peržiūri žmogus. Ko mes NETURIME, tai savų stebėjimo duomenų apie tai, ką tikri naudotojai apie šią sritį iš tikrųjų surenka ChatGPT — už modelių tiekėjų ribų jų neturi niekas. Arčiausiai to yra Profound: jie licencijuoja tikrus pokalbius iš vartotojų grupių, ir tai geresnė žaliava nei mūsiškė. Tačiau šis klausimas prašo, kaip buvo ĮRODYTA, kad užklausų rinkinys atspindi visumą, ir į tai paskelbto atsakymo taip pat neradome: grupės neįvardytos, perskaičiavimas į visumą apibūdinamas tik kaip statistinis modeliavimas, o nė vienas mūsų rastas skaičius neturi paklaidos ribos. Šiuo klausimu jie turi geresnius duomenis, o mums abiem trūksta to paties pagrindimo.

Mažiau nei užklausų skaičius, ir mes šiuo metu nenurodome efektyviosios imties, kuri atsižvelgtų į tai, kad to paties ketinimo perfrazavimai tarpusavyje koreliuoja. Tai tikra spraga. Kol ji neužtaisyta, laikykite užklausų skaičių bandymų skaičiumi, o ne nepriklausomų įrodymų kiekiu.

Jos nesveriamos. Kiekviena formuluotė skaičiuojama vieną kartą. Tai grubus pasirinkimas ir jis turi savo kainą — reta formuluotė sveria tiek pat, kiek komerciškai svarbiausia — bet alternatyva būtų svorių modelis, kurio negalėtume pagrįsti, o tai savivalę tik perkeltų į mažiau matomą vietą.

Formuluotės užrašomos prie svetainės per pirmą vykdymą ir kiekvieną kartą kartojant UŽFIKSUOJAMOS, kad antrasis rodiklis būtų matuojamas tais pačiais klausimais kaip pirmasis. Klientas tarp dviejų vykdymų negali tyliai pridėti palankių formuluočių ar išbraukti nepatogių. Jei formuluočių rinkinys keičiamas sąmoningai, vykdymas pradeda naują seriją, o ne tęsia senąją liniją, ir ataskaitoje tai pasakyta.

Tik tikslumą. Daugiau nereprezentatyvaus rinkinio variantų duoda stabilesnį nereprezentatyvaus rinkinio įvertį. Mes neparduodame užklausų kiekio kaip kruopštumo pakaitalo.

Mes nežinome. Šiuo metu kiekvieną formuluotę vykdome po kartą per auditą, ir mes neišmatavome sklaidos tarp vykdymų, kuri pasakytų, ar vieno karto pakanka. Tai didžiausia skylė mūsų pačių metode, ir ji yra pirma sąraše.

Jokio neskaičiuojame, nes 8-as klausimas neatsakytas — be išmatuotos sklaidos tarp vykdymų nėra sąžiningo intervalo, kurį būtų galima paskelbti. Kol jo nėra, jokio mūsų rodiklio judesio savaime nereikėtų laikyti reikšmingu.

Visas. Statistinio modelio nėra. Mes verčiau parodysime neapdorotą skaičiavimą su įvardytomis ribomis nei pasikliovimo intervalą, kuris tyliai palieka nuošalyje užklausų parinkimą, rinkinio sudėtį ir modelio slinktį — siauras intervalas apie pakrypusį rinkinį yra tik pasitikinčiau atrodantis neteisingas atsakymas.

Ne, ir mes su jais taip nesielgiame. Bendrą kilmę turinčios formuluotės ir kiekviena formuluotė, tą pačią dieną vykdyta prieš tą patį modelį, juda kartu, kai tik modelis pasikeičia. Mes jų nesudedame į nepriklausomų įrodymų kiekį.

Jis nėra pagrįstas, todėl mes nematuojame kasdien. Auditas yra momentinis pjūvis, o nuolatinės priežiūros sutartyje atsiskaitome kas mėnesį. Kasdienė linija daugiausia atspindėtų atsakymų svyravimus, o grafikas, kuris juda kiekvieną dieną, yra komerciškai naudingas ir metodiškai tuščias.

Jis nebuvo patikrintas pagal išorinį atskaitos tašką. Neturime tyrimo, kuris lygintų mūsų rodiklį su nukreiptu srautu, sandoriais ar prisiminimu apklausose. Esame jauna įmonė be tokio duomenų rinkinio, ir mes verčiau tai pasakome, nei cituojame kieno nors kito, kitokios sistemos patikrinimą.

Patikrinimo nėra, taigi ne. Kai jis bus, jame bus naudojami duomenys, kurių patys nesukūrėme, neatrinkome, nesvėrėme ir nevertinome — ir mes paskelbsime taip pat ir neigiamą rezultatą, jei toks bus.

Vienintelė mūsų daroma prielaida yra ta, kad neprisijungus atlikta vienkartinė užklausa yra pagrįstas standartizuotas zondas — palyginamas tarp vykdymų ir tarp įmonių ir NĖRA tas pat, ką mato prisijungęs naudotojas su istorija. Žiūrėkite 16-ą klausimą.

Niekaip, ir negalėtume. Kiekvienas zondas vykdomas neprisijungus ir vienu ėjimu. Tai reiškia, kad mūsų matavimas yra kontroliuojamas matavimas, o ne tikros sesijos imitacija, ir personalizavimas yra pašalintas, o ne modeliuojamas paklaidos šaltinis. Šis apribojimas galioja kiekvienam šios rinkos tiekėjui, taip pat ir tiems, kurie jo nemini.

Nieko, kuo remtumėmės, — todėl sintetinių asmenų nenaudojame. Įrašius į užklausą „aš esu finansų direktorius Londone“, neatkuriama nei paskyros istorija, nei buvimo vieta, nei atmintis; sukuriama kitaip suformuluota užklausa. Parduoti tai kaip asmenų segmentą reikštų išsigalvoti kintamąjį.

Įvestis — taip: formuluočių rinkinys yra užfiksuotas ir užrašytas, todėl klientas gali pakartoti būtent tai, ką vykdėme, prieš tuos pačius modelius ir už mūsų platformos ribų. Ko nepaskelbėme, tai išmatuoto pakartotinio bandymo sutapimo rodiklio — žiūrėkite 8-ą klausimą.

Mes nepaleidome to paties rinkinio per konkurento platformą ir nepalyginome. Tai būtų iš tikrųjų naudingas eksperimentas, ir rezultatą paskelbtume bet kuriuo atveju.

Pagal modelį, greta. Mes nesuvidurkiname ChatGPT, Gemini, Perplexity ir Google AI atsakymų į vieną skaičių, nes tam reikalingiems svoriams neturime pagrįsto pagrindo. Įmonė, kuri vienoje sistemoje nematoma, o kitoje stipri, turi visiškai konkrečią problemą, ir vidurkinimas paslepia būtent tai, su kuo verta dirbti.

Rekomendacija pirmoje vietoje ir prabėgomis mestas paminėjimas fiksuojami skirtingai ir rodomi atskirai. Neigiamas paminėjimas matomumu nelaikomas. Alternatyvius pavadinimus, prekybinius vardus ir patronuojančias bendroves diegimo metu susieja žmogus, ir klientas gali tai pataisyti. Ko dar nedarome: neperskaičiuojame istorijos, kai susiejimo taisyklė pasikeičia — vietoj to ataskaitoje pridedame pastabą.

Vienas atsakymas, vienas stebėjimas. Įmonė, viename atsakyme paminėta penkis kartus, skaičiuojama vieną kartą. Balso dalies vardiklyje yra kiekvienas atsakyme įvardytas prekės ženklas, o ne tik tie konkurentai, kuriuos pasirinko klientas — kitaip klientas pats nusistato savo vardiklį.

Citavimas yra šaltinis, kurį pati sistema parodė — susieta nuoroda arba įrašas šaltinių sąraše —, priskirtas domenui. Mes citavimų neišvedžiojame, nelaikome citavimu tekste įrašyto adreso ir neatkartojame Google AI atsakymų teksto pažodžiui kaip įrodymo — tai tiekėjo sąlyga, kurią nusprendėme apeiti statydami, o ne ginčytis.

Atsisakymas, laiko limito viršijimas ar sugadintas atsakymas fiksuojamas kaip NEPAVYKIMAS, o ne kaip prekės ženklo nebuvimas, ir jis pašalinamas iš vardiklio. Nepavykimų skaičius pateikiamas ataskaitoje. Laikyti laiko limito viršijimą „Jūs nebuvote rekomenduoti“ reikštų iš trikdžio pagaminti kritimą.

Klientai gauna tikslų formuluočių rinkinį, modelį ir vykdymo datą — to pakanka, kad pakartotų patys. Pilnos, neredaguotos išvestys ir laiko žymos pateikiamos paprašius, bet dar nėra eksportuojamos pagal nutylėjimą. Tai turėtų būti mygtukas, o ne prašymas, ir taip bus.

Formuluočių rinkinio ar vertinimo pakeitimas pradeda naują seriją, o ne tęsia senąją liniją. Mes tyliai neperrašome istorijos ir nerodome dviem skirtingais prietaisais atliktų matavimų kaip vienos ištisinės tendencijos.

Jokie. Mes neteigiame, kad turinio pakeitimas sukėlė judesį. Neturime nei kontrolinės grupės, nei alternatyvaus scenarijaus, taigi turime tik laiko seką, o laiko seka nėra priežastingumas. Mes pranešame, ką padarėme ir koks po to buvo matavimas, ir būtent taip tai ir pavadiname.

Mes nenaudojame autonominių agentų, kurie dėl rodiklio redaguotų turinį ar kurtų puslapius. Kiekvieną pakeitimą parašo žmogus arba žmogus jį patikrina prieš paskelbiant. Jei kada nors automatizuosime veiksmą, kylantį iš matavimo, pakartojimo slenkstis, mažiausias poveikio dydis ir žmogaus peržiūros reikalavimas bus įdiegti tuo pačiu metu ir bus klientui matomi — o ne pridėti paskui.

Mes nežinome ir netvirtinsime kitaip. Mes neparodėme, kad aukštesnis matavimas prognozuoja nukreiptą srautą, pardavimų srautą ar pajamas, kai prekės ženklo dydis laikomas pastoviu. Rodiklio gerinimas šiuo metu patikimai prognozuoja vieną dalyką: vėlesnį rodiklio pagerėjimą.

Nereikėtų, ir mes jo taip neapibūdiname. Tai kryptį rodantis stebėjimo įrankis nustatytam rinkiniui. Šis apribojimas užrašytas tokiu pat šrifto dydžiu kaip ir pats skaičius — ir ataskaitoje, ir šiame puslapyje.

Bet kuris iš šių dalykų, ir mes tai pasakytume viešai: išmatuota sklaida tarp vykdymų, tokia didelė, kad įprastų judesių neįmanoma atskirti nuo triukšmo; pakartotinio bandymo sutapimo rodiklis, žemesnis už tą, kurį priimtume iš savo tiekėjo; tiekėjų palyginimas, rodantis, kad mūsų matavimai iš esmės skiriasi nuo dviejų kitų, o mes negalime parodyti, kad mūsiškiai arčiau to, ką mato naudotojas; arba pirmas rezultatų tyrimas, nerandantis ryšio su niekuo, kas klientui svarbu. Jei nė vienas iš jų mūsų nuomonės nepakeistų, metodas nebuvo išbandytas.