Mēs publicējam, kā darbojas mūsu rādītājs — arī tur, kur tas ir vājš.

Vai konkrēts, vārdā nosaukts uzņēmums parādās atbildē uz konkrētu jautājumu, kas konkrētā brīdī uzdots konkrētai MI sistēmai — un, ja parādās, vai tas tiek ieteikts, tikai pieminēts vai aprakstīts neprecīzi. Mēs to nesaliekam vienā svērtā rādītājā ar apslēptu formulu. Kur rādām saliktu vērtību, tās sastāvdaļas ir redzamas blakus.

Uzvedņu kopumu, ko esam iestatījuši šim uzņēmumam, un neko plašāku. Tas apraksta testa kopumu, nevis novērtē to, ko ieraugot katrs pircējs tirgū. Mēs to nepasniedzam kā vispārīgu MI redzamību, jo tāda tā nav.

Nekā, un mēs to arī sakām. Formulējumi nāk no paša uzņēmuma nozares un specializācijas, uzrakstīti kā jautājumi, ko pircējs varētu ticami uzdot, un tos pārskata cilvēks. Kā mums NAV, tie ir pašu savākti novērojumu dati par to, ko īsti lietotāji par šo nozari tiešām ieraksta ChatGPT — ārpus modeļu piegādātājiem to nav nevienam. Vistuvāk tam ir Profound: viņi licencē īstas sarunas no patērētāju paneļiem, un tā ir labāka izejviela nekā mūsējā. Taču šis jautājums prasa, kā tika PIERĀDĪTS, ka uzvedņu kopums pārstāv kopumu, un arī uz to publicētu atbildi neatradām: paneļi nav nosaukti, pārrēķins uz kopumu ir aprakstīts vien kā statistiska modelēšana, un nevienam skaitlim, ko atradām, nav kļūdas robežas. Šajā jautājumā viņiem ir labāki dati, un mums abiem trūkst tā paša pamatojuma.

Mazāk nekā uzvedņu skaits, un mēs pašlaik nenorādām efektīvo izlases lielumu, kas ņemtu vērā, ka viena nolūka pārfrāzējumi savstarpēji korelē. Tas ir īsts robs. Kamēr tas nav aizvērts, uztveriet uzvedņu skaitu kā testu skaitu, nevis kā neatkarīgu pierādījumu daudzumu.

Tās netiek svērtas. Katrs formulējums skaitās vienreiz. Tā ir rupja izvēle, un tai ir sava cena — rets formulējums skaitās tikpat, cik komerciāli galvenais —, taču alternatīva būtu svēruma modelis, ko nespētu pamatot, un tas patvaļu pārvietotu vien uz mazāk pamanāmu vietu.

Formulējumi tiek pierakstīti pie vietnes pirmajā izpildē un katrā atkārtojumā FIKSĒTI, lai otro rādītāju mērītu ar tiem pašiem jautājumiem, ar kuriem pirmo. Klients starp divām izpildēm nevar klusi pievienot izdevīgus formulējumus vai izņemt neērtos. Ja formulējumu kopumu maina apzināti, izpilde sāk jaunu sēriju, nevis turpina veco līniju, un atskaitē tas ir pateikts.

Tikai precizitāti. Vairāk variāciju nereprezentatīvam kopumam dod stabilāku novērtējumu nereprezentatīvam kopumam. Mēs nepārdodam uzvedņu daudzumu kā rūpības aizstājēju.

Mēs nezinām. Pašlaik katru formulējumu izpildām reizi auditā, un mēs neesam izmērījuši izkliedi starp izpildēm, kas pateiktu, vai ar vienu reizi pietiek. Tas ir lielākais caurums mūsu pašu metodē, un tas ir pirmais sarakstā.

Neviena netiek aprēķināta, jo 8. jautājums nav atbildēts — bez izmērītas izkliedes starp izpildēm nav godīga intervāla, ko publicēt. Kamēr tāda nav, nevienu mūsu rādītāja kustību pašu par sevi nevajadzētu lasīt kā nozīmīgu.

Visa. Statistiska modeļa nav. Mēs labāk rādīsim neapstrādātu skaitījumu ar nosauktām robežām nekā ticamības intervālu, kas klusi izslēdz uzvedņu izvēli, kopuma sastāvu un modeļa novirzi — šaurs intervāls ap nobīdītu kopumu ir tikai pašpārliecinātāk izskatīga nepareiza atbilde.

Nav, un mēs pret tiem arī tā neizturamies. Formulējumi ar kopīgu izcelsmi un katrs formulējums, kas vienā dienā izpildīts pret vienu modeli, kustas kopā, tiklīdz modelis mainās. Mēs tos nesaskaitām kopā kā neatkarīgu pierādījumu daudzumu.

Tas nav pamatots, tāpēc mēs nemērām katru dienu. Audits ir momentuzņēmums, un pastāvīgas apkalpošanas līgumā atskaitāmies reizi mēnesī. Ikdienas līnija galvenokārt attēlotu atbilžu svārstības, un grafiks, kas kustas katru dienu, ir komerciāli noderīgs un metodiski tukšs.

Tā nav validēta pret ārēju atskaites punktu. Mums nav pētījuma, kas salīdzinātu mūsu rādītāju ar novirzīto apmeklējumu, darījumiem vai atsaucamību aptaujās. Mēs esam jauns uzņēmums bez šādas datu kopas, un mēs to labāk pasakām, nekā citējam kādu citu sistēmu validāciju.

Validācijas nav, tātad nē. Kad tā būs, tajā izmantos datus, ko neesam paši radījuši, atlasījuši, svēruši vai novērtējuši — un mēs publicēsim arī negatīvu rezultātu, ja tāds būs.

Vienīgais pieņēmums, ko izdarām, ir tāds, ka nepieteicies, vienreizējs vaicājums ir aizstāvams standartizēts zondējums — salīdzināms starp izpildēm un starp uzņēmumiem un NAV tas pats, ko redz pieteicies lietotājs ar vēsturi. Skatiet 16. jautājumu.

Nekādi, un nevarētu arī. Katrs zondējums notiek nepieteicoties un vienā gājienā. Tas nozīmē, ka mūsu mērījums ir kontrolēts mērījums, nevis īstas sesijas atdarinājums, un personalizācija ir izslēgts, nevis modelēts kļūdas avots. Šis ierobežojums attiecas uz katru šī tirgus piegādātāju, arī uz tiem, kas to nepiemin.

Neko, uz ko mēs paļautos, — tāpēc sintētiskas personas neizmantojam. Ierakstot uzvednē „es esmu finanšu direktors Londonā“, jūs neatveidojat ne konta vēsturi, ne atrašanās vietu, ne atmiņu; jūs izveidojat citādi formulētu uzvedni. Pārdot to kā personu segmentu nozīmētu izdomāt mainīgo.

Ievaddati ir: formulējumu kopums ir fiksēts un pierakstīts, tāpēc klients var atkārtot tieši to, ko izpildījām, pret tiem pašiem modeļiem un ārpus mūsu platformas. Ko neesam publicējuši, ir izmērīts atkārtotā testa saskaņas rādītājs — skatiet 8. jautājumu.

Mēs neesam izlaiduši to pašu kopumu caur konkurenta platformu un salīdzinājuši. Tas būtu patiešām noderīgs eksperiments, un rezultātu mēs publicētu jebkurā gadījumā.

Pa modeļiem, blakus. Mēs nesavienojam ChatGPT, Gemini, Perplexity un Google AI atbildes vienā skaitlī, jo tam vajadzīgajiem svariem mums nav aizstāvama pamata. Uzņēmumam, kas vienā sistēmā ir neredzams, bet citā spēcīgs, ir pavisam konkrēta problēma, un vidējošana noslēpj tieši to, ar ko būtu vērts strādāt.

Ieteikums pirmajā vietā un garāmejošs pieminējums tiek fiksēti atšķirīgi un rādīti atsevišķi. Negatīvs pieminējums nav redzamība. Alternatīvos nosaukumus, komercnosaukumus un mātesuzņēmumus iestatīšanas laikā sasaista cilvēks, un klients to var izlabot. Ko vēl nedarām: nepārrēķinām vēsturi, kad sasaistes noteikums mainās — tā vietā atskaitē pievienojam piezīmi.

Viena atbilde, viens novērojums. Uzņēmums, kas vienā atbildē nosaukts piecas reizes, skaitās vienu reizi. Balss daļas saucējā ir katrs atbildē nosauktais zīmols, nevis tikai tie konkurenti, kurus klients izvēlējies — citādi klients pats nosaka savu saucēju.

Citāts ir avots, ko sistēma pati parādījusi — saistīts avots vai ieraksts avotu sarakstā —, attiecināts uz domēnu. Mēs citātus neizsecinām, mēs neskaitām par citātu tekstā ierakstītu saiti, un mēs neatveidojam Google AI atbilžu tekstu burtiski kā pierādījumu — tas ir piegādātāja nosacījums, ap kuru mēs izvēlējāmies apbūvēt, nevis strīdēties.

Atteikums, noildze vai bojāta atbilde tiek fiksēta kā NEIZDOŠANĀS, nevis kā zīmola prombūtne, un tā tiek izņemta no saucēja. Neizdošanos skaits parādās atskaitē. Skaitīt noildzi kā „jūs netikāt ieteikts“ nozīmētu no traucējuma izgatavot kritumu.

Klienti saņem precīzu formulējumu kopumu, modeli un izpildes datumu — ar to pietiek, lai atkārtotu pašiem. Pilnas, nerediģētas izvades un laika zīmogi ir pieejami pēc pieprasījuma, bet vēl netiek eksportēti pēc noklusējuma. Tai vajadzētu būt pogai, nevis pieprasījumam, un tā arī būs.

Izmaiņas formulējumu kopumā vai vērtēšanā sāk jaunu sēriju, nevis turpina veco līniju. Mēs klusi nepārrakstām vēsturi un nerādām ar diviem dažādiem instrumentiem iegūtus mērījumus kā vienu nepārtrauktu tendenci.

Nekādi. Mēs neapgalvojam, ka satura izmaiņas izraisīja kustību. Mums nav ne kontrolgrupas, ne pretfaktiska scenārija, tāpēc mums ir tikai laika secība, un laika secība nav cēloņsakarība. Mēs ziņojam, ko darījām un kāds pēc tam bija mērījums, un tieši tā arī to nosaucam.

Mēs nedarbinām autonomus aģentus, kas rādītāja dēļ rediģētu saturu vai veidotu lapas. Katru izmaiņu uzraksta cilvēks vai cilvēks to pārbauda, pirms tā aiziet publiskajā vidē. Ja mēs jebkad automatizēsim darbību, kas izriet no mērījuma, atkārtojuma slieksnis, minimālais efekta lielums un cilvēka pārbaudes prasība tiks ieviesti tajā pašā brīdī un būs klientam redzami — nevis pievienoti pēc tam.

Mēs nezinām un neapgalvosim pretējo. Mēs neesam parādījuši, ka augstāks mērījums paredz novirzīto apmeklējumu, pārdošanas plūsmu vai apgrozījumu, ja zīmola lielums tiek turēts nemainīgs. Rādītāja uzlabošana pašlaik droši paredz vienu lietu: vēlāku rādītāja uzlabošanos.

Nevajadzētu, un mēs to arī tā neaprakstām. Tas ir virzienu rādošs novērošanas instruments iestatītam kopumam. Šis ierobežojums ir uzrakstīts tikpat lielā burtu izmērā kā pats skaitlis — gan atskaitē, gan šajā lapā.

Jebkurš no šiem, un mēs to pateiktu publiski: izmērīta izkliede starp izpildēm, kas ir tik liela, ka parastas kustības nav atšķiramas no trokšņa; atkārtotā testa saskaņas rādītājs, zemāks par to, ko pieņemtu no sava piegādātāja; piegādātāju salīdzinājums, kas rāda, ka mūsu mērījumi būtiski atšķiras no diviem citiem, un mēs nespējam parādīt, ka mūsējie ir tuvāk tam, ko redz lietotājs; vai pirmais iznākuma pētījums, kas neatrod saistību ne ar ko, kas klientam rūp. Ja neviens no tiem mūsu domas nemainītu, metode nav pārbaudīta.