Avaldame, kuidas meie skoor töötab — sealhulgas selle, kus see on nõrk.

Kas nimeliselt mainitud ettevõte ilmub vastuses kindlale küsimusele, mis on kindlal ajal esitatud kindlale AI-süsteemile — ja kui ilmub, kas teda soovitatakse, ainult mainitakse või kirjeldatakse ebatäpselt. Me ei liida neid varjatud valemi abil üheks kaalutud skooriks. Kus näitame liitnäitajat, seisavad selle osad kõrval.

Promptide paneeli, mille selle ettevõtte jaoks üles seadsime, ja mitte midagi laiemat. See kirjeldab katsepaneeli ega ole hinnang sellele, mida iga turul olev ostja näeb. Me ei esita seda üldise AI-nähtavusena, sest see ei ole seda.

Ei olegi näidatud ja me ütleme seda välja. Sõnastused tulevad ettevõtte enda tegevusalast ja kitsamast erialast, kirjutatuna küsimustena, mida ostja usutavasti esitaks, ja need vaatab inimene üle. Mida meil EI ole, on omaenda vaadeldud andmed selle kohta, mida päris kasutajad selle ala kohta ChatGPT-sse kirjutavad — neid ei ole kellelgi väljaspool mudelite pakkujaid. Kõige lähemal on Profound: nemad litsentsivad päris vestlusi tarbijapaneelidest ja see on parem toormaterjal kui meie oma. See küsimus tahab aga teada, kuidas on NÄIDATUD, et promptide komplekt üldkogumit esindab, ja ka selle kohta ei leidnud me midagi avaldatut: paneele ei nimetata, üldkogumile laiendamist kirjeldatakse ainult statistilise modelleerimisena ja ükski leitud arv ei kanna veapiiri. Selles küsimuses on nende andmed paremad ja mõlemal puudub sama põhjendus.

Vähem kui promptide toorarv ja praegu me ei esita efektiivset valimimahtu, mis arvestaks, et ühe ja sama kavatsuse ümbersõnastused on omavahel korreleeritud. See on tõeline lünk. Kuni see püsib, võtke promptide arvu katsete arvuna, mitte sõltumatute tõendite hulgana.

Neid ei kaaluta. Iga sõnastus loeb ühe korra. See on jäme valik ja sellel on hind — haruldane sõnastus kaalub sama palju kui ärimõttes keskne —, aga alternatiiv oleks kaalumismudel, mida me põhjendada ei suudaks, ja see nihutaks omavoli lihtsalt vähem nähtavasse kohta.

Sõnastused salvestatakse veebilehe juurde esimesel käivitusel ja LUKUSTATAKSE igal kordusel, nii et teine skoor mõõdetakse samade küsimustega kui esimene. Klient ei saa käivituste vahel vaikselt soodsaid sõnastusi juurde panna ega ebamugavaid välja jätta. Kui sõnastuste komplekti teadlikult muudetakse, alustab käivitus uut seeriat vana joone jätkamise asemel ja raport ütleb seda.

Ainult täpsust. Mitteesindusliku paneeli suurem hulk variante annab mitteesindusliku paneeli stabiilsema hinnangu. Me ei müü promptide hulka põhjalikkuse asendajana.

Me ei tea. Praegu käivitame iga sõnastuse ühe korra auditi kohta ja me ei ole mõõtnud käivituste vahelist hajuvust, mis ütleks, kas ühest korrast piisab. See on suurim auk meie enda meetodis ja see on nimekirjas esimene.

Mitte ühtegi ei arvutata, sest küsimus 8 on vastuseta — ilma mõõdetud käivitustevahelise hajuvuseta ei ole ausat vahemikku, mida avaldada. Kuni seda ei ole, ei tohiks meie skoori ühtki liikumist iseseisvalt tähenduslikuna lugeda.

Kogu. Statistilist mudelit ei ole. Näitame pigem toorloendust koos nimetatud piiridega kui usaldusvahemikku, mis jätab vaikimisi välja promptide valiku, paneeli koosseisu ja mudelite triivi — kitsas vahemik kallutatud paneeli ümber on lihtsalt enesekindlama välimusega vale vastus.

Ei ole ja me ei kohtle neid ka nii. Ühise päritoluga sõnastused ja iga sõnastus, mis samal päeval sama mudeli vastu käib, liiguvad koos, kui mudel muutub. Me ei korruta neid sõltumatute tõendite arvuks.

Ei ole, seepärast me igapäevaselt ei mõõda. Audit on ajahetke pilt ja püsilepingu raames aruandleme kord kuus. Igapäevane joon joonistaks peamiselt vastuste hajuvust ja graafik, mis iga päev liigub, on ärilises mõttes kasulik ja metoodiliselt tühi.

Seda ei ole välise võrdlusaluse vastu valideeritud. Meil ei ole uuringut, mis võrdleks meie skoori viiteliikluse, tehingute või küsitlustes meenutamisega. Oleme noor ettevõte ja sellist andmestikku meil ei ole — ütleme seda pigem välja, kui viitaksime kellegi teise valideeringule teise süsteemi kohta.

Valideerimist ei ole, seega ei. Kui see tuleb, kasutab see andmeid, mida me ei ole loonud, valinud, kaalunud ega hinnanud — ja me avaldame ka eitava tulemuse, kui see selliseks osutub.

Ainus eeldus, mille teeme, on see, et välja logitud ühekordne päring on kaitstav standardiseeritud sond — võrreldav nii käivituste kui ka ettevõtete lõikes ja EI OLE seesama, mida näeb sisse logitud ajalooga kasutaja. Vaadake küsimust 16.

Ei arvestagi ja me ei saakski. Iga sond käib välja logituna ja ühe käiguga. See tähendab, et meie näit on kontrollitud mõõtmine, mitte päris seansi jäljendus, ja isikupärastamine on välistatud veaallikas, mitte modelleeritud. See piirang kehtib iga selle turu pakkuja kohta, ka nende kohta, kes seda ei maini.

Mitte midagi, millele me toetuksime — seepärast me sünteetilisi persoone ei kasuta. Kes kirjutab prompti „olen Londonis finantsjuht“, ei taasloo sellega konto ajalugu, asukohta ega mälu; ta loob teisiti sõnastatud prompti. Selle müümine persooni segmendina tähendaks muutuja väljamõtlemist.

Sisendid on: sõnastuste komplekt on lukustatud ja üles kirjutatud, nii et klient saab täpselt selle, mille meie käivitasime, samade mudelite vastu väljaspool meie platvormi uuesti läbi lasta. Mida me ei ole avaldanud, on mõõdetud korduskatse kokkulangevuse määr — vaadake küsimust 8.

Me ei ole sama paneeli konkurendi platvormi kaudu läbi lasknud ja võrrelnud. See oleks tõesti kasulik katse ja me avaldaksime tulemuse nii või teisiti.

Mudelite kaupa, kõrvuti. Me ei keskmista ChatGPT-d, Geminit, Perplexityt ja Google AI ülevaateid üheks arvuks, sest selleks vajalike kaalude jaoks ei ole meil kaitstavat alust. Ettevõttel, kes on ühes süsteemis nähtamatu ja teises tugev, on väga konkreetne mure, ja keskmistamine varjab just seda, mille kallal tasuks tööd teha.

Esimese koha soovitus ja möödaminnes tehtud mainimine kirjendatakse erinevalt ja näidatakse eraldi. Halvustav mainimine nähtavusena ei loe. Teisikunimed, ärinimed ja emaettevõtted seome käsitsi seadistamise ajal ja klient saab seda parandada. Mida me veel ei tee: me ei arvuta ajalugu ümber, kui seostamisreegel muutub — selle asemel lisatakse raportile märkus.

Üks vastus, üks vaatlus. Ettevõte, keda ühes vastuses viis korda nimetatakse, loeb ühe korra. Häälteosakaalu nimetaja hõlmab iga vastuses nimetatud brändi, mitte ainult neid konkurente, kelle klient välja valis — muidu määrab klient oma nimetaja ise.

Viide on allikas, mille mootor ise välja tõi — lingitud allikas või kirje allikate paneelis —, seotuna domeeniga. Me ei tuleta viiteid, me ei loe viiteks jooksvas tekstis olevat URL-i ja me ei taasesita AI ülevaadete teksti sõna-sõnalt tõendina, tarnija piirangu tõttu, millest otsustasime pigem mööda ehitada kui selle üle vaielda.

Keeldumine, ajalõpp või vigane vastus kirjendatakse TÕRKENA, mitte brändi puudumisena, ja jäetakse nimetajast välja. Tõrgete arv on raportis kirjas. Ajalõpu lugemine tähenduses „teid ei soovitatud“ meisterdaks katkestusest languse.

Kliendid saavad täpse sõnastuste komplekti, mudeli ja käivituse kuupäeva, millest piisab, et seda ise korrata. Täielikud toimetamata väljundid ja ajatemplid on saadaval soovi korral, kuid neid ei ekspordita veel vaikimisi. See peaks olema nupp, mitte päring, ja saabki olema.

Sõnastuste komplekti või hindamise muutus alustab uut seeriat vana joone jätkamise asemel. Me ei kirjuta ajalugu vaikselt ümber ega esita kahe eri riistaga võetud näite ühe pideva kulgemisena.

Mitte ühtegi. Me ei väida, et sisumuudatus põhjustas liikumise. Meil ei ole kontrollrühma ega vastandstsenaariumi, nii et alles jääb ajaline järgnevus, ja ajaline järgnevus ei ole põhjuslikkus. Me anname teada, mida tegime ja milline oli näit pärast seda, ja märgistame selle täpselt nõnda.

Me ei pea autonoomseid agente, kes skoori põhjal sisu muudaksid või lehti looksid. Iga muudatuse kirjutab inimene või vaatab inimene selle enne avaldamist üle. Kui me kunagi automatiseerime mõõtmisest lähtuva teo, lähevad korduvuse lävi, minimaalne mõju suurus ja inimkontrolli nõue käiku samal ajal ning on kliendile nähtavad — mitte hiljem juurde pandud.

Me ei tea ja me ei väida vastupidist. Me ei ole näidanud, et kõrgem näit ennustaks viiteliiklust, müügitoru või käivet, kui brändi suurust muutumatuna hoida. Skoori parandamine ennustab praegu usaldusväärselt üht asja: skoori hilisemat paranemist.

Ei peakski ja me ei kirjelda seda niimoodi. See on suunda näitav jälgimisvahend seadistatud paneeli jaoks. See piirang on trükitud sama suure kirjaga kui arv ise — nii raportis kui ka sellel lehel.

Ükskõik milline neist, ja me ütleksime seda avalikult: mõõdetud käivitustevaheline hajuvus, mis on nii suur, et tavalisi liikumisi ei saa mürast eristada; korduskatse kokkulangevuse määr, mis jääb alla selle, mida me tarnijalt vastu võtaksime; pakkujatevaheline võrdlus, mis näitab, et meie näidud lahknevad oluliselt kahest teisest ja me ei suuda näidata, et meie omad on lähemal sellele, mida kasutaja näeb; või esimene tulemusuuring, mis ei leia seost millegagi, mis kliendile korda läheb. Kui miski neist meie meelt ei muudaks, ei ole meetodit proovile pandud.