Við birtum hvernig einkunnin okkar virkar — líka þar sem hún er veik.

Hvort nafngreint fyrirtæki birtist í svari við tiltekinni spurningu, sem lögð er fyrir tiltekið gervigreindarkerfi á tilteknum tíma — og ef það birtist, hvort mælt er með því, það aðeins nefnt eða því lýst ranglega. Við steypum þessu ekki saman í eina vegna einkunn með falinni formúlu. Þar sem við sýnum samsetta tölu standa þættirnir við hliðina á henni.

Fyrirspurnahópinn sem við settum upp fyrir það fyrirtæki, og ekkert umfram það. Þetta er lýsing á prófunarhópi, ekki mat á því sem hver kaupandi á markaðnum sér. Við setjum hana ekki fram sem almennan sýnileika í gervigreind, því það er hún ekki.

Það var ekki gert, og við segjum það. Orðalagið kemur úr atvinnugrein og sérsviði fyrirtækisins sjálfs, skrifað sem spurningar sem kaupandi gæti með góðu móti spurt, og manneskja fer yfir þær. Það sem við höfum EKKI eru okkar eigin athugunargögn um hvað raunverulegir notendur slá inn í ChatGPT um þessa grein — þau á enginn utan þeirra sem smíða líkönin. Profound kemst næst því: þeir kaupa leyfi fyrir raunverulegum samtölum úr neytendahópum, og það er betra hráefni en okkar. En þessi spurning snýst um hvernig SÝNT var fram á að fyrirspurnasett standi fyrir þýðið, og birt svar við því fundum við ekki hjá þeim heldur: hóparnir eru ekki nafngreindir, uppreikningi yfir á þýðið er aðeins lýst sem tölfræðilegri líkanagerð, og engin talan sem við fundum ber vikmörk. Í þessari spurningu hafa þeir betri gögnin, og okkur báða vantar sömu röksemdafærsluna.

Færri en hrár fjöldi fyrirspurna, og við birtum sem stendur ekkert mat á virkri úrtaksstærð sem leiðréttir fyrir því að umorðanir á sama erindi eru innbyrðis tengdar. Þetta er raunverulegt gat. Þar til því er lokað skal líta á fjölda fyrirspurna sem fjölda prófana, ekki sem magn óháðra gagna.

Þær fá ekkert vægi. Hvert orðalag telur einu sinni. Það er grófur kostur og hann hefur sinn kostnað — sjaldgæft orðalag telur jafnmikið og orðalag sem skiptir viðskiptalega mestu — en valkosturinn er vægislíkan sem við gætum ekki rökstutt, og það myndi aðeins færa geðþóttann á stað þar sem hann sæist síður.

Orðalagið er skráð á vefinn í fyrstu keyrslu og LÆST í hverri endurtekningu, svo að seinni einkunnin sé mæld á sömu spurningum og sú fyrri. Viðskiptavinur getur ekki hljóðlega bætt við hagstæðu orðalagi eða fellt út óþægilegt milli keyrslna. Sé orðalagssettinu breytt af ásettu ráði hefur keyrslan nýja röð í stað þess að framlengja þá gömlu, og skýrslan segir það.

Aðeins nákvæmni. Fleiri tilbrigði við hóp sem er ekki lýsandi gefa stöðugra mat á hópi sem er ekki lýsandi. Við seljum ekki fjölda fyrirspurna sem staðgengil fyrir vandvirkni.

Við vitum það ekki. Við keyrum hvert orðalag einu sinni í hverri úttekt eins og er, og við höfum ekki mælt breytileikann milli keyrslna sem segði okkur hvort einu sinni sé nóg. Þetta er stærsta gatið í okkar eigin aðferð og það er efst á listanum yfir það sem á að loka.

Engin er reiknuð, því spurningu 8 er ósvarað — án mælds breytileika milli keyrslna er ekkert heiðarlegt öryggisbil til að birta. Þar til það er til á engin hreyfing í einkunninni okkar að teljast marktæk ein og sér.

Öll. Það er ekkert tölfræðilíkan. Við sýnum frekar hráa talningu með takmörkin sögð upphátt en öryggisbil sem skilur þegjandi eftir val á fyrirspurnum, samsetningu hópsins og rek líkananna — þröngt bil utan um skakkan hóp er bara rangt svar sem lítur sjálfsöruggara út.

Nei, og við meðhöndlum þær ekki eins og þær séu það. Orðalag sem á sér sameiginlegan uppruna, og hvert orðalag sem keyrt er á sama líkan sama dag, hreyfist saman þegar líkanið breytist. Við margföldum þær ekki upp í magn óháðra gagna.

Hún er það ekki, svo við mælum ekki daglega. Úttektin er lestur á einum tímapunkti og í föstum samningi er skilað mánaðarlega. Dagleg lína myndi að mestu teikna upp breytileika svaranna, og graf sem hreyfist á hverjum degi er viðskiptalega gagnlegt og aðferðafræðilega tómt.

Hún hefur ekki verið sannreynd gagnvart ytri viðmiðun. Við eigum enga rannsókn sem ber einkunnina okkar saman við umferð af tilvísunum, sölu eða minni í könnunum. Við erum ungt fyrirtæki án slíkra gagna, og við segjum það frekar en að vitna í sannprófun annarra á öðru kerfi.

Það er engin sannprófun, svo nei. Þegar hún kemur mun hún nota gögn sem við hvorki bjuggum til, völdum, vógum né gáfum einkunn — og við birtum líka neikvæðu niðurstöðuna, reynist hún neikvæð.

Eina forsendan sem við gefum okkur er að útskráð fyrirspurn í einni umferð sé verjandi stöðluð könnun — samanburðarhæf milli keyrslna og milli fyrirtækja, og EKKI það sama og innskráður notandi með sögu sér. Sjá spurningu 16.

Það gerum við ekki, og við gætum það ekki. Hver könnun er útskráð og í einni umferð. Það þýðir að lesturinn okkar er stýrð mæling en ekki eftirlíking af raunverulegri lotu, og að persónusnið er villuvaldur sem er skilinn eftir fremur en tekinn inn í líkan. Þessi takmörkun á við um alla söluaðila á þessum markaði, líka þá sem nefna hana ekki.

Ekkert sem við myndum reiða okkur á, og þess vegna notum við ekki tilbúnar persónur. Að slá inn „ég er fjármálastjóri í Reykjavík“ í fyrirspurn endurskapar hvorki reikningssögu, staðsetningu né minni; það gefur öðruvísi orðaða fyrirspurn. Að selja það sem persónuhluta markaðar væri að finna upp breytu.

Inntakið er það: orðalagssettið er læst og skráð, svo viðskiptavinur getur keyrt nákvæmlega það sem við keyrðum, á sömu líkön, utan kerfisins okkar. Það sem við höfum ekki birt er mælt samræmi milli endurtekinna prófana — sjá spurningu 8.

Við höfum ekki keyrt sama hópinn í gegnum kerfi keppinautar og borið saman. Það væri raunverulega gagnleg tilraun og við myndum birta hana hver sem niðurstaðan yrði.

Eftir líkani, hlið við hlið. Við steypum ChatGPT, Gemini, Perplexity og Google AI Overviews ekki saman í eina tölu, því við höfum engan verjandi grunn fyrir því vægi sem það krefðist. Fyrirtæki sem er ósýnilegt í einu og sterkt í öðru á sér tiltekið vandamál, og meðaltal felur einmitt það sem vert er að bregðast við.

Meðmæli í fyrsta sæti og umfjöllun í framhjáhlaupi eru skráð sitt í hvoru lagi og sýnd sitt í hvoru lagi. Neikvæð umfjöllun telst ekki sýnileiki. Samheiti, skráð heiti og móðurfélög eru leyst handvirkt við uppsetningu og viðskiptavinur getur leiðrétt þau. Það sem við gerum ekki enn er að endurreikna söguna þegar slíkri reglu er breytt — í staðinn fær skýrslan athugasemd.

Eitt svar, ein athugun. Fyrirtæki sem nefnt er fimm sinnum í sama svari telst einu sinni. Nefnarinn í hlutdeild umfjöllunar byggir á hverju vörumerki sem nefnt er í svarinu, ekki bara þeim keppinautum sem viðskiptavinurinn valdi — annars setur viðskiptavinurinn sinn eigin nefnara.

Tilvitnun er heimild sem vélin sjálf dró fram — tengd heimild eða færsla í heimildaglugga — eignuð léninu. Við ályktum ekki um tilvitnanir, við teljum ekki hreina slóð í meginmáli sem tilvitnun, og við endurbirtum ekki texta úr AI Overviews orðrétt sem gögn, vegna takmörkunar frá birgi sem við kusum að byggja í kringum frekar en að þræta um.

Synjun, tímamörk eða gallað svar er skráð sem VILLA, ekki sem fjarvera vörumerkisins, og haldið utan nefnarans. Fjöldi villna kemur fram í skýrslunni. Að telja tímamörk sem „ekki var mælt með þér“ væri að búa til afturför úr rekstrartruflun.

Viðskiptavinir fá nákvæmlega orðalagssettið, líkanið og keyrsludaginn, og það nægir til að keyra þetta aftur sjálfir. Óklippt svör í heild og tímastimplar fást sé eftir því leitað en eru ekki flutt út sjálfkrafa enn. Það á að vera hnappur en ekki beiðni, og það verður það.

Breyting á orðalagssettinu eða á einkunnagjöfinni hefur nýja röð í stað þess að framlengja þá gömlu. Við endurskrifum ekki söguna hljóðlega, og við setjum ekki fram lestra sem teknir eru með tveimur ólíkum mælitækjum sem eina samfellda þróun.

Engar. Við höldum því ekki fram að breyting á efni hafi valdið hreyfingu. Við höfum hvorki samanburðarhóp né gagnstæða sviðsmynd, svo tímaröð er allt sem við höfum, og tímaröð er ekki orsök. Það sem við segjum frá er hvað við gerðum og hver lesturinn var á eftir, merkt nákvæmlega sem það.

Við rekum enga sjálfstæða gerendur sem breyta efni eða búa til síður út frá einkunn. Hver breyting er skrifuð af manneskju eða yfirfarin af manneskju áður en hún fer út. Sjálfvirkjum við einhvern tíma aðgerð út frá mælingu, þá koma endurtekningarþröskuldurinn, lágmarksáhrifastærðin og krafan um yfirferð manneskju á sama tíma og verða sýnileg viðskiptavininum — ekki bætt við eftir á.

Við vitum það ekki, og við munum ekki halda öðru fram. Við höfum ekki sýnt fram á að hærri lestur spái fyrir um umferð af tilvísunum, söluferli eða veltu þegar leiðrétt er fyrir stærð vörumerkis. Að bæta einkunnina spáir í dag áreiðanlega fyrir um eitt: síðari bætingu á einkunninni.

Það ætti ekki að gera, og við lýsum honum ekki þannig. Hann er leiðbeinandi eftirlitstæki fyrir uppsettan hóp. Sú takmörkun er prentuð í sömu leturstærð og talan, bæði í skýrslunni og á þessari síðu.

Hvað sem er af þessu, og við myndum segja frá því opinberlega: mældur breytileiki milli keyrslna sem er svo mikill að ekki er hægt að greina venjulegar hreyfingar frá suði; samræmi milli endurtekinna prófana undir því sem við myndum sætta okkur við frá birgi; samanburður þvert á söluaðila sem sýnir að lestrarnir okkar víkja verulega frá tveimur öðrum án þess að við getum sýnt að okkar séu nær því sem notandi sér; eða fyrsta útkomurannsóknin sem finnur engin tengsl við neitt sem viðskiptavinur lætur sig varða. Ef ekkert af þessu fengi okkur til að skipta um skoðun hefur aðferðin ekki verið prófuð.