Публикуваме как работи оценката ни — включително къде е слаба.

Дали поименно назована фирма се появява в отговора на конкретен въпрос, зададен на конкретна AI система в конкретен момент — и ако се появява, дали е препоръчана, само спомената, или описана неточно. Не сливаме тези неща в една претеглена оценка със скрита формула. Където показваме съставен показател, компонентите му стоят до него.

Панелът от промпти, който сме настроили за тази фирма, и нищо по-широко. Това е описание на тестов панел, а не оценка на това, което среща всеки купувач на даден пазар. Не го представяме като обща AI видимост, защото не е.

Не е доказано и го казваме. Формулировките идват от собствения бранш и специалност на фирмата, написани като въпросите, които купувач правдоподобно би задал, и се преглеждат от човек. Това, което НЯМАМЕ, са собствени наблюдавани данни какво реалните потребители наистина пишат в ChatGPT за този бранш — извън доставчиците на модели никой няма такива. Profound са най-близо — те лицензират реални разговори от потребителски панели, което е по-добра суровина от нашата. Но този въпрос пита как е ДОКАЗАНО, че даден набор промпти представя съвкупността, и такъв публикуван отговор не намерихме и при тях: панелите не са назовани, мащабирането до съвкупността е описано само като статистическо моделиране, а нито едно число, което открихме, не носи допустима грешка. По този въпрос те имат по-добрите данни, а на двама ни липсва едно и също обосноваване.

По-малко от чистия брой промпти и в момента не отчитаме ефективен размер на извадката, коригиран с това, че перифразите на едно и също намерение са корелирани. Това е реална дупка. Докато не бъде запушена, приемайте броя промпти за брой тестове, а не за количество независими доказателства.

Не се претеглят. Всяка формулировка се брои веднъж. Това е грубо решение и си има цена — рядка формулировка тежи колкото търговски централна — но алтернативата е модел за претегляне, който не бихме могли да обосновем, а той просто би преместил произвола на по-невидимо място.

Формулировките се записват към сайта при първото изпълнение и се ЗАКЛЮЧВАТ при всяко повторение, така че втората оценка се мери спрямо същите въпроси като първата. Клиентът не може тихомълком да добави удобни формулировки или да махне неудобни между две изпълнения. Ако наборът формулировки бъде променен нарочно, изпълнението започва нова редица, вместо да продължи старата линия, и докладът го казва.

Само точността. Повече вариации на непредставителен панел дават по-стабилна оценка на непредставителен панел. Не продаваме обема промпти като заместител на строгостта.

Не знаем. В момента изпълняваме всяка формулировка веднъж на одит и не сме измерили разсейването между отделните изпълнения, което би ни казало дали веднъж е достатъчно. Това е най-голямата дупка в собствения ни метод и е първа в списъка за запушване.

Не се изчислява такава, защото въпрос 8 остава без отговор — без измерено разсейване между изпълненията няма честен интервал, който да публикуваме. Докато няма, никое движение на оценката ни не бива да се чете като значимо само по себе си.

Цялата. Няма статистически модел. Предпочитаме да покажем сурово преброяване с назовани граници, отколкото доверителен интервал, който тихо изключва подбора на промпти, състава на панела и дрейфа на моделите — тесен интервал около изкривен панел е просто по-самоуверено изглеждащ грешен отговор.

Не са и не ги третираме така. Формулировки с общ произход, както и всяка формулировка, изпълнена срещу същия модел в същия ден, се движат заедно, когато моделът се промени. Не ги умножаваме до количество независими доказателства.

Не е, затова не измерваме всеки ден. Одитът е моментна снимка, а при абонамент отчитаме месечно. Ежедневна линия би чертала предимно разсейването на отговорите, а графика, която се движи всеки ден, е търговски полезна и методологично празна.

Не е валидирана спрямо външен еталон. Нямаме изследване, което да сравнява оценката ни с реферален трафик, реализации или разпознаваемост от анкети. Млада компания сме и нямаме такъв набор от данни, и предпочитаме да го кажем, вместо да цитираме чужда валидация на друга система.

Няма валидация, така че не. Когато има, ще използва данни, които не сме генерирали, подбрали, претеглили или оценили — и ще публикуваме отрицателния резултат, ако той се окаже такъв.

Единственото допускане, което правим, е че заявка без вписан профил, зададена еднократно, е защитима стандартизирана сонда — сравнима между изпълнения и между фирми, и НЕ е същото като това, което вижда вписан потребител с история. Вижте въпрос 16.

Не ги отчитаме и не бихме могли. Всяка сонда е без вписване и с един ход. Това означава, че отчитането ни е контролирано измерване, а не симулация на реална сесия, и персонализацията е изключен източник на грешка, а не моделиран. Това ограничение важи за всеки доставчик на този пазар, включително за онези, които не го споменават.

Нищо, на което бихме заложили, и затова не използваме синтетични персони. Да напишете „аз съм финансов директор в Лондон“ в промпт не възпроизвежда история на акаунта, местоположение или памет; произвежда просто различно формулиран промпт. Да го продаваме като сегмент от персони би било измисляне на променлива.

Входните данни са: наборът формулировки е заключен и записан, така че клиентът може да изпълни точно това, което изпълнихме ние, срещу същите модели и извън нашата платформа. Това, което не сме публикували, е измерена степен на съвпадение между тест и повторен тест — вижте въпрос 8.

Не сме пускали същия панел през платформа на конкурент, за да сравним. Това би бил наистина полезен експеримент и бихме публикували резултата и в двата случая.

По модел, един до друг. Не осредняваме ChatGPT, Gemini, Perplexity и Google AI Overviews в едно число, защото нямаме защитима основа за тежестите, които това би изисквало. Фирма, невидима в един модел и силна в друг, има конкретен проблем, а осредняването скрива точно това, по което си струва да се действа.

Препоръката на първо място и мимоходното споменаване се записват различно и се показват отделно. Отрицателното споменаване не се брои за видимост. Псевдоними, търговски имена и компании майки се съотнасят ръчно при настройката и клиентът може да ги поправи. Това, което още не правим, е да преизчисляваме историята, когато правило за съотнасяне се промени — вместо това докладът получава бележка.

Един отговор, едно наблюдение. Фирма, назована пет пъти в един отговор, се брои веднъж. Знаменателите за дял от гласа използват всяка марка, назована в отговора, а не само конкурентите, които клиентът е избрал — иначе клиентът си определя сам знаменателя.

Цитиране е източник, който самата система е показала — свързан източник или запис в панел с източници — приписан на домейна. Не извеждаме цитирания по презумпция, не броим URL адрес в текста за цитиране и не възпроизвеждаме дословно текст от AI Overview като доказателство, заради ограничение на доставчика, около което избрахме да построим, вместо да спорим с него.

Отказ, изтекло време или деформиран отговор се записват като НЕУСПЕХ, а не като отсъствие на марката, и се изключват от знаменателя. Броят неуспехи се вижда в доклада. Да броим изтекло време като „не Ви препоръчаха“ би произвело спад от техническа авария.

Клиентите получават точния набор формулировки, модела и датата на изпълнение, което е достатъчно, за да го изпълнят сами. Пълните нередактирани отговори и времевите отпечатъци се предоставят при поискване, но още не се експортират по подразбиране. Това трябва да е бутон, а не молба, и ще стане.

Промяна в набора формулировки или в оценяването започва нова редица, вместо да продължи старата линия. Не преразказваме мълчаливо историята и не представяме отчитания, направени с два различни инструмента, като един непрекъснат тренд.

Никакви. Не твърдим, че промяна в съдържанието е причинила движение. Нямаме контролна група и няма как да проверим какво би станало иначе, така че разполагаме само с последователност във времето, а последователността във времето не е причинност. Отчитаме какво направихме и какво беше отчитането след това, обозначено точно като това.

Не пускаме автономни агенти, които редактират съдържание или създават страници заради някаква оценка. Всяка промяна се пише от човек или се преглежда от човек, преди да влезе в сила. Ако някога автоматизираме действие въз основа на измерване, прагът за повторение, минималният размер на ефекта и изискването за човешки преглед ще влязат в сила едновременно с него и ще бъдат видими за клиента — а не добавени след това.

Не знаем и няма да твърдим друго. Не сме доказали, че по-високо отчитане предсказва реферален трафик, поръчки или приход при контрол за размера на марката. Подобряването на оценката засега предсказва надеждно едно нещо: по-нататъшно подобряване на оценката.

Не бива и не го описваме така. Той е инструмент за наблюдение на посоката при настроен панел. Това ограничение е отпечатано със същия размер като самото число — и в доклада, и на тази страница.

Всяко от следните, и бихме го казали публично: измерено разсейване между изпълненията, толкова голямо, че обичайните движения да не се различават от шума; степен на съвпадение между тест и повторен тест под тази, която бихме приели от доставчик; сравнение между доставчици, показващо, че отчитанията ни се разминават съществено с други две, без да можем да покажем, че нашето е по-близо до видяното от потребителя; или първо изследване на резултата, което не открива връзка с нищо, което вълнува клиента. Ако нищо от това не би променило мнението ни, методът не е бил изпитан.