Publikujemy, jak działa nasz wskaźnik — także tam, gdzie jest słaby.

Czy wskazana z nazwy firma pojawia się w odpowiedzi na konkretne pytanie, zadane konkretnemu systemowi AI w konkretnym momencie — a jeśli się pojawia, to czy jest polecana, tylko wspomniana, czy opisana nieprawidłowo. Nie łączymy tego w jeden ważony wskaźnik o ukrytej formule. Tam, gdzie pokazujemy wartość złożoną, obok niej widać jej składniki.

Panel promptów, który skonfigurowaliśmy dla tej firmy, i nic ponadto. To opis panelu testowego, a nie szacunek tego, z czym styka się każdy nabywca na rynku. Nie przedstawiamy go jako ogólnej widoczności w AI, bo nią nie jest.

Nie wykazano, i mówimy to wprost. Sformułowania pochodzą z branży i specjalizacji samej firmy, spisane jako pytania, które nabywca mógłby realnie zadać, i sprawdza je człowiek. Czego NIE mamy, to własnych danych obserwacyjnych o tym, co prawdziwi użytkownicy faktycznie wpisują w ChatGPT na temat tej branży — nie ma ich nikt poza dostawcami modeli. Najbliżej jest Profound — licencjonują prawdziwe rozmowy z paneli konsumenckich, a to lepszy surowiec, niż mamy my. Ale to pytanie dotyczy tego, jak WYKAZANO, że zbiór promptów reprezentuje populację, i tego również nie znaleźliśmy w ich publikacjach: panele nie są nazwane, przeskalowanie na populację opisano jedynie jako modelowanie statystyczne, a żadna znaleziona przez nas liczba nie ma podanego marginesu błędu. W tym pytaniu oni mają lepsze dane, a nam obu brakuje tego samego uzasadnienia.

Mniej niż surowa liczba promptów, a obecnie nie raportujemy efektywnej wielkości próby skorygowanej o to, że parafrazy jednej intencji są ze sobą skorelowane. To realna luka. Dopóki nie zostanie zamknięta, proszę traktować liczbę promptów jako liczbę testów, a nie niezależnych dowodów.

Nie są ważone. Każde sformułowanie liczy się raz. To zgrubny wybór i ma swoją cenę — rzadkie sformułowanie liczy się tyle samo co komercyjnie kluczowe — ale alternatywą byłby model ważenia, którego nie potrafilibyśmy uzasadnić, a to tylko przesunęłoby arbitralność w mniej widoczne miejsce.

Sformułowania są zapisywane przy pierwszym uruchomieniu dla danej strony i ZABLOKOWANE przy każdym powtórzeniu, więc drugi wynik jest mierzony na tych samych pytaniach co pierwszy. Klient nie może po cichu dodać korzystnych sformułowań ani usunąć trudnych między uruchomieniami. Jeśli zbiór sformułowań zostaje celowo zmieniony, uruchomienie rozpoczyna nową serię zamiast kontynuować starą linię, a raport to zaznacza.

Tylko precyzję. Więcej wariantów niereprezentatywnego panelu daje stabilniejszy szacunek niereprezentatywnego panelu. Nie sprzedajemy liczby promptów jako namiastki rzetelności.

Nie wiemy. Obecnie uruchamiamy każde sformułowanie raz na audyt i nie zmierzyliśmy wariancji między uruchomieniami, która powiedziałaby nam, czy raz wystarczy. To największa pojedyncza dziura w naszej własnej metodzie i jest pierwsza na liście do zamknięcia.

Żadna nie jest liczona, bo pytanie 8 pozostaje bez odpowiedzi — bez zmierzonej wariancji między uruchomieniami nie ma uczciwego przedziału, który dałoby się opublikować. Dopóki go nie ma, żadnego ruchu naszego wskaźnika nie należy samego w sobie odczytywać jako znaczącego.

Cała. Nie ma modelu statystycznego. Wolimy pokazać surową liczbę z wymienionymi ograniczeniami niż przedział ufności, który po cichu pomija dobór promptów, skład panelu i dryf modeli — wąski przedział wokół obciążonego panelu to tylko pewniej wyglądająca błędna odpowiedź.

Nie, i nie traktujemy ich tak, jakby były. Sformułowania o wspólnym pochodzeniu oraz każde sformułowanie uruchamiane tego samego dnia na tym samym modelu poruszają się razem, gdy model się zmienia. Nie mnożymy ich w liczbę niezależnych dowodów.

Nie jest, więc nie mierzymy codziennie. Audyt to odczyt w danym punkcie czasu, a w ramach stałej obsługi raportujemy co miesiąc. Codzienna linia odwzorowywałaby głównie wariancję odpowiedzi, a wykres, który porusza się każdego dnia, jest komercyjnie użyteczny i metodologicznie pusty.

Nie została zwalidowana względem zewnętrznego punktu odniesienia. Nie mamy badania porównującego nasz wskaźnik z ruchem z odesłań, konwersjami ani deklarowaną znajomością marki z ankiet. Jesteśmy młodą firmą bez takiego zbioru danych i wolimy to powiedzieć, niż cytować cudzą walidację innego systemu.

Walidacji nie ma, więc nie. Kiedy będzie, oprze się na danych, których nie wygenerowaliśmy, nie wybraliśmy, nie ważyliśmy i nie ocenialiśmy — i opublikujemy wynik negatywny, jeśli taki będzie.

Jedyne założenie, jakie przyjmujemy, to że niezalogowane, jednorazowe zapytanie jest obronialną ustandaryzowaną sondą — porównywalną między uruchomieniami i między firmami, i NIE tożsamą z tym, co widzi zalogowany użytkownik z historią. Patrz pytanie 16.

Nie uwzględniamy i nie moglibyśmy. Każda sonda jest niezalogowana i jednoturowa. Oznacza to, że nasz odczyt jest pomiarem kontrolowanym, a nie symulacją prawdziwej sesji, a personalizacja jest wykluczonym źródłem błędu, a nie modelowanym. To ograniczenie dotyczy każdego dostawcy na tym rynku, także tych, którzy o nim nie wspominają.

Nic, na czym byśmy polegali — dlatego nie używamy syntetycznych person. Wpisanie „jestem dyrektorem finansowym w Londynie” do prompta nie odtwarza historii konta, lokalizacji ani pamięci; tworzy inaczej sformułowany prompt. Sprzedawanie tego jako segmentu persony byłoby wymyślaniem zmiennej.

Dane wejściowe są: zbiór sformułowań jest zablokowany i zapisany, więc klient może ponownie uruchomić dokładnie to, co uruchomiliśmy my, na tych samych modelach, poza naszą platformą. Czego nie opublikowaliśmy, to zmierzonego wskaźnika zgodności test–retest — patrz pytanie 8.

Nie przepuściliśmy tego samego panelu przez platformę konkurenta i nie porównaliśmy wyników. Byłby to naprawdę użyteczny eksperyment i opublikowalibyśmy go niezależnie od wyniku.

Osobno dla każdego modelu, obok siebie. Nie uśredniamy ChatGPT, Gemini, Perplexity i Google AI Overviews do jednej liczby, bo nie mamy obronialnej podstawy dla wag, których by to wymagało. Firma niewidoczna w jednym systemie i silna w drugim ma konkretny problem, a uśrednianie ukrywa dokładnie to, na co warto zareagować.

Rekomendacja na pierwszym miejscu i przelotna wzmianka są zapisywane inaczej i pokazywane osobno. Negatywna wzmianka nie liczy się jako widoczność. Aliasy, nazwy handlowe i spółki matki są przypisywane ręcznie przy konfiguracji i klient może je poprawić. Czego jeszcze nie robimy, to przeliczania historii, gdy zmienia się reguła przypisania — zamiast tego raport dostaje adnotację.

Jedna odpowiedź, jedna obserwacja. Firma wymieniona pięć razy w jednej odpowiedzi liczy się raz. Mianownik udziału w głosie obejmuje każdą markę wymienioną w odpowiedzi, nie tylko konkurentów wybranych przez klienta — w przeciwnym razie klient sam ustalałby sobie mianownik.

Cytowanie to źródło, które sam silnik wyświetlił — podlinkowane źródło albo pozycja w panelu źródeł — przypisane do domeny. Nie wnioskujemy cytowań, nie liczymy jako cytowania zwykłego adresu URL w tekście i nie odtwarzamy dosłownie treści AI Overview jako dowodu — z powodu ograniczenia nałożonego przez dostawcę, wokół którego woleliśmy zbudować rozwiązanie, niż się z nim spierać.

Odmowa, przekroczenie czasu albo zniekształcona odpowiedź są zapisywane jako BŁĄD, nie jako nieobecność marki, i wyłączane z mianownika. Liczba błędów pojawia się w raporcie. Liczenie przekroczenia czasu jako „nie zostali Państwo poleceni” wytwarzałoby spadek z awarii.

Klienci otrzymują dokładny zbiór sformułowań, model i datę uruchomienia — to wystarczy, by powtórzyć pomiar samodzielnie. Pełne, nieredagowane wyniki i znaczniki czasu są dostępne na życzenie, ale nie są jeszcze eksportowane domyślnie. To powinien być przycisk, a nie prośba, i będzie.

Zmiana zbioru sformułowań lub sposobu oceny rozpoczyna nową serię zamiast kontynuować starą linię. Nie przepisujemy historii po cichu i nie przedstawiamy odczytów wykonanych dwoma różnymi instrumentami jako jednego ciągłego trendu.

Żadne. Nie twierdzimy, że zmiana treści spowodowała ruch wskaźnika. Nie mamy grupy kontrolnej ani scenariusza kontrfaktycznego, więc mamy tylko kolejność w czasie, a kolejność w czasie to nie przyczynowość. Raportujemy, co zrobiliśmy i jaki był odczyt potem, opisane dokładnie w ten sposób.

Nie prowadzimy autonomicznych agentów, które edytują treści lub tworzą strony na podstawie wskaźnika. Każdą zmianę pisze człowiek albo sprawdza ją człowiek, zanim trafi na produkcję. Jeśli kiedykolwiek zautomatyzujemy działanie na podstawie pomiaru, próg powtórzeń, minimalna wielkość efektu i wymóg przeglądu przez człowieka zostaną wdrożone w tym samym momencie i będą widoczne dla klienta — nie dodane później.

Nie wiemy i nie będziemy twierdzić inaczej. Nie wykazaliśmy, że wyższy odczyt przewiduje ruch z odesłań, pipeline ani przychód przy kontroli wielkości marki. Poprawa wskaźnika przewiduje dziś niezawodnie jedno: późniejszą poprawę wskaźnika.

Nie należy, i tak jej nie opisujemy. To kierunkowe narzędzie monitoringu dla skonfigurowanego panelu. To ograniczenie jest wydrukowane tą samą wielkością czcionki co liczba — w raporcie i na tej stronie.

Każde z poniższych, i powiedzielibyśmy o tym publicznie: zmierzona wariancja między uruchomieniami na tyle duża, że zwykłych ruchów nie da się odróżnić od szumu; wskaźnik zgodności test–retest poniżej tego, co przyjęlibyśmy od dostawcy; porównanie między dostawcami pokazujące, że nasze odczyty istotnie różnią się od dwóch innych, a my nie potrafimy wykazać, że nasze są bliższe temu, co widzi użytkownik; albo pierwsze badanie skutków niewykazujące związku z niczym, na czym zależy klientowi. Jeśli żadne z nich nie zmieniłoby naszego zdania, metoda nie została przetestowana.