Pubblichiamo come funziona il nostro punteggio — comprese le parti in cui è debole.

Se un'azienda indicata per nome compare nella risposta a una domanda precisa, posta a un sistema AI preciso, in un momento preciso — e, se compare, se viene consigliata, soltanto citata di sfuggita, oppure descritta in modo inesatto. Non uniamo queste cose in un unico punteggio ponderato con una formula nascosta. Dove mostriamo un valore composito, i suoi componenti stanno lì accanto.

Il panel di prompt che abbiamo configurato per quell'azienda, e niente di più ampio. È la descrizione di un panel di prova, non una stima di quello che incontra ogni acquirente di un mercato. Non lo presentiamo come visibilità AI in generale, perché non lo è.

Non lo è stato, e lo diciamo. Le formulazioni vengono dal mestiere e dalla specializzazione dell'azienda stessa, scritte come le domande che un acquirente porrebbe in modo plausibile, e le rivede una persona. Quello che NON abbiamo sono dati osservati di prima parte su ciò che gli utenti reali digitano davvero su ChatGPT a proposito di quel mestiere — non li ha nessuno al di fuori dei fornitori dei modelli. Profound è quella che ci arriva più vicino: acquista in licenza conversazioni reali da panel di consumatori, che è materia prima migliore della nostra. Ma questa domanda chiede come sia stato DIMOSTRATO che un set di prompt rappresenta la popolazione, e nemmeno quella dimostrazione siamo riusciti a trovarla pubblicata: i panel non sono indicati per nome, il passaggio di scala alla popolazione è descritto soltanto come modellazione statistica e nessuna cifra che abbiamo trovato riporta un margine di errore. Su questa domanda loro hanno i dati migliori e noi abbiamo lo stesso argomento mancante.

Meno del numero grezzo di prompt, e al momento non riportiamo una dimensione campionaria effettiva corretta per il fatto che le parafrasi di uno stesso intento sono correlate fra loro. Questa è una lacuna vera. Finché non è colmata, trattate il numero di prompt come un numero di test, non come una quantità di prove indipendenti.

Non sono ponderati. Ogni formulazione conta una volta. È una scelta grezza e ha un costo — una formulazione rara conta quanto una commercialmente centrale — ma l'alternativa è un modello di ponderazione che non sapremmo sostanziare, e che sposterebbe l'arbitrarietà in un punto meno visibile.

Le formulazioni vengono registrate insieme al sito alla prima esecuzione e BLOCCATE a ogni ripetizione, così il secondo punteggio è misurato sulle stesse domande del primo. Un cliente non può aggiungere di nascosto formulazioni favorevoli né togliere quelle scomode tra un'esecuzione e l'altra. Se il set di formulazioni viene cambiato deliberatamente, l'esecuzione apre una serie nuova invece di proseguire la linea precedente, e il report lo dice.

Soltanto la precisione. Eseguire più varianti di un panel non rappresentativo produce una stima più stabile di un panel non rappresentativo. Non vendiamo il volume di prompt come surrogato del rigore.

Non lo sappiamo. Al momento eseguiamo ogni formulazione una volta per audit e non abbiamo misurato la variabilità tra un'esecuzione e l'altra, che è quello che ci direbbe se una volta basta. È il buco più grande del nostro stesso metodo ed è il primo della lista da chiudere.

Non ne calcoliamo nessuna, perché la domanda 8 è senza risposta: senza una variabilità misurata tra un'esecuzione e l'altra non esiste un intervallo onesto da pubblicare. Finché non ci sarà, nessun movimento del nostro punteggio va letto come significativo di per sé.

Tutta quanta. Non c'è nessun modello statistico. Preferiamo mostrare un conteggio grezzo con i suoi limiti dichiarati piuttosto che un intervallo di confidenza che esclude in silenzio la selezione dei prompt, la composizione del panel e la deriva dei modelli — un intervallo stretto attorno a un panel distorto è soltanto una risposta sbagliata con l'aria più sicura.

No, e non le trattiamo come se lo fossero. Le formulazioni che hanno la stessa origine, e ogni formulazione eseguita sullo stesso modello nello stesso giorno, si muovono insieme quando il modello cambia. Non le moltiplichiamo per farne un conteggio di prove indipendenti.

Non lo è, quindi non misuriamo ogni giorno. L'audit è una lettura in un dato momento e il contratto continuativo riporta i numeri ogni mese. Una linea quotidiana traccerebbe soprattutto la variabilità delle risposte, e un grafico che si muove tutti i giorni è commercialmente utile e metodologicamente vuoto.

Non è stata validata a fronte di un riferimento esterno. Non abbiamo nessuno studio che confronti il nostro punteggio con il traffico di referral, le conversioni o il ricordo dichiarato in un sondaggio. Siamo un'azienda giovane e un insieme di dati del genere non ce l'abbiamo: preferiamo dirlo piuttosto che citare la validazione fatta da altri su un sistema diverso.

Non c'è nessuna validazione, quindi no. Quando ci sarà, userà dati che non abbiamo generato, selezionato, ponderato né valutato noi — e pubblicheremo anche il risultato negativo, se sarà negativo.

L'unica assunzione che facciamo è che una domanda singola, posta da non connessi, sia una sonda standardizzata difendibile — confrontabile tra un'esecuzione e l'altra e tra aziende diverse, e NON la stessa cosa che vede un utente connesso con la sua cronologia. Si veda la domanda 16.

Non ne teniamo conto, e non potremmo. Ogni sonda parte da non connessi e in un unico passaggio. Vuol dire che la nostra lettura è una misurazione controllata, non la simulazione di una sessione reale, e la personalizzazione è una fonte di errore esclusa, non una modellata. Questo limite vale per ogni fornitore di questo mercato, compresi quelli che non lo dicono.

Niente su cui ci appoggeremmo, ed è il motivo per cui non usiamo persone sintetiche. Scrivere «sono un CFO a Londra» dentro un prompt non riproduce la cronologia dell'account, la posizione o la memoria; produce un prompt formulato in modo diverso. Venderlo come segmento di persona significherebbe inventarsi una variabile.

Gli input lo sono: il set di formulazioni è bloccato e registrato, quindi un cliente può rieseguire esattamente quello che abbiamo eseguito noi, sugli stessi modelli, fuori dalla nostra piattaforma. Quello che non abbiamo pubblicato è un tasso misurato di concordanza test-retest — si veda la domanda 8.

Non lo sappiamo: non abbiamo fatto passare lo stesso panel dentro la piattaforma di un concorrente per poi confrontare i risultati. Sarebbe un esperimento davvero utile e lo pubblicheremmo in un senso o nell'altro.

Modello per modello, affiancati. Non facciamo la media di ChatGPT, Gemini, Perplexity e Google AI Overviews in un unico numero, perché non abbiamo una base difendibile per i pesi che servirebbero. Un'azienda invisibile su uno e forte su un altro ha un problema specifico, e la media nasconde esattamente la cosa su cui vale la pena intervenire.

Una raccomandazione al primo posto e una menzione di passaggio vengono registrate in modo diverso e mostrate separatamente. Una menzione negativa non conta come visibilità. Alias, nomi commerciali e società madri vengono risolti a mano in fase di configurazione e un cliente può correggerli. Quello che ancora non facciamo è ricalcolare lo storico quando cambia una regola di risoluzione: il report viene annotato.

Una risposta, un'osservazione. Un'azienda nominata cinque volte dentro una sola risposta conta una volta. I denominatori della quota di voce comprendono ogni marchio nominato nella risposta, non soltanto i concorrenti scelti dal cliente — altrimenti è il cliente a fissarsi il denominatore da solo.

Una citazione è una fonte che il motore stesso ha mostrato — un collegamento a una fonte o una voce in un pannello delle fonti — attribuita al dominio. Non deduciamo citazioni, non contiamo come citazione un URL scritto in chiaro dentro un testo e non riproduciamo alla lettera il testo degli AI Overview come prova, per una restrizione del fornitore attorno alla quale abbiamo scelto di costruire invece di metterci a discutere.

Un rifiuto, un timeout o una risposta malformata viene registrato come ERRORE, non come assenza del marchio, ed è escluso dal denominatore. Il numero di errori compare nel report. Contare un timeout come «non siete stati consigliati» vorrebbe dire fabbricare un calo a partire da un disservizio.

I clienti ricevono il set esatto di formulazioni, il modello e la data dell'esecuzione: basta per rieseguirla per conto loro. Gli output completi e non modificati e le marche temporali sono disponibili su richiesta, ma non ancora esportati di default. Dovrebbe essere un pulsante, non una richiesta, e lo sarà.

Una modifica al set di formulazioni o al calcolo del punteggio apre una serie nuova invece di proseguire la linea precedente. Non riscriviamo lo storico in silenzio e non presentiamo come un'unica tendenza continua letture prese con due strumenti diversi.

Nessuna. Non sosteniamo che una modifica ai contenuti abbia causato un movimento. Non abbiamo un gruppo di controllo né un controfattuale, quindi abbiamo soltanto la successione temporale, e la successione temporale non è causalità. Riportiamo che cosa abbiamo fatto e quale è stata la lettura dopo, indicandolo esattamente per quello che è.

Non facciamo girare agenti autonomi che modificano contenuti o creano pagine sulla base di un punteggio. Ogni modifica la scrive una persona, o la rivede una persona prima che vada online. Se un giorno automatizzeremo un'azione a partire da una misurazione, la soglia di ripetizione, la dimensione minima dell'effetto e l'obbligo di revisione umana usciranno nello stesso momento e saranno visibili al cliente — non aggiunti dopo.

Non lo sappiamo, e non diremo il contrario. Non abbiamo dimostrato che una lettura più alta preveda traffico di referral, pipeline o fatturato a parità di dimensione del marchio. Migliorare il punteggio oggi prevede in modo affidabile una cosa sola: un successivo miglioramento del punteggio.

Non andrebbe, e noi non la descriviamo così. È uno strumento di monitoraggio direzionale su un panel configurato. Questo limite è stampato nello stesso corpo del numero, sul report e su questa pagina.

Una qualunque di queste cose, e lo diremmo pubblicamente: una variabilità misurata tra un'esecuzione e l'altra così grande da rendere i movimenti ordinari indistinguibili dal rumore; un tasso di concordanza test-retest inferiore a quello che accetteremmo da un fornitore; un confronto tra fornitori che mostri che le nostre letture divergono in modo rilevante da altre due, senza che possiamo dimostrare che le nostre sono più vicine a quello che vede un utente; oppure un primo studio sugli esiti che non trovi nessuna relazione con qualcosa che stia a cuore a un cliente. Se nessuna di queste cose ci facesse cambiare idea, vuol dire che il metodo non è mai stato messo alla prova.