Nous publions le fonctionnement de notre score — y compris là où il est faible.

Le fait qu'une entreprise nommément désignée apparaisse ou non dans la réponse à une question précise, posée à un système d'IA précis, à un moment précis — et, si elle apparaît, le fait qu'elle soit recommandée, simplement mentionnée, ou décrite de façon inexacte. Nous ne fondons pas ces éléments dans un score pondéré unique à formule cachée. Là où nous montrons un composite, ses composantes sont affichées à côté.

Le panel de requêtes que nous avons configuré pour cette entreprise, et rien de plus large. C'est la description d'un panel de test, pas une estimation de ce que rencontre chaque acheteur d'un marché. Nous ne le présentons pas comme une visibilité IA générale, parce qu'il n'en est pas une.

Elles ne la représentent pas, et nous le disons. Les formulations viennent du métier et de la spécialité de l'entreprise elle-même, écrites comme les questions qu'un acheteur poserait plausiblement, et elles sont relues par une personne. Ce que nous n'avons PAS, ce sont des données de première main observées sur ce que les vrais utilisateurs tapent réellement dans ChatGPT à propos de ce métier — personne, en dehors des fournisseurs de modèles, ne les a. Profound est celui qui s'en approche le plus — ils acquièrent sous licence de vraies conversations auprès de panels de consommateurs, ce qui constitue une matière première meilleure que la nôtre. Mais cette question porte sur la façon dont il a été DÉMONTRÉ qu'un jeu de requêtes représente la population, et cette démonstration, nous ne l'avons pas trouvée publiée chez eux non plus : les panels ne sont pas nommés, l'extrapolation à la population n'est décrite que comme une modélisation statistique, et aucun chiffre que nous avons trouvé n'est assorti d'une marge d'erreur. Sur cette question, ils ont les meilleures données ; l'argument qui manque est le même des deux côtés.

Moins que le nombre brut de requêtes, et nous ne publions pas aujourd'hui de taille d'échantillon effective corrigée du fait que les paraphrases d'une même intention sont corrélées. C'est une vraie lacune. Tant qu'elle n'est pas comblée, traitez le nombre de requêtes comme un nombre de tests, pas comme un nombre de preuves indépendantes.

Elles ne sont pas pondérées. Chaque formulation compte une fois. C'est un choix grossier et il a un coût — une formulation rare pèse autant qu'une formulation commercialement centrale — mais l'alternative serait un modèle de pondération que nous ne pourrions pas justifier, ce qui déplacerait l'arbitraire vers un endroit moins visible.

Les formulations sont enregistrées pour le site lors de la première exécution puis VERROUILLÉES à chaque répétition, de sorte que le second score est mesuré sur les mêmes questions que le premier. Un client ne peut pas ajouter discrètement des formulations favorables ni retirer les plus difficiles entre deux mesures. Si le jeu de formulations est délibérément modifié, la mesure ouvre une nouvelle série au lieu de prolonger l'ancienne ligne, et le rapport le précise.

Seulement la précision. Multiplier les variations d'un panel non représentatif produit une estimation plus stable d'un panel non représentatif. Nous ne vendons pas le volume de requêtes comme un substitut à la rigueur.

Nous ne le savons pas. Nous exécutons aujourd'hui chaque formulation une fois par audit et nous n'avons pas mesuré la variance d'une exécution à l'autre, qui seule nous dirait si une fois suffit. C'est le plus gros trou de notre propre méthode, et c'est le premier sur la liste de ce qu'il faut combler.

Aucune n'est calculée, parce que la question 8 est sans réponse — sans variance mesurée d'une exécution à l'autre, il n'existe aucun intervalle honnête à publier. Tant qu'il n'y en a pas, aucun mouvement de notre score ne doit être lu comme significatif à lui seul.

Toute l'incertitude. Il n'y a pas de modèle statistique. Nous préférons montrer un décompte brut en énonçant ses limites plutôt qu'un intervalle de confiance qui exclurait discrètement le choix des requêtes, la composition du panel et la dérive des modèles — un intervalle étroit autour d'un panel biaisé n'est qu'une mauvaise réponse qui a l'air plus sûre d'elle.

Non, et nous ne les traitons pas comme si elles l'étaient. Les formulations qui partagent une même origine, et toutes les formulations exécutées sur le même modèle le même jour, bougent ensemble quand le modèle change. Nous ne les multiplions pas pour en tirer un décompte de preuves indépendantes.

Elle ne l'est pas, et nous ne mesurons donc pas tous les jours. L'audit est une lecture à un instant donné, et le suivi rend compte tous les mois. Une courbe quotidienne tracerait surtout la variance des réponses, et un graphique qui bouge chaque jour est commercialement utile et méthodologiquement vide.

Elle n'a été validée contre aucun étalon externe. Nous n'avons aucune étude comparant notre score au trafic de recommandation, aux conversions ou à la mémorisation déclarée en enquête. Nous sommes une jeune société et nous n'avons pas ce jeu de données ; nous préférons le dire plutôt que citer la validation d'un autre système par quelqu'un d'autre.

Il n'y a pas de validation, donc non. Quand il y en aura une, elle utilisera des données que nous n'avons ni produites, ni sélectionnées, ni pondérées, ni notées — et nous publierons le résultat négatif si c'est celui-là.

La seule hypothèse que nous formulons est qu'une requête déconnectée, posée en une fois, constitue une sonde standardisée défendable — comparable d'une exécution à l'autre et d'une entreprise à l'autre, et qui n'est PAS la même chose que ce que voit un utilisateur connecté avec un historique. Voir la question 16.

Nous n'en tenons pas compte, et nous ne le pourrions pas. Chaque sonde est déconnectée et se limite à un seul tour. Cela signifie que notre lecture est une mesure contrôlée, et non la simulation d'une session réelle : la personnalisation est une source d'erreur exclue plutôt que modélisée. Cette limite vaut pour tous les fournisseurs de ce marché, y compris ceux qui n'en parlent pas.

Rien sur quoi nous nous appuierions, et c'est pourquoi nous n'utilisons pas de personas synthétiques. Taper « Je suis directeur financier à Londres » dans une requête ne reproduit ni l'historique du compte, ni la localisation, ni la mémoire ; cela produit une requête formulée autrement. Vendre cela comme un segment de persona reviendrait à inventer une variable.

Les entrées le sont : le jeu de formulations est verrouillé et enregistré, de sorte qu'un client peut réexécuter exactement ce que nous avons exécuté, sur les mêmes modèles, en dehors de notre plateforme. Ce que nous n'avons pas publié, c'est un taux de concordance test-retest mesuré — voir la question 8.

Nous n'avons pas fait passer le même panel dans la plateforme d'un concurrent pour comparer. Ce serait une expérience réellement utile et nous en publierions le résultat, quel qu'il soit.

Par modèle, côte à côte. Nous ne faisons pas la moyenne de ChatGPT, Gemini, Perplexity et Google AI Overviews en un seul chiffre, parce que nous n'avons aucune base défendable pour les pondérations que cela exigerait. Une entreprise invisible dans l'un et forte dans un autre a un problème précis, et la moyenne masque exactement ce sur quoi il vaut la peine d'agir.

Une recommandation en première place et une mention au passage sont enregistrées différemment et présentées séparément. Une mention négative ne compte pas comme de la visibilité. Les alias, noms commerciaux et sociétés mères sont rapprochés à la main lors de la configuration, et un client peut les corriger. Ce que nous ne faisons pas encore, c'est recalculer l'historique quand une règle de rapprochement change — le rapport porte une annotation à la place.

Une réponse, une observation. Une entreprise citée cinq fois dans une même réponse compte une fois. Les dénominateurs de part de voix retiennent toutes les marques nommées dans la réponse, et pas seulement les concurrents choisis par le client — sinon, le client fixe lui-même son dénominateur.

Une citation est une source que le moteur a lui-même fait apparaître — un lien source ou une entrée dans un panneau de sources — attribuée au domaine. Nous ne déduisons pas de citations, nous ne comptons pas comme telle une URL en texte brut au fil d'un paragraphe, et nous ne reproduisons pas mot pour mot le texte d'un AI Overview comme preuve, en raison d'une restriction fournisseur que nous avons choisi de contourner par construction plutôt que de contester.

Un refus, un dépassement de délai ou une réponse malformée est enregistré comme un ÉCHEC, et non comme une absence de la marque ; il est exclu du dénominateur. Le nombre d'échecs figure sur le rapport. Compter un dépassement de délai comme « vous n'avez pas été recommandé » fabriquerait une baisse à partir d'une panne.

Les clients reçoivent le jeu exact de formulations, le modèle et la date d'exécution, ce qui suffit pour tout réexécuter eux-mêmes. Les sorties complètes non éditées et les horodatages sont disponibles sur demande, mais ne sont pas encore exportés par défaut. Cela devrait être un bouton, pas une demande, et ce le sera.

Un changement du jeu de formulations ou du mode de calcul ouvre une nouvelle série au lieu de prolonger l'ancienne ligne. Nous ne réécrivons pas l'historique en silence, et nous ne présentons pas comme une tendance continue des lectures prises avec deux instruments différents.

Aucune. Nous n'affirmons pas qu'une modification de contenu a causé un mouvement. Nous n'avons ni groupe témoin ni contrefactuel : la succession dans le temps est tout ce dont nous disposons, et la succession dans le temps n'est pas la causalité. Ce que nous rapportons, c'est ce que nous avons fait et quelle était la lecture ensuite, présenté comme exactement cela.

Nous n'exploitons pas d'agents autonomes qui modifient du contenu ou créent des pages à partir d'un score. Chaque modification est écrite par une personne, ou relue par une personne avant d'être mise en ligne. Si un jour nous automatisons une action à partir d'une mesure, le seuil de répétition, l'effet minimal exigé et l'obligation de relecture humaine seront livrés en même temps et visibles pour le client — pas ajoutés après coup.

Nous ne le savons pas, et nous ne prétendrons pas le contraire. Nous n'avons pas démontré qu'une lecture plus élevée prédit le trafic de recommandation, le pipeline commercial ou le chiffre d'affaires, à taille de marque comparable. Améliorer le score prédit aujourd'hui une seule chose de façon fiable : une amélioration ultérieure du score.

Il ne devrait pas l'être, et nous ne le décrivons pas ainsi. C'est un outil de suivi directionnel portant sur un panel configuré. Cette limite est imprimée dans le même corps que le chiffre, sur le rapport comme sur cette page.

N'importe lequel de ces résultats, et nous le dirions publiquement : une variance mesurée d'une exécution à l'autre assez large pour rendre les mouvements ordinaires indiscernables du bruit ; un taux de concordance test-retest inférieur à ce que nous accepterions d'un fournisseur ; une comparaison entre fournisseurs montrant que nos lectures divergent nettement de deux autres sans que nous puissions montrer que la nôtre est plus proche de ce que voit un utilisateur ; ou une première étude de résultats ne trouvant aucune relation avec quoi que ce soit dont un client se soucie. Si aucun de ces résultats ne nous ferait changer d'avis, c'est que la méthode n'a pas été mise à l'épreuve.