Les 31 questions restées sans réponse

Le 28 juillet 2026, David McSweeney a publié une liste de 31 questions adressées aux entreprises qui vendent des scores de visibilité IA. Ni réquisitoire, ni classement, ni tableau comparatif. Une liste de questions de méthode, du genre que tout acheteur devrait poser et que tout fournisseur devrait avoir sous la main.

Le lendemain, à notre connaissance, deux entreprises avaient répondu publiquement : Ternith et Spyglasses.

Voilà toute l’histoire. On a demandé à un secteur entier d’expliquer comment ses chiffres sont fabriqués, et l’écrasante majorité s’est tue.

Ce que le silence a d’intéressant

On est tenté de lire une absence de réponse comme un aveu. Ce n’en est généralement pas un. L’essentiel de ce silence est banal : personne n’est propriétaire du sujet en interne, le service juridique veut relire, la personne capable de répondre est occupée à livrer autre chose, et un document public de méthodologie est un engagement dont on ne se dédit pas discrètement.

Mais c’est précisément là que réside le problème. Un score est une affirmation sur le monde. Si une entreprise ne peut pas se permettre d’expliquer comment un chiffre est fabriqué, ce chiffre ne fait pas ce que l’acheteur croit qu’il fait. Il fait du marketing.

Il existe aussi une raison commerciale pour laquelle ces questions font mal. On achète un score de visibilité précisément parce qu’on ne peut pas le vérifier soi-même. Personne n’achète un thermomètre dont il pourrait contrôler le résultat à la main. Toute la valeur du produit repose donc sur la confiance accordée à la méthode, et la méthode est justement ce que le secteur rechigne à décrire.

Pourquoi ces questions sont légitimes

On distingue une question légitime d’une question hostile à un seul critère : l’existence d’une bonne réponse.

Chaque question de la liste en a une. Certaines de ces bonnes réponses sont peu flatteuses — « nous ne savons pas », « notre échantillon est trop petit pour trancher », « ce chiffre bouge tout seul plus que nous ne le voudrions » —, mais elles existent et elles sont formulables. Aucune de ces questions n’exige de secret industriel. Elles demandent ce que l’on mesure, depuis où, à quelle fréquence, avec quelle variance, et ce qui vaudrait démenti.

C’est la norme appliquée à tout autre produit de mesure qu’une entreprise achète :

• Un fournisseur d’analytics vous dit ce qu’est une session et quand elle expire.
• Un institut de sondage vous donne l’échantillon, les dates de terrain et la marge d’erreur.
• Un outil de suivi de positions vous précise la localisation, l’appareil et les réglages de personnalisation qui se cachent derrière le chiffre.
• Un expert-comptable vous indique le référentiel selon lequel les comptes ont été établis.

La visibilité IA est le seul marché de la mesure que nous connaissions où « nous avons un algorithme propriétaire » passe encore pour une réponse complète. Ce n’est pas une réponse. C’est un refus avec de meilleures manières.

Les trois qui nous paraissent les plus décisives

La liste complète mérite d’être lue dans sa version originale. Ces trois questions-là déterminent si tout le reste compte. Nous les paraphrasons plutôt que de les citer, la formulation appartenant à son auteur.

1. Qui choisit les prompts, et ce choix détermine-t-il le résultat ?

Un score de visibilité IA mesure des réponses à des questions. Lesquelles ? Les choisir, c’est déjà choisir en grande partie le résultat.

Posez à un assistant une question étroite, taillée autour d’une marque, et la plupart des marques paraissent visibles. Posez une question large, taillée autour d’une catégorie, et la plupart des marques disparaissent. Les deux sont de vraies mesures. Elles mesurent des choses différentes, et une seule ressemble à ce qu’un client tape réellement.

Les informations à divulguer honnêtement sont donc les suivantes : qui a rédigé le jeu de prompts, si le client peut le consulter, s’il change d’une exécution à l’autre, et si le même jeu sert pour le concurrent auquel on compare ce client. Un score bâti sur un jeu de prompts que l’acheteur ne voit jamais n’est pas une mesure sur laquelle il peut agir. C’est un chiffre qu’il doit croire.

2. L’indicateur a-t-il été validé face à quelque chose de véritablement extérieur ?

C’est la question sur laquelle tout le secteur bute, et elle n’a rien d’un piège.

Valider, c’est confronter son chiffre à des preuves produites par autre chose que soi. Faire tourner deux fois son propre système et constater qu’il s’accorde avec lui-même relève de la fidélité, pas de la validité. Cela indique que l’instrument est stable. Cela ne dit rien de sa capacité à mesurer ce qui est écrit sur l’étiquette.

Les preuves extérieures qui compteraient sont ingrates et difficiles à obtenir : des journaux serveur montrant le trafic référé par un assistant, des conversions attribuables à une recommandation d’assistant, des études de notoriété, l’historique des demandes entrantes d’un client. Chacune peut contredire un score de visibilité, et c’est exactement pour cela qu’il vaut la peine de s’y confronter.

Si personne n’a jamais tenté la comparaison, le score n’est qu’un artefact cohérent du système qui l’a produit.

3. Quel résultat vous conduirait à retirer l’indicateur ?

La question de la réfutabilité, celle qui sépare une mesure d’un récit.

Tout indicateur sérieux comporte une condition d’échec que son auteur sait décrire à l’avance. Si le trafic référé par les assistants évoluait à l’inverse du score, sur un parc de clients assez large et une fenêtre assez longue, cela poserait problème. Si le score variait sensiblement d’une exécution à l’autre sans que rien ne change dans l’activité mesurée, cela poserait problème. Si deux clients d’un même fournisseur, dans la même catégorie et avec la même visibilité, obtenaient des résultats commerciaux radicalement différents, cela poserait problème.

Un fournisseur incapable de nommer une telle condition vous a dit quelque chose d’important : aucune observation, par principe, ne peut jouer contre son chiffre. Ce n’est pas une force. C’est la définition même d’une affirmation que rien ne peut réfuter, et cela signifie que le score ne peut jamais avoir tort — donc jamais raison non plus.

Ce que nous en faisons

Nous vendons un score de visibilité IA : ces questions nous sont donc adressées autant qu’à quiconque.

Nous publions nos réponses aux 31 questions, sur notre propre site, sous notre nom, y compris celles dont la réponse honnête est que nous ne savons pas encore, et celles dont la réponse honnête rend notre produit moins impressionnant que ne le laisse croire notre page commerciale.

C’est à nos yeux le minimum. Un chiffre vendu à une entreprise qui ne peut pas le vérifier par elle-même doit être accompagné de sa méthode, de ses limites énoncées, et d’une description de ce qui nous amènerait à le retirer.

Si nos réponses sont fausses, nous préférons qu’on nous le dise. C’est l’autre avantage d’une méthode publiée.

Que faire si vous êtes l’acheteur

Nul besoin de lire les 31 questions pour vous protéger. Trois questions, posées avant de signer, vous diront l’essentiel :

• Montrez-moi les prompts exacts qui produisent mon score, et dites-moi qui les a rédigés.
• Montrez-moi une occasion où vous avez confronté ce score à des preuves extérieures à votre propre système.
• Dites-moi quel résultat vous conduirait à retirer ce chiffre.

Un fournisseur qui répond aux trois de bon cœur mérite qu’on lui parle, quel que soit son score. Un fournisseur qui ne peut répondre à aucune d’entre elles vous vend une impression.