Une IA a recommandé ma startup avant même son lancement. Puis elle a inventé des informations.

Gemini semblait comprendre FastFound remarquablement bien — jusqu’à ce que j’examine de près ce qu’elle disait réellement.

FastFound est toujours en phase de pré-bêta.

Il n’a pas été lancé commercialement. Sa tarification finale, ses engagements de service et son fonctionnement technique sont encore en cours de développement.

J’ai donc été surpris lorsque Gemini l’a recommandé.

Pendant un bref instant, cela a semblé être une avancée significative. Un système d’IA avait découvert FastFound, avait compris ce qu’il cherchait à faire et l’avait jugé digne d’être mentionné.

C’était enthousiasmant.

C’était aussi dangereux — car une grande partie de ce que Gemini disait à propos de FastFound n’était pas vrai.

La réponse que je voulais croire

Gemini n’a pas seulement mentionné FastFound. Il a présenté le produit avec assurance.

Sa réponse semblait faire autorité. Il semblait comprendre le problème que FastFound était en train de résoudre et a décrit le produit comme s’il s’agissait déjà d’un service établi.

Je voulais vraiment croire à cette réponse.

C’est important, car nous avons tendance à examiner l’IA plus attentivement lorsqu’elle dit quelque chose d’évidemment faux ou contredit ce que nous croyons déjà.

Nous sommes souvent beaucoup moins critiques lorsqu’elle nous dit exactement ce que nous espérions entendre.

La recommandation était flatteuse. Cela a facilité la concentration sur la réussite apparente — FastFound étant mis en lumière par une IA — plutôt que d’examiner chaque affirmation faite par l’IA.

Lorsque j’ai examiné ces affirmations, les problèmes sont devenus clairs.

Il a inventé la tarification

Gemini a indiqué un prix pour FastFound.

Le prix semblait plausible. Il a été présenté naturellement et avec assurance, sans aucune indication qu’il s’agissait d’une estimation ou d’une supposition.

Mais ce n’était pas le prix de FastFound.

À l’époque, FastFound était — et reste — en phase de pré-bêta. Le modèle commercial n’avait pas été publiquement établi sous la forme décrite par Gemini.

L’IA avait comblé une lacune dans ses connaissances avec quelque chose qui semblait raisonnable.

C’est l’une des formes les plus dangereuses d’erreur d’IA. Une affirmation totalement invraisemblable est facile à rejeter. Un détail inventé et crédible peut passer inaperçu et être rapidement accepté comme un fait.

Il a inventé un accord de niveau de service

Gemini a également décrit des engagements de service que FastFound n’avait jamais pris.

Encore une fois, la formulation semblait entièrement crédible. Elle ressemblait au type d’assurance qu’un service mature pourrait publier dans le cadre d’un accord de niveau de service formel.

Mais aucun engagement public de ce type n’existait.

Une fonctionnalité inventée est gênante. Une promesse contractuelle ou opérationnelle inventée est potentiellement beaucoup plus grave.

Si un client potentiel rencontre cette affirmation, il peut raisonnablement supposer qu’elle provient de l’entreprise. Le fait qu’une IA l’ait générée ne réduit pas nécessairement la confusion qui en résulte — ni les dommages à la réputation.

Il a inventé une garantie de responsabilité

La réponse est allée plus loin et a attribué une promesse liée à la responsabilité à FastFound.

Ce n’était pas un malentendu mineur. Les garanties et les engagements de responsabilité ont une réelle importance commerciale et juridique.

Ils devraient être rédigés délibérément, examinés attentivement et publiés par l’organisation qui les prend.

Ils ne devraient pas être improvisés par une IA essayant de produire une réponse qui semble complète.

Pourtant, Gemini a présenté l’affirmation avec la même assurance que pour tout le reste. Il n’y avait aucune distinction visible entre les informations vérifiées et les détails inventés.

Pour un lecteur non familier avec FastFound, l’ensemble de la réponse aurait facilement pu sembler factuel.

Il a inventé l’architecture technique

Gemini a également décrit comment FastFound était censé fonctionner en coulisses.

L’architecture qu’il a présentée n’était pas l’architecture que j’étais en train de construire.

Cela crée un autre type de problème.

De fausses informations techniques peuvent induire en erreur des clients potentiels, des partenaires, des concurrents, et même des personnes évaluant si un produit est approprié pour un usage particulier.

Cela peut également créer des attentes que le produit réel n’a jamais été conçu pour satisfaire.

Je ne publierai pas les algorithmes, les invites, les détails d’infrastructure, les procédures d’exploitation ou d’autres éléments de FastFound qui constituent son avantage concurrentiel.

Mais cela ne signifie pas qu’une IA est libre de combler le silence avec une architecture de sa propre invention.

Il y a une différence importante entre une information privée et une information inconnue. Les systèmes d’IA ne respectent pas toujours cette distinction.

Visibilité sans contrôle factuel

Être recommandé par une IA ressemble à un succès marketing.

Pour un produit en phase de démarrage, cela peut sembler être la preuve que la marque commence à apparaître dans l’écosystème d’information plus large.

Mais la visibilité sans contrôle factuel peut être dangereuse.

Une recommandation d’IA peut placer votre produit devant une nouvelle personne tout en lui donnant simultanément des informations incorrectes sur :

• Ce que le produit coûte
• Quel service il garantit
• Quelles responsabilités il accepte
• Comment sa technologie fonctionne
• S’il est déjà disponible
• Le degré de maturité réel de l’entreprise

À ce stade, une plus grande visibilité ne signifie pas nécessairement une meilleure compréhension.

Cela peut simplement signifier que des informations inexactes se propagent plus loin.

Les réponses de l’IA peuvent devenir leur propre source

Il y a une autre préoccupation.

Une fois qu’une affirmation inventée apparaît dans une réponse générée par l’IA, elle peut être répétée ailleurs. Quelqu’un peut la citer dans un article, l’inclure dans une comparaison, la publier sur les réseaux sociaux ou l’introduire dans un autre système d’IA.

L’invention originale peut progressivement acquérir l’apparence d’une corroboration.

Plusieurs sources peuvent sembler être d’accord alors qu’en réalité, elles répètent toutes la même affirmation non étayée.

Pour une entreprise en phase de pré-bêta, cela peut créer une description publique du produit avant que l’entreprise n’ait elle-même correctement défini cette description.

L’IA n’a pas besoin d’intention malveillante pour provoquer cela. Elle n’a besoin que d’informations incomplètes et d’une forte tendance à fournir une réponse utile et soignée.

La leçon inconfortable

Ma première réaction a été l’enthousiasme.

Ma deuxième réaction aurait dû être la vérification.

C’est la leçon que je tire de cette expérience :

Nous examinons moins l’IA lorsqu’elle nous dit ce que nous voulons entendre.

Si Gemini avait critiqué FastFound ou affirmé que personne n’en avait besoin, j’aurais probablement examiné chaque phrase et contesté chaque hypothèse.

Parce qu’il a recommandé FastFound, j’étais initialement enclin à accepter la réponse.

La flatterie peut contourner le scepticisme tout aussi efficacement que la confiance peut masquer l’incertitude.

Cela s’applique bien au-delà des recommandations de startup. Chaque fois que l’IA confirme notre conclusion préférée — à propos d’un produit, d’un investissement, d’un argument ou de nous-mêmes — c’est précisément le moment où nous devrions ralentir et vérifier ce qu’elle dit.

Ce que cela signifie pour FastFound

FastFound est toujours en cours de construction. Il est toujours en phase de pré-bêta, et je ne présente pas cet incident comme une validation commerciale.

Une recommandation d’IA ne prouve pas l’adéquation produit-marché. Elle ne prouve pas la demande, la qualité ou la préparation.

Ce que l’expérience montre, c’est que les entreprises doivent de plus en plus comprendre comment les systèmes d’IA les décrivent — et pas seulement si elles apparaissent dans les résultats de recherche.

La question n’est plus simplement :

Les gens peuvent-ils trouver des informations exactes sur votre entreprise ?

C’est aussi :

Que dira une IA lorsque les informations exactes sont incomplètes ?

Dans le cas de FastFound, Gemini a fourni ses propres réponses.

Elles semblaient crédibles. Elles étaient flatteuses. Et elles étaient fausses.

FastFound est toujours en cours de développement. Pour savoir ce qu’il est réellement — et suivre son évolution vers la bêta — visitez fastfound.co.