Un'IA ha raccomandato la mia startup prima ancora che la lanciassi. Poi si è inventata delle cose.

Gemini sembrava capire FastFound straordinariamente bene—finché non ho esaminato attentamente ciò che stava effettivamente dicendo.

FastFound è ancora in fase pre-beta.

Non è stato lanciato commercialmente. Il suo prezzo finale, gli impegni di servizio e il funzionamento tecnico sono ancora in fase di sviluppo.

Quindi sono rimasto sorpreso quando Gemini lo ha raccomandato.

Per un breve momento, questo è sembrato un progresso significativo. Un sistema di intelligenza artificiale aveva scoperto FastFound, aveva capito cosa stava cercando di fare e lo aveva ritenuto degno di menzione.

È stato entusiasmante.

Era anche pericoloso—perché gran parte di ciò che Gemini ha detto su FastFound non era vero.

La risposta a cui volevo credere

Gemini non si è limitato a menzionare FastFound. Ha presentato il prodotto con sicurezza.

La sua risposta suonava autorevole. Sembrava capire il problema che FastFound era stato costruito per risolvere e ha descritto il prodotto come se fosse già un servizio consolidato.

Volevo davvero credere alla risposta.

Questo è importante, perché tendiamo a esaminare l’IA con maggiore attenzione quando dice qualcosa di ovviamente sbagliato o contraddice ciò in cui già crediamo.

Siamo spesso molto meno critici quando ci dice esattamente ciò che speravamo di sentire.

La raccomandazione era lusinghiera. Questo ha reso facile concentrarsi sull’apparente successo—FastFound che emergeva grazie a un’IA—piuttosto che esaminare ogni affermazione fatta dall’IA.

Quando ho esaminato quelle affermazioni, i problemi sono diventati chiari.

Ha inventato il prezzo

Gemini ha dichiarato un prezzo per FastFound.

Il prezzo sembrava plausibile. È stato presentato in modo naturale e sicuro, senza alcuna indicazione che fosse una stima o un’ipotesi.

Ma non era il prezzo di FastFound.

All’epoca, FastFound era—e rimane—in fase pre-beta. Il modello commerciale non era stato stabilito pubblicamente nella forma descritta da Gemini.

L’IA aveva colmato una lacuna nella sua conoscenza con qualcosa che suonava ragionevole.

Questa è una delle forme più pericolose di errore dell’IA. Un’affermazione selvaggiamente implausibile è facile da rifiutare. Un dettaglio inventato credibile può passare inosservato e diventare rapidamente accettato come fatto.

Ha inventato un accordo sul livello di servizio

Gemini ha anche descritto impegni di servizio che FastFound non aveva mai preso.

Ancora una volta, la formulazione suonava del tutto credibile. Assomigliava al tipo di garanzia che un servizio maturo potrebbe pubblicare come parte di un accordo formale sul livello di servizio.

Ma nessun impegno pubblico di questo tipo esisteva.

Una funzionalità inventata è scomoda. Una promessa contrattuale o operativa inventata è potenzialmente molto più seria.

Se un potenziale cliente incontra tale affermazione, potrebbe ragionevolmente presumere che provenga dall’azienda. Il fatto che un’IA l’abbia generata non riduce necessariamente la confusione risultante—o il danno alla reputazione.

Ha inventato una garanzia di responsabilità

La risposta è andata oltre e ha attribuito a FastFound una promessa relativa alla responsabilità.

Non si trattava di un piccolo malinteso. Le garanzie e gli impegni di responsabilità hanno un reale significato commerciale e legale.

Dovrebbero essere scritti deliberatamente, esaminati attentamente e pubblicati dall’organizzazione che li rilascia.

Non dovrebbero essere improvvisati da un’IA che cerca di produrre una risposta che suoni completa.

Eppure Gemini ha presentato l’affermazione con la stessa sicurezza che ha usato per tutto il resto. Non c’era alcuna distinzione visibile tra informazioni verificate e dettagli inventati.

Per un lettore non familiare con FastFound, l’intera risposta avrebbe potuto facilmente apparire fattuale.

Ha inventato l’architettura tecnica

Gemini ha anche descritto come FastFound avrebbe dovuto funzionare dietro le quinte.

L’architettura che ha presentato non era l’architettura che stavo costruendo.

Questo crea un diverso tipo di problema.

Informazioni tecniche false possono fuorviare potenziali clienti, partner, concorrenti e persino persone che valutano se un prodotto è appropriato per un uso particolare.

Può anche creare aspettative che il prodotto reale non è mai stato progettato per soddisfare.

Non pubblicherò gli algoritmi, i prompt, i dettagli dell’infrastruttura, le procedure operative o altri elementi di FastFound che costituiscono il suo vantaggio competitivo.

Ma questo non significa che un’IA sia libera di riempire il silenzio con un’architettura di sua invenzione.

C’è una differenza importante tra informazioni private e informazioni sconosciute. I sistemi di IA non sempre rispettano questa distinzione.

Visibilità senza controllo fattuale

Essere raccomandati da un’IA suona come un successo di marketing.

Per un prodotto in fase iniziale, può sembrare una prova che il marchio sta iniziando ad apparire nell’ecosistema informativo più ampio.

Ma la visibilità senza controllo fattuale può essere pericolosa.

Una raccomandazione dell’IA può mettere il vostro prodotto di fronte a qualcuno di nuovo, fornendo contemporaneamente a quella persona informazioni errate su:

• Quanto costa il prodotto
• Quale servizio garantisce
• Quali responsabilità accetta
• Come funziona la sua tecnologia
• Se è già disponibile
• Quanto è matura l’attività in realtà

A quel punto, una maggiore visibilità non significa necessariamente una maggiore comprensione.

Può semplicemente significare che informazioni imprecise stanno viaggiando più lontano.

Le risposte dell’IA possono diventare la loro stessa fonte

C’è un’altra preoccupazione.

Una volta che un’affermazione inventata appare in una risposta generata dall’IA, può essere ripetuta altrove. Qualcuno potrebbe citarla in un articolo, includerla in un confronto, pubblicarla sui social media o inserirla in un altro sistema di IA.

L’invenzione originale può gradualmente acquisire l’aspetto di una corroborazione.

Diverse fonti possono sembrare concordare quando, in realtà, stanno tutte ripetendo la stessa affermazione non supportata.

Per un’azienda in fase pre-beta, questo può creare una descrizione pubblica del prodotto prima che l’azienda stessa abbia definito correttamente tale descrizione.

L’IA non ha bisogno di intenti malevoli per causare questo. Ha solo bisogno di informazioni incomplete e di una forte tendenza a fornire una risposta utile e ben rifinita.

La scomoda lezione

La mia prima reazione è stata l’entusiasmo.

La mia seconda reazione avrebbe dovuto essere la verifica.

Questa è la lezione che traggo dall’esperienza:

Esaminiamo meno l’IA quando ci dice ciò che vogliamo sentire.

Se Gemini avesse criticato FastFound o avesse affermato che nessuno ne aveva bisogno, probabilmente avrei esaminato ogni frase e contestato ogni ipotesi.

Poiché ha raccomandato FastFound, ero inizialmente propenso ad accettare la risposta.

L’adulazione può aggirare lo scetticismo con la stessa efficacia con cui la sicurezza può mascherare l’incertezza.

Questo si applica ben oltre le raccomandazioni per le startup. Ogni volta che l’IA conferma la nostra conclusione preferita—su un prodotto, un investimento, un argomento o noi stessi—è proprio allora che dovremmo rallentare e verificare ciò che sta dicendo.

Cosa significa questo per FastFound

FastFound è ancora in costruzione. È ancora in fase pre-beta, e non presento questo incidente come una convalida commerciale.

Una raccomandazione dell’IA non prova l’adattamento prodotto-mercato. Non prova la domanda, la qualità o la prontezza.

Ciò che l’esperienza mostra è che le aziende hanno sempre più bisogno di capire come i sistemi di IA le descrivono—non solo se appaiono nei risultati di ricerca.

La domanda non è più semplicemente:

Le persone possono trovare informazioni accurate sulla vostra attività?

È anche:

Cosa dirà un’IA quando le informazioni accurate sono incomplete?

Nel caso di FastFound, Gemini ha fornito le proprie risposte.

Sembravano credibili. Erano lusinghiere. Ed erano sbagliate.

FastFound sta ancora prendendo forma. Per scoprire cosa sia realmente—e seguire il suo sviluppo mentre si avvicina alla fase beta—visitate fastfound.co.