En AI rekommenderade min startup innan jag ens hade lanserat. Sedan hittade den på saker.

Gemini verkade förstå FastFound anmärkningsvärt väl – tills jag granskade vad den faktiskt sa.

FastFound är fortfarande i pre-beta-stadiet.

Den har inte lanserats kommersiellt. Dess slutgiltiga prissättning, serviceåtaganden och tekniska drift är fortfarande under utveckling.

Så jag blev förvånad när Gemini rekommenderade den.

För ett kort ögonblick kändes detta som ett betydande genombrott. Ett AI-system hade upptäckt FastFound, förstått vad den försökte åstadkomma och ansåg den värd att nämna.

Det var spännande.

Det var också farligt – eftersom mycket av det Gemini sa om FastFound inte var sant.

Svaret jag ville tro på

Gemini nämnde inte bara FastFound. Den presenterade produkten med självförtroende.

Dess svar lät auktoritativt. Den verkade förstå problemet som FastFound byggdes för att lösa och beskrev produkten som om den redan var en etablerad tjänst.

Jag ville verkligen tro på svaret.

Detta är viktigt, eftersom vi tenderar att granska AI som mest noggrant när den säger något uppenbart felaktigt eller motsäger det vi redan tror på.

Vi är ofta betydligt mindre kritiska när den berättar precis vad vi hoppades höra.

Rekommendationen var smickrande. Det gjorde det lätt att fokusera på den uppenbara bedriften – att FastFound uppmärksammades av en AI – snarare än att granska varje påstående som AI:n hade gjort.

När jag väl granskade dessa påståenden blev problemen tydliga.

Den hittade på prissättningen

Gemini angav ett pris för FastFound.

Priset lät trovärdigt. Det presenterades naturligt och självsäkert, utan någon indikation på att det var en uppskattning eller ett antagande.

Men det var inte FastFounds pris.

Vid den tidpunkten var FastFound – och är fortfarande – i pre-beta-stadiet. Den kommersiella modellen hade inte offentligt fastställts i den form Gemini beskrev.

AI:n hade fyllt en lucka i sin kunskap med något som lät rimligt.

Detta är en av de farligare formerna av AI-fel. Ett vilt osannolikt påstående är lätt att avfärda. En trovärdig påhittad detalj kan passera obemärkt och snabbt accepteras som fakta.

Den hittade på ett serviceavtal

Gemini beskrev också serviceåtaganden som FastFound aldrig hade gjort.

Återigen lät formuleringen helt trovärdig. Den liknade den typ av försäkran som en mogen tjänst skulle kunna publicera som en del av ett formellt serviceavtal.

Men inget sådant offentligt åtagande existerade.

En påhittad funktion är obekväm. Ett påhittat avtalsmässigt eller operativt löfte är potentiellt mycket allvarligare.

Om en potentiell kund stöter på det påståendet kan de rimligen anta att det kom från företaget. Det faktum att en AI genererade det minskar inte nödvändigtvis den resulterande förvirringen – eller det anseendeskada.

Den hittade på en ansvarsgaranti

Svaret gick längre och tillskrev FastFound ett ansvarsrelaterat löfte.

Det var inte ett mindre missförstånd. Garantier och ansvarsåtaganden har verklig kommersiell och juridisk betydelse.

De bör skrivas medvetet, granskas noggrant och publiceras av den organisation som utfärdar dem.

De bör inte improviseras av en AI som försöker producera ett fullständigt svar.

Ändå presenterade Gemini påståendet med samma självförtroende som den använde för allt annat. Det fanns ingen synlig skillnad mellan verifierad information och påhittade detaljer.

För en läsare som inte känner till FastFound kunde hela svaret lätt ha framstått som faktabaserat.

Den hittade på den tekniska arkitekturen

Gemini beskrev också hur FastFound förmodligen fungerade bakom kulisserna.

Arkitekturen den presenterade var inte den arkitektur jag byggde.

Detta skapar en annan typ av problem.

Falsk teknisk information kan vilseleda potentiella kunder, partners, konkurrenter och till och med personer som bedömer om en produkt är lämplig för en viss användning.

Den kan också skapa förväntningar som den verkliga produkten aldrig var designad för att uppfylla.

Jag kommer inte att publicera FastFounds algoritmer, prompter, infrastrukturdetaljer, driftprocedurer eller andra element som utgör dess konkurrensfördel.

Men det betyder inte att en AI är fri att fylla tystnaden med en arkitektur av sin egen uppfinning.

Det finns en viktig skillnad mellan att information är privat och att information är okänd. AI-system respekterar inte alltid den skillnaden.

Synlighet utan faktisk kontroll

Att bli rekommenderad av en AI låter som en marknadsföringsframgång.

För en produkt i ett tidigt skede kan det kännas som bevis på att varumärket börjar synas i det bredare informationslandskapet.

Men synlighet utan faktisk kontroll kan vara farligt.

En AI-rekommendation kan placera din produkt framför någon ny samtidigt som den ger den personen felaktig information om:

• Vad produkten kostar
• Vilken service den garanterar
• Vilka åtaganden den accepterar
• Hur dess teknik fungerar
• Om den redan är tillgänglig
• Hur mogen verksamheten faktiskt är

Vid den tidpunkten innebär större synlighet inte nödvändigtvis större förståelse.

Det kan helt enkelt betyda att felaktig information sprids längre.

AI-svar kan bli sin egen källa

Det finns en annan oro.

När ett påhittat påstående väl dyker upp i ett AI-genererat svar kan det upprepas någon annanstans. Någon kan citera det i en artikel, inkludera det i en jämförelse, posta det på sociala medier eller mata in det i ett annat AI-system.

Den ursprungliga uppfinningen kan gradvis få sken av bekräftelse.

Flera källor kan verka överens när de i själva verket alla upprepar samma obestyrkta påstående.

För ett pre-beta-företag kan detta skapa en offentlig beskrivning av produkten innan företaget själv har definierat den beskrivningen ordentligt.

AI:n behöver inte ha illvilliga avsikter för att orsaka detta. Den behöver bara ofullständig information och en stark tendens att ge ett hjälpsamt, polerat svar.

Den obekväma lärdomen

Min första reaktion var spänning.

Min andra reaktion borde ha varit verifiering.

Det är lärdomen jag drar av erfarenheten:

Vi granskar AI mindre när den berättar vad vi vill höra.

Om Gemini hade kritiserat FastFound eller hävdat att ingen behövde den, skulle jag förmodligen ha granskat varje mening och ifrågasatt varje antagande.

Eftersom den rekommenderade FastFound var jag initialt benägen att acceptera svaret.

Smicker kan kringgå skepticism lika effektivt som självförtroende kan dölja osäkerhet.

Detta gäller långt bortom startup-rekommendationer. Närhelst AI bekräftar vår föredragna slutsats – om en produkt, en investering, ett argument eller oss själva – är det just då vi bör sakta ner och verifiera vad den säger.

Vad detta betyder för FastFound

FastFound byggs fortfarande. Den är fortfarande i pre-beta-stadiet, och jag presenterar inte denna incident som kommersiell validering.

En AI-rekommendation bevisar inte produkt-marknadsanpassning. Den bevisar inte efterfrågan, kvalitet eller beredskap.

Vad erfarenheten däremot visar är att företag i allt högre grad behöver förstå hur AI-system beskriver dem – inte bara om de dyker upp i sökresultat.

Frågan är inte längre bara:

Kan människor hitta korrekt information om ditt företag?

Det är också:

Vad kommer en AI att säga när den korrekta informationen är ofullständig?

I FastFounds fall levererade Gemini sina egna svar.

De lät trovärdiga. De var smickrande. Och de var fel.

FastFound tar fortfarande form. För att lära dig vad den faktiskt är – och följa dess utveckling när den närmar sig beta – besök fastfound.co.