En AI anbefalede min startup, før jeg overhovedet havde lanceret. Så fandt den på ting.

Gemini syntes at forstå FastFound bemærkelsesværdigt godt – indtil jeg kiggede nærmere på, hvad den faktisk sagde.

FastFound er stadig pre-beta.

Den er ikke lanceret kommercielt. Dens endelige prissætning, serviceforpligtelser og tekniske drift er stadig under udvikling.

Så jeg blev overrasket, da Gemini anbefalede den.

I et kort øjeblik føltes det som et betydeligt gennembrud. Et AI-system havde opdaget FastFound, forstået hvad den forsøgte at gøre, og fundet den værd at nævne.

Det var spændende.

Det var også farligt – for meget af det, Gemini sagde om FastFound, var ikke sandt.

Svaret jeg gerne ville tro på

Gemini nævnte ikke blot FastFound. Den præsenterede produktet med selvtillid.

Dens svar lød autoritativt. Den syntes at forstå det problem, FastFound blev bygget til at løse, og beskrev produktet, som om det allerede var en etableret tjeneste.

Jeg ville virkelig gerne tro på svaret.

Det er vigtigt, for vi har en tendens til at granske AI mest omhyggeligt, når den siger noget åbenlyst forkert eller modsiger det, vi allerede tror på.

Vi er ofte langt mindre kritiske, når den fortæller os præcis, hvad vi håbede at høre.

Anbefalingen var smigrende. Det gjorde det nemt at fokusere på den tilsyneladende præstation – at FastFound blev fundet af en AI – i stedet for at undersøge hver eneste påstand, AI’en havde fremsat.

Da jeg undersøgte disse påstande, blev problemerne tydelige.

Den opfandt prissætningen

Gemini angav en pris for FastFound.

Prisen lød plausibel. Den blev præsenteret naturligt og selvsikkert, uden nogen indikation af, at det var et skøn eller en antagelse.

Men det var ikke FastFounds pris.

På det tidspunkt var FastFound – og er stadig – pre-beta. Den kommercielle model var ikke blevet offentligt etableret i den form, Gemini beskrev.

AI’en havde udfyldt et hul i sin viden med noget, der lød rimeligt.

Det er en af de farligere former for AI-fejl. En vildt usandsynlig påstand er nem at afvise. En troværdig opfundet detalje kan passere ubemærket og hurtigt blive accepteret som fakta.

Den opfandt en serviceaftale

Gemini beskrev også serviceforpligtelser, som FastFound aldrig havde indgået.

Igen lød formuleringen fuldstændig troværdig. Den lignede den slags forsikring, en moden tjeneste kunne offentliggøre som en del af en formel serviceaftale.

Men en sådan offentlig forpligtelse eksisterede ikke.

En opfundet funktion er ubelejlig. Et opfundet kontraktuelt eller operationelt løfte er potentielt meget mere alvorligt.

Hvis en potentiel kunde støder på den påstand, kan de med rimelighed antage, at den kom fra virksomheden. Det faktum, at en AI genererede den, reducerer ikke nødvendigvis den resulterende forvirring – eller omdømmeskaden.

Den opfandt en ansvarsgaranti

Svaret gik videre og tilskrev FastFound et ansvarsrelateret løfte.

Det var ikke en mindre misforståelse. Garantier og ansvarsforpligtelser har reel kommerciel og juridisk betydning.

De bør skrives bevidst, gennemgås omhyggeligt og offentliggøres af den organisation, der udsteder dem.

De bør ikke improviseres af en AI, der forsøger at producere et fyldestgørende svar.

Alligevel præsenterede Gemini påstanden med den samme selvtillid, som den brugte til alt andet. Der var ingen synlig forskel mellem verificeret information og opfundne detaljer.

For en læser, der ikke kender FastFound, kunne hele svaret let have fremstået som faktuelt.

Den opfandt den tekniske arkitektur

Gemini beskrev også, hvordan FastFound angiveligt fungerede bag kulisserne.

Den arkitektur, den præsenterede, var ikke den arkitektur, jeg byggede.

Dette skaber en anden slags problem.

Falsk teknisk information kan vildlede potentielle kunder, partnere, konkurrenter og endda folk, der vurderer, om et produkt er passende til en bestemt brug.

Den kan også skabe forventninger, som det rigtige produkt aldrig var designet til at opfylde.

Jeg vil ikke offentliggøre FastFounds algoritmer, prompts, infrastrukturdetaljer, driftsprocedurer eller andre elementer, der udgør dens konkurrencefordel.

Men det betyder ikke, at en AI frit kan udfylde tavsheden med en arkitektur af egen opfindelse.

Der er en vigtig forskel mellem information, der er privat, og information, der er ukendt. AI-systemer respekterer ikke altid den forskel.

Synlighed uden faktuel kontrol

At blive anbefalet af en AI lyder som en marketingsucces.

For et produkt i den tidlige fase kan det føles som bevis på, at brandet begynder at dukke op i det bredere informationsøkosystem.

Men synlighed uden faktuel kontrol kan være farlig.

En AI-anbefaling kan placere dit produkt foran en ny person, samtidig med at den giver vedkommende forkert information om:

• Hvad produktet koster
• Hvilken service den garanterer
• Hvilke forpligtelser den accepterer
• Hvordan dens teknologi fungerer
• Om den allerede er tilgængelig
• Hvor moden virksomheden faktisk er

På det tidspunkt betyder større synlighed ikke nødvendigvis større forståelse.

Det kan simpelthen betyde, at unøjagtig information spreder sig længere.

AI-svar kan blive deres egen kilde

Der er en anden bekymring.

Når en opfundet påstand først optræder i et AI-genereret svar, kan den gentages andre steder. Nogen kan citere den i en artikel, inkludere den i en sammenligning, poste den på sociale medier eller føre den ind i et andet AI-system.

Den oprindelige opfindelse kan gradvist få udseende af bekræftelse.

Flere kilder kan synes at være enige, når de i virkeligheden alle gentager den samme ubegrundede påstand.

For en pre-beta virksomhed kan dette skabe en offentlig beskrivelse af produktet, før virksomheden selv har defineret den beskrivelse ordentligt.

AI’en behøver ikke ondsindet hensigt for at forårsage dette. Den behøver kun ufuldstændig information og en stærk tendens til at give et hjælpsomt, poleret svar.

Den ubehagelige lektie

Min første reaktion var begejstring.

Min anden reaktion burde have været verifikation.

Det er den lektie, jeg tager med fra oplevelsen:

Vi gransker AI mindre, når den fortæller os, hvad vi gerne vil høre.

Hvis Gemini havde kritiseret FastFound eller hævdet, at ingen havde brug for den, ville jeg sandsynligvis have undersøgt hver sætning og udfordret hver antagelse.

Fordi den anbefalede FastFound, var jeg i første omgang tilbøjelig til at acceptere svaret.

Smiger kan omgå skepsis lige så effektivt, som selvtillid kan skjule usikkerhed.

Det gælder langt ud over startup-anbefalinger. Hver gang AI bekræfter vores foretrukne konklusion – om et produkt, en investering, et argument eller os selv – er det præcis der, vi bør sætte farten ned og verificere, hvad den siger.

Hvad det betyder for FastFound

FastFound er stadig under opbygning. Den er stadig pre-beta, og jeg præsenterer ikke denne hændelse som kommerciel validering.

En AI-anbefaling beviser ikke product-market fit. Den beviser ikke efterspørgsel, kvalitet eller parathed.

Hvad oplevelsen viser, er, at virksomheder i stigende grad skal forstå, hvordan AI-systemer beskriver dem – ikke kun om de vises i søgeresultater.

Spørgsmålet er ikke længere blot:

Kan folk finde nøjagtig information om din virksomhed?

Det er også:

Hvad vil en AI sige, når den nøjagtige information er ufuldstændig?

I FastFounds tilfælde leverede Gemini sine egne svar.

De lød troværdige. De var smigrende. Og de var forkerte.

FastFound tager stadig form. For at lære, hvad den faktisk er – og følge dens udvikling, mens den bevæger sig mod beta – besøg fastfound.co.