Umělá inteligence doporučila můj startup ještě před spuštěním. Pak si vymýšlela.

Gemini zdánlivě rozumělo FastFoundu pozoruhodně dobře – dokud jsem se podrobněji nepodíval na to, co skutečně říkalo.

FastFound je stále ve fázi pre-beta.

Komerčně nebyl spuštěn. Jeho konečné ceny, závazky k poskytování služeb a technický provoz jsou stále ve vývoji.

Proto jsem byl překvapen, když ho Gemini doporučilo.

Na krátký okamžik to působilo jako významný průlom. Systém umělé inteligence objevil FastFound, pochopil, o co se snaží, a považoval ho za hodný zmínky.

To bylo vzrušující.

Bylo to také nebezpečné – protože mnoho z toho, co Gemini o FastFoundu řeklo, nebyla pravda.

Odpověď, které jsem chtěl věřit

Gemini FastFound nejen zmínilo. Produkt představilo s jistotou.

Jeho odpověď zněla autoritativně. Zdálo se, že rozumí problému, který měl FastFound řešit, a popsalo produkt, jako by se jednalo o již zavedenou službu.

Opravdu jsem té odpovědi chtěl věřit.

To je důležité, protože umělou inteligenci máme tendenci zkoumat nejpřesněji, když říká něco zjevně špatného nebo odporuje tomu, čemu už věříme.

Často jsme mnohem méně kritičtí, když nám říká přesně to, co jsme doufali slyšet.

Doporučení bylo lichotivé. Díky tomu bylo snadné soustředit se na zjevný úspěch – FastFound, který byl objeven umělou inteligencí – spíše než zkoumat každé tvrzení, které umělá inteligence učinila.

Když jsem tato tvrzení prozkoumal, problémy se vyjasnily.

Vymyslelo si ceny

Gemini uvedlo cenu za FastFound.

Cena zněla věrohodně. Byla prezentována přirozeně a s jistotou, bez jakékoli známky toho, že by šlo o odhad nebo domněnku.

Ale nebyla to cena FastFoundu.

V té době byl FastFound – a zůstává – ve fázi pre-beta. Komerční model nebyl veřejně stanoven ve formě, kterou Gemini popsalo.

Umělá inteligence vyplnila mezeru ve svých znalostech něčím, co znělo rozumně.

To je jedna z nebezpečnějších forem chyby umělé inteligence. Divoce nepravděpodobné tvrzení je snadné odmítnout. Věrohodný vymyšlený detail může projít bez povšimnutí a rychle se stát přijatým faktem.

Vymyslelo si dohodu o úrovni služeb

Gemini také popsalo závazky k poskytování služeb, které FastFound nikdy neučinil.

Opět, formulace zněla naprosto věrohodně. Připomínala druh ujištění, které by zralá služba mohla zveřejnit jako součást formální dohody o úrovni služeb.

Ale žádný takový veřejný závazek neexistoval.

Vymyšlená funkce je nepříjemná. Vymyšlený smluvní nebo provozní slib je potenciálně mnohem vážnější.

Pokud se potenciální zákazník s takovým tvrzením setká, může se oprávněně domnívat, že pochází od společnosti. Skutečnost, že ho vygenerovala umělá inteligence, nutně nesnižuje výsledný zmatek – ani poškození pověsti.

Vymyslelo si záruku odpovědnosti

Odpověď šla dál a přisoudila FastFoundu slib související s odpovědností.

To nebylo drobné nedorozumění. Záruky a závazky odpovědnosti mají skutečný obchodní a právní význam.

Měly by být záměrně sepsány, pečlivě zkontrolovány a zveřejněny organizací, která je činí.

Neměly by být improvizovány umělou inteligencí, která se snaží vytvořit úplně znějící odpověď.

Přesto Gemini prezentovalo tvrzení se stejnou jistotou, jakou používalo pro všechno ostatní. Nebyl viditelný rozdíl mezi ověřenými informacemi a vymyšlenými detaily.

Čtenáři, který FastFound neznal, se celá odpověď mohla snadno jevit jako faktická.

Vymyslelo si technickou architekturu

Gemini také popsalo, jak FastFound údajně funguje v zákulisí.

Architektura, kterou představilo, nebyla architekturou, kterou jsem budoval.

To vytváří jiný druh problému.

Falešné technické informace mohou uvést v omyl potenciální zákazníky, partnery, konkurenty a dokonce i lidi, kteří posuzují, zda je produkt vhodný pro konkrétní použití.

Může také vytvářet očekávání, která skutečný produkt nikdy nebyl navržen splnit.

Nezveřejním algoritmy, prompty, detaily infrastruktury, provozní postupy ani jiné prvky FastFoundu, které tvoří jeho konkurenční výhodu.

To ale neznamená, že umělá inteligence může volně vyplňovat ticho architekturou vlastního vynálezu.

Existuje důležitý rozdíl mezi tím, zda jsou informace soukromé, a tím, zda jsou neznámé. Systémy umělé inteligence tento rozdíl ne vždy respektují.

Viditelnost bez faktické kontroly

Být doporučen umělou inteligencí zní jako marketingový úspěch.

Pro produkt v rané fázi se to může jevit jako důkaz, že se značka začíná objevovat v širším informačním ekosystému.

Ale viditelnost bez faktické kontroly může být nebezpečná.

Doporučení umělé inteligence může umístit váš produkt před někoho nového a zároveň mu poskytnout nesprávné informace o:

• Kolik produkt stojí
• Jakou službu zaručuje
• Jaké závazky přijímá
• Jak funguje jeho technologie
• Zda je již k dispozici
• Jak zralý je ve skutečnosti byznys

V tu chvíli větší viditelnost nutně neznamená větší pochopení.

Může to jednoduše znamenat, že se nepřesné informace šíří dál.

Odpovědi umělé inteligence se mohou stát vlastním zdrojem

Existuje další obava.

Jakmile se vymyšlené tvrzení objeví v odpovědi generované umělou inteligencí, může být opakováno jinde. Někdo ho může citovat v článku, zahrnout ho do srovnání, zveřejnit na sociálních sítích nebo ho vložit do jiného systému umělé inteligence.

Původní výmysl může postupně získat zdání potvrzení.

Několik zdrojů se může zdát, že se shodují, když ve skutečnosti všechny opakují stejné nepodložené tvrzení.

Pro společnost ve fázi pre-beta to může vytvořit veřejný popis produktu dříve, než společnost sama tento popis řádně definovala.

Umělá inteligence k tomu nepotřebuje zlý úmysl. Potřebuje pouze neúplné informace a silnou tendenci poskytovat užitečnou, uhlazenou odpověď.

Nepříjemné ponaučení

Moje první reakce bylo nadšení.

Moje druhá reakce měla být ověření.

To je ponaučení, které si z této zkušenosti beru:

Umělou inteligenci zkoumáme méně, když nám říká to, co chceme slyšet.

Kdyby Gemini kritizovalo FastFound nebo tvrdilo, že ho nikdo nepotřebuje, pravděpodobně bych prozkoumal každou větu a zpochybnil každý předpoklad.

Protože doporučilo FastFound, byl jsem zpočátku nakloněn odpověď přijmout.

Lichocení může obejít skepticismus stejně účinně, jako jistota může maskovat nejistotu.

To platí daleko za doporučení startupů. Kdykoli umělá inteligence potvrdí náš preferovaný závěr – o produktu, investici, argumentu nebo o nás samotných – právě tehdy bychom měli zpomalit a ověřit, co říká.

Co to znamená pro FastFound

FastFound se stále buduje. Je stále ve fázi pre-beta a tento incident nepředkládám jako komerční ověření.

Doporučení umělé inteligence nedokazuje shodu produktu s trhem. Nedokazuje poptávku, kvalitu ani připravenost.

Zkušenost však ukazuje, že společnosti stále více potřebují rozumět tomu, jak je popisují systémy umělé inteligence – nejen zda se objevují ve výsledcích vyhledávání.

Otázka už není jen:

Mohou lidé najít přesné informace o vašem podnikání?

Je to také:

Co řekne umělá inteligence, když jsou přesné informace neúplné?

V případě FastFoundu Gemini dodalo vlastní odpovědi.

Zněly věrohodně. Byly lichotivé. A byly špatné.

FastFound se stále formuje. Chcete-li se dozvědět, co to skutečně je – a sledovat jeho vývoj, jak se posouvá k beta verzi – navštivte fastfound.co.