Varför jag tog bort de mest imponerande siffrorna från min hemsida

Det fanns en sektion på FastFounds hemsida som på ett betryggande sätt såg ut som ett riktigt teknikföretag.

Den hade siffror.

Specifika siffror.

Siffror är betryggande.

De får en produkt att kännas välgrundad.

”Bättre” är marknadsföring.

”62 %” känns som bevis.

Det fanns bara ett problem.

De var inte FastFounds siffror.

FastFound är fortfarande i pre-beta.

Det finns inga sexmånaderskundkohorter. Det finns ingen stor mängd data om klientresultat. Det finns inte tillräckligt med historik för att publicera meningsfull retentionsprestanda.

Siffrorna kom från forskning som använts vid utformningen av verksamheten.

Och vi hade gjort något som, i efterhand, ser uppenbart fel ut.

Vi lade dem på hemsidan.

Vi visste till och med att de inte var våra

Detta handlade inte om att glömma var en siffra kom ifrån.

Sidan innehöll en ansvarsfriskrivning i intern stil som klargjorde att statistiken var illustrativ och skulle ersättas med verifierad klientdata före lansering.

Vid första anblicken låter det ansvarsfullt.

Det var det inte.

Om något, blottlade det problemet ännu tydligare.

En ansvarsfriskrivning som säger ”detta är inte våra bevis” gör inte magiskt siffran till bevis om vår produkt.

Vi sa i praktiken:

”Här är ett imponerande resultat. Var vänlig notera det imponerande resultatet. Dessutom, tekniskt sett, är det inte vårt resultat.”

Det är inte den standard jag vill att FastFound ska arbeta efter.

Så siffrorna togs bort.

Att ta bort data kändes fel

Detta är den märkliga delen.

Att ersätta imponerande statistik med ingenting får en hemsida att se mindre mogen ut.

Det finns en stark instinkt när man bygger en ny produkt att fylla varje lucka.

Tomma utrymmen ser oavslutade ut.

”Inga kundresultat ännu” känns som en svaghet.

Men FastFound har genuint inga klientresultat ännu.

Det är i pre-beta.

Varför skulle webbplatsen antyda något annat?

En av siffrorna relaterade till att återvinna missade möjligheter.

En annan relaterade till återkommande intäkter.

En tredje jämförde kundbortfall under två olika tjänstemodeller.

Alla tre var användbar forskning vid utformningen av verksamheten.

Ingen av dem beskrev FastFounds faktiska prestanda.

Så jag införde en mycket striktare regel.

Inget prestandanummer publiceras som ett FastFound-resultat förrän jag kan skriva ner var vårt nummer kom ifrån och vilken period det täcker.

Om jag inte kan skriva källhänvisningen, är statistiken inte redo.

Ett nummer hade ett ännu djupare problem

Siffran för kundbortfall avslöjade något mer intressant.

Affärsmodellen hade utvecklats mot att sälja paket snarare än en meny med individuella tjänster.

Men forskningsstatistiken jämförde paketerade kunder med kunder med enskilda tjänster.

Det låter som något vi så småningom skulle kunna validera.

Förutom att vi inte kan.

Om FastFound inte säljer en meningsfull kohort av enskilda tjänstekonton, kommer det aldrig att finnas en FastFound-kohort för enskilda tjänster att jämföra med.

Den ursprungliga statistiken kunde därför aldrig bli ”vår” statistik.

Vi kunde lämna den där i fem år och den skulle fortfarande tillhöra någon annans forskning.

Den distinktionen spelar roll.

Vi kan så småningom mäta FastFounds egen retention.

Vi kan fråga:

”Hur stor andel av kunderna var fortfarande med oss efter sex månader?”

Senare:

”Tolv månader?”

Det är verkliga frågor som vår verksamhet kan besvara.

Men vi kan inte låtsas ha genomfört ett experiment som vår affärsmodell faktiskt inte genomför.

Så den jämförelsen var inte bara dold i väntan på bättre data.

Den raderades.

Bevis måste matcha påståendet

Detta låter uppenbart när det skrivs ner.

Under produktutveckling är det ofta inte det.

Forskningssiffror migrerar.

De börjar i ett marknadsanalysdokument.

Sedan dyker de upp i en tjänstespecifikation.

Sedan använder någon en i prissättningsmotiveringen.

Sedan blir det marknadsföringstext.

Efter några flyttar kan ett nummer förlora sitt ursprung samtidigt som det behåller sin auktoritet.

Detta är särskilt enkelt när man använder AI.

Ge en AI en stor projektkontext som innehåller branschstatistik och företagsinformation och den kan producera en vackert skriven paragraf där gränsen mellan de två blir suddig.

Prosan är inte illvillig.

Källskillnaden var helt enkelt inte kodad tillräckligt starkt.

Så jag har blivit mycket mer intresserad av proveniens.

Inte bara:

”Vad är siffran?”

Utan:

”Vems siffra är det?”

”Vilken population mättes?”

”Under vilken period?”

”Liknar den populationen det vi påstår att den beskriver?”

”Och kan FastFound någonsin generera ett motsvarande nummer på egen hand?”

Det tomma tillståndet är nu avsiktligt

Hemsidan har nu en mycket mindre imponerande position.

I huvudsak:

Vi har inga klientresultat att visa ännu.

Det utrymmet är tomt med flit.

Märkligt nog föredrar jag det.

Det säger något jag vill att produkten själv ska säga senare:

osäkerhet bör förbli synlig tills bevis tar bort den.

Det kommer att finnas en stark frestelse efter att beta börjar att fylla sektionen så snabbt som möjligt.

En kund får ett bra resultat.

Bra. Lägg det på webbplatsen.

Förutom att en kunds resultat är en fallstudie, inte en prestandafördelning.

Tio kunder?

Bättre, men nu måste vi fråga om måttet är jämförbart.

Några månaders retention?

Användbart, men inte årligt kundbortfall.

Den nya regeln skapar friktion.

Det är avsiktligt.

Marknadsföring ska inte kunna springa ifrån bevis bara för att sidan ser bättre ut med en siffra på den.

Detta har en kommersiell kostnad

Jag antar inte att radikal faktabaserad försiktighet alltid belönas.

En konkurrent kan visa större siffror.

Deras hemsida kan kännas mer etablerad.

En köpare kanske aldrig granskar metodiken.

Att ta bort en imponerande statistik kan minska konverteringen.

Men det finns en annan kostnad som är svårare att mäta.

I det ögonblick en potentiell kund upptäcker att ett förmodat exakt påstående faktiskt är lånat, uppskattat eller kreativt formulerat, blir varje annat exakt påstående också misstänkt.

Förtroende byggs på.

Det gör även misstro.

Jag skulle hellre ha en tom bevissektion i pre-beta än att spendera nästa år med att förklara varför beviset inte riktigt var vårt.

Så småningom vill jag att den sektionen ska vara full av siffror.

Men när den är det, kommer de att ha varit irriterande svåra att förtjäna.

Det är poängen.

FastFound är för närvarande i pre-beta. Det har ännu inte en samling klientprestandadata, och det här inlägget beskriver varför jag avser att behålla det så på webbplatsen tills genuina resultat finns.