Hvorfor jeg slettede de mest imponerende tal fra min hjemmeside

Der var en sektion på FastFounds hjemmeside, der beroligende lignede en rigtig teknologivirksomhed.

Den havde tal.

Specifikke tal.

Tal er betryggende.

De får et produkt til at føles målt.

“Bedre” er marketing.

“62%” føles som bevis.

Der var kun ét problem.

Det var ikke FastFounds tal.

FastFound er stadig pre-beta.

Der er ingen seksmåneders kundekohorter. Der er ikke en stor mængde data om klientresultater. Der er ikke nok historik til at offentliggøre meningsfuld fastholdelsespræstation.

Tallene kom fra research, der blev brugt under designet af forretningen.

Og vi havde gjort noget, der i bagklogskabens lys ser åbenlyst forkert ud.

Vi satte dem på hjemmesiden.

Vi vidste endda, at de ikke var vores

Dette var ikke et tilfælde af at glemme, hvor et tal kom fra.

Siden inkluderede en ansvarsfraskrivelse i intern stil, der gjorde det klart, at statistikkerne var illustrative og skulle erstattes med verificerede klientdata før lancering.

Ved første øjekast lyder det ansvarligt.

Det var det ikke.

Om noget, blotlagde det problemet endnu tydeligere.

En ansvarsfraskrivelse, der siger “dette er ikke vores bevis”, gør ikke magisk tallet til bevis om vores produkt.

Vi sagde i virkeligheden:

“Her er et imponerende resultat. Bemærk venligst det imponerende resultat. Teknisk set er det heller ikke vores resultat.”

Det er ikke den standard, jeg ønsker, FastFound skal operere efter.

Så tallene røg ud.

At fjerne data føltes forkert

Dette er den mærkelige del.

At erstatte imponerende statistikker med ingenting får en hjemmeside til at se mindre moden ud.

Der er et stærkt instinkt, når man bygger et nyt produkt, til at udfylde ethvert hul.

Tomme pladser ser ufærdige ud.

“Ingen kunderesultater endnu” føles som en svaghed.

Men FastFound har oprigtigt ingen klientresultater endnu.

Det er pre-beta.

Hvorfor skulle hjemmesiden antyde andet?

Et af tallene vedrørte genopretning af mistede muligheder.

Et andet vedrørte gentagen omsætning.

Et tredje sammenlignede kundefrafald under to forskellige servicemodeller.

Alle tre var nyttig research, da forretningen blev designet.

Ingen af dem beskrev FastFounds faktiske præstation.

Så jeg indførte en meget strengere regel.

Intet præstationstal offentliggøres som et FastFound-resultat, før jeg kan skrive ned, hvor vores tal kom fra, og hvilken periode det dækker.

Hvis jeg ikke kan skrive kildelinjen, er statistikken ikke klar.

Et tal havde et endnu dybere problem

Frafaldstallet afslørede noget mere interessant.

Forretningsmodellen havde udviklet sig mod at sælge pakker frem for en menu af individuelle tjenester.

Men researchstatistikken sammenlignede pakkekunder med enkelt-servicekunder.

Det lyder som noget, vi eventuelt kunne validere.

Bortset fra at vi ikke kan.

Hvis FastFound ikke sælger en meningsfuld kohorte af enkelt-servicekonti, vil der aldrig være en FastFound enkelt-servicekohorte at sammenligne med.

Den oprindelige statistik kunne derfor aldrig blive “vores” statistik.

Vi kunne lade det stå der i fem år, og det ville stadig tilhøre en andens research.

Den forskel betyder noget.

Vi kan eventuelt måle FastFounds egen fastholdelse.

Vi kan spørge:

“Hvilken procentdel af kunderne var stadig hos os efter seks måneder?”

Senere:

“Tolv måneder?”

Det er rigtige spørgsmål, vores forretning kan besvare.

Men vi kan ikke foregive at have kørt et eksperiment, som vores forretningsmodel faktisk ikke kører.

Så den sammenligning blev ikke blot skjult i afventning af bedre data.

Den blev slettet.

Bevis skal matche påstanden

Dette lyder indlysende, når det skrives ned.

Under produktudvikling er det ofte ikke.

Researchtal migrerer.

De starter i et markedsanalysedokument.

Så dukker de op i en servicespecifikation.

Så bruger nogen et i prisbegrundelse.

Så bliver det marketingtekst.

Efter et par flytninger kan et tal miste sin oprindelse, mens det bevarer sin autoritet.

Dette er især nemt, når man bruger AI.

Giv en AI en stor projektkontekst, der indeholder industristatistikker og virksomhedsinformation, og den kan producere et smukt skrevet afsnit, hvor grænsen mellem de to bliver uklar.

Prosaen er ikke ondsindet.

Kilde-distinktionen var simpelthen ikke kodet stærkt nok.

Så jeg er blevet meget mere interesseret i oprindelse.

Ikke blot:

“Hvad er tallet?”

Men:

“Hvis tal er det?”

“Hvilken population blev målt?”

“Over hvilken periode?”

“Ligner den population det, vi påstår, den beskriver?”

“Og kan FastFound nogensinde generere et tilsvarende tal selv?”

Den tomme tilstand er nu bevidst

Hjemmesiden har nu en langt mindre imponerende position.

I bund og grund:

Vi har ingen klientresultater at vise endnu.

Den plads er tom med vilje.

Mærkeligt nok foretrækker jeg det.

Det siger noget, jeg ønsker, at produktet selv skal sige senere:

usikkerhed bør forblive synlig, indtil beviser fjerner den.

Der vil være en stærk fristelse efter betaens start til at udfylde sektionen så hurtigt som muligt.

Én kunde får et godt resultat.

Fantastisk. Sæt det på hjemmesiden.

Bortset fra at én kundes resultat er en casestudie, ikke en præstationsfordeling.

Ti kunder?

Bedre, men nu skal vi spørge, om målingen er sammenlignelig.

Et par måneders fastholdelse?

Nyttigt, men ikke årligt frafald.

Den nye regel skaber friktion.

Det er med vilje.

Marketing bør ikke kunne overhale beviser, blot fordi siden ser bedre ud med et tal på.

Der er en kommerciel omkostning ved dette

Jeg antager ikke, at radikal faktuel forsigtighed altid belønnes.

En konkurrent kan vise større tal.

Deres hjemmeside kan føles mere etableret.

En køber inspicerer måske aldrig metodologien.

At fjerne en imponerende statistik kan reducere konverteringen.

Men der er en anden omkostning, der er sværere at måle.

I det øjeblik en potentiel kunde opdager, at en angiveligt præcis påstand faktisk er lånt, estimeret eller kreativt formuleret, bliver enhver anden præcis påstand også mistænkelig.

Tillid forstærkes.

Det gør mistillid også.

Jeg vil hellere have en tom bevissektion i pre-beta end at bruge det næste år på at forklare, hvorfor beviset ikke rigtig var vores.

Til sidst vil jeg have den sektion fuld af tal.

Men når den er det, vil de have været irriterende svære at opnå.

Det er pointen.

FastFound er i øjeblikket pre-beta. Den har endnu ikke en mængde klientpræstationsdata, og dette indlæg beskriver, hvorfor jeg agter at beholde det sådan på hjemmesiden, indtil ægte resultater eksisterer.