Waarom ik de meest indrukwekkende cijfers van mijn homepage heb verwijderd

Er was een sectie op de FastFound homepage die geruststellend veel leek op een echt technologiebedrijf.

Het bevatte cijfers.

Specifieke cijfers.

Cijfers zijn geruststellend.

Ze geven het gevoel dat een product gemeten is.

“Beter” is marketing.

“62%” voelt als bewijs.

Er was maar één probleem.

Het waren niet de cijfers van FastFound.

FastFound is nog pre-bèta.

Er zijn geen klantcohorten van zes maanden. Er is geen grote hoeveelheid gegevens over klantresultaten. Er is niet genoeg geschiedenis om zinvolle retentieprestaties te publiceren.

De cijfers kwamen uit onderzoek dat gebruikt werd bij het ontwerpen van het bedrijf.

En we hadden iets gedaan dat, achteraf gezien, overduidelijk verkeerd is.

We hebben ze op de homepage gezet.

We wisten zelfs dat ze niet van ons waren

Dit was geen geval van vergeten waar een cijfer vandaan kwam.

De pagina bevatte een disclaimer in interne stijl die duidelijk maakte dat de statistieken illustratief waren en vóór de lancering vervangen moesten worden door geverifieerde klantgegevens.

Op het eerste gezicht klinkt dat verantwoord.

Dat was het niet.

Sterker nog, het legde het probleem nog duidelijker bloot.

Een disclaimer die zegt “dit is niet ons bewijs” maakt het cijfer niet op magische wijze bewijs over ons product.

We zeiden eigenlijk:

“Hier is een indrukwekkend resultaat. Let alsjeblieft op het indrukwekkende resultaat. Technisch gezien is het echter niet ons resultaat.”

Dat is niet de standaard waaraan ik wil dat FastFound voldoet.

Dus de cijfers zijn eruit gehaald.

Gegevens verwijderen voelde verkeerd

Dit is het vreemde deel.

Indrukwekkende statistieken vervangen door niets, laat een homepage minder volwassen lijken.

Er is een sterk instinct bij het bouwen van een nieuw product om elke leegte op te vullen.

Lege plekken zien er onaf uit.

“Nog geen klantresultaten” voelt als zwakte.

Maar FastFound heeft oprecht nog geen klantresultaten.

Het is pre-bèta.

Waarom zou de website anders suggereren?

Een van de cijfers had betrekking op het herstellen van gemiste kansen.

Een ander had betrekking op terugkerende inkomsten.

Een derde vergeleek klantverloop onder twee verschillende servicemodellen.

Alle drie waren nuttig onderzoek bij het ontwerpen van het bedrijf.

Geen van hen beschreef de werkelijke prestaties van FastFound.

Dus heb ik een veel strengere regel ingevoerd.

Geen enkel prestatiecijfer wordt als een FastFound-resultaat gepubliceerd totdat ik kan opschrijven waar ons cijfer vandaan komt en welke periode het beslaat.

Als ik de bronvermelding niet kan opschrijven, is de statistiek niet klaar.

Eén cijfer had een nog dieper probleem

Het churn-cijfer onthulde iets interessanters.

Het bedrijfsmodel was geëvolueerd naar het verkopen van bundels in plaats van een menu van individuele diensten.

Maar de onderzoeksstatistiek vergeleek gebundelde klanten met klanten met één dienst.

Dat klinkt als iets wat we uiteindelijk zouden kunnen valideren.

Behalve dat we dat niet kunnen.

Als FastFound geen betekenisvolle cohort van accounts met één dienst verkoopt, zal er nooit een FastFound-cohort met één dienst zijn om mee te vergelijken.

De oorspronkelijke statistiek kon daarom nooit “onze” statistiek worden.

We zouden het daar vijf jaar kunnen laten staan en het zou nog steeds toebehoren aan het onderzoek van iemand anders.

Dat onderscheid is belangrijk.

We kunnen uiteindelijk de eigen retentie van FastFound meten.

We kunnen vragen:

“Welk percentage klanten was na zes maanden nog bij ons?”

Later:

“Twaalf maanden?”

Dat zijn echte vragen die ons bedrijf kan beantwoorden.

Maar we kunnen niet doen alsof we een experiment hebben uitgevoerd dat ons bedrijfsmodel in werkelijkheid niet uitvoert.

Die vergelijking werd dus niet alleen verborgen in afwachting van betere gegevens.

Het werd verwijderd.

Bewijs moet overeenkomen met de bewering

Dit klinkt vanzelfsprekend wanneer het wordt opgeschreven.

Tijdens productontwikkeling is dat vaak niet zo.

Onderzoeksgegevens migreren.

Ze beginnen in een marktanalyse-document.

Dan verschijnen ze in een dienstspecificatie.

Dan gebruikt iemand er een in de prijsbepaling.

Dan wordt het marketingtekst.

Na een paar verplaatsingen kan een cijfer zijn herkomst verliezen, terwijl het zijn autoriteit behoudt.

Dit is vooral gemakkelijk bij het gebruik van AI.

Geef een AI een grote projectcontext met industriestatistieken en bedrijfsinformatie en het kan een prachtig geschreven paragraaf produceren waarin de grens tussen de twee vaag wordt.

De tekst is niet kwaadaardig.

Het onderscheid in bron was simpelweg niet sterk genoeg gecodeerd.

Dus ben ik veel meer geïnteresseerd geraakt in herkomst.

Niet alleen:

“Wat is het cijfer?”

Maar:

“Van wie is het cijfer?”

“Welke populatie werd gemeten?”

“Over welke periode?”

“Lijkt die populatie op wat we beweren dat het beschrijft?”

“En kan FastFound ooit een vergelijkbaar eigen cijfer genereren?”

De lege staat is nu opzettelijk

De homepage heeft nu een veel minder indrukwekkende positie.

In wezen:

We hebben nog geen klantresultaten om te tonen.

Die ruimte is opzettelijk leeg.

Vreemd genoeg geef ik er de voorkeur aan.

Het zegt iets wat ik wil dat het product zelf later zegt:

onzekerheid moet zichtbaar blijven totdat bewijs het wegneemt.

Er zal een sterke verleiding zijn om, nadat de bèta begint, de sectie zo snel mogelijk te vullen.

Eén klant behaalt een goed resultaat.

Geweldig. Zet het op de website.

Behalve dat het resultaat van één klant een casestudy is, geen prestatieverdeling.

Tien klanten?

Beter, maar nu moeten we ons afvragen of de meting vergelijkbaar is.

Een paar maanden retentie?

Nuttig, maar geen jaarlijkse churn.

De nieuwe regel creëert frictie.

Dat is opzettelijk.

Marketing zou bewijs niet mogen vooruitlopen, simpelweg omdat de pagina er beter uitziet met een cijfer erop.

Hieraan zijn commerciële kosten verbonden

Ik ga er niet van uit dat radicale feitelijke voorzichtigheid altijd wordt beloond.

Een concurrent kan grotere cijfers tonen.

Hun homepage kan meer gevestigd aanvoelen.

Een koper inspecteert de methodologie misschien nooit.

Het verwijderen van een indrukwekkende statistiek kan de conversie verminderen.

Maar er is een andere kostenpost die moeilijker te meten is.

Op het moment dat een potentiële klant ontdekt dat een zogenaamd precieze bewering eigenlijk geleend, geschat of creatief geformuleerd is, wordt elke andere precieze bewering ook verdacht.

Vertrouwen stapelt zich op.

Wantrouwen ook.

Ik heb liever een lege bewijssectie in pre-bèta dan het komende jaar uit te leggen waarom het bewijs niet echt van ons was.

Uiteindelijk wil ik die sectie vol met cijfers.

Maar als dat zo is, zullen ze op een irritant moeilijke manier verdiend zijn.

Dat is het punt.

FastFound is momenteel pre-bèta. Het heeft nog geen verzameling gegevens over klantprestaties, en dit bericht beschrijft waarom ik van plan ben het zo te houden op de website totdat er echte resultaten zijn.