Proč jsem smazal nejpůsobivější čísla z mé domovské stránky

Na domovské stránce FastFound byla sekce, která uklidňujícím dojmem vypadala jako skutečná technologická společnost.

Měla čísla.

Konkrétní čísla.

Čísla jsou uklidňující.

Díky nim produkt působí, že je změřený.

„Lepší“ je marketing.

„62 %“ působí jako důkaz.

Byl tu jen jeden problém.

Nebyla to čísla FastFoundu.

FastFound je stále v předbeta fázi.

Neexistují žádné šestiměsíční kohorty zákazníků. Neexistuje rozsáhlý soubor dat o výsledcích klientů. Není dostatek historie k publikování smysluplné výkonnosti udržení.

Údaje pocházely z výzkumu, který byl použit při navrhování podnikání.

A udělali jsme něco, co se zpětně zdá očividně špatné.

Dali jsme je na domovskou stránku.

Dokonce jsme věděli, že nejsou naše

Nebylo to tak, že bychom zapomněli, odkud údaj pochází.

Stránka obsahovala prohlášení ve stylu interního upozornění, které jasně uvádělo, že statistiky jsou ilustrativní a měly by být před spuštěním nahrazeny ověřenými klientskými daty.

Na první pohled to zní zodpovědně.

Nebylo.

Spíše to problém odhalilo jasněji.

Prohlášení, které říká „toto není náš důkaz“, magicky neudělá z čísla důkaz o našem produktu.

V podstatě jsme říkali:

„Zde je působivý výsledek. Všimněte si prosím působivého výsledku. Také, technicky vzato, to není náš výsledek.“

To není standard, podle kterého chci, aby FastFound fungoval.

Takže čísla zmizela.

Odstranění dat působilo špatně

To je ta zvláštní část.

Nahrazení působivých statistik ničím způsobí, že domovská stránka vypadá méně zrale.

Při budování nového produktu existuje silný instinkt vyplnit každou mezeru.

Prázdná místa vypadají nedokončeně.

„Zatím žádné výsledky od zákazníků“ působí jako slabost.

Ale FastFound skutečně zatím nemá žádné klientské výsledky.

Je v předbeta fázi.

Proč by webové stránky naznačovaly opak?

Jeden z údajů se týkal získávání zmeškaných příležitostí.

Další se týkal opakovaných příjmů.

Třetí porovnával odliv zákazníků pod dvěma různými servisními modely.

Všechny tři byly užitečným výzkumem při navrhování podnikání.

Žádný z nich nepopisoval skutečný výkon FastFoundu.

Takže jsem zavedl mnohem přísnější pravidlo.

Žádný údaj o výkonu není publikován jako výsledek FastFoundu, dokud nebudu moci napsat, odkud naše číslo pochází a jaké období pokrývá.

Pokud nemohu uvést zdroj, statistika není připravena.

Jedno číslo mělo ještě hlubší problém

Údaj o odlivu zákazníků odhalil něco zajímavějšího.

Obchodní model se vyvinul směrem k prodeji balíčků spíše než menu jednotlivých služeb.

Ale výzkumná statistika porovnávala zákazníky s balíčky se zákazníky s jednou službou.

To zní jako něco, co bychom mohli nakonec ověřit.

Až na to, že nemůžeme.

Pokud FastFound neprodá smysluplnou kohortu účtů s jednou službou, nikdy nebude existovat kohorta FastFoundu s jednou službou, se kterou by se dalo porovnávat.

Původní statistika se proto nikdy nemohla stát „naší“ statistikou.

Mohli bychom ji tam nechat pět let a stále by patřila k výzkumu někoho jiného.

Tento rozdíl je důležitý.

Nakonec můžeme změřit vlastní retenci FastFoundu.

Můžeme se zeptat:

„Jaké procento zákazníků s námi bylo i po šesti měsících?“

Později:

„Dvanáct měsíců?“

To jsou skutečné otázky, na které naše podnikání může odpovědět.

Ale nemůžeme předstírat, že jsme provedli experiment, který náš obchodní model ve skutečnosti neprovádí.

Takže toto srovnání nebylo pouze skryto do doby, než budou k dispozici lepší data.

Bylo smazáno.

Důkazy se musí shodovat s tvrzením

To zní očividně, když se to napíše.

Během vývoje produktu tomu tak často není.

Údaje z výzkumu migrují.

Začínají v dokumentu analýzy trhu.

Pak se objeví ve specifikaci služby.

Pak někdo použije jeden v odůvodnění ceny.

Pak se z něj stane marketingový text.

Po několika přesunech může číslo ztratit svůj původ, zatímco si zachová svou autoritu.

To je obzvláště snadné při použití AI.

Dejte AI velký projektový kontext obsahující průmyslové statistiky a firemní informace a může vytvořit krásně napsaný odstavec, ve kterém se hranice mezi oběma stane nejasnou.

Text není zlomyslný.

Rozdíl ve zdroji prostě nebyl dostatečně silně zakódován.

Takže jsem se začal mnohem více zajímat o původ.

Nejen:

„Jaké je to číslo?“

Ale:

„Čí je to číslo?“

„Jaká populace byla měřena?“

„Za jaké období?“

„Podobá se tato populace tomu, co tvrdíme, že popisuje?“

„A může FastFound někdy vygenerovat ekvivalentní vlastní číslo?“

Prázdný stav je nyní záměrný

Domovská stránka má nyní mnohem méně působivý vzhled.

V podstatě:

Zatím nemáme klientské výsledky k zobrazení.

Tento prostor je prázdný záměrně.

Zvláštní, ale dávám tomu přednost.

Říká to něco, co chci, aby produkt sám řekl později:

nejistota by měla zůstat viditelná, dokud ji důkazy neodstraní.

Po zahájení beta verze bude silné pokušení vyplnit sekci co nejrychleji.

Jeden zákazník získá dobrý výsledek.

Skvělé. Dejte to na webové stránky.

Až na to, že výsledek jednoho zákazníka je případová studie, nikoli distribuce výkonu.

Deset zákazníků?

Lepší, ale nyní se musíme zeptat, zda je míra srovnatelná.

Několik měsíců retence?

Užitečné, ale ne roční odliv zákazníků.

Nové pravidlo vytváří tření.

To je záměrné.

Marketing by neměl být schopen předběhnout důkazy jen proto, že stránka vypadá lépe s číslem.

To má komerční náklady

Nepředpokládám, že radikální faktická opatrnost je vždy odměněna.

Konkurent může ukazovat větší čísla.

Jejich domovská stránka může působit etablovaněji.

Kupující nemusí nikdy zkoumat metodologii.

Odstranění působivé statistiky by mohlo snížit konverzi.

Ale existují další náklady, které je těžší změřit.

V okamžiku, kdy potenciální zákazník zjistí, že údajně přesné tvrzení je ve skutečnosti vypůjčené, odhadované nebo kreativně formulované, stane se každé další přesné tvrzení také podezřelým.

Důvěra se kumuluje.

Stejně tak nedůvěra.

Raději budu mít prázdnou sekci s důkazy v předbeta fázi, než abych strávil příští rok vysvětlováním, proč důkaz ve skutečnosti nebyl náš.

Nakonec chci, aby ta sekce byla plná čísel.

Ale až bude, bude jejich získání otravně obtížné.

To je ten smysl.

FastFound je v současné době v předbeta fázi. Zatím nemá soubor dat o výkonu klientů a tento příspěvek popisuje, proč to tak hodlám na webových stránkách ponechat, dokud nebudou existovat skutečné výsledky.