Warum ich die beeindruckendsten Zahlen von meiner Homepage entfernt habe

Es gab einen Abschnitt auf der FastFound-Homepage, der beruhigend seriös wie ein richtiges Technologieunternehmen anmutete.

Er enthielt Zahlen.

Spezifische Zahlen.

Zahlen wirken beruhigend.

Sie lassen ein Produkt messbar erscheinen.

„Besser“ ist Marketing.

„62 %“ fühlt sich wie ein Beweis an.

Es gab nur ein Problem.

Es waren nicht die Zahlen von FastFound.

FastFound befindet sich noch in der Pre-Beta-Phase.

Es gibt keine sechsmonatigen Kundenkohorten. Es gibt kein umfangreiches Datenmaterial zu Kundenergebnissen. Es gibt nicht genügend Historie, um aussagekräftige Bindungsleistungen zu veröffentlichen.

Die Zahlen stammten aus der Forschung, die bei der Konzeption des Geschäftsmodells verwendet wurde.

Und wir hatten etwas getan, das im Nachhinein offensichtlich falsch aussieht.

Wir haben sie auf die Homepage gesetzt.

Wir wussten sogar, dass sie nicht unsere waren

Es handelte sich nicht um einen Fall, in dem vergessen wurde, woher eine Zahl stammte.

Die Seite enthielt einen Disclaimer im internen Stil, der klarstellte, dass die Statistiken illustrativ waren und vor dem Launch durch verifizierte Kundendaten ersetzt werden sollten.

Auf den ersten Blick klingt das verantwortungsvoll.

Das war es nicht.

Wenn überhaupt, legte es das Problem noch deutlicher offen.

Ein Disclaimer, der besagt „dies ist nicht unser Beweis“, macht die Zahl nicht auf magische Weise zu einem Beweis für unser Produkt.

Wir sagten im Grunde genommen:

„Hier ist ein beeindruckendes Ergebnis. Bitte beachten Sie das beeindruckende Ergebnis. Technisch gesehen ist es jedoch nicht unser Ergebnis.“

Das ist nicht der Standard, nach dem FastFound arbeiten soll.

Also wurden die Zahlen entfernt.

Das Entfernen von Daten fühlte sich falsch an

Das ist der seltsame Teil.

Beeindruckende Statistiken durch nichts zu ersetzen, lässt eine Homepage weniger ausgereift aussehen.

Beim Aufbau eines neuen Produkts gibt es einen starken Instinkt, jede Lücke zu füllen.

Leere Bereiche wirken unfertig.

„Noch keine Kundenergebnisse“ fühlt sich wie eine Schwäche an.

Aber FastFound hat tatsächlich noch keine Kundenergebnisse.

Es ist Pre-Beta.

Warum sollte die Website etwas anderes andeuten?

Eine der Zahlen bezog sich auf die Wiederherstellung verpasster Gelegenheiten.

Eine andere bezog sich auf wiederkehrende Einnahmen.

Eine dritte verglich die Kundenabwanderung unter zwei verschiedenen Servicemodellen.

Alle drei waren nützliche Forschungsergebnisse bei der Konzeption des Geschäftsmodells.

Keine von ihnen beschrieb die tatsächliche Leistung von FastFound.

Also habe ich eine viel strengere Regel eingeführt.

Keine Leistungszahl wird als FastFound-Ergebnis veröffentlicht, bis ich aufschreiben kann, woher unsere Zahl stammt und welchen Zeitraum sie abdeckt.

Wenn ich die Quellenangabe nicht schreiben kann, ist die Statistik nicht bereit.

Eine Zahl hatte ein noch tieferes Problem

Die Abwanderungszahl enthüllte etwas Interessanteres.

Das Geschäftsmodell hatte sich dahingehend entwickelt, Bundles zu verkaufen, anstatt ein Menü individueller Dienstleistungen anzubieten.

Aber die Forschungsstatistik verglich gebündelte Kunden mit Kunden, die Einzeldienstleistungen nutzten.

Das klingt nach etwas, das wir eventuell validieren könnten.

Außer, wir können es nicht.

Wenn FastFound keine aussagekräftige Kohorte von Einzeldienstleistungskonten verkauft, wird es niemals eine FastFound-Kohorte für Einzeldienstleistungen geben, mit der man vergleichen könnte.

Die ursprüngliche Statistik konnte daher niemals „unsere“ Statistik werden.

Wir könnten sie fünf Jahre lang dort lassen, und sie würde immer noch zur Forschung eines anderen gehören.

Dieser Unterschied ist wichtig.

Wir können schließlich die eigene Kundenbindung von FastFound messen.

Wir können fragen:

„Wie viel Prozent der Kunden waren nach sechs Monaten noch bei uns?“

Später:

„Zwölf Monate?“

Das sind echte Fragen, die unser Geschäft beantworten kann.

Aber wir können nicht so tun, als hätten wir ein Experiment durchgeführt, das unser Geschäftsmodell tatsächlich nicht durchführt.

Dieser Vergleich wurde also nicht nur bis zu besseren Daten versteckt.

Er wurde gelöscht.

Beweise müssen zur Behauptung passen

Das klingt offensichtlich, wenn man es aufschreibt.

Während der Produktentwicklung ist es das oft nicht.

Forschungszahlen wandern.

Sie beginnen in einem Marktanalyse-Dokument.

Dann erscheinen sie in einer Dienstleistungsspezifikation.

Dann verwendet jemand eine davon in der Preisbegründung.

Dann wird es zu Marketingtext.

Nach einigen Verschiebungen kann eine Zahl ihre Herkunft verlieren, während sie ihre Autorität behält.

Dies ist besonders einfach bei der Verwendung von KI.

Geben Sie einer KI einen großen Projektkontext, der Branchenstatistiken und Unternehmensinformationen enthält, und sie kann einen wunderschön geschriebenen Absatz produzieren, in dem die Grenze zwischen den beiden verschwimmt.

Der Text ist nicht böswillig.

Die Unterscheidung der Quelle wurde einfach nicht stark genug kodiert.

Daher bin ich viel stärker an der Herkunft interessiert.

Nicht nur:

„Was ist die Zahl?“

Sondern:

„Wessen Zahl ist es?“

„Welche Population wurde gemessen?“

„Über welchen Zeitraum?“

„Ähnelt diese Population dem, was wir behaupten, dass sie beschreibt?“

„Und kann FastFound jemals eine äquivalente eigene Zahl generieren?“

Der leere Zustand ist jetzt beabsichtigt

Die Homepage hat jetzt eine viel weniger beeindruckende Position.

Im Wesentlichen:

Wir haben noch keine Kundenergebnisse vorzuweisen.

Dieser Bereich ist absichtlich leer.

Seltsamerweise ziehe ich es vor.

Es sagt etwas aus, das das Produkt selbst später sagen soll:

Unsicherheit sollte sichtbar bleiben, bis Beweise sie beseitigen.

Es wird eine starke Versuchung geben, den Abschnitt nach Beginn der Beta-Phase so schnell wie möglich zu füllen.

Ein Kunde erzielt ein gutes Ergebnis.

Großartig. Stellen Sie es auf die Website.

Außer, das Ergebnis eines Kunden ist eine Fallstudie, keine Leistungsverteilung.

Zehn Kunden?

Besser, aber jetzt müssen wir fragen, ob die Messung vergleichbar ist.

Einige Monate Kundenbindung?

Nützlich, aber keine jährliche Abwanderung.

Die neue Regel erzeugt Reibung.

Das ist beabsichtigt.

Marketing sollte Beweisen nicht davonlaufen können, nur weil die Seite mit einer Zahl besser aussieht.

Dies hat einen kommerziellen Preis

Ich gehe nicht davon aus, dass radikale faktische Vorsicht immer belohnt wird.

Ein Konkurrent mag größere Zahlen zeigen.

Ihre Homepage mag etablierter wirken.

Ein Käufer mag die Methodik nie überprüfen.

Das Entfernen einer beeindruckenden Statistik könnte die Konversion reduzieren.

Aber es gibt einen weiteren Preis, der schwerer zu messen ist.

In dem Moment, in dem ein potenzieller Kunde entdeckt, dass eine angeblich präzise Behauptung tatsächlich entlehnt, geschätzt oder kreativ formuliert ist, wird jede andere präzise Behauptung ebenfalls verdächtig.

Vertrauen potenziert sich.

Misstrauen auch.

Ich hätte lieber einen leeren Nachweisbereich in der Pre-Beta-Phase, als das nächste Jahr damit zu verbringen zu erklären, warum der Nachweis nicht wirklich unserer war.

Irgendwann möchte ich, dass dieser Bereich voller Zahlen ist.

Aber wenn es so weit ist, werden sie ärgerlich schwer zu verdienen gewesen sein.

Das ist der Punkt.

FastFound befindet sich derzeit in der Pre-Beta-Phase. Es verfügt noch nicht über eine Sammlung von Kundenleistungsdaten, und dieser Beitrag beschreibt, warum ich beabsichtige, es auf der Website so zu belassen, bis echte Ergebnisse vorliegen.