¿Por qué eliminé los números más impresionantes de mi página de inicio?

Había una sección en la página de inicio de FastFound que transmitía una imagen tranquilizadora de una empresa de tecnología en toda regla.

Tenía números.

Números específicos.

Los números son reconfortantes.

Dan la sensación de que un producto está medido.

«Mejor» es marketing.

«62%» parece una prueba.

Solo había un problema.

No eran los números de FastFound.

FastFound todavía está en fase pre-beta.

No hay cohortes de clientes de seis meses. No hay un gran volumen de datos sobre los resultados de los clientes. No hay suficiente historial para publicar un rendimiento de retención significativo.

Las cifras provenían de una investigación utilizada durante el diseño del negocio.

Y habíamos hecho algo que, en retrospectiva, parece obviamente incorrecto.

Los pusimos en la página de inicio.

Incluso sabíamos que no eran nuestros

No se trataba de un caso de olvidar de dónde procedía una cifra.

La página incluía un descargo de responsabilidad de estilo interno que dejaba claro que las estadísticas eran ilustrativas y debían ser reemplazadas por datos verificados de clientes antes del lanzamiento.

A primera vista, eso suena responsable.

No lo era.

En todo caso, expuso el problema con mayor claridad.

Un descargo de responsabilidad que diga «esto no es nuestra prueba» no convierte mágicamente el número en una prueba sobre nuestro producto.

En efecto, estábamos diciendo:

«Aquí tienes un resultado impresionante. Por favor, fíjate en el resultado impresionante. Además, técnicamente, no es nuestro resultado.»

Ese no es el estándar con el que quiero que FastFound opere.

Así que los números se eliminaron.

Eliminar datos se sintió mal

Esta es la parte extraña.

Reemplazar estadísticas impresionantes con nada hace que una página de inicio parezca menos madura.

Existe un fuerte instinto al construir un nuevo producto de llenar cada hueco.

Los espacios vacíos parecen inacabados.

«Aún no hay resultados de clientes» parece una debilidad.

Pero FastFound realmente no tiene resultados de clientes todavía.

Está en fase pre-beta.

¿Por qué iba el sitio web a insinuar lo contrario?

Una de las cifras se refería a la recuperación de oportunidades perdidas.

Otra se refería a los ingresos recurrentes.

Una tercera comparaba la rotación de clientes bajo dos modelos de servicio diferentes.

Las tres fueron investigaciones útiles al diseñar el negocio.

Ninguna de ellas describía el rendimiento real de FastFound.

Así que introduje una regla mucho más estricta.

Ningún número de rendimiento se publica como un resultado de FastFound hasta que pueda escribir de dónde procede nuestro número y qué período cubre.

Si no puedo escribir la línea de origen, la estadística no está lista.

Un número tenía un problema aún más profundo

La cifra de rotación reveló algo más interesante.

El modelo de negocio había evolucionado hacia la venta de paquetes en lugar de un menú de servicios individuales.

Pero la estadística de investigación comparaba a los clientes de paquetes con los clientes de un solo servicio.

Eso suena como algo que podríamos validar eventualmente.

Excepto que no podemos.

Si FastFound no vende una cohorte significativa de cuentas de un solo servicio, nunca habrá una cohorte de FastFound de un solo servicio con la que comparar.

Por lo tanto, la estadística original nunca podría convertirse en «nuestra» estadística.

Podríamos dejarla ahí durante cinco años y seguiría perteneciendo a la investigación de otra persona.

Esa distinción importa.

Eventualmente podemos medir la propia retención de FastFound.

Podemos preguntar:

«¿Qué porcentaje de clientes seguía con nosotros después de seis meses?»

Más tarde:

«¿Doce meses?»

Esas son preguntas reales que nuestro negocio puede responder.

Pero no podemos fingir haber realizado un experimento que nuestro modelo de negocio no realiza realmente.

Así que esa comparación no estaba simplemente oculta a la espera de mejores datos.

Fue eliminada.

La evidencia tiene que coincidir con la afirmación

Esto suena obvio cuando se escribe.

Durante el desarrollo del producto, a menudo no lo es.

Los números de investigación migran.

Empiezan en un documento de análisis de mercado.

Luego aparecen en una especificación de servicio.

Luego alguien usa uno en la justificación de precios.

Luego se convierte en texto de marketing.

Después de unos pocos movimientos, un número puede perder su procedencia mientras conserva su autoridad.

Esto es especialmente fácil al usar IA.

Dale a una IA un gran contexto de proyecto que contenga estadísticas de la industria e información de la empresa y podrá producir un párrafo bellamente escrito en el que el límite entre ambos se vuelve difuso.

La prosa no es maliciosa.

La distinción de la fuente simplemente no estaba codificada con suficiente fuerza.

Así que me he interesado mucho más en la procedencia.

No solo:

«¿Cuál es el número?»

Sino:

«¿De quién es el número?»

«¿Qué población se midió?»

«¿Durante qué período?»

«¿Se parece esa población a lo que afirmamos que describe?»

«¿Y puede FastFound generar alguna vez un número equivalente propio?»

El estado vacío es ahora deliberado

La página de inicio ahora tiene una posición mucho menos impresionante.

Esencialmente:

Aún no tenemos resultados de clientes que mostrar.

Ese espacio está vacío a propósito.

Curiosamente, lo prefiero.

Dice algo que quiero que el propio producto diga más tarde:

la incertidumbre debe permanecer visible hasta que la evidencia la elimine.

Habrá una fuerte tentación después de que comience la beta de llenar la sección lo más rápido posible.

Un cliente obtiene un buen resultado.

Genial. Ponlo en el sitio web.

Excepto que el resultado de un cliente es un caso de estudio, no una distribución de rendimiento.

¿Diez clientes?

Mejor, pero ahora tenemos que preguntar si la medida es comparable.

¿Unos pocos meses de retención?

Útil, pero no la rotación anual.

La nueva regla crea fricción.

Eso es intencional.

El marketing no debería poder adelantarse a la evidencia simplemente porque la página se vea mejor con un número.

Esto tiene un coste comercial

No asumo que la precaución fáctica radical siempre sea recompensada.

Un competidor puede mostrar números más grandes.

Su página de inicio puede parecer más establecida.

Un comprador puede que nunca inspeccione la metodología.

Eliminar una estadística impresionante podría reducir la conversión.

Pero hay otro coste que es más difícil de medir.

En el momento en que un cliente potencial descubre que una afirmación supuestamente precisa es en realidad prestada, estimada o enmarcada de forma creativa, cualquier otra afirmación precisa también se vuelve sospechosa.

La confianza se acumula.

También la desconfianza.

Prefiero tener una sección de pruebas vacía en fase pre-beta que pasar el próximo año explicando por qué la prueba no era realmente nuestra.

Eventualmente quiero esa sección llena de números.

Pero cuando lo esté, habrán sido molestamente difíciles de conseguir.

Ese es el punto.

FastFound está actualmente en fase pre-beta. Todavía no tiene un conjunto de datos de rendimiento de clientes, y esta publicación describe por qué tengo la intención de mantenerlo así en el sitio web hasta que existan resultados genuinos.