Las 31 preguntas que nadie respondió

El 28 de julio de 2026, David McSweeney publicó una lista de 31 preguntas dirigidas a las empresas que venden puntuaciones de visibilidad en IA. No era un ajuste de cuentas, ni un ranking, ni una tabla comparativa. Era una lista de preguntas sobre método, del tipo que cabe esperar que formule cualquier comprador y que cualquier proveedor tenga preparadas.

Al día siguiente, hasta donde pudimos comprobar, dos empresas habían respondido en público: Ternith y Spyglasses.

Esa es la noticia. Se pidió a todo un sector que explicara cómo se producen sus cifras y la inmensa mayoría guardó silencio.

Por qué lo interesante es el silencio

Resulta tentador leer una no respuesta como una confesión. Normalmente no lo es. Buena parte del silencio tiene explicaciones triviales: nadie asume la pregunta dentro de la empresa, el departamento jurídico quiere revisarla, la persona que podría contestar está sacando adelante otra cosa y un documento público de metodología es un compromiso del que no se puede dar marcha atrás con discreción.

Pero ahí está la cuestión. Una puntuación es una afirmación sobre el mundo. Si una empresa no puede permitirse explicar cómo se construye una cifra, esa cifra no está haciendo lo que el comprador cree que hace. Está haciendo marketing.

Hay además una razón comercial por la que las preguntas escuecen. Una puntuación de visibilidad se compra precisamente porque el comprador no puede comprobarla por su cuenta. Nadie compra un termómetro que pueda verificar con la mano. Así que todo el valor del producto descansa en la confianza en el método, y el método es justamente lo único que el sector se ha resistido a describir.

Por qué las preguntas son legítimas

Una pregunta legítima se distingue de una hostil por un detalle: si existe o no una buena respuesta.

Todas las de esa lista la tienen. Algunas de esas buenas respuestas son poco halagüeñas —«no lo sabemos», «nuestra muestra es demasiado pequeña para afirmarlo», «esa cifra se mueve sola más de lo que nos gustaría»—, pero existen y se pueden decir. Ninguna de las preguntas exige revelar un secreto comercial. Preguntan qué se mide, desde dónde, con qué frecuencia, con qué variabilidad y qué contaría como estar equivocado.

Ese es el estándar que se aplica a cualquier otro producto de medición que compra una empresa:

• Un proveedor de analítica explica qué es una sesión y cuándo caduca.
• Un instituto demoscópico indica la muestra, las fechas de campo y el margen de error.
• Una herramienta de seguimiento de posiciones indica la ubicación, el dispositivo y los ajustes de personalización que hay detrás de la cifra.
• Un auditor indica conforme a qué norma se han elaborado las cuentas.

La visibilidad en IA es el único mercado de medición que conocemos en el que «tenemos un algoritmo propio» todavía se ofrece como respuesta completa. No es una respuesta. Es una negativa con mejores modales.

Las tres que nos parecen más afiladas

Merece la pena leer la lista completa en su versión original. Estas tres son las que deciden si el resto de la lista importa. Las parafraseamos en lugar de citarlas, porque la redacción es del autor.

1. ¿Quién elige los prompts y determina esa elección el resultado?

Una puntuación de visibilidad en IA mide respuestas a preguntas. ¿Qué preguntas? Al elegirlas se ha elegido ya, en muy buena medida, el resultado.

Si a un asistente se le hace una pregunta estrecha, con forma de marca, casi todas las marcas parecen visibles. Si se le hace una pregunta amplia, con forma de categoría, casi todas desaparecen. Ambas son mediciones reales. Miden cosas distintas y solo una se parece a lo que escribe de verdad un cliente.

La información que hay que dar aquí es, por tanto: quién escribió el conjunto de prompts, si el cliente puede verlo, si cambia de una ejecución a otra y si se usa el mismo conjunto para el competidor con el que se compara al cliente. Una puntuación construida sobre un conjunto de prompts que el comprador nunca ve no es una medición sobre la que pueda actuar. Es una cifra que tiene que creerse.

2. ¿Se ha validado la métrica frente a algo genuinamente externo?

Esta es la pregunta con la que tropieza todo el sector, y no es una encerrona.

Validar significa contrastar la propia cifra con pruebas producidas por algo que no es uno mismo. Ejecutar dos veces el propio sistema y observar que coincide consigo mismo es fiabilidad, no validez. Indica que el instrumento es estable. No dice nada sobre si mide lo que pone en la etiqueta.

Las pruebas externas que servirían son poco lucidas y difíciles de conseguir: registros de servidor con el tráfico derivado de asistentes, conversiones atribuibles a la recomendación de un asistente, estudios de seguimiento de marca, el propio histórico de contactos entrantes de un cliente. Cualquiera de ellas puede contradecir una puntuación de visibilidad, que es exactamente por lo que merece la pena contrastarla con ellas.

Si nadie ha intentado nunca la comparación, la puntuación es un artefacto internamente coherente del sistema que la produjo.

3. ¿Qué resultado le llevaría a retirar la métrica?

La pregunta de la falsación, y la que separa una medición de un relato.

Toda métrica real tiene una condición de fallo que su responsable puede describir de antemano. Si el tráfico derivado de asistentes se moviera en sentido contrario a la puntuación en una base de clientes suficientemente amplia y durante un periodo suficientemente largo, eso sería un problema. Si la puntuación cambiara de forma apreciable al repetir la ejecución sin que el negocio subyacente hubiera cambiado, eso sería un problema. Si dos clientes del propio proveedor, de la misma categoría y con la misma visibilidad, obtuvieran resultados comerciales radicalmente distintos, eso sería un problema.

Un proveedor incapaz de nombrar una condición así ha dicho algo importante: no existe, en principio, ninguna observación que pudiera ir en contra de su cifra. Eso no es una fortaleza. Es la definición de una afirmación infalsable y significa que la puntuación nunca puede estar equivocada, lo que también significa que nunca puede estar acertada.

Qué estamos haciendo al respecto

Nosotros vendemos una puntuación de visibilidad en IA, así que las preguntas nos interpelan tanto como a cualquiera.

Vamos a publicar nuestras respuestas a las 31, en nuestra propia web, con nuestro nombre, incluidas aquellas en las que la respuesta honesta es que todavía no lo sabemos y aquellas en las que la respuesta honesta deja a nuestro producto en peor lugar que la página comercial.

Nos parece el mínimo exigible. Una cifra que se vende a una empresa que no puede comprobarla de forma independiente debería ir acompañada del método, con los límites explicitados y con una descripción de qué nos llevaría a retirarla.

Si nuestras respuestas son erróneas, preferimos que nos lo digan. Eso es lo otro que da publicar el método.

Qué hacer si usted es el comprador

No hace falta leer las 31 para protegerse. Tres preguntas, planteadas antes de firmar, revelan casi todo lo que hay que saber:

• Muéstrenme los prompts exactos que hay detrás de mi puntuación y díganme quién los escribió.
• Muéstrenme una sola ocasión en la que hayan contrastado esta puntuación con pruebas ajenas a su propio sistema.
• Díganme qué resultado les llevaría a retirar la cifra.

Con un proveedor que responda a las tres de buen grado merece la pena hablar, diga lo que diga su puntuación. Un proveedor que no pueda responder a ninguna le está vendiendo una sensación.