As 31 perguntas a que ninguém respondeu

A 28 de julho de 2026, David McSweeney publicou uma lista de 31 perguntas e dirigiu-as às empresas que vendem pontuações de visibilidade em IA. Não era um ataque, não era um ranking, não era uma tabela comparativa. Era uma lista de perguntas sobre método, do género que se espera que qualquer comprador faça e que qualquer fornecedor tenha pronta.

No dia seguinte, tanto quanto conseguimos apurar, duas empresas tinham respondido em público: a Ternith e a Spyglasses.

É essa a história. Pediu-se a uma categoria inteira que explicasse como produz os seus números, e a esmagadora maioria não disse nada.

Porque é o silêncio a parte interessante

É tentador ler uma não-resposta como uma confissão. Normalmente não é. Grande parte do silêncio é banal: ninguém é dono da pergunta dentro da empresa, o departamento jurídico quer rever o assunto, a pessoa que saberia responder está a lançar outra coisa e um documento público de metodologia é um compromisso do qual não se recua discretamente.

Mas é precisamente esse o ponto. Uma pontuação é uma afirmação sobre o mundo. Se uma empresa não pode dar-se ao luxo de explicar como se fabrica um número, esse número não está a fazer aquilo que o comprador julga que faz. Está a fazer marketing.

Há também uma razão comercial para as perguntas doerem. Uma pontuação de visibilidade compra-se justamente porque o comprador não a consegue verificar sozinho. Ninguém compra um termómetro que possa confirmar pelo tato. Todo o valor do produto assenta, portanto, na confiança no método — e o método é a única coisa que a categoria tem hesitado em descrever.

Porque são justas as perguntas

Distingue-se uma pergunta justa de uma pergunta hostil pela existência, ou não, de uma boa resposta.

Todas as perguntas daquela lista têm uma. Algumas das boas respostas são pouco lisonjeiras — «não sabemos», «a nossa amostra é demasiado pequena para o afirmar», «esse número oscila sozinho mais do que gostaríamos» —, mas existem e podem ser ditas. Nenhuma das perguntas exige um segredo comercial. Perguntam o que é medido, a partir de onde, com que frequência, com que variância e o que contaria como estar errado.

É o padrão aplicado a qualquer outro produto de medição que uma empresa compre:

• Um fornecedor de analítica web explica o que é uma sessão e quando expira.
• Uma empresa de sondagens indica a amostra, as datas de recolha e a margem de erro.
• Uma ferramenta de monitorização de posições indica a localização, o dispositivo e as definições de personalização por detrás do número.
• Um contabilista diz segundo que normativo foram preparadas as contas.

A visibilidade em IA é o único mercado de medição que conhecemos onde «temos um algoritmo proprietário» ainda é apresentado como resposta completa. Não é uma resposta. É uma recusa com melhores modos.

As três que consideramos mais incisivas

Vale a pena ler a lista completa no original. Estas três são as que decidem se tudo o resto da lista importa. Parafraseamos em vez de citar, porque a formulação é do autor.

1. Quem escolhe os prompts e essa escolha determina o resultado?

Uma pontuação de visibilidade em IA é uma medição de respostas a perguntas. Que perguntas? Escolhê-las é, em grande medida, escolher o resultado.

Faça-se a um assistente uma pergunta estreita, moldada à marca, e a maioria das marcas parece visível. Faça-se uma pergunta ampla, moldada à categoria, e a maioria das marcas desaparece. Ambas são medições reais. São medições de coisas diferentes, e apenas uma delas se parece com aquilo que um cliente efetivamente escreve.

As divulgações honestas aqui são, portanto: quem escreveu o conjunto de prompts, se o cliente o pode ver, se muda entre execuções e se é usado o mesmo conjunto de prompts para o concorrente com quem o cliente está a ser comparado. Uma pontuação construída sobre um conjunto de prompts que o comprador nunca vê não é uma medição sobre a qual ele possa agir. É um número em que tem de acreditar.

2. A métrica foi validada contra algo genuinamente externo?

É a pergunta com que toda a categoria se debate, e não é uma armadilha.

Validar significa comparar o nosso número com evidência produzida por algo que não somos nós. Correr o próprio sistema duas vezes e observar que concorda consigo mesmo é fiabilidade, não validade. Diz-nos que o instrumento é estável. Não diz nada sobre se mede aquilo que está no rótulo.

A evidência externa que contaria é pouco glamorosa e difícil de obter: registos de servidor que mostrem tráfego encaminhado por assistentes, conversões atribuíveis à recomendação de um assistente, estudos de notoriedade de marca, o próprio registo de contactos recebidos pelo cliente. Qualquer uma delas pode discordar de uma pontuação de visibilidade, e é exatamente por isso que vale a pena confrontá-la com elas.

Se ninguém alguma vez tentou a comparação, a pontuação é um artefacto internamente coerente do sistema que a produziu.

3. Que resultado vos levaria a retirar a métrica?

A pergunta da falsificabilidade, e aquela que separa uma medição de uma narrativa.

Toda a métrica a sério tem uma condição de falha que o seu responsável consegue descrever à partida. Se o tráfego encaminhado por assistentes se movesse em sentido contrário ao da pontuação, numa base de clientes suficientemente grande e durante um período suficientemente longo, isso seria um problema. Se a pontuação mudasse de forma significativa em novas execuções sem qualquer alteração no negócio subjacente, isso seria um problema. Se dois clientes do mesmo fornecedor, na mesma categoria e com a mesma visibilidade, obtivessem resultados comerciais radicalmente diferentes, isso seria um problema.

Um fornecedor que não consiga apontar nenhuma condição dessas disse-lhe algo importante: não há, em princípio, observação alguma que possa contar contra o seu número. Isso não é uma força. É a definição de uma afirmação não falsificável, e significa que a pontuação nunca pode estar errada — o que também significa que nunca pode estar certa.

O que estamos a fazer quanto a isso

Nós vendemos uma pontuação de visibilidade em IA, pelo que as perguntas nos são dirigidas tanto como a qualquer outro.

Vamos publicar as nossas respostas às 31, no nosso próprio site, em nosso nome, incluindo aquelas em que a resposta honesta é que ainda não sabemos e aquelas em que a resposta honesta deixa o nosso produto menos impressionante do que a página de marketing sugere.

Achamos que é o mínimo. Um número vendido a uma empresa que não o consegue verificar de forma independente deve vir acompanhado do método, com os limites declarados e com a descrição daquilo que nos levaria a retirá-lo.

Se as nossas respostas estiverem erradas, preferimos que no-lo digam. É essa a outra coisa que um método publicado nos dá.

O que fazer se for o comprador

Não é preciso ler as 31 para se proteger. Três perguntas, feitas antes de assinar, dizem-lhe quase tudo o que precisa de saber:

• Mostrem-me os prompts exatos por detrás da minha pontuação e digam-me quem os escreveu.
• Mostrem-me uma ocasião em que compararam esta pontuação com evidência vinda de fora do vosso próprio sistema.
• Digam-me que resultado vos levaria a retirar o número.

Um fornecedor que responda às três de bom grado vale a pena ouvir, seja qual for a pontuação que apresenta. Um fornecedor que não consiga responder a nenhuma está a vender-lhe uma sensação.