O que os seus clientes veem quando perguntam na sua própria língua

Há um problema de medição por baixo de grande parte do trabalho de visibilidade em IA, e é fácil não dar por ele porque o dashboard parece estar bem.

O dashboard está em inglês. Os prompts que o alimentam foram escritos em inglês. As fontes em que o assistente se apoiou para responder eram, na sua maioria, inglesas. E a marca que está a ser medida pode até ser visível em inglês, porque o inglês é a língua em que o seu próprio site de marketing está escrito.

Nada disso diz o que vê um cliente em Brno ou em Braga.

Um assistente que responde em alemão não está a traduzir uma resposta inglesa

É a parte que costuma ser saltada, pelo que vale a pena ser preciso.

Quando um assistente responde a uma pergunta em alemão, não está a responder à pergunta inglesa e a traduzir o resultado. Está a responder a uma pergunta alemã, a apoiar-se em material em língua alemã e a produzir uma resposta alemã. A recuperação de informação é diferente. As fontes são diferentes. O conjunto de concorrentes que aparece é, com frequência, diferente.

Isso significa que toda a cadeia diverge:

• Corpus diferente. Imprensa especializada alemã, diretórios alemães, fóruns alemães, plataformas de avaliação alemãs. Os seus casos de estudo em inglês não estão lá.
• Fontes citadas diferentes. Uma resposta em português tende a citar páginas em língua portuguesa. Se não existir nada sobre si em português, não há nada para citar.
• Concorrentes diferentes. O operador local forte que não tem presença nenhuma em inglês não aparece na sua medição inglesa. Aparece na resposta que o seu cliente recebe.
• Formulação diferente. O que muda a resposta, e é o tema da secção seguinte.

Assim, uma pontuação pode ser alta em inglês e quase nula em checo, e ambos os números podem estar corretos. São medições de dois mercados diferentes que por acaso partilham um nome de marca.

Traduzir o prompt não é fazer a pergunta

A tentativa habitual de cobertura multilingue é pegar no conjunto de prompts em inglês e traduzi-lo automaticamente. É melhor do que nada e pior do que parece.

Um prompt traduzido é uma frase gramaticalmente correta que nenhum falante nativo escreveria.

• O alemão aglutina numa só palavra muito daquilo que o inglês distribui por várias, e é a palavra composta que as pessoas procuram. A tradução literal de um sintagma nominal inglês muitas vezes não é a palavra em uso.
• O checo declina os substantivos, pelo que a forma de um nome de cidade ou de categoria dentro de uma pergunta não é a forma que consta da sua lista de palavras-chave.
• O português escrito para Portugal e o português escrito para o Brasil diferem no vocabulário e no registo, e um cliente em Lisboa repara de imediato em qual deles está a ler.
• A formalidade é uma variável a sério. Em alemão e em francês, as perguntas de negócio são frequentemente formuladas em registo formal; um prompt traduzido que soe informal está a fazer outra pergunta a um modelo sensível ao registo.
• Há categorias que simplesmente têm outro nome. O termo local para um ofício, um serviço profissional ou uma atividade regulada muitas vezes não é a tradução do termo inglês, mas um conceito distinto com fronteiras próprias.

O resultado é um conjunto de prompts que mede como o assistente reage a perguntas com sotaque estrangeiro. Isso é uma coisa real para medir. Não é a coisa que o comprador queria.

Língua não é o mesmo que mercado

Há uma segunda confusão sobreposta a esta, e corre em sentido inverso.

Dez línguas não significam dez mercados. O alemão é a língua de trabalho da Alemanha, da Áustria e da Suíça, e esses são três ambientes de compra diferentes — reguladores diferentes, terminologia fiscal diferente, moeda diferente num deles, concorrentes locais diferentes, fontes diferentes às quais um assistente irá recorrer.

Tratada como deve ser, esta não é uma dificuldade, é uma distinção:

• O artigo escreve-se uma vez por língua. Não há uma edição austríaca de um argumento.
• O trabalho de mercado — os prompts, as fontes locais, o conjunto de concorrentes, o contexto comercial — é por país.

As ferramentas que colapsam estes dois eixos num só erram nas duas direções. Ou tratam o alemão como um único mercado e perdem a Suíça por completo, ou tratam cada país como se precisasse da sua própria tradução e gastam o orçamento três vezes por um único texto.

Como a falha se manifesta na prática

A falha é silenciosa, e é isso que a torna cara. Nada se parte. Não há mensagem de erro. O número inglês sobe, o pipeline comercial nos mercados não anglófonos mantém-se estagnado, e os dois factos nunca chegam a ser ligados porque vivem em relatórios diferentes.

Formas típicas que assume:

• Uma marca é recomendada pelo nome para a sua categoria em inglês e está ausente da mesma pergunta feita na língua local.
• Uma marca aparece na língua local, mas é descrita de forma genérica, porque o único material disponível nessa língua é uma página-resumo traduzida e pobre.
• Uma marca aparece com dados desatualizados ou errados, porque a fonte que o assistente encontrou nessa língua é um diretório de terceiros que ninguém atualiza.
• Uma marca perde para um concorrente local mais pequeno que publica como deve ser na língua e é, por isso, a única opção citável.

A última é a mais comum e a mais irritante, porque não é um problema tecnológico. É um problema de publicação com um sintoma tecnológico.

Como verificar por si próprio, sem comprar nada

Não é preciso uma ferramenta para descobrir se tem este problema. É preciso alguém que fale a língua.

1. Escreva as cinco perguntas que um cliente escreveria mesmo nesse mercado. Peça a um falante nativo que as escreva, e não a um tradutor a trabalhar a partir da sua lista inglesa.
2. Faça-as aos assistentes que os seus clientes usam, nessa língua.
3. Leia o que vem de volta. A sua marca está lá? Referida pelo nome, ou descrita vagamente? Com rigor?
4. Veja o que a resposta citou. Essas fontes estão na língua local? A sua marca existe em alguma delas?
5. Repare em quem mais aparece na resposta. Se um concorrente lá está e a sua marca não, veja o que ele publica nessa língua.

Esse exercício leva uma tarde e dir-lhe-á mais do que um dashboard que só alguma vez perguntou em inglês.

Os limites honestos deste argumento

Há duas coisas que vale a pena dizer contra o argumento acima, porque são verdadeiras.

Primeiro, há categorias que são genuinamente anglófonas à partida. Quem vende ferramentas para programadores a um público que prefere ler documentação em inglês pode ter numa medição inglesa uma aproximação suficiente da verdade. A questão é saber se isso é uma conclusão ou um pressuposto.

Segundo, a medição multilingue é mais difícil de fazer bem e mais fácil de fazer mal. Uma ferramenta que faz más perguntas em dez línguas não é melhor do que uma que faz boas perguntas numa. O que vale a pena pagar não é o número de línguas impresso na caixa. É se as perguntas em cada língua foram escritas por alguém que as faria.

O que retiramos disto

Ser visível em inglês vale exatamente o que valer a sua procura em língua inglesa, e nada mais.

Se os seus clientes perguntam na sua própria língua, é nessa língua que a medição tem de ser feita — com prompts que um nativo usaria, fontes nessa língua e um conjunto de concorrentes retirado desse mercado, em vez de traduzido para ele.

Qualquer outra coisa é um relatório sobre um mercado onde não vende.