Che cosa vedono i vostri clienti quando fanno la domanda nella loro lingua

Sotto gran parte del lavoro sulla visibilità AI si annida un problema di misurazione, ed è facile non accorgersene perché la dashboard sembra a posto.

La dashboard è in inglese. I prompt che la alimentano sono stati scritti in inglese. Le fonti su cui l’assistente si è appoggiato per rispondere erano, in larga parte, in inglese. E il marchio misurato può benissimo risultare visibile in inglese, perché l’inglese è la lingua in cui è scritto il suo stesso sito.

Nulla di tutto questo dice che cosa vede un cliente a Brno o a Braga.

Un assistente che risponde in tedesco non sta traducendo una risposta inglese

È il passaggio che viene saltato, quindi vale la pena essere precisi.

Quando un assistente risponde a una domanda in tedesco, non sta rispondendo alla domanda inglese per poi tradurre il risultato. Sta rispondendo a una domanda tedesca, attingendo a materiale in lingua tedesca e producendo una risposta in tedesco. Il retrieval è diverso. Le fonti sono diverse. L’insieme dei concorrenti che emerge è spesso diverso.

Significa che l’intera catena diverge:

• Corpus diverso. Stampa di settore tedesca, directory tedesche, forum tedeschi, piattaforme di recensioni tedesche. I vostri case study in inglese non ci sono.
• Fonti citate diverse. Una risposta in portoghese tende a citare pagine in lingua portoghese. Se in portoghese non esiste nulla che vi riguardi, non c’è nulla da citare.
• Concorrenti diversi. Il concorrente locale forte che non ha alcuna presenza in inglese non compare nella vostra misurazione in inglese. Compare nella risposta che riceve il vostro cliente.
• Formulazione diversa. Il che cambia la risposta, ed è l’argomento della sezione seguente.

Un punteggio può quindi essere alto in inglese e vicino allo zero in ceco, e i due numeri possono essere entrambi corretti. Sono misurazioni di due mercati diversi che per caso condividono il nome di un marchio.

Tradurre il prompt non equivale a porre la domanda

Il tentativo abituale di copertura multilingue consiste nel prendere il set di prompt in inglese e farlo tradurre automaticamente. È meglio di niente ed è peggio di quanto sembri.

Un prompt tradotto è una frase grammaticalmente corretta che nessun madrelingua digiterebbe.

• Il tedesco unisce in un’unica parola composta molto di ciò che l’inglese distribuisce su più parole, ed è il composto quello che le persone cercano. La traduzione letterale di un sintagma nominale inglese spesso non è la parola effettivamente in uso.
• Il ceco declina i sostantivi, quindi la forma con cui il nome di una città o di una categoria compare in una domanda non è la forma presente nella vostra lista di parole chiave.
• Il portoghese scritto per il Portogallo e il portoghese scritto per il Brasile differiscono per lessico e registro, e un cliente di Lisbona si accorge subito di quale dei due sta leggendo.
• Il livello di formalità è una variabile reale. In tedesco e in francese le domande di ambito professionale sono spesso formulate con la forma di cortesia; un prompt tradotto che finisce per suonare informale sta ponendo una domanda diversa a un modello sensibile al registro.
• Alcune categorie hanno semplicemente un altro nome. Il termine locale per un mestiere, un servizio professionale o un’attività regolamentata spesso non è la traduzione del termine inglese, ma un concetto a sé con confini propri.

Il risultato è un set di prompt che misura come l’assistente reagisce a domande che suonano vagamente straniere. È una cosa reale da misurare. Non è la cosa che l’acquirente voleva.

La lingua non coincide con il mercato

Sopra tutto questo si sovrappone una seconda confusione, che va nella direzione opposta.

Dieci lingue non significano dieci mercati. Il tedesco è la lingua di lavoro di Germania, Austria e Svizzera, e sono tre contesti d’acquisto diversi: autorità di regolamentazione diverse, terminologia fiscale diversa, in uno dei tre una valuta diversa, concorrenti locali diversi, fonti diverse a cui un assistente attingerà.

Se la si gestisce bene, non è un problema ma una distinzione:

• L’articolo si scrive una volta per lingua. Non esiste un’edizione austriaca di un ragionamento.
• Il lavoro sul mercato — i prompt, le fonti locali, l’insieme dei concorrenti, il contesto commerciale — si fa per Paese.

Gli strumenti che schiacciano queste due dimensioni su un unico asse sbagliano in entrambe le direzioni. O trattano il tedesco come un mercato unico e si perdono del tutto la Svizzera, oppure danno per scontato che ogni Paese abbia bisogno della propria traduzione e spendono il budget tre volte per lo stesso testo.

Come si manifesta il divario nella pratica

Il guasto è silenzioso, ed è questo a renderlo costoso. Non si rompe nulla. Non compare alcun messaggio di errore. Il numero in inglese sale verso destra, la pipeline commerciale nei mercati non anglofoni resta piatta, e i due fatti non vengono mai messi in relazione perché vivono in report diversi.

Le forme tipiche che assume:

• Un marchio viene raccomandato per nome nella sua categoria in inglese ed è assente dalla stessa domanda posta nella lingua locale.
• Un marchio compare nella lingua locale ma viene descritto in modo generico, perché l’unico materiale disponibile in quella lingua è una scarna pagina di sintesi tradotta.
• Un marchio compare con informazioni obsolete o sbagliate, perché la fonte che l’assistente ha trovato in quella lingua è una directory di terze parti che nessuno ha aggiornato.
• Un marchio perde contro un concorrente locale più piccolo che pubblica come si deve in quella lingua ed è quindi l’unica opzione citabile.

L’ultimo caso è il più frequente e il più irritante, perché non è un problema di tecnologia. È un problema editoriale con un sintomo tecnologico.

Come verificarlo da soli, senza comprare nulla

Non serve uno strumento per scoprire se il problema vi riguarda. Serve qualcuno che parli la lingua.

1. Mettete per iscritto le cinque domande che un cliente digiterebbe davvero in quel mercato. Fatele scrivere a un madrelingua, non a un traduttore che lavora sulla vostra lista in inglese.
2. Ponetele, in quella lingua, agli assistenti che i vostri clienti usano.
3. Leggete quello che torna indietro. Ci siete? Citati per nome o descritti in modo vago? Le informazioni sono corrette?
4. Guardate che cosa ha citato la risposta. Quelle fonti sono nella lingua locale? Esistete in qualcuna di esse?
5. Annotate chi altro compare nella risposta. Se c’è un concorrente e voi no, guardate che cosa pubblica in quella lingua.

L’esercizio richiede un pomeriggio e dirà più di una dashboard che ha sempre e solo posto domande in inglese.

I limiti onesti di questo ragionamento

Ci sono due obiezioni che vale la pena muovere a quanto detto sopra, perché sono vere.

La prima: alcune categorie sono davvero anglofone in partenza. Se vendete strumenti per sviluppatori a un pubblico che preferisce leggere documentazione in inglese, una misurazione in inglese può essere abbastanza vicina alla verità. La domanda è se si tratti di un dato accertato o di un presupposto.

La seconda: la misurazione multilingue è più difficile da fare bene e più facile da fare male. Uno strumento che pone domande sbagliate in dieci lingue non è migliore di uno che pone domande giuste in una sola. Ciò per cui vale la pena pagare non è il numero di lingue stampato sulla confezione. È se le domande in ciascuna lingua siano state scritte da qualcuno che le porrebbe davvero.

Che cosa ne ricaviamo

Essere visibili in inglese vale esattamente quanto vale la vostra domanda in lingua inglese, e non di più.

Se i vostri clienti chiedono nella loro lingua, è in quella lingua che la misurazione va fatta: con prompt che userebbe un madrelingua, fonti in quella lingua e un insieme di concorrenti ricavato da quel mercato, non tradotto e trapiantato al suo interno.

Tutto il resto è un report su un mercato in cui non vendete.