Wat uw klanten zien als zij het in hun eigen taal vragen

Onder het meeste werk rond AI-zichtbaarheid schuilt een meetprobleem, en het is gemakkelijk over het hoofd te zien omdat het dashboard er goed uitziet.

Het dashboard is Engelstalig. De prompts erachter zijn in het Engels geschreven. De bronnen waarop de assistent zich baseerde toen hij antwoordde, waren grotendeels Engelstalig. En het gemeten merk is in het Engels waarschijnlijk ook zichtbaar, want dat is de taal waarin zijn eigen marketingsite is geschreven.

Dat alles zegt niets over wat een klant in Brno of Braga te zien krijgt.

Een assistent die in het Duits antwoordt, vertaalt geen Engels antwoord

Dit is het punt dat wordt overgeslagen, dus het loont om er precies over te zijn.

Wanneer een assistent een vraag in het Duits beantwoordt, beantwoordt hij niet de Engelse vraag om het resultaat vervolgens te vertalen. Hij beantwoordt een Duitse vraag, put uit Duitstalig materiaal en levert een Duits antwoord. De retrieval verloopt anders. De bronnen zijn andere. De set concurrenten die terugkomt, is vaak een andere.

Daarmee loopt de hele keten uiteen:

• Een ander corpus. Duitse vakpers, Duitse bedrijvengidsen, Duitse fora, Duitse reviewplatformen. Uw Engelstalige klantcases zitten daar niet in.
• Andere geciteerde bronnen. Een antwoord in het Portugees citeert doorgaans Portugeestalige pagina’s. Als er in het Portugees niets over u bestaat, valt er niets te citeren.
• Andere concurrenten. De sterke lokale speler die in het Engels helemaal niet aanwezig is, komt in uw Engelse meting niet voor. Hij komt wel voor in het antwoord dat uw klant krijgt.
• Een andere formulering. Die verandert het antwoord, en is het onderwerp van de volgende paragraaf.

Een score kan dus hoog zijn in het Engels en bijna nul in het Tsjechisch, en beide cijfers kunnen juist zijn. Het zijn metingen van twee verschillende markten die toevallig een merknaam delen.

Een prompt vertalen is niet hetzelfde als de vraag stellen

De gebruikelijke poging tot meertalige dekking bestaat erin de Engelse promptset machinaal te laten vertalen. Dat is beter dan niets en slechter dan het lijkt.

Een vertaalde prompt is een grammaticaal correcte zin die geen enkele moedertaalspreker zou intypen.

• Het Duits voegt tot één woord samen wat het Engels over meerdere woorden verdeelt, en het is die samenstelling waarop mensen zoeken. De letterlijke vertaling van een Engelse woordgroep is vaak niet het woord dat in gebruik is.
• Het Tsjechisch verbuigt zelfstandige naamwoorden, waardoor de vorm van een stads- of categorienaam in een vraag niet de vorm is die in uw zoekwoordenlijst staat.
• Portugees geschreven voor Portugal en Portugees geschreven voor Brazilië verschillen in woordenschat en register, en een klant in Lissabon merkt onmiddellijk welke van de twee hij leest.
• Formaliteit is een reële variabele. Zakelijke vragen in het Duits en het Frans worden vaak formeel geformuleerd; een vertaalde prompt die informeel uitpakt, stelt een andere vraag aan een model dat gevoelig is voor register.
• Sommige categorieën heten eenvoudigweg anders. De lokale term voor een ambacht, een professionele dienst of een gereglementeerde activiteit is vaak geen vertaling van de Engelse term, maar een apart begrip met eigen grenzen.

Het resultaat is een promptset die meet hoe de assistent reageert op licht buitenlands klinkende vragen. Dat is op zichzelf iets meetbaars. Het is alleen niet wat de koper wilde meten.

Taal is niet hetzelfde als markt

Daaroverheen ligt een tweede verwarring, en die werkt de andere kant op.

Tien talen betekenen niet tien markten. Duits is de voertaal van Duitsland, Oostenrijk en Zwitserland, en dat zijn drie verschillende inkoopomgevingen — andere toezichthouders, andere fiscale terminologie, in één ervan een andere munt, andere lokale concurrenten, andere bronnen waar een assistent naar grijpt.

Goed aangepakt is dit geen probleem, maar een onderscheid:

• Het artikel wordt één keer per taal geschreven. Er bestaat geen Oostenrijkse editie van een redenering.
• Het marktwerk — de prompts, de lokale bronnen, de set concurrenten, de commerciële context — gebeurt per land.

Tools die deze twee tot één as samentrekken, gaan in beide richtingen de mist in. Ze behandelen Duits als één markt en missen Zwitserland volledig, of ze gaan ervan uit dat elk land een eigen vertaling nodig heeft en geven het budget drie keer uit voor één stuk tekst.

Hoe het gat zich in de praktijk toont

Het falen is geruisloos, en dat maakt het duur. Er gaat niets kapot. Er verschijnt geen foutmelding. Het Engelse cijfer loopt netjes omhoog, de pijplijn in de niet-Engelstalige markten blijft vlak, en die twee feiten worden nooit met elkaar in verband gebracht omdat ze in verschillende rapportages staan.

Typische verschijningsvormen:

• Een merk wordt in het Engels bij naam aanbevolen voor zijn categorie en ontbreekt bij dezelfde vraag in de lokale taal.
• Een merk komt in de lokale taal wel voor, maar wordt in algemene termen beschreven, omdat het enige beschikbare materiaal in die taal een dunne vertaalde samenvattingspagina is.
• Een merk komt voor met verouderde of onjuiste gegevens, omdat de bron die de assistent in die taal vond een bedrijvengids van derden is die niemand heeft bijgewerkt.
• Een merk verliest van een kleinere lokale concurrent die wel degelijk in die taal publiceert en daardoor de enige citeerbare optie is.

Dat laatste komt het vaakst voor en is het meest ergerlijk, omdat het geen technologieprobleem is. Het is een publicatieprobleem met een technologisch symptoom.

Hoe u het zelf controleert, zonder iets te kopen

U hebt geen tool nodig om vast te stellen of u dit probleem hebt. U hebt iemand nodig die de taal spreekt.

1. Schrijf de vijf vragen op die een klant in die markt werkelijk zou intypen. Laat ze opstellen door een moedertaalspreker, niet door een vertaler die uw Engelse lijst voor zich heeft.
2. Stel ze in die taal aan de assistenten die uw klanten gebruiken.
3. Lees wat er terugkomt. Staat u erin? Bij naam genoemd of vaag omschreven? Klopt het?
4. Kijk waarnaar het antwoord verwijst. Zijn die bronnen in de lokale taal? Komt u in ook maar één ervan voor?
5. Noteer wie er verder in het antwoord staat. Staat er een concurrent en u niet, kijk dan wat die in die taal publiceert.

Die oefening kost een middag en levert u meer op dan een dashboard dat de vraag altijd alleen in het Engels heeft gesteld.

De eerlijke grenzen van dit betoog

Er valt tegen het bovenstaande twee dingen in te brengen, en die zijn allebei waar.

Ten eerste zijn sommige categorieën werkelijk Engels-eerst. Verkoopt u ontwikkelaarstools aan een publiek dat bij voorkeur Engelstalige documentatie leest, dan benadert een Engelse meting de waarheid mogelijk voldoende. De vraag is of dat een bevinding is of een aanname.

Ten tweede is meertalig meten moeilijker om goed te doen en gemakkelijker om slecht te doen. Een tool die in tien talen slechte vragen stelt, is niet beter dan een tool die in één taal goede vragen stelt. Waar het betalen waard is, is niet het aantal talen op de verpakking. Het is of de vragen in elke taal zijn geschreven door iemand die ze ook werkelijk zou stellen.

Wat wij daaruit opmaken

Zichtbaar zijn in het Engels is precies zoveel waard als uw Engelstalige vraag, en niet meer.

Als uw klanten het in hun eigen taal vragen, is dat de taal waarin de meting moet plaatsvinden — met prompts die een moedertaalspreker zou gebruiken, bronnen in die taal, en een set concurrenten die uit die markt komt in plaats van erin te zijn vertaald.

Al het andere is een rapportage over een markt waarin u niet verkoopt.