Vad dina kunder ser när de frågar på sitt eget språk

Det ligger ett mätproblem under det mesta av arbetet med AI-synlighet, och det är lätt att missa eftersom dashboarden ser bra ut.

Dashboarden är på engelska. Prompterna bakom den skrevs på engelska. De källor assistenten lutade sig mot när den svarade var till största delen engelska. Och varumärket som mäts kan mycket väl vara synligt på engelska, eftersom engelska är det språk dess egen marknadsföringssajt är skriven på.

Inget av det säger något om vad en kund i Brno eller Braga ser.

En assistent som svarar på tyska översätter inte ett engelskt svar

Det här är den del som brukar hoppas över, så den är värd att formulera exakt.

När en assistent besvarar en fråga på tyska besvarar den inte den engelska frågan och översätter resultatet. Den besvarar en tysk fråga, hämtar ur tyskspråkigt material och producerar ett tyskt svar. Informationshämtningen ser annorlunda ut. Källorna är andra. Konkurrenterna som kommer tillbaka är ofta andra.

Det innebär att hela kedjan går isär:

• En annan korpus. Tysk branschpress, tyska kataloger, tyska forum, tyska recensionsplattformar. Dina engelska kundcase finns inte där.
• Andra källor citeras. Ett svar på portugisiska tenderar att citera portugisiskspråkiga sidor. Finns det inget om dig på portugisiska finns det inget att citera.
• Andra konkurrenter. Den starka lokala aktören som inte har någon engelsk närvaro alls syns inte i din engelska mätning. Den syns i det svar din kund får.
• Andra formuleringar. Vilket förändrar svaret, och är ämnet för nästa avsnitt.

En poäng kan alltså vara hög på engelska och nära noll på tjeckiska, och båda siffrorna kan vara korrekta. De är mätningar av två olika marknader som råkar dela varumärkesnamn.

Att översätta prompten är inte att ställa frågan

Det vanliga försöket till flerspråkig täckning är att ta den engelska promptuppsättningen och maskinöversätta den. Det är bättre än ingenting och sämre än det ser ut.

En översatt prompt är en grammatiskt korrekt mening som ingen infödd talare skulle skriva.

• Tyskan sätter ihop mycket av det som engelskan sprider ut över flera ord, och det är sammansättningen folk söker på. Den bokstavliga översättningen av en engelsk nominalfras är ofta inte det ord som faktiskt används.
• Tjeckiskan böjer substantiven i kasus, så formen av ett stads- eller kategorinamn i en fråga är inte formen i din sökordslista.
• Portugisiska skriven för Portugal och portugisiska skriven för Brasilien skiljer sig i ordval och stilnivå, och en kund i Lissabon märker omedelbart vilken av dem det är.
• Formalitetsnivån är en verklig variabel. Affärsfrågor på tyska och franska formuleras ofta formellt; en översatt prompt som landar informellt ställer en annan fråga till en modell som är känslig för stilnivå.
• Vissa kategorier heter helt enkelt något annat. Den lokala termen för ett hantverksyrke, en professionell tjänst eller en reglerad verksamhet är ofta ingen översättning av den engelska termen, utan ett eget begrepp med egna gränser.

Resultatet är en promptuppsättning som mäter hur assistenten reagerar på frågor som låter en aning utländska. Det är något verkligt att mäta. Det är inte det köparen ville ha.

Språk är inte samma sak som marknad

Ovanpå detta ligger en andra sammanblandning, och den drar åt motsatt håll.

Tio språk betyder inte tio marknader. Tyska är arbetsspråk i Tyskland, Österrike och Schweiz, och det är tre olika köpmiljöer – olika tillsynsmyndigheter, olika skatteterminologi, en annan valuta i ett av dem, andra lokala konkurrenter, andra källor som en assistent kommer att söka sig till.

Hanterat rätt är det inget problem, utan en åtskillnad:

• Artikeln skrivs en gång per språk. Det finns ingen österrikisk upplaga av ett resonemang.
• Marknadsarbetet – prompterna, de lokala källorna, konkurrentbilden, det kommersiella sammanhanget – görs per land.

Verktyg som slår ihop de här två till en enda axel gör fel i båda riktningarna. Antingen behandlar de tyska som en marknad och missar Schweiz helt, eller så behandlar de varje land som om det behövde en egen översättning och lägger budgeten tre gånger på en och samma text.

Hur glappet visar sig i praktiken

Felet är tyst, och det är det som gör det dyrt. Ingenting går sönder. Det kommer inget felmeddelande. Den engelska siffran pekar uppåt och åt höger, pipelinen på de icke-engelskspråkiga marknaderna ligger stilla, och de två fakta kopplas aldrig ihop eftersom de bor i olika rapporter.

Typiska former det tar sig:

• Ett varumärke rekommenderas vid namn för sin kategori på engelska och saknas helt när samma fråga ställs på det lokala språket.
• Ett varumärke dyker upp på det lokala språket men beskrivs allmänt hållet, eftersom det enda materialet på det språket är en tunn översatt sammanfattningssida.
• Ett varumärke dyker upp med inaktuella eller felaktiga uppgifter, eftersom källan assistenten hittade på det språket är en tredjepartskatalog som ingen har uppdaterat.
• Ett varumärke förlorar mot en mindre lokal konkurrent som publicerar ordentligt på språket och därför är det enda alternativ som går att citera.

Den sista är den vanligaste och den mest irriterande, eftersom det inte är ett teknikproblem. Det är ett publiceringsproblem med ett tekniskt symtom.

Hur du kontrollerar det själv, utan att köpa något

Du behöver inget verktyg för att ta reda på om du har det här problemet. Du behöver någon som talar språket.

1. Skriv ner de fem frågor en kund faktiskt skulle skriva på den marknaden. Låt en infödd talare formulera dem, inte en översättare som utgår från din engelska lista.
2. Ställ dem till de assistenter dina kunder använder, på det språket.
3. Läs det som kommer tillbaka. Är du med? Nämnd vid namn, eller vagt beskriven? Stämmer uppgifterna?
4. Se efter vad svaret citerade. Är källorna på det lokala språket? Finns du i någon av dem?
5. Notera vilka andra som finns i svaret. Om en konkurrent är med och inte du, titta på vad de publicerar på det språket.

Övningen tar en eftermiddag och den säger dig mer än en dashboard som aldrig har frågat på något annat än engelska.

Resonemangets ärliga begränsningar

Två saker är värda att invända mot argumentationen ovan, eftersom de är sanna.

För det första är vissa kategorier faktiskt engelskspråkiga i första hand. Om du säljer utvecklarverktyg till en publik som helst läser engelsk dokumentation kan en engelsk mätning ligga tillräckligt nära sanningen. Frågan är om det är ett resultat eller ett antagande.

För det andra är flerspråkig mätning svårare att göra bra och lättare att göra dåligt. Ett verktyg som ställer dåliga frågor på tio språk är inte bättre än ett som ställer bra frågor på ett. Det som är värt att betala för är inte antalet språk på förpackningen. Det är om frågorna på varje språk skrevs av någon som verkligen skulle ställa dem.

Vad vi drar för slutsats

Att vara synlig på engelska är värt exakt lika mycket som din engelskspråkiga efterfrågan, och inte mer.

Om dina kunder frågar på sitt eget språk är det på det språket mätningen måste göras – med prompter som en infödd talare skulle använda, källor på det språket och en konkurrentbild hämtad från den marknaden i stället för översatt till den.

Allt annat är en rapport om en marknad du inte säljer på.