Funktioniert künstliche Intelligenz auf Englisch?

Grosse Sprachmodelle (LLMs) wie ChatGPT von Open AI und Gemini von Google haben die Welt im Sturm erobert und überraschen mit ihrer Fähigkeit, Nutzende mit scheinbar natürlicher Sprache zu verstehen und zu beantworten.

Obwohl es möglich ist, mit diesen LLMs in jeder beliebigen Sprache zu interagieren, werden sie auf Hunderte von Milliarden von Textparametern hauptsächlich in Englisch trainiert, und es wurde von einigen die Hypothese aufgestellt, dass sie den Grossteil ihrer internen Verarbeitung in Englisch durchführen und dann erst im letzten Moment in die Zielsprache übersetzen. Bisher gab es jedoch kaum Beweise dafür – bis jetzt.

Lama im Test

EPFL-Forschende des Data Science Laboratory (DLAB) der Fakultät für Computer- und Kommunikationswissenschaften untersuchten das Open-Source-LLM Llama-2 (Large Language Model Meta AI), um festzustellen, welche Sprachen in welchen Phasen der Berechnungskette verwendet werden.

«Grosse Sprachmodelle werden darauf trainiert, das nächste Wort vorherzusagen. Sie tun dies, indem sie im Wesentlichen jedes Wort mit einem Zahlenvektor abgleichen, im Grunde ein mehrdimensionaler Datenpunkt. Das Wort ‹der› zum Beispiel wird immer an genau der gleichen festen Zahlenkoordinate gefunden», erklärt Professor Robert West, Leiter des DLAB.

«Die Modelle ketten etwa 80 Schichten identischer Rechenblöcke aneinander, von denen jeder einen Vektor, der ein Wort darstellt, in einen anderen Vektor umwandelt. Am Ende dieser Abfolge von 80 Transformationen kommt ein Vektor heraus, der das nächste Wort repräsentiert. Die Anzahl der Berechnungen wird über die Anzahl der Schichten von Rechenblöcken festgelegt – je mehr Berechnungen durchgeführt werden, desto leistungsfähiger ist das Modell und desto wahrscheinlicher wird das nächste Wort richtig sein.»

Wie sie in ihrem Preprint Do Llamas Work in English? On the Latent Language of Multilingual Transformers, erklären: Anstatt das Modell die Berechnungen seiner 80 Schichten abschliessen zu lassen, zwangen West und sein Team es jedes Mal, wenn es das nächste Wort vorhersagen wollte, nach jeder Schicht zu antworten, und konnten so sehen, welches Wort das Modell zu diesem Zeitpunkt vorhersagen würde. Sie stellten dem Modell verschiedene Aufgaben, z. B. die Übersetzung einer Reihe französischer Wörter ins Chinesische.

«Wir gaben ihm ein französisches Wort, dann die chinesische Übersetzung, ein weiteres französisches Wort und die chinesische Übersetzung usw., so dass das Modell weiss, dass es das französische Wort ins Chinesische übersetzen soll. Im Idealfall sollte das Modell mit 100%iger Wahrscheinlichkeit das chinesische Wort übersetzen, aber als wir es zwangen, vor der letzten Schicht Vorhersagen zu machen, stellten wir fest, dass es die meiste Zeit die englische Übersetzung des französischen Wortes vorhersagte, obwohl Englisch in dieser Aufgabe nirgendwo auftaucht. Erst in den letzten vier bis fünf Schichten ist Chinesisch tatsächlich wahrscheinlicher als Englisch», so West.

Von Wörtern zu Konzepten

Eine einfache Hypothese wäre, dass das Modell die gesamte Eingabe ins Englische übersetzt und erst ganz zum Schluss in die Zielsprache übersetzt, aber bei der Analyse der Daten kamen die Forschenden auf eine viel interessantere Theorie.

In der ersten Phase der Berechnungen gibt es keine Wahrscheinlichkeit für eines der beiden Wörter, und sie glauben, dass das Modell damit beschäftigt ist, Eingabeprobleme zu beheben. In der zweiten Phase, in der das Englische dominiert, befindet sich das Modell nach Ansicht der Forschenden in einer Art abstraktem semantischen Raum, in dem es nicht über einzelne Wörter nachdenkt, sondern über andere Arten von Repräsentationen, die sich eher auf Konzepte beziehen, die sprachübergreifend sind und eher ein Modell der Welt darstellen. Das ist wichtig, denn um das nächste Wort gut vorhersagen zu können, muss das Modell viel über die Welt wissen, und eine Möglichkeit, dies zu tun, ist diese Darstellung von Konzepten.

«Wir vermuten, dass diese Repräsentation der Welt in Form von Konzepten auf die englische Sprache ausgerichtet ist, was durchaus Sinn machen würde, da diese Modelle zu etwa 90% englische Trainingsdaten gesehen haben. Sie bilden die Eingabewörter aus einem oberflächlichen Wortraum in einen tieferen Bedeutungsraum von Konzepten ab, in dem es Darstellungen dafür gibt, wie diese Konzepte in der Welt zueinander in Beziehung stehen – und die Konzepte werden ähnlich wie englische Wörter dargestellt, und nicht wie die entsprechenden Wörter in der eigentlichen Eingabesprache», so West.

Monokultur und Voreingenommenheit

Eine wichtige Frage, die sich aus dieser Dominanz des Englischen ergibt, lautet: «Ist das wichtig»? Die Forschenden glauben, dass es wichtig ist. Es gibt umfangreiche Forschungsergebnisse, die zeigen, dass die in der Sprache vorhandenen Strukturen die Art und Weise beeinflussen, wie wir die Realität konstruieren, und dass die Wörter, die wir verwenden, eng damit verbunden sind, wie wir über die Welt denken. West schlägt vor, mit der Erforschung der Psychologie von Sprachmodellen zu beginnen, wobei diese wie Menschen behandelt und in verschiedenen Sprachen befragt, Verhaltenstests unterzogen und auf Verzerrungen hin untersucht werden sollten.

«Ich glaube, diese Forschung hat einen Nerv getroffen, denn die Menschen machen sich zunehmend Sorgen über diese Art von Problemen einer möglichen Monokultur. Da die Modelle in englischer Sprache besser sind, wird derzeit von vielen Forschenden untersucht, ob man englische Inhalte einspeisen und in die gewünschte Sprache zurückübersetzen kann. Aus technischer Sicht könnte das funktionieren, aber ich würde sagen, dass dabei viele Nuancen verloren gehen, denn was man auf Englisch nicht ausdrücken kann, wird auch nicht ausgedrückt», so West.