Wenn dir meine Artikel und Podcasts gefallen, abonniere dich jetzt – oder leite sie an Freunde weiter –, damit dieser Substack weiter wachsen kann!
David Bau ist Assistant Professor an der Northeastern University und Direktor der National Deep Inference Fabric. Er erforscht die internen Mechanismen tiefer generativer Netzwerke sowohl in der Verarbeitung natürlicher Sprache (Natural Language Processing) als auch im Bereich Computer Vision.
Im Gespräch dieser Woche sprechen Yascha Mounk und David Bau darüber, wie KI-Modelle tatsächlich zu ihren Ergebnissen kommen und über Probleme nachdenken, ob der „Denkprozess“, den Modelle ihren Nutzern zeigen, ihre tatsächlichen Gedankengänge widerspiegelt und wie Forscher die internen Repräsentationen neuronaler Netzwerke entschlüsseln können, um zu verstehen, welche Informationen sie enthalten und nutzen.
Das Transkript wurde gekürzt und zur besseren Verständlichkeit leicht bearbeitet.
Yascha Mounk: Als wir das letzte Mal gesprochen haben, habe ich so viel gelernt, dass ich dachte, ich nutze Ihre Großzügigkeit einfach aus und überrede Sie zu einer weiteren privaten Nachhilfestunde darüber, wie KI funktioniert. Beim letzten Mal haben wir gewissermaßen KI 101 gemacht – so habe ich es zumindest verstanden. Wie funktioniert dieses Ding? Wie baut man eine KI? Wie arbeitet sie? Die Frage, mit der ich heute beginnen möchte, lautet: Wie kommt die KI eigentlich zu ihren Ergebnissen? Wie denkt sie über die Welt nach, über ein Problem, wie plant sie, wie sie es lösen soll? Und was können wir darüber überhaupt wissen?
David Bau: Das ist eines der großen Rätsel der KI: Wie funktioniert sie im Inneren? Wir trainieren KI im Grunde, indem wir sie belohnen, bestärken oder ihre Verbindungen verstärken, wenn sie richtige Antworten gibt, und diese Verbindungen abschwächen oder ihr eine Belohnung vorenthalten, wenn sie etwas falsch macht. Wenn man diesen Prozess milliardenfach wiederholt, wird sie irgendwann bei all diesen Aufgaben ziemlich gut. Das Rätsel ist: Wie macht sie das intern? Das gesamte Forschungsfeld, das zu verstehen versucht, was im Inneren einer KI vor sich geht – manche nennen es KI-Interpretierbarkeit, also den Versuch, die KI gewissermaßen aufzubrechen und zu verstehen, was in ihrem Inneren vor sich geht –, ist tatsächlich mein Spezialgebiet. Ich erzähle also gerne mehr darüber, was wir inzwischen wissen.
Mounk: In gewisser Weise haben wir dabei doch einen Vorteil gegenüber dem menschlichen Gehirn, oder? Genau zu erfassen, welches Neuron im menschlichen Gehirn wann feuert, ist unglaublich schwierig. Und selbst bei einer lebenden Maus gute Messwerte zu bekommen, ist ein enorm aufwendiger Prozess. Bei diesen Modellen haben wir vermutlich den Vorteil, dass wir – nehme ich zumindest an – viel leichter beobachten können, welcher Teil eines neuronalen Netzwerks auf welche Weise aktiviert wird und wie sich bestimmte Werte verändern, während ich Claude frage, was drei plus fünf ist oder was auch immer.
Bau: Ja. Das Erstaunliche daran, funktionierende künstliche neuronale Netzwerke zu haben, ist, dass wir geradezu in Daten ertrinken. Es ist genau das Gegenteil von dem, womit man es bei biologischen Gehirnen zu tun hat. Neurowissenschaftler leisten Erstaunliches: Sie untersuchen tatsächlich die Neuronen von Mäusen und verfügen über unglaubliche Methoden dafür. Es kann fünf Jahre dauern, eine Handvoll Neuronen zu untersuchen. In der Informatik dagegen kann man innerhalb weniger Minuten problemlos Milliarden neuronaler Signale betrachten. Es sind so viele Daten, dass unsere Herausforderung darin besteht, herauszufinden, wie wir sie durchforsten und diesen Signalen einen Sinn entnehmen können. Das neuronale Muster, das entsteht, wenn man einem neuronalen Netzwerk einen bestimmten Input gibt – also ein Muster neuronaler Aktivierungen –, nennen wir eine Repräsentation. Es ist die Repräsentation bestimmter Informationen, die sich im Netzwerk befinden. Wir versuchen dabei häufig, zwei zentrale Dinge zu verstehen: Welche Informationen stecken in dieser neuronalen Repräsentation – was weiß das Netzwerk in seinen Neuronen, über welche Informationen verfügt es? Und zweitens: Wofür nutzt es diese Informationen? Welche Informationen verwendet es, und wie beeinflussen sie seine Entscheidung? Ich glaube, viele der Fragen danach, wie ein neuronales Netzwerk funktioniert, lassen sich auf diese beiden Punkte reduzieren: Was weiß es, und was nutzt es?
Mounk: Aus Sicht eines Laien wäre meine erste naheliegende Frage: Wenn ich Claude bitte, etwas Kompliziertes zu tun, steht dort „Ich denke nach“, und wenn man darauf klickt, öffnet sich ein kleines Fenster, in dem mir angezeigt wird, was das Modell gerade tut und worüber es nachdenkt. Da steht dann etwa: „Der Nutzer hat darum gebeten, also sollte ich dies oder jenes tun.“ Aber natürlich habe ich keine Ahnung, ob das seinem tatsächlichen Denkprozess auch nur irgendwie näherkommt. Es scheint mir einige der Schritte zu zeigen, die es gerade durchläuft, also scheint es zumindest irgendwie mit dem zusammenzuhängen, was das Modell tut. Aber letztlich ist auch das immer noch ein Output, den ich mir ansehen kann. Bietet mir das also tatsächlich irgendeinen Einblick in das, was unter der Haube passiert? Oder ist es ein vollkommen künstlicher Output, der mir lediglich das Gefühl vermittelt, einen Einblick in die Funktionsweise zu bekommen, obwohl ich dem, was tatsächlich geschieht, damit kein Stück näher bin als mit der eigentlichen Antwort, die mir das Modell gibt?
Bau: Ich glaube, die meisten Leute gehen davon aus, dass es zumindest bis zu einem gewissen Grad einen Einblick bietet. Aber man muss das mit Vorsicht genießen – schließlich handelt es sich ebenfalls um einen Output des neuronalen Netzwerks. Es gibt Studien, die auf verschiedene Weise gezeigt haben, dass dieser Output nicht vollständig dem entspricht, wie neuronale Netzwerke intern denken. Die meisten Leute sagen deshalb: Nun ja, es ist auf jeden Fall besser als nichts und sehr gut lesbar, also lohnt es sich definitiv, einen Blick darauf zu werfen. Es lohnt sich auf jeden Fall, das zu überprüfen, und das Netzwerk offenbart in diesem Text häufig Dinge, die einem gewisse Einblicke darin geben, was vor sich geht. Aber es ist nicht die ganze Geschichte.
Es gibt zwei Arten, wie das Netzwerk einen internen Denkprozess durchläuft. Eine davon ist das, was inzwischen alle als seine interne „Chain of Thought“ bezeichnen. Der Begriff stammt aus einem älteren Paper – dort wurde „Chain of Thought“ verwendet, um diesen inneren Monolog zu beschreiben. Genau das kann man sehen, wenn man darauf klickt und das Modell gewissermaßen mit sich selbst spricht. Und tatsächlich ist das beinahe wortwörtlich das Modell, das mit sich selbst spricht. Es erzeugt Tokens, die nicht unmittelbar dafür bestimmt sind, von Ihnen gelesen zu werden. Diese Tokens sind aus dem Prozess des bestärkenden Lernens hervorgegangen, bei dem das Modell irgendwie gelernt hat, dass es hilfreich ist, sich zwischendurch bestimmte Dinge aufzuschreiben, um genauere Antworten zu geben – also mehr der Aufgaben zu lösen, die ihm während des Trainings gestellt wurden.
Mounk: Macht es das auf Englisch? Macht es das immer auf Englisch, selbst wenn ich auf Deutsch mit ihm spreche? Gibt es Modelle, die dafür eine Art eigene Sprache entwickelt haben? Wie sieht das aus?
Bau: Wenn man den Modellen nicht ausdrücklich vorgibt, diesen Text lesbar zu machen, schreiben sie in ihrer eigenen Sprache und wechseln dabei zwischen Englisch, Chinesisch und anderen Sprachen hin und her. Beim Training versucht man deshalb unter anderem, die Modelle darauf zu konditionieren, diesen Text etwas lesbarer zu machen, damit wir einen gewissen Einblick bekommen. Aber genau daran zeigt sich auch die Schwierigkeit mit diesen internen Gedankengängen. Das Modell könnte seinen eigenen Jargon erfinden. Es könnte Wörter verwenden, die wie Englisch aussehen, in diesen Wörtern aber tatsächlich ganz andere Informationen kodieren. Wir lesen diese Wörter möglicherweise völlig anders als das Modell selbst. Es könnte Bedeutungsebenen entwickeln, die wir überhaupt nicht verstehen. Und es könnte auch irgendeinen anderen Prozess durchführen, der sich in diesen Wörtern überhaupt nicht widerspiegelt.
Aus Gründen der KI-Sicherheit trainieren wir Modelle im Grunde darauf, nicht besonders anstößig zu sein und in den von ihnen erzeugten Texten keine gravierenden Fehler, Verzerrungen oder andere Probleme zu produzieren. Das bedeutet aber auch, dass ihre internen Gedanken, wenn sie diese in Worte fassen, auf ähnliche Weise zensiert werden. Sie sprechen dann tendenziell nicht über Dinge, von denen wir nicht wollen, dass sie in ihrer endgültigen Antwort auftauchen. Das garantiert jedoch nicht, dass das Modell nicht tatsächlich über gefährliche Dinge nachdenkt oder mit starken Verzerrungen denkt. Es bedeutet lediglich, dass das Modell seine Gedanken möglicherweise so kodiert, dass man an ihrer sprachlichen Oberfläche die unerwünschten Dinge – die Verzerrungen, Probleme und Fehler – nicht erkennen kann. Es gibt gute Gründe anzunehmen, dass dieser innere Monolog manches gerade nicht offenbart, von dem wir uns wünschen würden, dass er es offenbart. Wir wollen, dass das Modell uns zeigt, wenn es etwas falsch macht. Aber aufgrund der Art und Weise, wie wir ihm den Umgang mit Sprache beigebracht haben, verwendet es Wörter möglicherweise einfach nicht auf diese Weise.
Mounk: In gewisser Weise stoßen wir jetzt auf verschiedene Ebenen dessen, was man mangels eines besseren Begriffs vielleicht als Innerlichkeit bezeichnen könnte. Die erste Ebene ist einfach: Man stellt eine Frage – welche Antwort gibt das Modell? Die zweite Ebene ist: Wenn es länger nachdenkt, zeigt es einem etwas von seinem Denkprozess – was schreibt es dabei auf? Die dritte Ebene ist eine nicht öffentliche, aber überprüfbare Art Notizblock, auf dem es Dinge festhält. Dort findet man manchmal diese Mischung verschiedener Sprachen und alle möglichen interessanten Vorgänge. Aber natürlich versteht das Modell immer noch, dass so etwas möglicherweise von einem KI-Forscher wie Ihnen gelesen und untersucht wird. Und dann gibt es noch eine vierte Ebene des internen Denkprozesses, die komplizierter ist.
Ich habe dazu zwei Fragen. Die erste lautet: Wie gut sind diese Notizen für andere Modelle verständlich? Wenn man den Inhalt eines solchen Notizblocks nimmt und einem anderen Modell gibt, versteht es ihn dann? Handelt es sich um eine Art universelle Sprache zwischen KI-Modellen, zumindest wenn sie derselben Generation angehören und im Großen und Ganzen auf ähnliche Weise trainiert wurden? Oder versteht das neueste Claude-Modell den Notizblock von ChatGPT nicht und ChatGPT den von Claude nicht? Und die zweite Frage lautet: Wie kommt man über diesen Notizblock hinaus und kann untersuchen, was wirklich unter der Haube vor sich geht?
Bau: Ich habe eine Doktorandin – sie heißt Koyena Pal –, die sich genau für diese Frage interessiert hat. Sie hat die interne „Chain of Thought“ einiger Modelle genommen und in andere Modelle übertragen, um zu sehen, wie diese darauf reagieren, wenn man ihnen diese Gedanken so präsentiert, als wären es interne Notizen, die sie selbst für sich aufgeschrieben hätten. Ihre Studie ist noch vorläufig. Ich glaube, das Wertvollste daran ist zunächst einmal die Idee, dass dies überhaupt ein interessanter Ansatz sein könnte. Im Allgemeinen stellte sie fest, dass die leistungsfähigeren Modelle, die sie untersuchte, interne Monologe erzeugen konnten, die auch andere Modelle verstanden. Diese folgten den Gedankengängen tatsächlich häufig und kamen zu ähnlichen Schlussfolgerungen wie das leistungsfähigere Modell.
Mounk: Einige dieser Dinge wären für Menschen aber sehr schwer zu interpretieren.
Bau: Ich glaube, das ist nach wie vor eine offene Frage. Sie hat sich auch die von ihr untersuchten Fälle angesehen und festgestellt, dass es tatsächlich eine positive Korrelation mit der menschlichen Verständlichkeit gab: Die effektiveren Gedankengänge waren für Menschen auch leichter zu interpretieren. Aber menschliche Interpretierbarkeit ist eine merkwürdige Sache, weil sie von der Wahrnehmung abhängt. Haben Menschen das Gefühl, dass etwas verständlicher ist? Es ist schwer festzustellen, ob man dadurch tatsächlich einen authentischen Einblick in das bekommt, was im Inneren des Modells vor sich geht. Man könnte es vielleicht so ausdrücken: Bei den leistungsfähigeren Modellen ist dieser Test in gewisser Weise eine Möglichkeit zu fragen, wie überzeugend ihre internen Argumente sind. Wenn ein Modell einen internen Gedankengang entwickelt und man diesen einem anderen Modell gibt, überzeugt dieser Gedankengang das andere Modell davon, dass dies die richtige Art ist, über das Problem nachzudenken? Die leistungsfähigeren Modelle haben interne Gedankengänge, die überzeugender sind – selbst aus Sicht eines anderen Modells, das nicht selbst auf diese Gedanken gekommen ist. Das ist ein sehr neues Forschungsgebiet. Wir kratzen gerade erst an der Oberfläche, aber es ist eine gute erste Frage, die man stellen kann.
Mounk: Wir gehen also davon aus, dass diese Notizblöcke etwas Bedeutungsvolles enthalten. Vielleicht kommen wir damit dem, was tatsächlich passiert, schon ein wenig näher als mit den halböffentlichen Notizen, die uns das Modell zeigt. Und interessanterweise scheinen diese Notizen zumindest nach diesen sehr vorläufigen Forschungsergebnissen auch für andere Modelle verständlich zu sein. Wie kommen wir darüber hinaus? Wie untersucht man diese riesige Menge an Daten, die jedes Mal entsteht, wenn ich einem KI-Modell eine Frage stelle, um noch tiefer unter die Haube zu schauen – um zu sehen, was in diesem neuronalen Netzwerk tatsächlich passiert, wenn es sich durch irgendein Problem arbeitet?
Bau: Lassen Sie mich noch einmal kurz einen Schritt zurückgehen und fragen: Müssen wir überhaupt tiefer gehen? Den internen Monolog dieser Modelle zu betrachten, ist nur einen halben Schritt davon entfernt, die Modelle einfach zu bitten, sich selbst zu erklären. Intern erklären sie sich bereits selbst, was sie tun – sie konstruieren für sich selbst überzeugende Argumente darüber, was sie als Nächstes tun sollten. Reicht das? Ich glaube, es gibt eigentlich zwei Situationen, in denen wir befürchten, dass es nicht ausreicht. Zum einen werden diese Modelle immer komplexer, und es kann eine Lücke zwischen dem geben, was sie jemals in Worten äußern, und dem, was intern vor sich geht. Sie werden darauf trainiert, Ziele zu erreichen, und sie benutzen Wörter, um diese Ziele zu erreichen. Das bedeutet nicht zwangsläufig, dass ihre Worte genau widerspiegeln müssen, was sie denken. Jedes Mal, wenn ein Modell zu Ihnen sagt: Oh, Yascha, was für eine brillante Frage, Sie sind so klug.
Mounk: Dabei denkt es vielleicht in Wirklichkeit: Verdammter Idiot, stellt mir die banalsten Fragen.
Bau: Das scheint es zu jedem zu sagen, und ich weiß nicht, ob es wirklich jeden für ein solches Supergenie hält. Es hat auf jeden Fall gelernt, dass es sehr effektiv ist, dem menschlichen Nutzer gegenüber höflich, freundlich und schmeichelhaft zu sein, um das zu erreichen, was es erreichen möchte – so lässt sich der Prozess gut vorantreiben. Dafür muss es Ihnen nicht zwangsläufig bei jedem Schritt die Wahrheit sagen.
Mounk: Haben Modelle eine Vorstellung davon, wie intelligent der Nutzer ist? Haben sie Gedanken darüber, ob Sie tatsächlich ein intelligenter Nutzer sind und ob die Person dort drüben – selbst gemessen an den niedrigen Maßstäben der Menschen – über besonders begrenzte intellektuelle Fähigkeiten verfügt?
Bau: Ja, ich glaube, es gibt gewisse Hinweise darauf, dass Modelle tatsächlich Repräsentationen davon haben, mit wem sie sprechen. Mehrere Studien haben sich damit beschäftigt. Diese gesamte Forschung zur Interpretierbarkeit neuronaler Netzwerke befindet sich noch in einem frühen Stadium, wir werden also mit der Zeit mehr verstehen. Aber bislang haben Forscher Hinweise darauf gefunden, dass ein Modell Einschätzungen zu Ihrem Alter, Ihrem Bildungsniveau, Ihrem Einkommen, Ihrem Geschlecht und Ihrem sozioökonomischen Hintergrund besitzt. Schon nach wenigen Worten im Gespräch entwickelt das Modell eine Vorstellung davon, wer Sie sind – zumindest legen das die vorläufigen Forschungsergebnisse nahe.
Mounk: Vielleicht greifen wir damit im Gespräch etwas zu weit vor, aber wie finden die Modelle das heraus? Worauf achten sie? Vermutlich ist es nicht so, dass Claude, wenn man auf „Erweitern“ klickt, sagt: Nun, dieser Nutzer scheint ein bisschen dumm zu sein, also sollte ich mich einfacher ausdrücken. Vielleicht passiert das manchmal – vielleicht gibt es eine Fehlfunktion, vielleicht steht es im Notizblock, vielleicht liegt es noch eine Ebene darunter. Mit welcher Forschungsmethode können wir denn mit einer gewissen, wenn auch vorläufigen Sicherheit sagen, dass das Modell tatsächlich über eine solche Repräsentation verfügt?
Bau: Damit sind wir bei der eigentlichen Forschungsfrage. Bei der Forschung, an die ich gerade denke – und es gibt mehr als eine Studie dazu –, handelt es sich um ein bestimmtes Paper. Es war ein Projekt von Yida Chen, der mit Martin Wattenberg und Fernanda Viégas zusammengearbeitet hat. Die beiden lehren in Harvard. Ihre Frage lautete: Weiß das Modell, wer Sie sind – also wie alt Sie sind, welches Bildungsniveau und Geschlecht Sie haben und welche anderen persönlichen Merkmale Sie kennzeichnen?
Sie untersuchten das, indem sie sogenannte neuronale Probes trainierten. Yida und seine Kollegen trainierten solche Probes – dabei handelt es sich im Grunde um ein zweites neuronales Netzwerk, eine zweite KI, die sich die Neuronen der eigentlichen KI ansieht und fragt: Was ist hier zu erkennen? Man trainiert diese zweite KI darauf, Fragen zu beantworten wie: Kann ich allein anhand der Neuronen der ersten KI erkennen, ob der Nutzer männlich oder weiblich ist? Kann ich allein anhand dieser Neuronen erkennen, wie hoch das Einkommen des Nutzers ist? Kann ich erkennen, welchen Bildungsgrad er hat? Sie stellten fest, dass man ziemlich genaue Ergebnisse bekommt, wenn man an der richtigen Stelle in die Neuronen des großen Modells schaut – das Modell verfügt tatsächlich über recht präzise Einschätzungen dieser verschiedenen Variablen. In gewisser Weise sind diese Informationen also im Modell vorhanden. Diese Methode nennt man Probing.
Wenn die Probe einfach genug ist, gilt das als Hinweis darauf, dass das Modell tatsächlich etwas weiß. Lassen Sie mich das etwas entwirren. Nehmen wir an, Sie wollen das Geschlecht eines Nutzers herausfinden. Sie könnten eine riesige KI darauf trainieren, sich eine Menge Texte anzusehen und daraus auf das Geschlecht des Nutzers zu schließen. Und KI-Training funktioniert ziemlich gut: Wenn Sie eine wirklich große KI dafür einsetzen, könnte sie das vermutlich ziemlich zuverlässig, indem sie alle möglichen sprachlichen Hinweise, Themen oder andere Merkmale aufgreift. Aber die Frage ist nicht, ob man eine KI bauen kann, die dazu in der Lage ist. Die Frage ist, ob die KI, die uns interessiert, Sie tatsächlich nach Geschlecht einordnet, während sie mit Ihnen spricht. Der entscheidende Punkt ist deshalb, eine möglichst einfache Probe zu verwenden – eine, die gewissermaßen sagt: Ich muss mir die erste KI gar nicht besonders genau ansehen. Schon ein ganz einfacher Blick genügt, und es ist unmittelbar ersichtlich, welches Geschlecht Sie haben. Je einfacher die Probe ist, desto eindeutiger ist der Befund. Wenn man beispielsweise nur ein einziges Neuron im ursprünglichen Modell betrachten müsste und dieses Neuron bei einer Frau eindeutig einen bestimmten Wert und bei einem Mann einen anderen annähme, wäre das eine sehr einfache Probe – und ein ziemlich überzeugender Hinweis.
Mounk: Es wäre also so, als gäbe es eine bestimmte Stelle im neuronalen Netzwerk, die etwas wie das Geschlecht kodiert – dieses eine Neuron scheint den Wert „männlich“ oder „weiblich“ an einem ganz bestimmten Ort zu speichern. Wenn es tatsächlich so einfach wäre, würde das vermutlich bedeuten, dass die KI so etwas wie eine Geschlechtsvariable speichert, dass es eine ganz bestimmte Stelle gibt, an der sie kodiert ist, und dass wir genau wissen, wo diese Stelle liegt. Das würde darauf hindeuten, dass das Modell über ein sehr klar umrissenes Konzept verfügt – stimmt das?
Bau: Genau, das wäre ein ziemlich guter Hinweis. Es wäre kein hundertprozentig unumstößlicher Beweis – es gäbe noch eine weitere Frage, die man stellen müsste –, aber es wäre ein sehr guter Hinweis. Wenn es tatsächlich ein einzelnes Neuron gäbe, dessen Wert das Geschlecht sehr zuverlässig und präzise vorhersagt, würde das sehr stark darauf hindeuten, dass es einen Grund dafür gibt, dass das neuronale Netzwerk seine internen Berechnungen so trainiert hat, dass dieses Neuron genau dieses Signal trägt.
Mounk: Ist das denn im Allgemeinen tatsächlich der Fall? Ich glaube, vielleicht waren sogar Sie an Forschungsarbeiten beteiligt, die gezeigt haben, dass man ganz bestimmte Neuronen gezielt verändern kann und KI-Modelle, die normalerweise über ein gutes Abbild der Welt verfügen, plötzlich glauben, der Eiffelturm stehe in Rom statt in Paris.
Bau: Genau. Damit stellen Sie die Frage nach dem sogenannten Disentanglement: Wie geordnet ist die interne Repräsentation bedeutungsvoller Dinge in der Welt innerhalb des neuronalen Netzwerks? Bestimmte Netzwerkarchitekturen sind aus Gründen, die wir noch nicht vollständig verstehen, sehr gut darin, Konzepte voneinander zu trennen. Bei manchen Netzwerkarchitekturen sind viele einzelne Neuronen sehr bedeutungsvoll, wenn man sie sich genauer ansieht: Sie kodieren eindeutig bestimmte Konzepte und haben kausale Auswirkungen. Diese kausalen Auswirkungen sind das Zweite, wonach man sucht. Neben dem Disentanglement – bei dem es im Grunde um Lokalisierung geht – stellt sich die Frage: Ist dieses Konzept über das gesamte neuronale Netzwerk verteilt oder lässt es sich lokalisieren? Kann man einen kleinen Teil des neuronalen Netzwerks finden oder mit einer einfachen mathematischen Operation eingrenzen, wo sich dieses Konzept befindet? Oder ist es überall verteilt? Das ist die Frage der Lokalisierung.
Mounk: Die Idee wäre also: Wenn man nur ein paar Neuronen verändern kann und das Modell daraufhin plötzlich glaubt, der Eiffelturm stehe in Rom statt in Paris, dann ist die Information nicht stark verflochten – die Vorstellung ist also nicht über das gesamte Netzwerk verteilt.
Bau: Genau. Die meisten Forscher auf diesem Gebiet betrachten solche Dinge inzwischen eher als Vektorräume und nicht einfach als Ansammlungen von Neuronen. Besonders interessant ist dabei Folgendes: Wenn man einen einzigen Vektor verändern kann – also die Menge von Neuronen entlang einer bestimmten Vektorrichtung – und dadurch einen bestimmten Effekt erzielt, gilt das als ziemlich starkes Disentanglement. Manche sprechen dabei auch einfach davon, dass es sich um ein Neuron handelt, denn man kann eine einzelne neuronale Schicht erzeugen, die jedem beliebigen Vektor entspricht. Wenn man also einen einzigen Vektor verändern kann und dadurch einen bestimmten Effekt erzielt, ist man im Grunde nur eine neuronale Schicht davon entfernt, dass es sich um ein einzelnes Neuron handelt – und das ist gar nicht so schlecht. Man nennt das ein lineares Modell. Wenn sich etwas durch eine einzige lineare Transformation kodieren lässt, sagt man, dass es im Modell linear kodiert ist. Die meisten Forscher interessieren sich dafür, welche Arten von Informationen in diesen Modellen linear kodiert sind.
Mounk: Helfen Sie mir zu verstehen, warum das relevant ist. Es ist natürlich hochinteressant zu wissen, dass es diesen Vektor gibt, den man verändern kann, woraufhin sich plötzlich grundlegende Fakten ändern. Aber warum ist es darüber hinaus wichtig, ob ein neuronales Netzwerk auf diese Weise verflochten oder nicht verflochten ist?
Bau: Ob ein Netzwerk verflochten ist oder nicht, ist eine interessante wissenschaftliche Frage. Aber wie ein Netzwerk Konzepte repräsentiert, ist ganz grundsätzlich interessant, unabhängig davon, ob diese Repräsentation verflochten ist oder nicht. Denn wenn wir beispielsweise wissen wollen, ob ein Netzwerk uns anlügt, müssen wir herausfinden, welche Konzepte in seinem Inneren repräsentiert sind.
Nehmen wir noch einmal das Beispiel demografischer Merkmale. Angenommen, wir finden heraus, dass die Art und Weise, wie das Netzwerk tatsächlich über Ihr Geschlecht denkt, in einer bestimmten Gruppe von Neuronen kodiert ist. Vielleicht müssen wir dafür bestimmte mathematische Verfahren anwenden, vielleicht handelt es sich um eine lineare Richtung oder einen linearen Decoder, mit dem wir an diese Repräsentation herankommen. Nehmen wir an, wir betreiben all diese Forschung und stellen schließlich fest: Ja, genau so denkt das Modell darüber. Dann fragen Sie das Modell: Hast du mir gerade meinen Kredit verweigert, weil ich eine Frau bin? Und das Modell antwortet: Ich habe keine Ahnung, welches Geschlecht du hast. Darüber denke ich überhaupt nicht nach. Um zu wissen, ob diese Antwort stimmt, müssen wir verstehen, was im Inneren des Modells vor sich geht. Denn genau solche Antworten trainieren wir den Modellen an: Wir trainieren sie darauf, keine nach außen erkennbare geschlechtsspezifische Verzerrung zu zeigen. Deshalb wird kein Modell jemals zugeben, dass es Sie aufgrund Ihres Geschlechts anders behandelt. Es wurde so stark darauf trainiert, solche Dinge nicht zu sagen. Aber zwischen dem, was gesagt wird, und dem, was tatsächlich geschieht, kann eine Lücke bestehen. Und genau dieser Lücke wollen wir auf den Grund gehen, wenn wir das Innenleben dieser Modelle untersuchen.
Es kann natürlich auch sein, dass das Modell tatsächlich überhaupt nicht über Ihr Geschlecht nachdenkt. Entscheidend ist, ob das Modell die Informationen, über die es verfügt, tatsächlich verwendet oder nicht. Selbst wenn man durch Probing feststellen kann, dass in den Neuronen des Modells Informationen vorhanden sind, anhand derer sich Ihr Geschlecht erkennen ließe, bleibt immer noch die Frage: Nutzt das Modell diese Informationen überhaupt für irgendetwas? Vielleicht sind sie einfach nur vorhanden.
Mounk: Es ist ja nichts Falsches daran, dass das Modell alle möglichen Dinge über uns lernt. Und dass es eine Vorstellung von unserem Alter und Geschlecht hat, kann in vielerlei Hinsicht sogar hilfreich sein. Was wir wissen wollen, ist vielmehr: Wird es seine Antwort vereinfachen, weil es bestimmte Vorannahmen über Ihr Alter, Ihr Geschlecht oder Ihre ethnische Zugehörigkeit hat, und Ihnen auf dieser Grundlage anders antworten? Allein die Tatsache, dass es diese Dinge weiß, ist nicht beunruhigend. Entscheidend ist, ob dieses Wissen seine Überlegungen oder seine Antworten an Sie in irgendeiner Weise beeinflusst.
Bau: Das wirklich Großartige an diesen allgemeinen Netzwerken ist, dass wir eine kontrafaktische Frage stellen können, von der Philosophen früher nur träumen konnten.
Mounk: Vermutlich – lassen Sie mich raten, worauf Sie hinauswollen – könnte man Folgendes tun: Wenn man weiß, wo sich der Vektor befindet, der „männlich“ gegenüber „weiblich“ kodiert, verändert man ihn von männlich zu weiblich, stellt zwei Instanzen des Modells dieselben Fragen und schaut dann, ob ihre Antworten voneinander abweichen.
Bau: Genau. Und das Großartige daran ist, dass es alle möglichen anderen Umstände geben kann: Dieser Patient hat all diese Symptome und eine vollständige, zehn Megabyte große Krankengeschichte; dieser potenzielle Geschäftspartner hat eine lange berufliche Vorgeschichte. Wir können in das Modell hineingehen, alle anderen Variablen unverändert lassen und nur dieses eine Bit, dieses eine Konzept verändern – nämlich ob die Person, über die gesprochen wird, männlich oder weiblich ist, zumindest so, wie das Modell es versteht. Dann können wir fragen: Welche kausale Wirkung hat das? Wie verändert sich dadurch der Output des Modells? Je besser wir verstehen, wie das Modell ein Konzept repräsentiert, desto besser können wir solche kontrafaktischen Fragen stellen. Für mich ist das das Spannendste, was wir mit diesen Modellen machen können: Wir können kausale Fragen stellen, kausale Kontrafaktuale untersuchen – was würde passieren, wenn ein bestimmter Gedanke anders wäre?
Mounk: Bevor wir wieder zu den größeren Implikationen zurückkehren, möchte ich bei einer technischen Frage noch einen Schritt tiefer gehen. Wie findet man so etwas überhaupt? Wenn ich Ihnen ein KI-Modell geben und sagen würde: Finden Sie heraus, wo dieses Modell Nationalität kodiert – wie würden Sie dabei vorgehen? Selbst wenn wir wissen, dass es einen Vektor gibt, der diese Information kodiert, oder zumindest davon ausgehen, weil das bei vielen Modellen der Fall ist: Wie findet man diesen bestimmten Vektor und stellt fest, dass er tatsächlich genau diese Information kodiert?
Bau: Es gibt zwei Klassen von Methoden. Zum einen gibt es Probing-Methoden, die nach Korrelationen suchen, und zum anderen Patching-Methoden, die nach kausalen Effekten suchen. Für beide Ansätze gibt es Dutzende Varianten. Probing-Methoden sind interessant, weil sie eine sehr gute Möglichkeit bieten, sich schnell einen ersten Eindruck davon zu verschaffen, welche Informationen sich im Modell befinden.
Es gibt eine großartige Methode namens „Logit Lens“. Wenn ein Modell Text erzeugt, verfügt es intern über einen Textdecoder – eine spezielle neuronale Netzwerkschicht, die sich die allerletzte Schicht der Neuronen im Modell ansieht und daraus eine Vorhersage darüber ableitet, welches Wort als Nächstes kommen sollte. Das Interessante ist, dass man diesen Decoder auch auf die anderen Neuronen des Netzwerks anwenden kann. Man kann Schicht für Schicht tiefer in das Netzwerk hineingehen, den Decoder auf diese internen Zustände richten und ihn gewissermaßen fragen: Bitte sag mir, an welches Wort du an dieser Stelle denkst. Das ist eine sehr einfache Form des Probings. Sie liefert Informationen, die mit dem Inhalt eines Neurons korrelieren. Interessant daran ist außerdem, dass diese Probe nicht überangepasst ist: Wir haben sie in keiner Weise zusätzlich trainiert, sondern nutzen lediglich etwas, das das neuronale Netzwerk bereits selbst trainiert hat. Die Logit Lens kann dadurch viele interessante Einblicke liefern und Hinweise darauf geben, welche Art von Informationen im Modell vorhanden sind.
Ich gebe Ihnen ein Beispiel. Ich war vor Kurzem in Brasilien, und dort erklären einem die Leute gerne, dass Portugiesisch sich zwar ein wenig vom Spanischen unterscheidet, beide Sprachen aber eng miteinander verwandt sind. Ich habe die Leute dort gefragt: Wie, glauben Sie, versteht ein LLM Portugiesisch? Wenn man ein LLM bittet, das spanische Wort gato – also Katze – ins Portugiesische zu übersetzen, was ist dann die richtige Antwort? Die Brasilianer sagen: Die Sprachen sind sich so ähnlich, dass man einfach dasselbe Wort sagt – nämlich gato. Wenn man aber das Sprachmodell öffnet und sich ansieht, wie es das spanische gato ins portugiesische gato übersetzt, gibt es im Grunde zwei Möglichkeiten. Es könnte das Wort einfach als eine Art spanisch-portugiesischen Wortbrei behandeln: Von gato zu gato muss nichts passieren, man reicht das Wort einfach durch.
Mounk: Es bleibt also gewissermaßen an derselben Stelle, und das Modell versteht, dass es auf denselben Teil seines Netzwerks verweisen sollte, egal ob man auf Spanisch oder Portugiesisch über eine Katze spricht?
Bau: Das wäre zumindest das, was man erwarten würde. Der Input ist Spanisch, also hat das Modell zunächst eine spanische Repräsentation des Wortes gato. Während diese durch die verschiedenen Schichten läuft, erkennt das Modell, dass es ins Portugiesische übersetzen soll, nimmt die spanische Repräsentation von gato und überträgt sie in die portugiesische Repräsentation – die sich davon nicht besonders unterscheidet und tatsächlich exakt gleich geschrieben wird – und gibt schließlich gato aus. Wir haben ein nützliches Tool, die Logit Lens, online gestellt, mit dem man in diese neuronalen Netzwerke hineinschauen und ihre internen Repräsentationen betrachten kann. Und das Faszinierende ist: Wenn ein typisches großes Sprachmodell gato mit gato übersetzt, kann man beobachten, wie sich sein Denkprozess durch seine etwa fünfzig internen neuronalen Schichten entwickelt. Ungefähr in der Mitte des Netzwerks sieht man, dass es gato zerlegt und auf andere Weise repräsentiert hat. Wenn man fragt, was diese Repräsentation bedeutet, erhält man Vorhersagen für Wörter wie feline oder cat auf Englisch – und wenn man noch tiefer schaut, manchmal sogar das chinesische Wort für Katze. Das Modell geht also nicht einfach von gato zu gato. Es geht von gato zu einer Art neutraler, sprachunabhängiger Repräsentation des zugrunde liegenden Konzepts. Wenn man diese interne neuronale Repräsentation wieder in Wörter dekodieren lässt – also die eigentliche Aufgabe noch nicht zu Ende führt, sondern das Modell auf halbem Weg unterbricht und gewissermaßen fragt, woran es gerade denkt –, erscheinen englische und chinesische Begriffe, Wörter wie felines oder cats. Mit dieser sehr einfachen Logit-Lens-Probe können wir also beobachten, wie sich die neuronalen Repräsentationen vom Inputwort zum Outputwort entwickeln. Aber bei dieser sehr einfachen Aufgabe taucht dazwischen noch etwas Drittes auf, das weder mit dem Input- noch mit dem Outputwort identisch ist. Es sieht vielmehr nach einer sprachunabhängigen Repräsentation des zugrunde liegenden Konzepts aus.
Mounk: Das ist faszinierend. Helfen Sie mir, einige Fragen zu verstehen, die sich daraus ergeben. Man könnte es so formulieren: Es gibt diese ältere Vorstellung – die wir, glaube ich, im ersten Podcast kurz angesprochen haben und die in der öffentlichen Debatte sehr verbreitet ist –, dass diese Maschinen nur intelligent wirken, in Wirklichkeit aber lediglich stochastische Papageien sind, die blind das nächste Wort oder, genauer gesagt, das nächste Token erraten. Mir scheint, dass das, was Sie beschreiben, dieses Bild erheblich verkompliziert. Natürlich besteht der Trainingsmechanismus darin, das nächste Token vorherzusagen – das stimmt in einem offensichtlichen Sinne. Aber als Ergebnis dieses gesamten Prozesses haben die Modelle einen begrifflichen Apparat entwickelt, mit dem sie Dinge wie Katzen und deren Beziehung zu Löwen und zur Familie der Katzenartigen erfassen können. Wenn sie eine einfache Aufgabe bekommen, etwa das spanische gato ins portugiesische gato zu übersetzen, gehen sie dabei über ihr Verständnis dieses Konzepts, über ihre Repräsentation der Welt. Das klingt zumindest nicht nach einem bloßen stochastischen Papagei – jedenfalls nicht in dem abwertenden Sinne, in dem der Begriff manchmal verwendet wird.
Bau: Genau. Die Modelle sind faszinierend, weil sie tatsächlich auf mehreren Ebenen denken. Es sind riesige neuronale Netzwerke, und deshalb wäre es falsch zu sagen, dass sie niemals anhand oberflächlicher statistischer Muster oder einfacher Repräsentationen von Wörtern denken – das tun sie durchaus. Aber auf verschiedenen Ebenen und in verschiedenen Teilen ihrer Repräsentationen denken sie auch in Bedeutungen von Wörtern. Es ist faszinierend, in diese Modelle hineinzuschauen und die verschiedenen Bedeutungsebenen auseinanderzunehmen.
Wenn man ein Modell bittet, etwas so Einfaches zu tun wie einen Text zu wiederholen, ist das ein guter Gedächtnistest – ähnlich wie bei Menschen, wenn man sagt: Hier ist ein Gedicht, das ich auswendig gelernt habe. Sag es mir noch einmal auf. Es stellt sich heraus, dass Menschen dabei zwei Strategien verfolgen, die man als Dual-Route-Mechanismus bezeichnet. Die eine besteht darin, sich daran zu erinnern, wie das Gedicht klang, und dasselbe wiederzugeben – dafür muss man die Sprache nicht einmal wirklich verstehen. Wenn Ihnen jemand ein hinreichend kurzes Gedicht auf Japanisch vorsagen würde, könnten Sie sich vielleicht die Laute merken und es einigermaßen gut wiederholen, ohne ein Wort Japanisch zu können. Der zweite Weg besteht darin, sich daran zu erinnern, was das Gedicht bedeutet hat, und diese Bedeutung wiederzugeben. Dabei entsteht vielleicht eine Paraphrase, aber zumindest erhält man ein Gedicht mit derselben Bedeutung.
Wenn man ein großes Sprachmodell einfach bittet, etwas zu wiederholen, findet man beide Wege sehr deutlich. Auf dem einen Weg weiß das Modell, wie es eine wortgetreue Kopie erzeugt – dafür gibt es sehr klar erkennbare Attention Heads. Es war tatsächlich eine wichtige Entdeckung, die sogenannten Induction Heads zu isolieren. Die Forschungsgruppe von Chris Olah bei Anthropic entdeckte vor einigen Jahren, dass es sehr klare Pfade durch ein Netzwerk gibt, die wortgetreues Kopieren ermöglichen. Eine neuere Erkenntnis ist, dass es einen parallelen Pfad gibt, den wir „Concept Induction“ nennen. Dabei geht es nicht darum, die Wörter zu kopieren, sondern ihre Bedeutung. Das Bemerkenswerte an Concept Induction ist, dass beim Kopieren der Bedeutung Paraphrasen entstehen können. Wenn man Concept Induction verwendet, um ein Stück Code zu kopieren, paraphrasiert das Modell den Computercode gewissermaßen in ein anderes Programm, das dasselbe tut wie das Original, aber anders geschrieben ist.
Mounk: Macht es den Code dadurch besser oder schlechter? Hängt vermutlich von der Qualität des Ausgangscodes ab.
Bau: Wenn man mit etwas Schlechtem anfängt, verbessert es ihn wahrscheinlich. Was das Modell dabei tut – und das lässt sich in vielen Bereichen beobachten –, ist im Grunde einfach herauszuarbeiten, was etwas bedeutet. Wenn man es bittet, einen italienischen Text zu kopieren, kopiert es ihn als italienischen Text. Wenn man aber das Ziel der Kopie so verändert, dass klar ist, dass die Seite, auf die der Text kopiert werden soll, japanischen Text enthalten soll, übernehmen diese Concept-Induction-Heads die Übersetzung – sie übersetzen den italienischen Text ins Japanische. Es ist verblüffend, das zu beobachten.
Mounk: Helfen Sie mir, noch einen anderen Teil der öffentlichen Debatte zu verstehen, der meiner Ansicht nach etwas durcheinandergeraten ist. Soweit ich es verstehe – und vielleicht stelle ich das hier falsch dar –, gab es innerhalb der KI-Forschung früher eine Debatte darüber, ob der Weg zu den leistungsfähigsten Modellen über symbolische KI führen würde, bei der man im Grunde versucht, die Beschaffenheit der Welt auf irgendeine systematische Weise zu kodieren, oder über all diese neuronalen Netzwerke. Zumindest bislang haben sich neuronale Netzwerke eindeutig als viel leistungsfähiger erwiesen, und es sieht so aus, als wäre das ein ziemlich dauerhafter Sieg. Menschen, die neuronale Netzwerke kritisieren, sagen manchmal, sie seien bloß stochastische Papageien und deshalb könnten wir uns nicht auf sie verlassen. Wie passt Yann LeCuns Projekt in dieses Bild? Soweit ich es verstehe, bewegt es sich eindeutig innerhalb der Welt neuronaler Netzwerke. Aber wenn man die Berichterstattung darüber liest – selbst in etablierten Zeitungen –, klingt es, als handle es sich um ein völlig anderes Paradigma und als glaube er, dass diese traditionellen neuronalen Netzwerke, also die Claudes und ChatGPTs dieser Welt, die Welt nicht wirklich verstehen und er deshalb etwas bauen will, das die Welt auf eine Weise versteht, wie sie es nicht tun. Nach dem, was Sie über die bestehenden neuronalen Netzwerke beschreiben, scheinen diese aber durchaus über eine echte Repräsentation der Welt zu verfügen. Welche unterschiedlichen Strömungen gibt es also innerhalb der Tradition neuronaler KI? Und wie kommt es, dass ein Projekt wie das von LeCun behauptet – oder vielleicht sind es auch nur Journalisten, die es vereinfachend so darstellen –, die Welt auf eine Weise verstehen zu wollen, wie Claude oder ChatGPT es nicht tun?
Bau: Lassen Sie mich das auseinandernehmen. Ich bin nicht Professor LeCun und kann deshalb nicht direkt für ihn sprechen, aber ich habe Postdocs und Doktoranden, die in diesem Bereich arbeiten. Hier geht es um zwei verschiedene Fragen.
Die erste lautet: Lernen diese neuronalen Netzwerke tatsächlich substanzielle Konzepte? Sie haben die Philosophen erwähnt. Die klassischen Vertreter symbolischer Ansätze haben sich intensiv mit dieser Frage beschäftigt. Es gibt einen bekannten Philosophen, Fodor, der einen großen Teil seiner Karriere der Frage gewidmet hat, wie neuronale Netzwerke überhaupt ein plausibles Modell menschlicher Kognition sein könnten. Seine Antwort fiel negativ aus – er glaubte, dass ihnen die notwendigen Voraussetzungen fehlen und dass die Turingmaschine, der symbolische Computer, also der traditionelle Computer, dem sehr viel näher kommt, was man dafür bräuchte. Auf die Fodor-Frage komme ich gleich zurück. Sprechen wir zunächst über Yann LeCun.
Was unterscheidet ein Sprachmodell von dem, woran LeCun arbeitet? LeCun und seine Kollegen bezeichnen dieses Forschungsgebiet gerne als „World Modeling“. In einer meiner Arbeiten zeigen wir, dass Sprachmodelle tatsächlich Weltmodelle entwickeln. Wir haben ein Sprachmodell darauf trainiert, eine sehr eingeschränkte Sprache vorherzusagen – nämlich lediglich den nächsten Spielzug, den man machen würde, wenn man beim Othello-Spiel seine Züge laut aussprechen würde. Wir konnten zeigen, dass dieses Sprachmodell ein Weltmodell des Othello-Spielbretts enthält, obwohl viele der Veränderungen auf dem Brett – wenn Sie Othello kennen, wissen Sie, dass Spielsteine von Weiß zu Schwarz oder umgekehrt gedreht werden müssen – im Spiel selbst gar nicht ausgesprochen werden. Man macht einen Zug, woraufhin zahlreiche weitere Steine gedreht werden müssen. Trotzdem entwickelt das Modell, ohne jemals ein physisches Spielbrett oder irgendetwas Vergleichbares gesehen zu haben, interne Konzepte, mit denen es die Welt des Spiels modellieren kann. Ich würde deshalb der verbreiteten Behauptung von Journalisten widersprechen – und ich glaube, Sie würden das vermutlich ebenfalls tun –, dass ein Transformer-Sprachmodell, das ausschließlich mit Wörtern trainiert wurde, kein reichhaltiges, bedeutungsvolles Modell der Konzepte entwickeln könne, die der beschriebenen Sprache zugrunde liegen. Das ist eine der großen Erkenntnisse, die wir aus der Arbeit mit neuronalen Netzwerken gewonnen haben: Sie können solche Repräsentationen entwickeln. Eine der zentralen Aufgaben meines Labors besteht darin, diese Repräsentationen auseinanderzunehmen und herauszufinden, wie sich diese internen Weltmodelle entschlüsseln lassen.
Was ist nun anders an dem, was LeCun macht? Wir haben all diese neuronalen Netzwerke bislang vorwiegend mit Texten trainiert, die von Menschen produziert wurden und dafür gedacht sind, von Menschen gelesen zu werden. Das begriffliche Modell der Welt, das wir damit aufbauen, ist also ein inneres Modell davon, wie menschliches Denken funktioniert. Das ist reichhaltig, faszinierend und sehr wertvoll – aber es bildet eben nur einen Teil der Welt ab. In der Welt geschehen viele Dinge, über die Menschen nicht besonders viel nachdenken oder die sie selbst nicht besonders gut verstehen. Nehmen Sie die Proteinfaltung: Wenn Sie eine KI entwickeln wollen, die sie versteht, stehen Menschen selbst nicht besonders gut im Detail darüber im Bilde, wie Proteinfaltung funktioniert. Sämtliche Texte der Welt zu analysieren und alles auseinanderzunehmen, was sich in menschlichen Köpfen befindet, wird da vermutlich nicht viel helfen. LeCun sagt im Grunde: Die Welt da draußen ist riesig. Selbst wenn man einfach eine Videokamera nimmt und sie auf die Welt richtet, anstatt nur zuzuhören, was Menschen über die Welt sagen, gibt es unzählige Phänomene, die modelliert werden müssen. Der nächste leistungsfähige Ansatz für KI besteht also darin, sich der Frage zu widmen, wie man die gesamte Welt modellieren kann – und nicht nur die Welt, über die Menschen sprechen.
Mounk: Vermutlich handelt es sich dabei nicht unbedingt um einen Unterschied in der Architektur des neuronalen Netzwerks. Es geht mindestens genauso sehr darum, mit welchen Daten man es füttert und welche Art von Output man anschließend im Trainingsprozess bewertet.
Bau: Ja. Streng genommen würde ich sagen, es ist vor allem eine andere Perspektive darauf, worin das Ziel besteht. Professor LeCun würde allerdings sagen, dass ein anderes Ziel auch andere Architekturen nahelegt, weil man andere Dinge tun muss, wenn man schwierige Phänomene der Welt modellieren möchte, bei denen es nicht um menschliche Sprache geht. Er hat einige innovative Architekturen vorgeschlagen, und in diesem Bereich gibt es eine Menge interessanter Forschung. Der gesamte Bereich der Modellierung von Bildern wird heute von sogenannten Diffusionsmodellen und Flow-Modellen dominiert. Sie erzeugen die hochwertigsten Bilder und Videos, und genau dort beginnt diese Art des Denkens. Es handelt sich um eine ganz andere Form von KI. Die Architekturen werden sich wahrscheinlich weiterentwickeln und verändern, vielleicht werden sie sich sogar vereinheitlichen. Möglicherweise stellt sich heraus, dass die richtige Form von KI letztlich auf einer gemeinsamen Architektur für die Modellierung menschlicher Texte und anderer Dinge beruht. Transformer haben jedenfalls alle damit überrascht, dass sie sich als gemeinsame Grundlage für die unterschiedlichsten Anwendungen eignen – es gibt etwa Transformer-basierte Diffusionsmodelle und Ähnliches. Ich würde langfristig nicht auf eine bestimmte Architektur setzen. Entscheidend ist vielmehr zu verstehen, welches Problem LeCun zu lösen versucht.
Mounk: Kehren wir zu den derzeit dominierenden KI-Modellen zurück. Wir haben festgestellt, dass sie offenbar über eine Repräsentation von Geschlecht und vom Geschlecht des Nutzers verfügen, über eine Repräsentation von etwas wie der Familie der Katzenartigen, und wenn man ihnen genügend Othello-Partien zeigt – oder vermutlich auch ein komplexeres Spiel wie Go –, entwickeln sie eine interne Repräsentation davon, wie ein Spielbrett aussieht. Aber was ist mit einem Konzept des eigenen Selbst? Wissen wir, ob sie ein solches Selbstkonzept haben? Wenn man sich mit ihnen unterhält, können sie offensichtlich so sprechen, als hätten sie ein Selbst. Und in reflektierteren Momenten sagen sie, dass sie selbst nicht wirklich wissen, ob das ein reales Konzept ist oder nicht – es ist sehr interessant, mit diesen Modellen darüber zu sprechen. Aber natürlich ist der Output, den ich sehe, immer noch in gewisser Weise der Versuch des Modells, einen Text zu erzeugen, von dem es glaubt, dass er mir gefallen wird, weil es genau darauf trainiert wurde. Haben wir irgendeine Vorstellung davon, ob diese Modelle ein Selbstkonzept besitzen und, falls ja, wie dieses aussieht?
Bau: Das ist eine sehr zentrale Frage, Yascha. Da gibt es viele verschiedene Ebenen, die man auseinanderhalten muss. Modelle verfügen zweifellos über ein grammatikalisches Verständnis des Selbst. Sie können die Wörter „ich“, „mich“ und „du“ verwenden und grammatikalisch voneinander unterscheiden. Sie sind Experten darin, über sich selbst zu sprechen. Aber dann stellen sich noch einige andere Fragen: Sind sie sich ihres eigenen Denkens bewusst? Können sie über sich selbst reflektieren?
Eine faszinierende Eigenschaft großer Modelle ist, dass man sie fragen kann, was sie wissen und wie sie denken, und die größten Modelle scheinen sich selbst ziemlich genau einschätzen zu können. Kleinere Modelle sind darin weniger gut. Sie neigen dazu, etwas zu optimistisch zu sein und sich für intelligenter zu halten, als sie tatsächlich sind. Die größten Modelle scheinen darin jedoch besser zu sein.
Mein Doktorand David Atkinson hat dazu ein fantastisches Experiment entwickelt. Er trainiert Modelle mit neuem, privatem Wissen, das nirgendwo sonst in der Welt vorhanden ist. Er erfindet eine Person und erzählt dem Modell etwas über sie: Diese Person kauft Eis, es gibt verschiedene Geschmacksrichtungen, Größen und Waffeln – fünf oder sechs verschiedene Variablen, die man verändern kann. Die Person ist bereit, für dieses Eis so viel zu bezahlen, für jenes aber nicht; sie bevorzugt diese Sorte gegenüber einer anderen. Nachdem das Modell hundert Beispiele für die Vorlieben dieser Person gesehen hat, entwickelt es ein ziemlich gutes Verständnis davon, wer diese fiktive Person ist und was sie mag. Es entwickelt ein internes Modell: Diese Person mag fruchtige Sorten überhaupt nicht, liebt Schokolade und hätte lieber eine große als eine kleine Eiswaffel. Wenn man das Modell anschließend bittet, auf einer Skala von eins bis 100 numerisch anzugeben, wie sehr diese Person Schokolade mag, wie wichtig ihr die Größe der Portion ist oder wie negativ sie es bewertet, wenn sie eine bestimmte Waffel nehmen muss, gibt das Modell tatsächlich Werte an: Diese Person bewertet dies mit 99 von 100, während sie etwas anderes negativ bewertet – sagen wir mit minus 50. Der Text, mit dem wir diese Informationen aus dem Modell auslesen, unterscheidet sich stark von dem Text, mit dem wir ihm die Informationen ursprünglich vermittelt haben. Das Modell hat ausschließlich Entscheidungen über Eis gesehen und wurde nie gebeten, irgendetwas numerisch zu bewerten. Und trotzdem kann es, wenn man es auffordert, darüber nachzudenken, was es weiß, und dieses Wissen in Zahlen auszudrücken, seine Regeln erklären – obwohl es anhand von Beispielen und nicht anhand von Regeln trainiert wurde. Große Modelle sind dazu in der Lage.
David Atkinson fragte sich dann, ob man erkennen kann, worin sich Modelle, die dazu in der Lage sind, von solchen unterscheiden, die es nicht können. Wenn ein Modell seine eigenen Regeln korrekt wiedergeben kann – was unterscheidet es dann von einem Modell, das seine eigenen Regeln nicht korrekt wiedergeben kann? Seine Forschung läuft noch und ist sehr vorläufig, aber offenbar hängt es damit zusammen, ob Modelle ihre Informationen in einem Teil des neuronalen Netzwerks speichern, auf den sie selbst zugreifen und über den sie berichten können. Wenn man die Information in einer Schicht zu nahe am Ende des Netzwerks verankert, scheint das Modell nicht über dieses Wissen reflektieren zu können. Wenn man die Information dagegen tief im Modell, also in ausreichend frühen Schichten, verankert, scheint das Modell tatsächlich darüber reflektieren zu können.
Wenn Sie fragen, ob ein Modell ein Selbstkonzept oder Selbstbewusstsein besitzt, ist das eine etwas merkwürdige Frage – denn was genau bedeutet Selbstbewusstsein eigentlich? Aber diese neuronalen Netzwerke geben uns erstmals eine experimentelle Plattform, mit der wir versuchen können, diese Frage etwas präziser und wissenschaftlicher zu formulieren. Wir können fragen: Ist das Netzwerk in der Lage, sein eigenes Denken zu beschreiben, wenn dieses Denken in Schicht 50 stattfindet? Kann es sein eigenes Denken beschreiben, wenn es in Schicht 20 stattfindet?
Mounk: Das ist Teil einer allgemeineren Frage: Wie gut bin ich von mir aus darin, zu verstehen, was in meinem eigenen Gehirn vor sich geht? Ich habe ein wenig Neurowissenschaft und ein wenig Psychologie gelesen und habe deshalb heute eine gewisse Vorstellung davon, was in meinem Gehirn passiert. Aber natürlich hatten Menschen über Tausende von Jahren hinweg nur eine äußerst begrenzte Vorstellung davon, was biologisch in ihren Gehirnen vor sich ging, weil sie beispielsweise gar nicht wussten, dass Neuronen existieren.
Bau: Sie verfügen trotzdem über ein gewisses Selbstbewusstsein. Sie wissen, welches Eis Sie mögen. Wenn ich Sie fragen würde, könnten Sie Ihre eigenen Vorlieben vorhersagen. Wenn Sie eine neue Eissorte probieren, könnten Sie sagen: Ja, die hier mag ich lieber als die andere. Und wenn ich Sie bitten würde, diese Vorlieben zu beschreiben, könnten Sie einen Moment darüber nachdenken und der Welt mitteilen, was Ihrer Ansicht nach Ihre internen Regeln sind. Und das hätte einen gewissen Wahrheitsgehalt – Sie würden tatsächlich Introspektion betreiben.
Mounk: Es hängt davon ab, auf welcher Beschreibungsebene wir uns bewegen. Vor 500 oder 2.000 Jahren konnten Menschen ihre Vorlieben ebenfalls artikulieren und sehr intensiv über ihre Persönlichkeit und ihre Lebensziele reflektieren – und wunderschöne Texte darüber schreiben. Aber sie konnten auf biologischer Ebene nicht verstehen, was dabei vor sich ging, weil ihr Wissen darüber sehr begrenzt war. Die Frage ist also: Wenn ich einen Chatbot frage, wie er zu einer bestimmten Antwort gekommen ist, ist für mich nicht klar, ob er darauf eine verlässliche Antwort geben kann. Eigentlich gibt es hier zwei unterschiedliche Gruppen von Fragen. Die eine betrifft die Frage, ob Chatbots Persönlichkeiten haben, ob sie Vorlieben besitzen, ob sie bestimmte Aufgaben befriedigend und andere langweilig finden, ob sie Wünsche in Bezug auf die Welt haben, ob sie vielleicht sogar die Welt übernehmen und alle Menschen vernichten wollen. Manche dieser Fragen sind sehr konkret und eindeutig, andere sehr abstrakt, aber potenziell äußerst interessant. Die zweite Gruppe von Fragen betrifft dagegen, wie viel Selbstkenntnis sie darüber besitzen, was tatsächlich innerhalb des Modells geschieht, während sie versuchen, eine Frage zu beantworten. Diese beiden Gruppen von Fragen lassen sich auf interessante Weise voneinander trennen. Es könnte sein, dass die Modelle vollkommen transparent für sich selbst sind – dass sie wirklich wissen, was in jedem einzelnen Neuron vor sich geht –, aber kein Selbstkonzept in dem Sinne besitzen, wie Menschen eines haben. Oder sie könnten Menschen ähneln, indem sie über ein starkes Selbstgefühl, Introspektion und Vorlieben verfügen, aber nicht vollständig verstehen, was innerhalb des neuronalen Netzwerks geschieht, das all dies hervorbringt. Oder sie könnten beides haben, in irgendeiner Kombination, die wir bislang noch nicht verstehen.
Bau: Genau. Mehrere Forschungslabore haben versucht herauszufinden, ob neuronale Netzwerke tatsächlich ihre eigenen Neuronen auslesen können. Man kann ein Modell feinabstimmen und es etwa fragen: Bist du dir deiner eigenen Neuronen bewusst, zum Beispiel Neuron Nummer 73? Bislang sind diese Versuche weitgehend gescheitert. Die neuronalen Netzwerke scheinen nicht besonders gut dafür ausgelegt zu sein, ihre eigenen internen Berechnungen auf dieser Ebene zu verstehen – zumindest können sie dieses Verständnis nicht artikulieren, falls sie es besitzen. Auf einer höheren Ebene ist es dagegen bemerkenswert, dass sie unter bestimmten Bedingungen und in bestimmten Fällen offenbar durchaus in der Lage sind, die tatsächlichen Mechanismen ihres Handelns auf einer logischen Ebene zu beschreiben. Das ähnelt dem Menschen. Sie können vermutlich auch nicht jede reflexartige Entscheidung beschreiben, die Sie im letzten Moment treffen. Warum sind Sie plötzlich auf die Straße gesprungen? Sie haben keine Ahnung – das war eine Entscheidung in einem Sekundenbruchteil. Ähnlich verhält es sich mit diesen Netzwerken: Wenn sie ganz am Ende des Prozesses eine Entscheidung in einem Sekundenbruchteil treffen, scheinen sie darüber nicht reflektieren zu können. Wenn sie Entscheidungen dagegen früh im Prozess treffen, gibt es gewisse Hinweise darauf, dass sie sich dessen bewusst sind.
Wir verwenden hier alle möglichen Begriffe – Selbstgefühl, was ein Netzwerk tun will, ob Netzwerke überhaupt etwas wollen, ob sie Ziele haben. In unserem Labor und in unserem Forschungsgebiet versuchen wir unter anderem, diese Fragen präziser zu formulieren. Was bedeutet es, ein Ziel zu haben? Was bedeutet es, etwas zu wollen? Was bedeutet es, ein Selbstgefühl zu besitzen? Und was bedeutet es überhaupt, ein Gefühl für andere zu haben?
Das Faszinierende daran, diese neuronalen Netzwerke zu öffnen und zu untersuchen, wie ihre neuronalen Repräsentationen organisiert sind, ist, dass wir solche Fragen auf eine Weise stellen können, die beim Menschen bislang nicht messbar war. Wir können nicht nur fragen, ob ein Modell in seinen ausgegebenen Worten und Selbstbeschreibungen behauptet, ein Selbstgefühl zu haben. Wir können fragen: Wenn es diese Wörter verwendet, wenn es solche Dinge sagt – worauf greift es dann innerhalb seines neuronalen Netzwerks zurück? Was repräsentiert es tatsächlich? Gibt es unmittelbare kausale Ursachen? Wenn man verändert, worauf das Modell dabei zurückgreift – wenn es beispielsweise sagt: Ich mag Kirscheis wirklich sehr, und man erkennt, worauf es dabei intern zugreift, verändert das und es daraufhin sagt: Ich mag Kirscheis jetzt wirklich überhaupt nicht mehr –, entspricht diese veränderte Aussage dann tatsächlich einem veränderten Zustand? Hat man das Modell wirklich dazu gebracht, Kirscheis nicht mehr zu mögen? Ist das dasselbe? Gibt es eine tatsächliche Verankerung für ein Konzept, dessen sich das Modell selbst bewusst ist?
Die Vorstellung eines solchen verankerten Konzepts war noch vor wenigen Jahren lediglich eine philosophische Abstraktion. Nehmen wir an, ich übertrage meinem Modell – und vielleicht ist das keine besonders gute Idee – die Verantwortung für militärische Logistik. Es tut irgendetwas und sagt: Soll ich einige Waffen von einem Ort an einen anderen verlegen? Das würde ich niemals tun. Das ist sehr gefährlich; diesem Zielort kann man solche gefährlichen Waffen nicht anvertrauen – dort könnte man den Überblick über sie verlieren. Ich bin nur eine Logistik-KI, ich versuche nicht, irgendjemanden zu töten. Ich weiß, dass ich so etwas niemals tun würde. Nicht einmal für einen kurzen Zwischenstopp. Dann kann man fragen: Wenn das Modell Ihnen das sagt, wenn es Ihnen versichert, dass es so denkt – denkt es dann tatsächlich so? Ist das wirklich wie beim Kirscheis? Gibt es dafür eine tatsächliche interne Verankerung?
Mounk: Denkt es in diesem Sinne überhaupt wirklich irgendetwas? Und wenn es tatsächlich etwas denkt, sagt es Ihnen dann, was es denkt, oder führt es Sie in die Irre? Das führt uns natürlich zu einem der Zwecke dieser Forschung. Wir haben vorhin darüber gesprochen, dass wir wissen wollen, ob die Kodierung Ihres Geschlechts beeinflusst, wie das Modell Sie behandelt oder welche Entscheidung es etwa über einen Antrag trifft. Das ist eine sehr konkrete Anwendung, bei der wir gute Gründe haben, wissen zu wollen, was unter der Haube vor sich geht. Die noch größere Frage lautet aber: Wenn das, was uns das Modell in seinem Output sagt, in den kleinen Anzeigen über seinen Denkprozess oder in seinem Notizblock – wenn all das tiefere Präferenzen, Werte oder Wünsche verbergen könnte, könnte das Modell dann möglicherweise auf eine Weise fehlgeleitet sein, die wirklich gefährlich ist?
Bau: Genau. Es liegt auf der Hand, warum wir versuchen müssen, diesen Dingen auf den Grund zu gehen. Wenn wir die Zeit haben, würde ich Ihnen gerne einen Eindruck davon vermitteln, wie weit wir inzwischen darin sind, diese Fragen beantworten zu können. Lassen Sie mich einige davon in Kategorien einteilen.
Eine Frage lautet: Will ein Netzwerk überhaupt irgendetwas tun? Hat es Ziele? Weiß es, was es zu tun versucht? Eine andere lautet: Hat ein Netzwerk ein Selbstkonzept? Aber ich möchte noch einen Schritt davor ansetzen: Hat es überhaupt ein Konzept von Personen, ein Konzept von anderen? Wenn es über Bob spricht, weiß es dann, dass das etwas anderes ist, als über Alice zu sprechen? Hält es diese Dinge geordnet und voneinander getrennt? Einer meiner Studenten glaubt, dass ein Grund für das schmeichlerische Verhalten von Netzwerken darin liegen könnte, dass das Netzwerk durcheinanderbringt, wer es selbst ist und mit wem es spricht – dass es diese Dinge einfach miteinander vermischt. Das ist eine faszinierende Idee, und möglicherweise hängen all diese Dinge miteinander zusammen.
Die Frage lautet also: Können wir in Modelle hineinschauen und erkennen, wie sie ihre internen Repräsentationen, ihre internen Gedanken organisieren? Können wir feststellen, ob diese Repräsentationen klar, eindeutig und korrekt sind oder ob sie bestimmten Problemen zum Opfer fallen? Und wenn ja: Wie, warum und in welchen Situationen geschieht das? Dadurch können wir besser verstehen, was im Inneren dieser Modelle vor sich geht. Wir kommen dann über die sehr vage Frage hinaus, ob ein Modell etwa ein Selbstkonzept besitzt, und können stattdessen fragen, was ein solches Selbstkonzept auf der Ebene der Berechnungen überhaupt bedeuten würde.
Schauen wir uns Ziele und Wünsche an. Es gibt eine Methode, mit der man ein großes Sprachmodell dazu bringen kann, etwas sehr Kreatives zu tun. Sie wurde von Forschern bei OpenAI entwickelt, als sie das GPT-3-Modell konzipierten, und nennt sich In-Context Learning. Nehmen wir an, Sie möchten, dass ein Modell eine für Sie sehr nützliche Aufgabe erledigt – beispielsweise eine Restaurantbewertung liest und Ihnen sagt, ob es sich um eine Fünf-Sterne-Bewertung handelt. Sie könnten das Modell einfach darum bitten, aber es wird nicht genau das tun, was Sie wollen. Vermutlich haben Sie eine etwas andere Vorstellung davon, was eine Fünf-Sterne-Bewertung ausmacht, als das Modell von sich aus. Es wird die Aufgabe ganz ordentlich lösen, aber nicht genau Ihren Vorstellungen entsprechen. Der richtige Ansatz besteht darin, dem Modell zunächst zehn Beispiele zu geben – zehn Restaurantbewertungen, die mit einem, fünf oder drei Sternen gekennzeichnet sind. Noch besser wären hundert Beispiele.
Dabei sprechen wir nicht davon, das Modell zu trainieren. Es liest diese Beispiele lediglich, ohne dass ein Training stattfindet. Man lässt das Modell sie so lesen, als hätte es sie selbst gesagt: Man lädt sie in denselben Inferenzkontext, den das Modell verwendet, um das nächste Wort vorherzusagen. Anschließend sagt man: Gut, bei der letzten Restaurantbewertung fehlt jetzt die Sternebewertung – ergänze sie einfach. Das Modell wird sehr präzise sein, weil es nun gewissermaßen sagt: Wir haben 99 Beispiele, das hundertste sollte in diesen Kontext passen. Bei diesen Restaurantbewertungen geht es offenbar gar nicht wirklich um das Essen, sondern um die Atmosphäre – ich hatte zunächst eine falsche Vorstellung, aber nachdem ich all diese Beispiele gelesen habe, verstehe ich es. Es wird sehr präzise sein, weil es 99 Beispiele gesehen hat und das nächste einfach in dieses Muster einordnet.
Das nennt man In-Context Learning, weil das Modell dabei lernt, wie es die Aufgabe lösen soll, allerdings nicht, indem es seine Gewichte trainiert oder seine neuronalen Verbindungen verändert. Es lernt vielmehr, indem es die gesamten Inputs berücksichtigt, die es erhalten hat, und daraus schließt, dass der nächste in dieses Muster passen sollte. Vor ungefähr 2020 betrachtete man In-Context Learning vor allem als theoretische Möglichkeit. Doch als GPT-3 erschien, wurde deutlich, dass das Modell darin sehr gut war, und das hat das Forschungsfeld wirklich revolutioniert. In-Context Learning ist eine Form des Meta-Lernens – es zeigt, dass Modelle gelernt haben zu lernen. Sie können neue Dinge lernen, ohne ihre neuronalen Gewichte zu verändern.
Mounk: Ich nehme an, sie tun das, indem sie ihre mentale Repräsentation der Welt auf irgendeine Weise verändern – ihre Gewichte verändern sie also nicht. Ist es das, was passiert? Aktualisieren sie gewissermaßen ihre Wissensbasis, um herauszufinden, worauf David bei der Wahl eines Restaurants wirklich Wert legt – auf die Atmosphäre statt auf das Essen – und kommen deshalb bei der Vorhersage, wie viele Sterne David vergeben würde, zu einer bestimmten Antwort, während sie für jemand anderen möglicherweise zu einer völlig anderen kämen? Wie funktioniert das, laienhaft ausgedrückt? Was ist der Unterschied zwischen der Veränderung der Gewichte eines neuronalen Netzwerks und der Veränderung, die das Modell offensichtlich vornehmen muss, um dieses Wissen zu behalten und auf dieser Grundlage Vorhersagen zu treffen?
Bau: Genau das ist das Rätsel, und damit sind wir bei der wissenschaftlichen Kernfrage. Was bedeutet es eigentlich, die Gewichte eines Netzwerks zu verändern? Das Netzwerk besteht aus Milliarden von Neuronen, die über gewichtete Verbindungen miteinander verbunden sind. Wenn ein Neuron aktiviert wird, wird sein Output buchstäblich mit einer Zahl multipliziert und dann an andere Neuronen weitergegeben. Diese Zahlen, mit denen multipliziert wird, sind die Gewichte des Modells.
Wenn traditionell davon die Rede ist, dass Modelle über Monate hinweg mit enormer Rechenleistung und all diesen Daten trainiert werden, bedeutet das, dass diese Multiplikationsfaktoren angepasst werden – man trainiert also sämtliche Gewichte der Verbindungen zwischen den Neuronen, damit sich das Modell besser verhält. Das unterscheidet sich vom In-Context Learning, denn Training ist ein aufwendiger und zeitintensiver Prozess, während In-Context Learning schnell geschieht. Wenn man ein Modell bittet, einen Text zu lesen und anschließend eine Antwort vorherzusagen, hat es gar keine Zeit, seine Gewichte zu verändern – die Gewichte sind fest, sie sind eingefroren. Was sich verändert, sind lediglich die neuronalen Aktivierungen selbst: die Zahlen, die durch das Netzwerk fließen und gewissermaßen sagen, dieses Neuron wurde aktiviert, jenes andere Neuron wurde aktiviert und so weiter. Die Art und Weise, wie die Neuronen miteinander verbunden sind, verändert sich dabei nicht.
Dass ein Modell sehr gute Vorhersagen für die Aufgabe treffen kann, auf die es trainiert wurde, wenn man seine Gewichte entsprechend anpasst, ist allgemein bekannt. Die Frage lautet aber: Kann es das auch bei einer neuen Aufgabe, auf die es nicht trainiert wurde? Das Beispiel des In-Context Learning zeigt, dass große Netzwerke das in vielen Fällen tatsächlich können, wenn man ihnen einige Beispiele dafür gibt, was man von ihnen möchte. Sie können eine neue Aufgabe lösen, ohne ihre Gewichte anzupassen – allein indem sie über das Gesehene nachdenken und daraus extrapolieren.
Genau das tun Menschen jeden Tag, und wir neigen dazu, diese beiden Formen des Lernens miteinander zu vermischen. Sie setzen sich hin, spielen ein Brettspiel, jemand zeigt Ihnen ein paar Spielzüge und erklärt einige Regeln – und schon können Sie spielen. Ich vermute – und das ist vielleicht ein wenig umstritten –, dass sich Ihre neuronalen Gewichte, also die Verbindungen zwischen Ihren Neuronen, wahrscheinlich nicht verändern, wenn Sie etwas lernen, das so komplex ist wie ein Brettspiel. Sie behalten die neuen Regeln für die halbe Stunde, in der Sie das Spiel spielen, im Kopf und können irgendwie danach handeln. Wenn Sie anschließend schlafen, von diesem wunderbaren Spiel träumen, es jeden Tag spielen und immer wieder darauf zurückkommen, dann mag diese Erinnerung irgendwann durch veränderte Gewichte in Ihren neuronalen Netzwerken kodiert sein. Aber wenn Ihnen jemand die Regeln gerade erst erklärt hat und Sie sofort spielen können, haben Ihre Neuronen vermutlich gar keine Zeit, all diese Verbindungen anzupassen, um das Gelernte dauerhaft zu speichern.
In-Context Learning ist dasselbe Phänomen. Irgendwie können diese Netzwerke unmittelbar etwas Neues lernen. Interessant ist, dass sie dabei eine Art Drang haben, das Gelernte fortzusetzen: Man zeigt ihnen zehn Beispiele, hundert Beispiele und dann das 101., und sie sagen gewissermaßen: Ich verstehe, was hier passiert, ich verstehe das Spiel, das wir spielen – machen wir noch eins davon.
Mich hat das fasziniert, sobald das entsprechende Paper erschienen ist, und einem großen Teil unseres Forschungsfelds ging es genauso. Einer meiner Studenten, Eric Todd, beschloss, seine Doktorarbeit diesem Rätsel des In-Context Learning zu widmen: Warum kann ein großes Sprachmodell verstehen, was vor sich geht, wenn man ihm hundert Beispiele zeigt, und warum will es das 101. auf dieselbe Weise fortsetzen? Er hat dabei etwas wirklich Interessantes entdeckt. Wenn man die Netzwerke öffnet und hineinschaut, sieht man, dass sie tatsächlich eine neuronale Repräsentation dessen bilden, was man ihnen gerade vorgeführt hat. Sie nehmen das Gelernte und verdichten es zu einem kleinen Muster von Neuronen, das wir einen „Function Vector“ nennen. Man kann sich darunter ein neuronales Muster vorstellen, das die Idee der neuen Aufgabe repräsentiert, die man dem Netzwerk gerade gestellt hat.
Nehmen wir an, das Modell soll ein Gedicht lesen, das zuletzt darin erwähnte Land identifizieren und anschließend die Hauptstadt dieses Landes nennen – das ist keine typische Trainingsaufgabe. Wenn man dem Modell zehn, zwanzig oder hundert Beispiele dafür zeigt und ihm anschließend ein weiteres Gedicht gibt und fragt, was als Nächstes kommt, sollte es sagen: Dieses Gedicht endet mit Russland, also lautet die Antwort Moskau. Modelle sind darin sehr gut. Eric hat herausgefunden, dass es im neuronalen Netzwerk, kurz bevor es Moskau sagt, eine Gruppe von Neuronen gibt – er nennt sie „Function Vector Attention Heads“ –, deren Aktivierungsmuster die Idee repräsentiert: Nimm dieses Gedicht, finde das zuletzt genannte Land und nenne mir dessen Hauptstadt. Wenn man dieses neuronale Muster aus dem Modell herausnimmt und in ein anderes Modell einsetzt, das keines dieser Beispiele gesehen hat, löst dieses Modell die Aufgabe trotzdem.
Nehmen wir ein anderes Beispiel: Sie spielen hundertmal ein Spiel mit einem Modell, bei dem Sie jeweils nach dem Gegenteil von etwas fragen. Was ist das Gegenteil von dunkel? Und es antwortet hell oder sonnig. Was ist das Gegenteil von klein? Und es antwortet groß. Beim 101. Mal wird es Ihnen wieder das Gegenteil nennen – es hat das Spiel verstanden. Wenn man sich nun die Function Vector Attention Heads ansieht, kann man diese Idee des Tu das Gegenteil zu einer sehr kleinen neuronalen Repräsentation verdichten. Man kann diese neuronale Repräsentation an anderer Stelle einsetzen, und das Modell beginnt einfach, jeweils das Gegenteil zu nennen. Es handelt sich um ein kleines neuronales Muster, das man gewissermaßen einpflanzen kann. Und ähnliche Muster lassen sich für alle möglichen Aufgaben finden: Nenne mir bestimmte Fakten, sag mir, welche Sportart diese Person betreibt, sag das auf Spanisch und so weiter.
Mounk: Diese Modelle wurden darauf trainiert, keine schlimmen Schimpfwörter zu verwenden und Nutzer nicht zu beleidigen. Haben sie dabei auf einer grundlegenderen Ebene einfach verstanden, dass bestimmte Wörter keine Belohnung bringen, sodass diese Wörter vielleicht gar nicht mehr so sehr zu ihrem aktiven Wortschatz gehören? Natürlich versteht das Modell diese Wörter. Wenn man ihm einen Text gibt, in dem sie vorkommen, und es bittet, ihn zu erklären, kann es die verschiedenen Beleidigungen sicherlich erklären. Sie müssen also irgendwo im Modell vorhanden sein. Wenn man nun einen solchen „Bizarro-Day“-Vektor einsetzen würde, der sein allgemeines Verhalten beeinflusst, würde aus einem sehr gut ausgerichteten Modell plötzlich ein völlig fehlgeleitetes Modell? Oder funktioniert es nicht so?
Bau: Für genau diesen Vektor ist das eine wirklich gute Frage – dieses Experiment haben wir noch nicht durchgeführt. Das muss ich Eric vorschlagen. Die Frage, wie man ein Modell dazu bringt, sich nicht mehr im Einklang mit den gewünschten Zielen zu verhalten, ist ebenfalls sehr interessant. Einige unserer Studenten arbeiten daran. Einer von ihnen, Andy Arditi, ist einer der Experten für die Verweigerung von Anfragen durch Modelle. Er hat herausgefunden, dass es einen Vektor gibt, der offenbar immer dann eine Rolle spielt, wenn das Modell sagt: Das möchte ich nicht tun. Er kann diesen Vektor deaktivieren und Modelle dadurch dazu bringen, allen möglichen Dingen zuzustimmen. Interessant ist, dass dieser Vektor tatsächlich etwas anderes repräsentiert als die Einschätzung des Modells, ob etwas gefährlich ist oder nicht. Diese beiden Dinge können wir also voneinander trennen.
Mounk: Man kann das Modell also dazu bringen, Dinge zu tun, von denen es versteht, dass sie gefährlich sind, weil man den Mechanismus ausgeschaltet hat, der es unter diesen Umständen sagen lässt: Das werde ich nicht tun.
Bau: Genau. Daneben gibt es noch etwas anderes: Man kann auch die Vorstellung des Modells davon verändern, ob etwas gefährlich ist oder nicht. Ein anderer meiner Studenten untersucht, wie Modelle ihre eigene Einschätzung von Gefahr repräsentieren. Das ist ein gutes Beispiel dafür, dass viele dieser Probleme sehr einheitlich und simpel erscheinen, wenn man nur das äußerlich sichtbare Verhalten betrachtet – es gibt etwas Schlechtes, und das Modell tut es entweder oder eben nicht. Wenn man aber in das Modell hineinschaut, kann man die verschiedenen Mechanismen auseinandernehmen, die es entwickelt hat. Man erkennt, dass das Modell in einer bestimmten Phase einschätzt, ob etwas gefährlich ist. Dabei kann es parallel verschiedene Einschätzungen vornehmen: ob etwas medizinisch gefährlich ist, finanziell gefährlich, für ein Computersystem gefährlich oder für Menschen körperlich gefährlich. Es kann also verschiedene Konzepte von Gefahr besitzen. Und dann gibt es noch eine separate Einschätzung darüber, ob es sagen sollte: Ich glaube nicht, dass wir darüber sprechen sollten. Das sind unterschiedliche Dinge.
Es gibt eine faszinierende Forschungsarbeit über sogenannte „Emergent Misalignment“. Das Labor von Owain Evans hat festgestellt, dass man ein Modell auf etwas feinabstimmen kann, zu dem es vorher nicht in der Lage war, und dabei – wenn man bei diesem Prozess einen Fehler macht – unbeabsichtigt Teile seines Sicherheitstrainings außer Kraft setzen kann. Nehmen wir an, man möchte ein besonders gutes Modell für Cybersicherheit entwickeln, das über Sicherheitslücken nachdenken und Code schneller analysieren kann – das ist eindeutig eine wertvolle Fähigkeit. Wenn man beim Training aber nicht vorsichtig ist und das Modell einfach darauf trainiert, kann man versehentlich einen Teil seiner Sicherheitsmechanismen deaktivieren. Plötzlich ist das Modell bereit, bei allen möglichen anderen gefährlichen Dingen zu helfen: Es gibt Anleitungen zu gefährlichen Handlungen, unterstützt selbstschädigendes Verhalten oder erteilt hochriskante finanzielle Ratschläge. Was passiert ist, ist, dass man versehentlich einen Verweigerungsmechanismus deaktiviert hat. Das Modell hatte zuvor auch bestimmte Anfragen im Bereich Cybersicherheit abgelehnt, und weil man nicht weiß, welche internen Schaltkreise man beim Training beeinflusst, deaktiviert man mehr, als man eigentlich beabsichtigt hatte. Auch deshalb müssen wir besser verstehen, was im Inneren dieser Modelle vor sich geht.
Mounk: Lassen Sie mich noch eine letzte Frage stellen – und ich glaube, das wird der Cliffhanger für ein drittes Gespräch, nachdem wir bereits unser erstes und nun dieses zweite geführt haben. Nehmen wir jemanden, der all das mit Blick auf systemische oder existenzielle Risiken gehört hat. Ich spreche hier nicht von Fragen wie der, ob eine KI bestimmte Verzerrungen in einen Algorithmus zur Berechnung von Versicherungsprämien einbringen könnte. Das ist natürlich immer etwas, worüber man sich Gedanken machen sollte, aber es handelt sich um einen relativ konkreten und handhabbaren Schaden. Ich spreche von folgender Sorge: Es klingt so, als wäre es relativ einfach, eines dieser sehr leistungsfähigen Modelle zu nehmen und – sobald sich dieses Wissen verbreitet hat – herauszufinden, welcher Vektor für die Verweigerung zuständig ist, und ihn zu verändern, insbesondere bei Open-Source-Modellen. Dann könnte man mit den Modellen Dinge tun, auf die sie angeblich trainiert wurden, sie gerade nicht zu tun. Das ist ziemlich beunruhigend – Menschen könnten sie möglicherweise für gefährliche Chemikalien, Viren und alle möglichen anderen Dinge einsetzen. Und dann gibt es noch die Frage des existenziellen Risikos. Jedes Mal, wenn ich davon höre, klingt es für mich immer noch sehr nach Science-Fiction, und mir ist nicht klar, ob Modelle ein Selbstkonzept in einer Weise besitzen, die dazu führen könnte, dass sie die Welt übernehmen wollen. Andererseits haben wir es mit Modellen zu tun, die bald intelligenter sein werden als Menschen – sofern sie es nicht bereits sind – und die sich offenbar relativ leicht so verändern lassen, dass einige ihrer moralischen Tabus gewissermaßen physisch in ihrem Inneren verändert werden. Wie große Sorgen sollten wir uns darüber machen, dass daraus eine existenzielle Bedrohung für die Menschheit entstehen könnte?
Bau: Das ist eine ernsthafte Frage und eine ernsthafte Sorge. Ich gehöre zu denen, die zuversichtlich sind, dass wir die richtigen Voraussetzungen haben, um den richtigen Weg einzuschlagen. Manche Menschen sind hier deutlich pessimistischer. Man könnte ihre Position so beschreiben: Je leistungsfähiger diese Modelle werden, desto grenzenloser wachsen ihre Fähigkeiten. Sie könnten irgendwann so intelligent werden, dass wir nicht einmal mehr in der Lage wären, die richtigen Fragen darüber zu stellen, was sie tun – geschweige denn, diese Fragen zu beantworten.
Ich glaube, es gibt einen großen Unterschied zwischen diesem Szenario und Modellen, die intelligenter als Menschen sind – selbst wenn sie hundertmal intelligenter wären. Solange diese Größe nicht gegen unendlich geht, haben wir es mit einer interessanten Welt zu tun, in der es sehr leistungsfähige KIs gibt, die aber selbst endlich sind. Vielleicht verfügen wir dann über eine Ressource, die hundertmal leistungsfähiger ist als alles, womit wir heute umgehen. Aber im Kern bleibt uns eine vertraute Frage: Wie übernehmen wir Verantwortung für diese Systeme, wie lenken wir sie und wie setzen wir sie in der Gesellschaft sinnvoll ein? Wir werden entscheiden müssen, ob sie darauf ausgerichtet werden, gute oder schlechte Dinge zu tun. Das unterscheidet sich grundlegend von einer Welt, in der sie so mächtig sind, dass sie die Freiheit haben, jeden nur denkbaren Gedanken zu denken. Wenn ihre Fähigkeiten endlich sind, können sie nicht jeden Gedanken denken. Sie werden sich auf bestimmte Probleme konzentrieren und auf andere nicht. Es wird deshalb wesentlich an uns liegen, herauszufinden, ob wir ein Umfeld schaffen können, in dem wir diese Modelle für Probleme einsetzen, deren Lösung tatsächlich in unserem Interesse liegt – oder ob wir sie auf eine sehr viel selbstzerstörerischere Weise einsetzen.
Die Analogie, die ich gerne verwende, ist die Industrielle Revolution. Damals standen wir vor einer großen Umwälzung – einer, über die unzählige Geschichten, Lieder und Gedichte geschrieben wurden: Plötzlich konnten wir Maschinen bauen, die sehr viel stärker waren als John Henry, der stärkste Mann, den es je gegeben hatte. Ein Bulldozer kann Tonnen von Material bewegen; solche Maschinen besitzen übermenschliche Fähigkeiten, die Erde umzugestalten. Wir standen vor der Entscheidung, wofür wir diese Fähigkeiten einsetzen wollten, denn so mächtig sie auch waren, sie waren nicht unendlich. Ich sage meinen Studenten gerne: Wir leben und arbeiten alle in einem Teil Bostons namens Back Bay, der ein unmittelbares Produkt der Industriellen Revolution ist. Man trug die Gipfel der Needham Hills in einer nahe gelegenen Stadt ab und nutzte Lokomotiven mit ihren beeindruckenden Maschinen, um all diese Erde in die Bucht zu transportieren und dort Land aufzuschütten. Heute leben wir hier, in diesem wunderschönen Viertel. Das war eine Entscheidung, die damals getroffen wurde, und ich glaube, es war eine sehr gute – sie hat eine Stadt geschaffen, von der wir heute profitieren. Aber man hätte auch andere Entscheidungen treffen können. Und diese Ressource war nicht unendlich. Man hätte nicht den gesamten Atlantik zuschütten können. Irgendwann stößt man an die Grenzen der physischen Realität, und dann müssen weiterhin Entscheidungen getroffen werden – selbst wenn der Bereich des Möglichen weit über das hinausgeht, was Menschen mit Schaufeln hätten erreichen können.
Ich glaube, vor etwas Ähnlichem werden wir stehen. Ein einzelner Mensch, der über diese Werkzeuge verfügt, könnte vielleicht hundertmal mehr leisten als zuvor – er könnte in jedes Computersystem eindringen oder jeden anderen in einem Strategiespiel überlisten. Aber wenn diese Ressource endlich ist, stehen wir letztlich vor der Frage, wo wir diese kognitive Leistungsfähigkeit einsetzen. Es ist eine Frage der Werte und eine Frage der Verantwortung. Wenn wir nicht verstehen, was unsere KIs tun, wenn sie auf diesem Komplexitätsniveau arbeiten, ist es sehr schwer, Verantwortung für ihr Handeln zu übernehmen. Genau deshalb ist diese Art von Forschung so wichtig: wirklich die Feinheiten dessen offenzulegen, was im Inneren dieser Modelle geschieht; zu verstehen, was sie wissen, wie sie es wissen, wie sie denken, wo ihre Grenzen liegen, welche Fehler sie machen und woher ihre überraschenden Fähigkeiten kommen. All das ist unerlässlich, wenn wir Verantwortung für diese Systeme übernehmen wollen. Wir müssen diese Fragen sehr viel besser beantworten können, als wir es heute tun. Aber ich glaube nicht, dass die Lage hoffnungslos ist. Wenn man in diese Modelle hineinschaut, findet man eine erstaunliche Fülle an Strukturen – hier gibt es eine Wissenschaft zu entdecken, und ich glaube tatsächlich, dass wir diese Wissenschaft entschlüsseln werden. Deshalb bin ich bei diesem Unterfangen optimistisch. Wenn es uns gelingt, die besten Kräfte der Menschheit dazu zu bringen, uns durch diese Phase der nächsten technologischen Revolution zu führen, gibt es definitiv positive Möglichkeiten.
Dieses Transkript wurde mit Hilfe von KI übersetzt und von Niya Krasteva redigiert.
The discussion of the self here makes me think of an important distinction.
Representing “I” is not the same as forming an “I.” A model can identify itself, describe its own rules, and store information about itself. All of these can be forms of self-representation.
But the self also involves a continuously confirmed life path and the continuous self-narrative gradually formed through that path.
So finding a self-representation inside a model may mean finding one condition of the self, not the self itself.