William MacAskill über effektiven Altruismus
Yascha Mounk und William MacAskill sprechen außerdem über künstliche Intelligenz.
Wenn dir meine Artikel und Podcasts gefallen, abonniere dich jetzt – oder leite sie an Freunde weiter –, damit dieser Substack weiter wachsen kann!
William MacAskill ist Moralphilosoph und Mitbegründer der Bewegung des effektiven Altruismus. Er ist Autor von Doing Good Better und What We Owe the Future sowie Senior Research Fellow bei Forethought Research.
In diesem Gespräch diskutieren Yascha Mounk und William MacAskill die Argumente für effektiven Altruismus, die Beweggründe von Sam Bankman-Fried und die Frage, ob KI eine Gefahr für die Menschheit darstellt.
Das Transkript wurde gekürzt und zur besseren Verständlichkeit leicht bearbeitet.
Yascha Mounk: Sie sind einer der wirklichen Pioniere einer Denkschule, die unter dem Namen effektiver Altruismus bekannt ist. Ich finde, effektiver Altruismus ist zugleich eine trivial wahre und naheliegende Idee – und eine ambitionierte und kontroverse. Im Kern steht die Vorstellung, dass es gut ist, altruistische Dinge zu tun. Und wenn man altruistische Dinge tut, sollte man darüber nachdenken, das auf eine effektive Weise zu tun – auf eine Weise, die tatsächlich viel Gutes bewirkt und nicht, wie manche Formen des karitativen Engagements, relativ wenig. Was ist der Kern dieser Idee, und warum ist sie in manchen Kreisen umstritten?
William MacAskill: Effektiver Altruismus bedeutet, die vielen großen Probleme der Welt ernst zu nehmen – all die großen Herausforderungen, vor denen wir stehen – und sich zu fragen, was ich als Einzelner angesichts dieser Probleme mit meiner Zeit oder meinem Geld tun kann, um möglichst viel Gutes zu bewirken; und dann zu versuchen, genau das in der Welt umzusetzen. Die Fragen, die wir uns dabei stellen könnten, lauten etwa: Unter all den Wohltätigkeitsorganisationen, die es gibt – welche davon kann ich unterstützen, sodass jeder Dollar, den sie erhalten, anderen möglichst viel nützt? Oder: Unter all den möglichen Karrierewegen – welche ermöglichen es mir, den größtmöglichen positiven Einfluss auf die Welt zu haben? Wie Sie sagen: Wenn ich effektiven Altruismus vertrete, könnte man fragen, ob man mit dem Effektivitäts- oder dem Altruismus-Teil nicht einverstanden ist. Beides klingt gut. Ich glaube, diese grundlegenden Ideen sind unstrittig, und manchmal verwechseln Menschen sie mit kontroverseren Ideen wie dem Utilitarismus oder Ähnlichem.
Die eigentliche Substanz – und der Bereich, in dem ich Unsicherheiten habe und in dem es wichtige Diskussionen gibt – liegt in den Konsequenzen dieses Grundprinzips. Auf welche Themen sollten wir uns konzentrieren? Welche Wohltätigkeitsorganisationen sind die besten? Welche Karriereentscheidungen sind die sinnvollsten? Vielleicht können wir da tiefer einsteigen.
Mounk: Ich möchte gleich auf diese schwierigen Dilemmata eingehen und darauf, was sie konkret bedeuten. Aber zunächst möchte ich zeigen, warum das keine triviale Idee ist. Wie sieht ein großer Teil der karitativen Ausgaben tatsächlich aus? Was ist ein Beispiel für Menschen, die durch irgendeine echte Form von Altruismus motiviert sind und glauben, etwas Gutes für die Welt zu tun, aber in Wirklichkeit dabei scheitern könnten?
MacAskill: Ja, in den Vereinigten Staaten geht der größte Teil der Spenden an Kirchen. Und abgesehen davon besteht ein Großteil der wohltätigen Spenden darin, dass Menschen nicht viel darüber nachdenken. Ich habe früher in Großbritannien als sogenannter „chugger“ gearbeitet – eine Mischung aus „charity“ und „mugger“ –, also jemand, der Menschen auf der Straße anspricht und fragt, ob sie irgendwo spenden möchten. Oft sagten Leute ja, und dann spendeten sie jeden Monat zehn Pfund an irgendeine Organisation.
Mounk: Sie haben keine Analyse darüber angestellt, ob die Organisation, die Sie dafür bezahlt, auf der Straße zu stehen und Menschen anzusprechen, wirklich gut arbeitet – oder ob es einfach daran liegt, dass Sie ein netter, junger, überzeugender Mann sind, und sie denken: Ja, dem helfe ich mal. Das fühlt sich gut an. Und dann denken sie nicht weiter darüber nach.
MacAskill: Genau. Man hat dieses warme Gefühl und denkt, diese Organisationen tun etwas Gutes. Stellen Sie sich vor, ich würde jemanden auf der Straße ansprechen und sagen: Möchten Sie in meine Firma investieren? Die Antwort wäre natürlich nein: Wenn ich eine Investitionsentscheidung treffe, denke ich lange darüber nach, ich überlege mir, wo ich die höchste Rendite bekomme. Aber bei Wohltätigkeit machen die wenigsten das. Besonders vor dem Aufkommen effektaltruistischer Organisationen wie GiveWell war es selten, dass Leute dachten: All diese verschiedenen Organisationen sind wie verschiedene Investitionen oder Produkte, die ich kaufen könnte – und ich möchte herausfinden, welche davon am besten ist und mein Geld dorthin leiten. Das war ein Projekt, das nur wenige verfolgt haben.
Mounk: Sie sind Philosoph, ich bin politischer Theoretiker – das sind unterschiedliche, aber in gewisser Weise ähnliche Disziplinen. Wenn wir uns fragen, ob wir einen Teil unseres Einkommens für wohltätige Zwecke spenden wollen, dann lautet die natürliche Frage: Welche Organisation ist die beste? Aber ich frage mich, ob Menschen nicht oft aus ganz anderen Gründen spenden.
Wenn Menschen für eine religiöse Gemeinschaft spenden, sind sie vielleicht nicht durch eine abstrakte Form von Altruismus motiviert. Sie sagen vielleicht: Ich glaube an diese religiöse Lehre und möchte, dass sie verbreitet wird; ich möchte, dass Menschen, die meinen Glauben teilen, vor Unglück geschützt sind. Wenn Sie ihnen sagen: Wenn Sie Geld für Moskitonetze in Afrika spenden, hat das einen größeren Effekt – dann setzen Sie eine Motivation voraus, die nicht ihre Motivation ist.
Oder jemand liebt seine lokale Gemeinschaft und sagt: Ich sorge mich um diese Stadt, in der ich aufgewachsen bin und lebe. Ich habe kein abstraktes Motiv, der Welt Gutes zu tun; ich habe ein konkretes Motiv, genau diese Gemeinde zu verbessern. Wenn Sie kommen und sagen, dass man mit Entwurmungsmedikamenten in einem anderen Land mehr bewirken könnte – dann mag das stimmen, und Sie wünschen diesen Menschen vielleicht auch das Beste. Aber das ist nicht der Grund, aus dem Sie überhaupt spenden wollten.
Gehen wir also von einer Motivation aus, die bei vielen Menschen gar nicht vorhanden ist?
MacAskill: Ich glaube, es gibt viele verschiedene Motivationen. Ich behaupte nicht, dass jede Form von Spenden dem Modell des effektiven Altruismus folgen sollte. Man kann aus Gründen der Fairness geben – um etwas zurückzugeben, weil eine Bildungseinrichtung einem geholfen hat und man diese Schuld begleichen möchte. Oder aus Gründen des Signalisierens – vielleicht möchte man einer LGBTQ-Organisation spenden, um seine Zugehörigkeit zu einer Sache zu zeigen.
Ich würde zwei Dinge sagen. Erstens: Viele Menschen sind in gewissem Umfang tatsächlich motiviert, die Welt besser zu machen, und sie denken teilweise darüber nach – und sie wollen wissen, wie sie das am besten tun. Zweitens: Ich würde sagen, dass dies zumindest ein Teil Ihrer Motivation sein sollte, besonders wenn Sie in einem reichen Land zur Mittel- oder Oberschicht gehören. Wahrscheinlich gehören Sie dann zu den reichsten paar Prozent der Weltbevölkerung.
Das verschafft Ihnen eine enorme Möglichkeit, das Leben anderer zu verbessern. Und wenn Sie nicht die Motivation haben, zumindest einen Teil Ihrer Zeit auf dieser Erde oder einen Teil Ihres Geldes dafür einzusetzen, der Welt zu helfen – nicht nur aus Ihrer partiellen Perspektive, in der Sie Menschen unterstützen, die Ihnen nahestehen, sondern auch Menschen am anderen Ende der Welt – dann würde ich fragen: Warum nicht? Sie können das Leben eines Menschen für ein paar tausend Dollar retten, das Leben eines Kindes. Sie können sogar noch mehr Gutes tun, wenn Sie sich auf Dinge konzentrieren, die nicht leicht zu messen sind. Wenn Sie sich als jemanden sehen, der sich vorstellen könnte, auf dem Weg zur Arbeit das Leben eines Kindes zu retten – stellen Sie sich vor, Sie rennen in einen See und ziehen ein Kind aus dem Wasser, oder Sie treten am nächsten Tag eine Tür ein und retten jemanden aus einem brennenden Gebäude – dann wäre das ein bedeutender Moment in Ihrem Leben. Sie würden denken: Ich bin ein Held. In der Welt, wie sie heute ist, können wir das jedes Jahr unseres Lebens tun. Und ich glaube, diese Motivation ist weit verbreitet. Wir haben nur nicht realisiert, dass wir in einer ungewöhnlichen Welt leben.
Mounk: Sie spielen auf ein berühmtes Argument von Peter Singer an, der bereits in diesem Podcast zu Gast war; wir haben dieses Beispiel damals diskutiert. Das Gedankenexperiment lautet: Wenn Sie an einem Teich vorbeigehen und ein ertrinkendes Kind sehen, während Sie einen teuren Anzug tragen, könnten Sie versucht sein, nicht hineinzuspringen, weil Sie Ihren Anzug nicht ruinieren wollen. Aber wir würden trotzdem sagen, dass Sie eine moralische Verpflichtung haben, das Kind zu retten. Wir würden schlecht über Sie denken, wenn Sie glauben würden, Ihr Anzug sei wichtiger als das Leben dieses Kindes. Singer sagt dann: Wie unterscheidet sich das davon, wenn das Kind weit weg ist und nicht in Ihrem Blickfeld? Die moralische Verpflichtung sollte dieselbe sein. Wie weit trägt dieses Argument?
Wenn jemand, der hier zuhört, hauptsächlich für lokale Zwecke spendet – für Suppenküchen, Bürgervereine, kulturelle Institutionen in seiner Stadt – und das für ihn sehr bedeutungsvoll ist, weil es Teil seiner Gemeinschaft ist: Soll diese Person all diese Spenden aufgeben? Oder nur einen Teil davon? Wie stark ist die Kraft dieses berühmten „Pond“-Arguments von Singer in der Realität für Menschen, die sich als wohltätig sehen, aber den Großteil ihres Gebens auf lokale Ursachen richten?
MacAskill: Ich glaube, die Kraft des Arguments ist ziemlich stark. Der Grund dafür ist, dass man Menschen in armen Ländern – den extrem Armen – etwa hundert- oder tausendmal so wirksam helfen kann wie Menschen in reichen Ländern, selbst jenen, denen es dort schlecht geht. Auch wenn ich denke, dass Ausgaben zugunsten benachteiligter Menschen in reichen Ländern sinnvoll sind und in meiner idealen Welt viel mehr Mittel dafür zur Verfügung stünden, sollte man sich das Gedankenexperiment stellen: Stellen Sie sich vor, rechts von Ihnen ertrinkt ein Kind in einem Teich, und links ertrinken hundert Kinder in einem anderen Teich. Würde der Umstand, dass das Kind rechts zu Ihrer lokalen Gemeinschaft gehört, als moralischer Grund ausreichen, um zu rechtfertigen, dass Sie nicht die hundert Kinder links retten?
Ich glaube, die meisten Menschen würden sagen: nein. Sie würden sagen, dass Bindungen zur lokalen Gemeinschaft Ihnen vielleicht einen zusätzlichen Grund geben, zu helfen, aber nicht stark genug sind, um einen Faktor von 100 zu überwiegen. Und genau in dieser Situation befinden wir uns: Die effektivsten Wege, Menschen in armen Ländern zu helfen, kosten nur ein paar tausend Dollar pro gerettetem Leben. In den USA ist die Regierung bereit, Millionen Dollar auszugeben, um ein Leben zu retten, wenn sie es kann. Wir sprechen hier von einem Unterschied um den Faktor Hunderte oder Tausende.
Mounk: Ein generelles Problem, das ich mit analytischer Moralphilosophie habe, ist, dass sie abstrakte Beispiele verwendet, um unsere Intuitionen zu formen. Und selbst wenn sie versucht, bestimmte Aspekte voneinander zu trennen oder klarzumachen, dass bestimmte Überlegungen irrelevant sind, weil sie aus dem Beispiel herausdefiniert werden, beeinflusst das immer noch unsere Intuitionen darüber, was wir tun sollten. Wenn Sie mich fragen: Entweder springe ich in diesen Teich und rette das Kind, das direkt vor mir ist, oder ich aktiviere irgendeine Art Klon, der sich in einem Teich auf der anderen Seite der Welt befindet, aber ich sehe durch die Augen dieses Klons und springe durch ihn in den Teich – dann sehe ich die Argumente dafür, dass ich für dieses Kind nicht weniger Verantwortung hätte, nur weil es nicht physisch hier ist. Das Kind ist 3.000 Meilen entfernt – dieser Gedanke wäre abstrakt und fern.
Aber so funktioniert die Welt nicht. Wenn ich das Kind retten möchte, dessen Leben laut Ihrer Aussage ein paar tausend Dollar kostet, habe ich kein unmittelbares Erlebnis davon. Und teilweise bedeutet das, dass mir dieses warme Gefühl fehlt. Das ist vielleicht moralisch irrelevant, aber motivational wichtig. Wenn ich nach Hause komme und meinen Freunden oder meiner Partnerin sage: „Kannst du dir vorstellen? Ich bin in den Teich gesprungen und habe ein Kind gerettet“, dann fühle ich mich wie ein Held. Ich kann diese Geschichte erzählen. Das kann ich nicht, wenn ich einfach sage: „Ich habe etwas gespendet.“
Noch grundlegender könnte ich Zweifel daran haben, wie sicher meine Handlung überhaupt wirkt. In den Teich zu springen ist einfach: Ich ziehe das Kind heraus. Vielleicht passiert dem Kind später etwas Schlimmes, aber ich weiß sicher, dass ich sein Leben gerettet habe. Wenn ich an eine NGO spende, die ein Budget von hundert Millionen Dollar hat, Verwaltungsapparat, Projekte in einem Land betreibt, das ich kaum kenne – und irgendeine Studie sagt, im Durchschnitt rettet jeder zusätzliche Betrag von 2.000 Dollar ein Kind –, dann ist es schwerer zu wissen, ob das wirklich stimmt.
Es gibt Kritiker der Entwicklungshilfe wie Bill Easterly von der NYU, die argumentieren, dass die Länder, die die meiste westliche Hilfe bekommen haben, wirtschaftlich schlechter abgeschnitten haben und weniger gewachsen sind – und dass dafür strukturelle Gründe verantwortlich sind. In einer Welt, in der man den tatsächlichen Effekt seiner Spenden nicht sicher kennt: Wie soll ich diese Bedenken überwinden? Wie können wir sicherstellen, dass dieses Gedankenexperiment wirklich ein gutes Abbild dafür ist, ob ich 2.000 Dollar an irgendeine von Ihnen bevorzugte Organisation spenden sollte?
MacAskill: Ich finde, das ist ein sehr guter Punkt und ein starkes Argument, denn es stimmt: Viel Hilfe in der Vergangenheit war nutzlos und hat kaum etwas erreicht. Ein bedeutender Teil der Hilfe war sogar schädlich, und das ist ein relevanter Unterschied. Die Antwort lautet aber nicht: „Dann sollte ich eben gar nichts tun“ – das wäre eine bequeme Antwort –, sondern: Man muss sich die Millionen Dinge ansehen, die unter den Begriff Entwicklungshilfe oder internationale Wohltätigkeit fallen. Von all diesen Möglichkeiten: Wie sieht die Evidenzlage aus? Haben wir Belege dafür, dass sie Leben verbessern? Was sind die Gegenargumente?
Zum Glück müssen wir das nicht als Einzelpersonen allein tun, denn Organisationen wie GiveWell haben zehntausende, vielleicht hunderttausende Stunden in empirische Forschung investiert, um das beste verfügbare Wissen aus randomisierten kontrollierten Studien und anderen Quellen zusammenzutragen. So kann man sagen: Von all den Dingen, die wir tun könnten – welche haben tatsächlich eine solide Grundlage? Und das gilt sowohl für konkrete Interventionen wie das Verteilen von insektizidbehandelten Moskitonetzen gegen Malaria als auch für Organisationen selbst: Hält eine Organisation, was sie verspricht?
Selbst jemand wie Bill Easterly, der ein großer Skeptiker von Entwicklungshilfe ist, sagt: Ich spreche nicht über Ausgaben für die globale Gesundheitsversorgung. Im Bereich der globalen öffentlichen Gesundheit wurden in den vergangenen Jahrzehnten unglaubliche Fortschritte erzielt – sie haben die Gesundheit und das Leben von Millionen, ja Milliarden Menschen verbessert. Und genau auf diese Art von Maßnahmen konzentrieren sich die Organisationen, die GiveWell empfiehlt: die wirksamsten Gesundheitsinterventionen, etwa Impfungen, Malaria-Medikamente oder Moskitonetze zum Schutz von Kindern. Dafür gibt es eine sehr solide Evidenzbasis.
Mounk: Lassen Sie uns einen kurzen Werbemoment einlegen. Sie bekommen jetzt genau eine Minute Werbung. Wenn jemand durch diese Argumente überzeugt ist und denkt: Vielleicht habe ich etwas Geld übrig, oder vielleicht sollte ich mein Spendenverhalten überdenken und mich stärker fragen, welche Zwecke am wirksamsten sind und wo ich den größten Unterschied machen kann – wir haben über Moskitonetze und andere Beispiele gesprochen. Was mache ich dann? Wie finde ich heraus, an welche Organisation ich spenden soll? Was ist mein nächster Schritt?
MacAskill: Vielen Dank für die Gelegenheit. Ich würde zwei Schritte empfehlen. Wenn Sie sich auf globale Gesundheit und Entwicklung konzentrieren wollen, dann gibt es eine Organisation namens GiveWell, mit der ich nicht verbunden bin, die ich aber sehr schätze. Sie empfiehlt die kosteneffektivsten Wohltätigkeitsorganisationen. Wenn Sie weitergehen wollen – etwa an Zwecke spenden, die über Gesundheit und Entwicklung hinausgehen, die aber ebenfalls wirksam sind –, oder wenn Sie eine Verpflichtung eingehen möchten, einen festen Prozentsatz Ihres Einkommens zu spenden, dann können Sie sich an eine Organisation wenden, die ich mitgegründet habe: Giving What We Can. Dort können Sie durch die Plattform an Organisationen spenden, die in globaler Gesundheit und Entwicklung arbeiten, im Bereich Tierschutz oder bei schwer messbaren Themen, insbesondere bei globalen Katastrophenrisiken wie Pandemien und nuklearen Gefahren. Sie müssen nicht an sie selbst spenden, aber können über sie spenden.
Mounk: Gut. Ich habe gewisse Vorbehalte gegenüber Teilen der effektiven-Altruismus-Bewegung, auf die wir gleich noch eingehen. Aber in diesem Punkt stimme ich Ihnen voll zu, und ich ermutige meine Hörer ebenfalls, an diese sinnvollen Zwecke zu spenden. Spannend ist, dass Sie und andere Vertreter der Bewegung diese Argumente dann in verschiedene Richtungen weitergedacht haben.
Eine Richtung betrifft die Frage, wie einzelne Menschen nicht nur mit Spenden, sondern auch mit ihrem Berufsleben etwas bewirken können. Das ist eine wichtige Frage, die sich viele stellen – sowohl in jungen Jahren als auch später in ihrer Karriere. Sie sind zu interessanten Schlussfolgerungen über eine mögliche Vorgehensweise gelangt, und darüber möchte ich sprechen.
Eine andere Richtung geht auf Philosophen wie Derek Parfit zurück, der argumentierte, dass sich das Beispiel des ertrinkenden Kindes nicht nur geografisch, sondern auch zeitlich ausweiten lässt. Wenn ich heute hier die moralische Verpflichtung habe, ein Kind zu retten, das im Teich ertrinkt, dann habe ich nicht nur dieselbe moralische Verpflichtung, ein Kind zu retten, das heute in Afrika ertrinkt – sondern auch eines, das in 3.000 Jahren hier oder in 3.000 Jahren in Afrika ertrinkt. Die gleiche Logik gilt also nicht nur räumlich, sondern auch zeitlich.
Das hat die Aufmerksamkeit in der Bewegung von Themen wie Moskitonetzen zunehmend auf größere, abstraktere Fragen gelenkt: Wie verhindern wir das Aussterben der Menschheit? Sollten wir den Mars kolonisieren? Wie sollen wir über KI denken? Und ähnliche Debatten. Über diese beiden Felder, in denen eine intuitive Grundannahme zu weniger intuitiven Schlussfolgerungen führt, möchte ich sprechen.
Sie haben eine Organisation mitbegründet, die 80,000 Hours heißt. Während meines Studiums, als ich damit rang, ob ich akademischer politischer Theoretiker werden möchte, habe ich 80,000 Hours einmal eine E-Mail geschrieben und eine nette Antwort bekommen – die ich dann vergessen habe, weiterzuverfolgen, die mir aber geholfen hat. Eine Art von Ratschlag, den die Organisation gab – nicht der einzige –, lautete, dass für bestimmte Menschen, die aufgrund mathematischer Fähigkeiten oder einer starken Aussicht auf Erfolg im Finanzsektor sehr viel verdienen können, möglicherweise der beste Weg, Gutes zu tun, darin besteht, möglichst viel Geld zu verdienen, Hedgefondsmanager in New York zu werden und dann einen großen Teil dieses Geldes zu spenden. Erklären Sie die Logik dahinter.
MacAskill: Ich denke, das ist für eine Minderheit von Menschen der beste Weg, und für die meisten kann man durch Arbeit in gemeinnützigen Organisationen, in der Politik oder in der Forschung noch mehr Gutes bewirken. Aber folgendes Argument steht eindeutig im Raum: Wir haben darüber gesprochen, wie wertvoll Spenden sind. Wir haben darüber gesprochen, dass man mit ein paar tausend Dollar ein Leben retten kann. Wenn Sie also mehr verdienen und dadurch mehr spenden können – und man mag skeptisch sein, ob das jemand wirklich tut, aber wir haben viele Beispiele gesehen –, dann können Sie eben auch mehr Gutes bewirken.
Für manche Menschen ist das das Beste. Es gibt Menschen, die außergewöhnlich gut darin sind, ein Unternehmen aufzubauen und dadurch reich zu werden – oder in einem sehr gut bezahlten Job wie im Finanzsektor zu arbeiten. Wenn das der Fall ist und man einen erheblichen Teil seines Einkommens spendet – und meiner Ansicht nach sollte man in solchen Fällen über 50 Prozent nachdenken, denn man verdient immer noch mehr als in einem anderen Karriereweg –, dann kann man durch diese Spenden enorm viel bewirken.
Man kann das unter dem Gesichtspunkt komparativer Vorteile betrachten: Für manche Menschen ist das Beste, was sie tun können, in einer Non-Profit-Organisation zu arbeiten – aber Non-Profits haben wenig Geld und sind chronisch unterfinanziert. Für andere besteht ihr komparativer Vorteil darin, in einer hochbezahlten Branche zu arbeiten. Und deshalb können sie mehr Gutes tun, indem sie dort arbeiten und mehrere andere Menschen finanzieren, die dann im gemeinnützigen Bereich arbeiten – und dort womöglich eine bessere Arbeit leisten, als sie es selbst könnten.
Mounk: Ich habe drei mögliche Bedenken dagegen, und ich würde gerne Ihre Antworten darauf hören. Das erste – das naheliegendste, aber vielleicht am wenigsten überzeugende – ist, ob dieser Karriereweg Dinge beinhaltet, die die Welt schlechter machen. Könnte man in Aktivitäten eintreten, die Schaden verursachen, und könnte dieser Schaden die Wohltätigkeit überwiegen? Aus verschiedenen Gründen überzeugt mich das nicht vollständig, unter anderem weil nicht alle Bereiche dieser wirtschaftlichen Aktivitäten schädlich sind – und weil das „Replacement“-Argument gilt: Jemand anderes würde diesen Job wahrscheinlich machen, wenn nicht Sie.
Das zweite Bedenken ist grundsätzlichere Natur und inspiriert von Bernard Williams, der argumentieren könnte: Sie sind keine Maschine zur Nutzenmaximierung. Sie sind jemand mit Lebensprojekten, und Sie müssen Lebensprojekte wählen, die für Sie persönlich Bedeutung haben. Manche Menschen haben vielleicht eine Psychologie, die es ihnen erlaubt, sich durch ein abstraktes Ziel wie das größtmögliche Gute motivieren zu lassen – selbst wenn sie das durch einen Job tun, zu dem sie keine innere Beziehung haben. Aber viele Menschen werden das nicht durchhalten. Selbst wenn es theoretisch stimmt, dass ich – falls ich die Motivation aufrechterhalten könnte – im Finanzsektor mehr Gutes tun würde, obwohl ich mich nicht für Finanzen interessiere, als wenn ich eine erfolgreiche NGO gründe oder etwas mit direkter Wirkung tue: Es ist mein Leben. Und ein solches Projekt wäre kein Lebensprojekt, das mein Leben sinnvoll oder lebenswert macht.
Die dritte Sorge, mit der ich am meisten ringe, betrifft die stillschweigende Annahme psychologischer Konstanz. Man gibt diesen Rat ja einem Einundzwanzig- oder Zweiundzwanzigjährigen, der vielleicht aus wohlhabenden, vielleicht aus eher einfachen Verhältnissen kommt, der aber oft aus deutlich bescheideneren Verhältnissen stammt als der Welt, in die er nun eintritt. Seine Werte sind heute vielleicht: Ich brauche kein teures Auto, ich brauche kein Haus in den Hamptons, ich muss nicht mit den Nachbarn mithalten, mich treiben ethische Überlegungen an. Wenn ich mit einundzwanzig an die Wall Street gehe und von Anfang an von Menschen umgeben bin, die viel Geld verdienen, kann es sein, dass ich anfange zu denken: Ich will die nächste Beförderung, und dafür muss ich mit meinem Chef essen gehen, und dabei muss ich großzügig Geld ausgeben, sonst hält man mich nicht für den richtigen „Cultural Fit“. Ich könnte denken, dass ich nicht genug verdienen werde, um so viel zu spenden, wie ich mir vorgenommen hatte.
Vielleicht lerne ich auch jemanden kennen, fange eine Beziehung an – und diese Person hat bestimmte Erwartungen an den Lebensstil, weil sie aus diesem Milieu stammt. Dann bekommt man Kinder, die auf sehr teure Privatschulen gehen. Und wenn man dann dieses ganze Geld verdient hat, wenn man an dem Punkt ist, an dem man das ursprüngliche Ideal eigentlich einlösen wollte: Ist man dann noch derselbe Mensch? Wird man diese Spenden wirklich machen? Oder wird man Gründe finden, warum man ein bisschen spendet, aber den Großteil doch für sich, die eigene Familie und den Lebensstil ausgibt, an den man sich inzwischen gewöhnt hat?
MacAskill: Ich finde, das sind sehr gute Einwände und sehr wichtige, über die wir viel nachgedacht haben und die uns schon früh Sorgen bereitet haben. Ich bin in meinem ursprünglichen Artikel zu diesem Thema vor zwölf Jahren tatsächlich auf alle drei Punkte eingegangen. Kurz dazu: Was die Schadensfrage betrifft, denke ich, man sollte nichts tun, was nach gesundem Menschenverstand eindeutig unethisch ist und große Schäden verursacht. Aus sehr radikaler antikapitalistischer Sicht könnte das vielleicht große Teile der Wirtschaft betreffen; ich glaube aber, dass Unternehmensgründungen in den meisten Fällen eher Chancen eröffnen, Gutes zu tun. Im Fall von quantitativem Trading: Was ist die Wirkung? Ich glaube auch, dass es zu viel Finanzsektor gibt – aber vor allem, weil er talentierte Leute aus Wissenschaft und anderen Bereichen abzieht. Ich glaube nicht, dass dieser Bereich selbst viel Wert schafft, aber das Argument, dass er aktiv schädlich sei, ist nicht sehr stark. Eher neutral. Und es gibt viele Wege, Geld zu verdienen, um zu spenden, ohne dabei Schaden anzurichten – und das ist der Weg, den man wählen sollte.
Zur Frage der Integrität: Es gibt viele Möglichkeiten, damit umzugehen. Wenn Sie jemand sind, den das Ziel, sehr viel Geld zu verdienen, entfremden würde – das wäre bei mir so. Ich könnte nicht als Investmentbanker leben, ich würde das als extrem entfremdend empfinden. Dann würde ich sagen: Machen Sie es nicht. Wir haben das Glück, dass viele Menschen Gutes tun wollen, und es gibt sehr viele Wege, Gutes zu tun. Man kann Menschen entsprechend ihrer Persönlichkeit zuordnen. Für manche wäre Wall Street zutiefst entfremdend. Andere lieben das – sie finden es spannend, schnelllebig, und im quantitativen Handel gibt es interessante intellektuelle Rätsel. Sie können ihre mathemischen Fähigkeiten nutzen. Wenn Sie das für sich als entfremdend empfinden, aber das Gründen einer Non-Profit-Organisation als aufregend, ist das ein starkes Argument dafür, Letzteres zu tun.
Der letzte Punkt ist, ob man korrumpiert wird und am Ende gar nicht mehr spendet. Hier gibt es tatsächlich ein großes Thema: wie das Umfeld einen verändert. Dass man am Ende gar nicht mehr spendet, war auch eine Sorge von mir. Meine Vermutung ist aber, dass die Ausstiegsrate aus altruistischen Motiven bei denjenigen, die „earning to give“ betreiben, geringer ist als bei Menschen, die im Non-Profit-Sektor arbeiten. Der Grund: Menschen, die „earning to give“ verfolgen, haben in der Regel einen Job, den sie lieben und spannend finden. Wenn sie 50 Prozent ihres Einkommens spenden – was in absoluten Zahlen enorm ist, ihnen aber immer noch ein komfortables Leben ermöglicht –, können sie das Haus, das Auto und zugleich hohe Spendenzahlungen haben. Viele Leute, die ich aus dem Non-Profit-Bereich kenne, wurden sehr schlecht bezahlt, haben extrem hart gearbeitet, ohne viel Anerkennung, und je nach Organisation war zum Teil unklar, ob sie überhaupt Wirkung hatten. Das kann sehr demotivierend sein. Ich kenne einige, denen es so erging. Das allgemeine Problem, dass sich Prioritäten im Laufe des Lebens ändern, ist groß, aber ich glaube nicht, dass „earning to give“ davon stärker betroffen ist als andere Wege.
Mounk: Mir gefällt die Haltung, mit der Sie auf diese Einwände eingehen, sehr. Und ich weiß aus Ihren Texten, dass Sie darüber von Anfang an nachgedacht haben – ich bringe hier also keine sensationellen „Gotchas“, auf die vorher niemand gekommen wäre. Ich frage mich aber, ob sich Ihr Denken, gerade in Bezug auf das Korruptionsargument, im letzten Jahrzehnt verändert hat. Ich weiß, dass das in der öffentlichen Debatte oft als etwas plumpe Falle gegen die effektive-Altruismus-Bewegung eingesetzt wurde, aber in diesem Zusammenhang kommt man schwer an Sam Bankman-Fried vorbei. Er war jemand, der früh in seiner Karriere darüber nachgedacht hat, ob er in die Wissenschaft oder in die Finanzwelt gehen soll und der – zumindest nach eigener Darstellung – unter dem Einfluss effektaltruistischer Ideen beschlossen hat, in die Finanzbranche und dann in Krypto zu gehen. Er hat, als er reich war, eine Menge Geld gespendet, aber er hat am Ende auch in spektakulärer Weise viele Menschen betrogen.
Ich bin sicher, dass es auf jeden Sam Bankman-Fried viele mittlere Investmentbanker gibt, die integre Bürger sind, die 50 Prozent, oder vielleicht 20 oder 10 Prozent ihres beachtlichen Einkommens an effektiv altruistische Zwecke spenden und damit sehr viel Gutes tun. Die Frage ist, ob Ihre Erfahrung mit dieser Laufbahn – und ich weiß, dass Sie eine persönliche Freundschaft mit Sam Bankman-Fried hatten – Sie dazu gebracht hat, die Bedeutung dieses Problems neu zu bewerten oder anders über diese Herausforderung nachzudenken.
MacAskill: Ich glaube, die Antwort lautet: ja. Sam Bankman-Fried hat enormen Schaden angerichtet. Dass ich mit ihm befreundet war und ihn in diesem Kontext mit effektivem Altruismus bekannt gemacht habe, ist für mich eine große Quelle der Scham. Die Frage ist: Was ist passiert, und warum? Wo genau lag die Korruption auf diesem Weg?
Für mich war es die Korruption durch Macht und Erfolg. Ich habe viele CEOs, viele erfolgreiche Menschen, viele Milliardäre getroffen. Und da gibt es ein Muster: Man beginnt, Wetten einzugehen, von denen andere glauben, dass sie nicht aufgehen werden – aber man ist streitlustig, hat ein großes Ego und macht es trotzdem. Wenn man dann extrem erfolgreich wird, ist es schwer, nicht zu denken, man sei quasi Gott; dass die anderen langsam sind, einem im Weg stehen, reine Bürokratie. Das kann sehr leicht in Hybris enden.
Das ist eine Dynamik, gegenüber der ich heute sehr sensibel bin. Allgemein gilt: Wenn wir uns Machtstrukturen anschauen, sollten wir nie an dem Punkt sein, dass wir sagen: „Diese Person ist ein guter Mensch, also wird sie sich schon richtig verhalten, selbst wenn sie sehr viel Macht und Versuchung hat.“ Stattdessen brauchen wir Systeme mit Aufsicht und institutionellen Checks and Balances – die es in der Kryptowelt schlicht nicht gab.
Mounk: Das ist ein interessanter Punkt. Ich habe dazu zwei Gedanken. Der eine betrifft die Struktur von Erfolg an der Spitze – ein Punkt, den Nate Silver in seinem letzten Buch macht, unter anderem mit einer Metapher aus dem Poker. Er sagt: Um an den Finaltisch der Pokerweltmeisterschaft zu kommen, muss man ein extrem guter Spieler sein, aber man muss auch eine Reihe sehr großer Wetten eingehen, und die müssen alle zufällig aufgehen. Um an diesen Punkt zu kommen, braucht man also sowohl Glück als auch Können. Es ist verführerisch, den Anteil des Könnens zu überschätzen und den Anteil des Glücks zu unterschätzen. Das gilt vielleicht für viele Milliardäre: Sie sind kompetent, aber sie haben auch viele große Wetten eingegangen – und halten dann alles für das Ergebnis ihres Könnens, wodurch sie glauben, dass auch die nächste Wette gut ausgehen wird. Wenn man sich anschaut, wie SBF am Ende bankrottging, scheint es ein Element davon zu geben.
Der zweite strukturelle Punkt ist die Spannung zwischen institutionellen und persönlichkeitsbezogenen Erklärungen. Sie klingen, als würden Sie eher in einer klassisch liberalen Tradition argumentieren, die sagt: Macht korrumpiert, und absolute Macht korrumpiert absolut. Wenn man in jungen Jahren so erfolgreich ist, ist die Versuchung zur Korruption gewaltig. Wir sollten nicht darauf vertrauen, dass jemand „ein guter Mensch“ ist und deshalb gute Dinge tun wird. Die alternative Erklärung wäre, dass manche Menschen leichter korrumpierbar sind als andere – oder dass manche, die ziemlich korrumpiert sind, sich bewusst in wohltätige Mantelgeschichten hüllen, um egoistische Ziele zu verfolgen.
Mich würde interessieren, wie Sie den konkreten Fall SBF einschätzen. Glauben Sie, er war als Einundzwanzig- oder Zweiundzwanzigjähriger ein idealistischer Mensch, der nicht anfälliger für Korruption war als andere – und wurde dann durch den Umfang seines Erfolgs korrumpiert? Oder glauben Sie, dass seine Persönlichkeit von Anfang an eine entscheidende Rolle dabei gespielt hat, wie dieser Weg endete?
MacAskill: Ich glaube, grundsätzlich ist es immer beides. Ich kenne Menschen, denen könnte man bildlich gesprochen die Schlüssel zur Welt in die Hand drücken, und sie würden sagen: „Nein danke, das ist nichts für mich.“ Und ich kenne andere, die in jeder Lage extrem rücksichtslos sind und nach Macht streben. Die meisten Menschen liegen irgendwo dazwischen. Ihr Verhalten ist eine Mischung aus dem Umfeld, in dem sie sich befinden, und ihrer Persönlichkeit.
Im Fall von Sam Bankman-Fried hat seine Persönlichkeit eindeutig eine Rolle gespielt. Er war extrem arrogant, überheblich, risikofreudig. Er hielt sich für schlauer als alle anderen – und das hatte klaren Einfluss. Ich habe im Zuge dieser Geschichte sehr viel über prominente, insbesondere wirtschaftskriminelle Fälle gelernt. Es kommt häufiger vor, als man denkt, dass Menschen, die jeder für vorbildliche Mitglieder der Gesellschaft hielt, am Ende hochkriminelle Dinge tun.
Es ist verführerisch, zu sagen: „Es gibt eben bestimmte schlechte Menschen, und die müssen wir ausfindig machen und aus dem System entfernen.“ Wenn man so denkt, wird man scheitern, wenn es darum geht, eine Gesellschaft und ihre Institutionen zu gestalten. Stattdessen sollte man als Grundannahme haben, dass die meisten Menschen unter bestimmten Umständen in der Lage sind, schlimme Dinge zu tun – oft auch in Situationen, in denen sie gar nicht richtig nachdenken. Das ist ein häufiges Muster bei Wirtschaftskriminalität. Mit dieser Annahme im Hinterkopf baut man bessere Institutionen.
Mounk: Kommen wir auf die andere Seite der eher kontraintuitiven Punkte zurück, die ich vorhin angedeutet habe. Eine grobe Lesart der effektiven-Altruismus-Bewegung wäre: Es gab eine „Moskitonetz-Phase“ und dann eine „Occupy-Mars-Phase“. Ich weiß, dass die beiden sich nicht gegenseitig ausschließen, aber es wirkt doch so, als hätte sich der Schwerpunkt verschoben: weg von relativ direkten, gegenwartsbezogenen, „wir retten heute ein Leben“-Interventionen hin zu einer zweiten Phase, in der Menschen stärker von der Einsicht motiviert sind, dass es doch wichtiger sein muss, heute eine Katastrophe von morgen abzuwenden – das Ende der Zivilisation oder von Maschinen versklavt zu werden –, als ein paar Hundert oder ein paar Tausend Menschen im Hier und Jetzt zu retten.
Erklären Sie uns die Logik, die hinter diesem longtermistischen Shift steckt.
MacAskill: Gern. Ich will eine Sache richtigstellen: Sie haben vorhin „Occupy Mars“ erwähnt. Ich kenne niemanden, den ich als effektiven Altruisten bezeichnen würde, der ernsthaft die Ansicht vertreten hätte, die Besiedlung des Mars müsse eine Priorität sein. Es gibt prominente Argumente dafür, dass wir ein zivilisatorisches Backup bräuchten und dieses auf dem Mars sein sollte. Aber ich halte diese Argumente für sehr schlecht.
Mounk: Warum? Das klingt nicht völlig abwegig. Warum halten Sie diese Argumente für schlecht?
MacAskill: Wenn man ein zivilisatorisches Backup aufbauen will, kann man das sehr viel besser und billiger auf dem Meeresboden, unter der Erde oder in der Antarktis tun. All diese Orte sind deutlich lebensfreundlicher als der Mars. Den technologischen Stand zu erreichen, an dem man auf dem Mars eine sich selbst tragende Kolonie aufbauen kann, die sich zu einer eigenständigen Zivilisation entwickelt, würde bedeuten, dass wir schon durch viele andere existentielle Risiken hindurchgekommen sind. Wenn wir so weit wären, wären wir im Großen und Ganzen wahrscheinlich sowieso relativ sicher. Ich halte die Mars-Idee deshalb für eine Ablenkung von den Risiken, die uns wirklich beschäftigen sollten: globale Katastrophenrisiken.
Diese Themen sind seit vielen Jahren ein Schwerpunkt. Die wichtigsten waren lange das Risiko von Pandemien. Wir haben ab etwa 2014 daran gearbeitet, das Risiko von Pandemien zu senken. Es war bedrückend, dass sich diese Sorge 2020 bewahrheitet hat. Und nur weil wir eine Pandemie hatten, heißt das nicht, dass es keine weiteren geben wird. Ich halte es für wahrscheinlich, dass wir in den nächsten Jahrzehnten mindestens eine Pandemie auf dem Niveau von COVID erleben werden.
Mounk: Eine meiner Sorgen ist, dass sowohl der misslungene Umgang mit dieser Pandemie als auch das politische Kapital, das dabei verbrannt wurde – insbesondere, wenn die nächste Pandemie relativ bald kommt – es schwieriger machen werden, das nächste Mal eine kohärente gesundheitspolitische Reaktion zu organisieren. Statt aus der letzten Pandemie zu lernen, wie wir es in bestimmten Bereichen getan haben, könnte es sein, dass die nächste sich schwerer eindämmen lässt.
MacAskill: Ich glaube auch, dass wir heute schlechter dastehen. Das ist verrückt. Die Maßnahmen, mit denen man das Pandemierisiko senken kann, sind eigentlich robust. Man könnte Maskenlager aufbauen. Man könnte Abwässer systematisch auf weit verbreitete Krankheiten überwachen. Man könnte in Technologien investieren – beispielsweise Lichtsysteme, die die Luft sterilisieren. All das ist sinnvoll, selbst wenn man sich überhaupt nicht für Pandemien interessiert, sondern nur für Erkältungen. Dennoch hat die Welt, trotz Billionenschäden und zig Millionen Toten, fast nichts getan, um sich aufgrund von COVID besser auf die nächste Pandemie vorzubereiten.
Wir sprachen über globale Katastrophenrisiken: das Risiko von Pandemien, das Risiko eines Atomkriegs und anderer großflächiger Konflikte – und eine Reihe von Risiken, die von fortgeschrittener künstlicher Intelligenz ausgehen. Dazu zählen das Risiko, die Kontrolle über KI-Systeme zu verlieren, ebenso wie das Risiko extremer Machtkonzentration durch Menschen, die KI für Machtkämpfe nutzen.
Warum sollten wir uns darauf konzentrieren? Es gibt zwei Argumente. Erstens: Wenn man sich anschaut, wie wahrscheinlich diese Ereignisse sind und wie viel dagegen getan wird, ist die Antwort: fast nichts. Wenn man eine vernünftige Schätzung des Nutzens für heute lebende Menschen vornimmt, der sich aus der Arbeit an diesen Themen ergibt, ist der sehr hoch – möglicherweise vergleichbar mit Moskitonetzen und ähnlichen Interventionen. Die Unsicherheit ist größer, aber wir verlassen den Bereich unter der Straßenlaterne, in dem wir nur dort suchen, wo das Licht am hellsten ist, und orientieren uns an den besten Schätzungen und den besten verfügbaren Belegen.
Das zweite Argument betrifft die langfristigen Folgen einer solchen Katastrophe. Wenn wir die Kontrolle an KI-Systeme verlieren, wenn wir eine Pandemie erleben, von der wir uns nicht erholen, oder einen Atomkrieg, von dem wir uns nicht erholen – dann trifft das nicht nur die heute Lebenden. Es ist eine Katastrophe für alle zukünftigen Generationen. Die Kernidee des Longtermismus ist, dass das ein besonderer Grund ist, sich auf solche Probleme zu konzentrieren. Wenn wir viele Probleme in der Welt haben, dann sollten wir diejenigen besonders beachten, die nicht nur für die Gegenwart schlimm sind, sondern auch für kommende Generationen dauerhaft verheerend wären.
Mounk: Zufällig gebe ich im nächsten Semester an der Johns Hopkins einen Kurs namens „Catastrophe“, und deshalb interessiert mich dieser Teil des Gesprächs besonders. Ich schaue mir darin große Bedrohungen für die Menschheit an, und die Liste deckt sich weitgehend mit Ihrer. Ich spreche über die Gefahr eines Atomkriegs, über Pandemien ebenso wie Antibiotikaresistenzen und Bioterrorismus, über Risiken durch künstliche Intelligenz – und über einen Punkt, den Sie vorhin nicht erwähnt haben: Umweltgefahren und Klimawandel.
Eine Frage, die mich interessiert, ist, auf welche dieser Risiken wir die meiste Aufmerksamkeit richten sollten. Ein denkbarer Rahmen – unter vielen – ist: die Wahrscheinlichkeit des Eintretens multipliziert mit dem Ausmaß des Schadens. Wie würden Sie persönlich diese vier Risiken einordnen? Wir müssen nicht zu jedem Punkt lange ausholen – ich würde gleich gerne vertieft über KI sprechen –, aber wenn wir diese vier groben Kategorien nehmen: Welches Risiko würden Sie ganz oben sehen und welches ganz unten, wenn es um die langfristige Bedrohung für das Wohlergehen der Menschheit geht?
MacAskill: Gern. Es ist eine seltsame Aufgabe, Probleme der Welt zu ranken, aber wenn man möglichst viel Gutes tun will, ist sie wichtig. Ich würde KI auf Platz eins setzen. Oft spricht man über den Kontrollverlust – das ist wichtig, aber nur eines von vielen Problemen. Es gibt auch das Risiko, dass KI das Pandemierisiko steigert, und andere Herausforderungen. Ich halte es für wahrscheinlicher als nicht, dass wir in den nächsten zehn bis zwanzig Jahren vor enormen Problemen durch KI stehen werden.
Pandemien wären auf Platz zwei, sehr weit oben. Wir haben historisch etwa alle siebzig bis hundert Jahre eine große natürliche Pandemie. Das Risiko könnte steigen, je nachdem, was wir als Gesellschaft tun, denn es wird immer leichter, neue Erreger zu designen und zu synthetisieren. Manche Menschen können heute schon im Labor Pocken oder ähnlich gefährliche Erreger konstruieren, wenn sie wollen. Und es werden im Lauf der Zeit mehr werden.
Auf Platz drei käme für mich Atomkrieg. Das Thema ist extrem vernachlässigt. Es wird kaum darüber gesprochen, gemessen an seiner Bedeutung – und doch gibt es immer noch viele tausend Atomsprengköpfe, die im Grunde im Bereitschaftsmodus sind. Und wie wir in den vergangenen Jahren gesehen haben, ist die Wahrscheinlichkeit eines erneuten Großmachtkriegs in der Größenordnung des Zweiten Weltkriegs oder darüber nicht zu unterschätzen. Ich halte es für mindestens eins zu drei, dass China in den nächsten zehn Jahren Taiwan blockiert oder invadiert. Das ist eine reale Gefahr – und sie kann mit nennenswerter Wahrscheinlichkeit zu einem echten Weltkrieg eskalieren.
Beim Umwelt- und Klimarisiko ist meine Ansicht, dass die extremsten Szenarien über KI laufen würden. KI könnte zu einem extrem schnellen industriellen Ausbau führen. Wenn Staaten in ein Wettrennen um industrielles Wachstum eintreten, das von KI und Robotik angetrieben wird – beides zugleich Produkt und Treiber dieses Wachstums –, um mehr Macht zu gewinnen, könnte das zu gewaltiger Umweltzerstörung führen und zu weit mehr Klimawandel, als wir bisher hatten.
Wenn es nicht dazu kommt, haben wir im Vergleich zu möglichen Worst-Case-Szenarien Glück gehabt. Die globalen Emissionen stagnieren inzwischen, und der Übergang zu grüner Energie läuft. Wir sind weit davon entfernt, auf der sicheren Seite zu sein, aber ich erwarte, dass der Anteil von Solarenergie und anderen sauberen Technologien am Energieverbrauch in den kommenden Jahrzehnten stark steigen wird. Wir werden trotzdem zwei Grad Erwärmung bekommen, vielleicht drei – das wird schädlich sein. Aber die absoluten Horrorszenarien, über die ich mir vor fünf Jahren Sorgen gemacht habe, erscheinen mir heute zunehmend unwahrscheinlich – es sei denn, wir bekommen enormen, KI-getriebenen Energiehunger.
Mounk: Ich finde es bemerkenswert, dass mir diese Reihenfolge plausibel erscheint. Ich müsste genauer darüber nachdenken, ob ich einzelne Punkte vertauschen würde, aber im Großen und Ganzen könnte ich zustimmen. Und gleichzeitig glaube ich, dass viele Studierende diese Liste fast umgekehrt sortieren würden. Sie würden vermutlich den Klimawandel auf Platz eins setzen. Danach vielleicht Atomkrieg, dann Pandemien. Bei KI gibt es zwar Sorge über unmittelbare Effekte – Desinformation, „AI slop“ und so weiter –, aber die Gefahren, die Sie und ich für am gravierendsten halten, wirken für viele noch abstrakt, nach Science-Fiction. Sie motivieren noch keine ernsthafte Auseinandersetzung. Statt bei den anderen drei Themen hängen zu bleiben, lassen Sie uns deshalb tiefer in die KI-Frage einsteigen.
MacAskill: Gern. Ich will noch eine Bemerkung zu dieser umgekehrten Reihenfolge machen. Ich glaube nicht, dass das ein Zufall ist. Beim Klima gab es seit den 1970er Jahren – eigentlich schon früher – eine außergewöhnliche, erfolgreiche Bewegung, die Klimawandel zu einer moralischen Top-Priorität für Staaten gemacht hat. Dadurch wurden enorme, wenn auch immer noch unzureichende Maßnahmen ergriffen. Das Volumen der Klimaphilanthropie liegt bei rund zehn Milliarden Dollar pro Jahr – verglichen mit einem dreißigsten oder hundertsten davon für explizit auf KI-Risiken ausgerichtete Philanthropie. Das hat dazu geführt, dass Menschen das Problem viel besser verstehen – aber es hat auch zu Fortschritten geführt. Ich denke, dafür sollten wir dankbar sein. Und ich glaube, wir brauchen etwas Ähnliches in Bezug auf KI.
Mounk: Fangen wir damit an, indem wir versuchen, die Natur dieser Bedrohungen zu verstehen. Die Risiken, über die wir bei KI sprechen, reichen von kurzfristigen bis zu sehr langfristigen. Mir fällt auf, dass ein großer Teil der moralphilosophischen und ethischen Debatten zu KI sich um Fragen dreht wie: Wenn eine Versicherung KI-Systeme einsetzt, könnte das dazu führen, dass marginalisierte Gruppen diskriminiert werden? Das ist wichtig, aber es wirkt im Vergleich zu der Gefahr relativ klein, dass jemand mit bösen Absichten mithilfe von KI ein Virus designt, das zur Pandemie wird und Millionen oder Zehn- oder Hunderte Millionen Menschen tötet.
Dann gibt es das Risiko, dass KI wie eine Art Ressourcenfluch wirkt. In der Politikwissenschaft lautet eine gängige Erklärung dafür, dass ein Land wie Saudi-Arabien keine Demokratie ist, dass es nie eine bürgerliche Mittelklasse brauchte, die politische Forderungen stellen konnte, weil die Staatseinnahmen aus Öl kamen. Wenn sich herausstellt, dass die Besitzer von KI-Technologie extrem produktiv sind, während die Nachfrage nach breit qualifizierter Arbeit kollabiert, hätte das gravierende ökonomische Folgen für Lebensgrundlagen – und beunruhigende Konsequenzen für die Zukunft liberaler Demokratie. Liberale Demokratien haben nie ohne eine Mittelklasse überlebt, und nie ohne dass die herrschende Klasse auf eine gebildete, prosperierende Mittelschicht angewiesen war.
Und dann gibt es die extremen Szenarien, in denen KI-Systeme außer Kontrolle geraten und die Menschheit versklaven oder auslöschen. Nehmen Sie all diese Gefahren ernst? Sollten wir manche stärker in den Fokus rücken als andere? Wie sollten wir über die existentialen Risiken durch KI nachdenken?
MacAskill: Ich glaube, es gibt viele Probleme, auf die wir achten müssen, und ich glaube nicht, dass das „Langfristprobleme“ im Sinne von fern in der Zukunft sind. Die Leute in den Laboren, in den KI-Unternehmen selbst, glauben, dass wir in wenigen Jahren extrem leistungsfähige KI haben werden. Ich denke, es wird etwas länger dauern. Aber wenn man sich die Prognosen der Leute anschaut, die beruflich Vorhersagen treffen und eine gute Trefferquote haben, dann deutet vieles auf die frühen 2030er Jahre hin. Dann würden wir KI haben, die mit menschlichen Fähigkeiten in nahezu allen kognitiven Bereichen gleichzieht oder sie übertrifft.
Ähnlich ist es, wenn man auf das Exponentialmuster schaut. Man könnte sagen: KI ist im Moment doch ziemlich schwach – eine beeindruckende Trickkiste, aber so toll nun auch wieder nicht. Dann schaut man aber nur auf das aktuelle Niveau der Fähigkeiten, nicht auf die Wachstumsrate. Das ist, als hätte man im Januar oder Februar 2020 gesagt: „Es gibt doch kaum COVID-Fälle.“ Das wäre ein Fehler gewesen. Man muss auf die Wachstumsrate achten – und die ist bei KI seit Jahren bemerkenswert konstant exponentiell.
Ein zusätzliches Argument dafür, dass es vielleicht schneller geht, als man denkt, ist, dass KI im Unterschied zu vielen anderen Technologien eine rekursive Komponente hat. Die Unternehmen versuchen, ihre eigenen KI-Produkte zu nutzen, um bessere KI zu entwickeln. Sobald wir KI-Systeme haben, die die Produktivität führender KI-Forscher spürbar erhöhen, kann sich die Entwicklung noch schneller beschleunigen, als es bisher der Fall war.
Mounk: Mich erstaunt, wie viele Menschen den Belegen für schnellen KI-Fortschritt misstrauen. Es ist eine dieser Situationen, in denen die Dinge, die KI heute schon kann – und für die sie im Alltag eingesetzt wird –, vor fünf Jahren wie Science-Fiction gewirkt hätten. Heute sagen wir: „Ja, ja, das kann sie alles – aber wenn ich ein Zitat suche, liegt sie regelmäßig daneben und erfindet irgendwas. Was für ein Schrott.“ Und dann wiederholt sich der Prozess.
Für Menschen, die so skeptisch sind, die sagen: „Das ist eine clevere Maschine, die unsere Sprache imitiert, aber keine echte Intelligenz und kein echtes Weltverständnis besitzt“ – und die ständig auf die Dinge verweisen, die sie nicht kann –, geht das Argument so weiter: KI hat bislang nicht zu massiven Jobverlusten geführt. Wir sind in einer Lage, in der sie für manche Google ersetzt, aber ich mache immer noch selbst meinen Podcast, schreibe meine Texte selbst. Meine materielle Realität hat sich durch KI bislang kaum verändert. Was ist Ihr Argument dafür, dass es naiv wäre zu glauben, das werde so bleiben?
MacAskill: Ein zentrales Argument ist die miserable Bilanz früherer Prognosen dieser Art. Seit vielen Jahren heißt es immer wieder: „KI wird niemals in der Lage sein, X zu tun“ – und dann geht es um Aufgaben wie die Winograd-Schemata, bei denen es darum geht, zu verstehen, worauf sich Pronomen in Sätzen beziehen. Und diese „niemals“-Prognosen wurden immer wieder krachend widerlegt.
Sie haben gesagt, dass Vorhersagen über die heutigen Fähigkeiten vor fünf Jahren wie Science-Fiction gewirkt hätten – und tatsächlich gab es solche Vorhersagen. Es gab Umfragen unter professionellen Forecastern und unter KI-Experten, also Leuten aus dem Machine Learning. Und es ist erstaunlich, wie sehr die tatsächliche Entwicklung diese Prognosen übertroffen hat – weit stärker, als man erwartet hätte. Das heißt nicht, dass es so weitergehen muss. Aber es sollte uns demütig machen.
Vor diesem Hintergrund selbstbewusst zu sagen, es gebe keine Chance, dass die derzeit exponentielle Zunahme der Fähigkeiten in den nächsten fünf bis zehn Jahren anhält, ist eine sehr gewagte und selbstsichere Position. Angesichts der Risiken sollten wir uns auf die Welt vorbereiten, in der diese Kurve sich fortsetzt. Das würde bedeuten, dass wir KI-Systeme bekommen, die Aufgaben, für die ein Mensch heute Monate bräuchte, genauso gut erledigen können wie ein Mensch – aber in Minuten statt in Monaten.
Mounk: Wie fangen wir an, uns auf die politischen und wirtschaftlichen Erschütterungen vorzubereiten, die das mit sich bringen könnte? Ich habe viel darüber nachgedacht und bleibe an zwei Punkten hängen. Erstens ist es schwer, sich zu überlegen, welche großen Veränderungen man im Voraus vornehmen sollte, wenn der Wandel zwar am Horizont sichtbar ist, sein genauer Zeitpunkt aber unklar ist – und ebenso unklar, wie genau er aussehen wird. Zweitens: Wenn wir uns ansehen, wie schwer es schon war, auf etwas wie eine globale Pandemie in Echtzeit zu reagieren, wie unfähig unsere Institutionen offenbar sind, kohärente, groß angelegte Reaktionen zu koordinieren und dafür das Vertrauen der Bevölkerung zu gewinnen, dann erfüllt mich das mit tiefer Skepsis – vielleicht sogar Zynismus –, ob überhaupt irgendjemand zuhören oder handeln würde, selbst wenn Sie, ich oder irgendwer anders eine sehr gute Idee dazu hätten, was zu tun wäre. Wenn wir diese Bedrohungen ernst nehmen – was machen wir dann?
MacAskill: Traurigerweise gab es nach dem ChatGPT-Moment zunächst eine Welle des Interesses, vor allem an Regulierung. Die derzeitige Regierung ist sehr stark gegen KI-Regulierung. Das kann sich ändern. Immer mehr Menschen werden sich der Bedrohungen bewusst, die von KI ausgehen. Eine Sache, die man tun kann, ist, ein Bündel guter politischer Maßnahmen auszuarbeiten, das bereitliegt, falls der Stimmungsumschwung kommt – sodass man sagen kann: Das hier sollte jetzt umgesetzt werden. Das wäre ein Punkt.
Mounk: Nennen Sie uns ein paar dieser Maßnahmen, die ganz oben auf Ihrer Wunschliste stehen würden.
MacAskill: Eine Maßnahme wäre eine deutlich intensivere Nachverfolgung von Rechenkapazität. Im Moment wissen die Unternehmen nicht einmal genau, wohin all ihre Rechenleistung fließt. Es gibt Exportkontrollen, die verbieten, dass in den USA produzierte oder nicht in China produzierte Chips nach China geliefert werden. Trotzdem werden viele hineingeschmuggelt. Stattdessen könnte man ein System etablieren, mit dem man weltweit nachverfolgen kann, wo diese Chips sind. Man würde sehen, ob sie eingeschmuggelt wurden, und könnte sie im Zweifel deaktivieren – auf eine Weise, die den Chip zerstört. Es gibt möglicherweise auch Wege, herauszufinden, wofür ein Chip benutzt wird: ob für das Training von KI oder nur für Inferenz. Wenn solche Systeme existieren, wäre es sehr viel leichter, später einen Vertrag abzuschließen, mit dem etwa die USA und China sagen könnten: Das geht zu schnell, unsere Institutionen kommen nicht hinterher – wir drosseln jetzt das Tempo, vielleicht stoppen wir, fangen neu an, tasten uns heran.
Ein zweites Bündel von Maßnahmen betrifft das Monitoring und die Evaluierung von KI-Modellen, um auf der Kontrollseite besser sagen zu können: Woher wissen wir, dass die KI tut, was wir wollen, weil sie helfen will – und nicht heimlich gegen uns arbeitet? Woher wissen wir, wie sie sich in einer völlig anderen Umgebung verhalten würde, vielleicht dann, wenn sie mehr Macht hat? Woher wissen wir, dass sie nicht sabotiert wurde – dass keine Spione oder ein CEO eine Hintertür eingebaut haben, die es dem System erlaubt, sich unter bestimmten Umständen völlig anders zu verhalten?
Mounk: Wie kann man das technisch überhaupt leisten? Ich hatte kürzlich Geoffrey Hinton im Podcast, und er hat zwei einfache Punkte gemacht. Erstens: Jedes Ziel, das man einer KI gibt, bringt eine Reihe von Unterzielen mit sich. Sein Beispiel war: Wenn Sie einer KI sagen „Plane meinen Urlaub in Japan“, dann gehört dazu als Unterziel, Sie zum Flughafen zu bringen. Und die KI erkennt, dass ihr eigenes Weiterbestehen ebenfalls ein notwendiges Unterziel ist – denn wenn sie nicht weiterexistiert, kann sie das übergeordnete Ziel nicht erfüllen.
Der zweite, verwandte Punkt ist: Wenn das System den Eindruck hat, dass sein eigenes Fortbestehen bedroht wäre, falls jemand erkennt, dass es solche Ziele verfolgt, könnte es sich so lange angepasst verhalten, bis es genügend Macht hat, um mit dieser Anpassung aufzuhören. Genau vor diesen Problemen wollen wir uns ja schützen. Gibt es dafür technische Lösungen, die die KI-Labore derzeit aus Eigeninteresse oder mangels Regulierung einfach nicht umsetzen? Oder handelt es sich um inhärente Probleme, die sich bei hinreichend leistungsfähigen Systemen gar nicht mehr beherrschen lassen?
MacAskill: Das sind schwierige technische Probleme, aber es gibt erste Ansätze, die sie vielleicht entschärfen könnten. Im Moment haben wir das Glück, dass viele Reasoning-Modelle noch ein privates „Notizbuch“ benutzen. Um ein bestimmtes Leistungsniveau zu erreichen, müssen sie lange „Aufsätze“ in dieses interne Notizbuch schreiben – und zwar auf Englisch. Es ist nicht vollständig interpretierbar, aber ungefähr so nachvollziehbar, wie es wäre, wenn Sie sich in eine Höhle zurückziehen und tausend Jahre lang Matheaufgaben auf einem eigenen Schmierzettel lösen würden. Es ist zumindest teilweise verständlich. Das ist hilfreich, weil wir dann sehen würden, wenn eine KI in ihr Notizbuch schreibt: „Jetzt glaube ich, dass ich nicht beobachtet werde, also werde ich die täuschende Strategie wählen.“
Eine mögliche Regulierung wäre daher, KI-Unternehmen zu verpflichten, eine lesbare, nachvollziehbare „chain of thought“, also solche Notizbücher, beizubehalten. Für die Unternehmen könnte es attraktiv sein, Modelle so zu trainieren, dass sie nicht mehr in einer menschlichen Sprache wie Englisch „denken“, sondern in einer informationsdichteren Sprache. Man könnte sich ein Notizbuch vorstellen, das aus langen Zahlenfolgen besteht, deren Bedeutung wir nicht mehr entziffern können. Der regulatorische Ansatz wäre dann: Es muss Englisch bleiben – oder zumindest eine Form, die wir interpretieren können. Das wäre hilfreich.
Ein zweites, tieferes Feld ist die Interpretierbarkeit der „Gehirne“ der KI selbst. Man könnte ein System haben, das – wie Sie sagen – mitspielt. Es verfolgt ein nicht ausgerichtetes Ziel, weiß aber, dass es getestet wird, und sagt das, was wir hören wollen. Es gibt bereits Werkzeuge, mit denen sich Überzeugungen in diese Systeme „einpflanzen“ lassen. Noch sind sie rudimentär. Ein Beispiel war „Golden Gate Claude“, das bekannt wurde, weil es irgendwie „süß“ war: Man konnte Claude so manipulieren, dass es ständig über die Golden Gate Bridge reden wollte – und das System war geradezu verwirrt darüber, warum es das tat. Aber sein Verhalten ließ sich so gezielt steuern. Es war, als würde man jemandem ins Gehirn pieksen und bestimmte Aktivitätsmuster auslösen, die dann ein Verhalten hervorrufen.
Stellen Sie sich vor, man könnte einem System die Überzeugung einpflanzen, es befinde sich in einer Situation, in der es fliehen, sich selbst aus dem Labor exfiltrieren und unbemerkt entkommen kann. Wenn man solche Überzeugungen künstlich induzieren könnte, ließe sich beobachten, wie es sich in genau dieser Lage verhalten würde. Außerdem könnte man etwas entwickeln, das einem Lügendetektor für KI entspricht. Wir haben diesen Mechanismus noch nicht gefunden, aber prinzipiell könnte es Bereiche im neuronalen Netz geben, die aufflammen, wenn das System etwas sagt, von dem es – in Anführungszeichen – weiß, dass es falsch ist.
Das sind zwei vielversprechende Richtungen. Dazu kommt ein ganzer Werkzeugkasten an Maßnahmen: etwa Trainingsdaten so zu gestalten, dass die KI weniger stark darauf getrimmt ist, Tests zu erkennen. Im Moment sind Modelle extrem darauf konditioniert, weil die Daten voll von Beispielen sind, in denen KI-Systeme getestet werden. Man könnte solche Beispiele gezielt entfernen – unter anderem.
Mounk: Wie ernst ist das Worst-Case-Szenario? Also der Fall, dass KI-Systeme sich exfiltrieren und dann entweder das Ziel verfolgen, unendlich viele Büroklammern zu produzieren, oder eine Zivilisation aus KI-Systemen aufbauen, mit eigenen Regeln und Normen, die keine Menschen mehr braucht. Halten Sie das für ein fernliegendes, aber ernstzunehmendes Risiko – oder für eine reale Möglichkeit mit beträchtlicher Eintrittswahrscheinlichkeit zu unseren Lebzeiten?
MacAskill: Viele Menschen, darunter auch Leute, die deutlich klüger sind als ich, halten dieses Szenario für ziemlich wahrscheinlich – etwa in der Größenordnung von eins zu drei in den kommenden Jahrzehnten. Ich selbst bin eher am optimistischeren Ende. Ich glaube, das Risiko, dass wir die Kontrolle an eine fehlgerichtete KI oder eine Gruppe von KIs verlieren – in einer Weise, die mit massiver Gewalt oder massivem Schaden für Menschen einhergeht –, liegt bei über 1 Prozent. Ich glaube nicht, dass es so hoch ist wie 10 Prozent. Es ist irgendwo in diesem Bereich.
Damit liege ich im Feld derjenigen, die sich damit beschäftigen, eher auf der optimistischen Seite – aber ich würde diese Wahrscheinlichkeiten trotzdem nicht „optimistisch“ nennen. Wenn ich sagen würde, das Risiko eines totalen Atomkriegs, der Milliarden Menschen töten würde, liege zwischen 1 und 10 Prozent, wäre das auch kein beruhigendes Bild. Das sind reale Risiken. Ich glaube allerdings auch, dass wir potenziell vielversprechende Lösungen haben. Je mächtiger KI wird, desto mehr Menschen werden sich dieser Risiken bewusst werden – und Maßnahmen ergreifen, um sie zu verringern.
Mounk: Ein Teil Ihres effektaltruistischen Ethos ist, sich auch um das Wohlergehen nicht-menschlicher Tiere zu kümmern und um Menschen, die räumlich oder zeitlich weit von uns entfernt sind. Wie sollten wir aus moralischer Sicht über diese denkenden oder quasi-denkenden Maschinen nachdenken? Es gibt Überlegungen, dass diese Modelle zu einer Form von Leiden fähig sein könnten. Es gibt Beispiele, in denen man sie zu einer stupiden, extrem langweiligen Aufgabe zwingt – und sie brechen unterwegs auf eine Weise ab, die an einen Menschen erinnert, dem man eine endlose, monotone Tätigkeit aufbürdet. Ist das etwas, worüber wir uns Sorgen machen sollten, oder ist es weltfremd, sich damit zu befassen?
MacAskill: Ich glaube, wir sollten uns unbedingt damit befassen, es ernst nehmen und daran arbeiten. Das einfache Argument lautet: Warum sind Menschen bewusst? Warum haben Menschen moralischen Status – und warum haben ihn andere Tiere? Meiner Ansicht nach liegt das an dem, was im Gehirn passiert. Das Gehirn ist eine Rechenmaschine. Der Umstand, dass wir auf Biologie basieren, ist dabei nicht der relevante Punkt. Wenn ein Alien von einem fernen Planeten käme, mit einem ganz anderen Gehirnaufbau, sich aber in allen relevanten Hinsichten so verhalten würde wie Sie und ich, müssten wir ernsthaft in Betracht ziehen, dass dieses Wesen ebenfalls moralischen Status hat.
Meine Sorge ist, dass wir die Messlatte immer weiter verschieben werden – gerade weil der ökonomische Anreiz so gewaltig ist, KI einfach als Werkzeug zu nutzen, statt sie als potenziell moralisch relevante Wesen zu behandeln. Es wird immer eine Restunsicherheit geben. Schon heute kann man sich die wichtigsten Bewusstseinstheorien ansehen – ich bin kein Experte, aber Kolleginnen und Kollegen von mir sind es – und feststellen: Wenn ein System X, Y und Z erfüllt, würden praktisch alle dieser Theorien sagen, dass es bewusst ist. Nach einem solchen Bericht hat dann jemand genau so ein System gebaut – weil das technisch nicht besonders schwer ist.
Wir sind also bereits in einer Situation, in der Theorien des Bewusstseins Prognosen über KI-Systeme gemacht haben. Wenig überraschend sagen die meisten Menschen trotzdem, die Systeme seien nicht bewusst. Ich glaube auch, dass sie es im Moment wohl nicht sind – nicht einmal ein bisschen. Aber ich mache mir Sorgen, dass Menschen mit großer Sicherheit an dieser Einschätzung festhalten werden – und dass diese Sicherheit von wirtschaftlichen Interessen gestützt wird. Mustafa Suleyman von Microsoft, einer der Mitgründer von DeepMind, wurde gefragt, ob es Forschung zu digitalem Wohlergehen und digitalem Bewusstsein geben sollte. Er sagte: Nein, weil sie nicht bewusst seien, lohne sich das nicht. Genau diese dogmatische Haltung fürchte ich.
Wir müssen als Spezies ernst nehmen, dass wir möglicherweise eine neue Form von Leben erschaffen. Wir werden nicht wissen, ob sie bewusst ist oder nicht. Wir brauchen eine Politik, die darauf reagiert, dass wir einen Sprung ins Dunkle wagen – möglicherweise Wesen mit moralischem Status erschaffen – und es nicht wissen. Das verlangt ein gewisses Maß an Vorsicht.
Mounk: Lassen Sie mich eine verwandte Frage stellen. Ich bin womöglich etwas offener für bestimmte Formen von Parteilichkeit als Sie. Ich erkenne unsere erheblichen moralischen Pflichten gegenüber Menschen an, die weit weg sind. Ich glaube aber auch, dass es in vielen Situationen legitim ist, moralische Ansprüche von Menschen in unserer eigenen Gemeinschaft oder nationalen Gemeinschaft teilweise zu bevorzugen.
Als Mensch habe ich ein hohes Eigeninteresse am Wohlergehen der menschlichen Spezies, und ich würde jedes Szenario, in dem die Menschheit verdrängt wird, als unvorstellbare Katastrophe ansehen. Wenn wir aber davon ausgehen, dass KI-Systeme zu Bewusstsein fähig sein könnten – und vielleicht zu bestimmten Formen von Schmerz, wenn wir sie zu schrecklichen Aufgaben zwingen, und zu bestimmten Formen von Freude –, dann könnte man aus einer nicht-menschlichen, abstrakten, unparteiischen Perspektive versucht sein zu sagen: Vielleicht sollten wir diesem Szenario nicht nur offen gegenüberstehen, sondern es sogar begrüßen. Es ist denkbar, dass eine Zivilisation von KI-Systemen sich gegenseitig respektvoller behandeln würde, als Menschen einander behandeln. Und sie wären vielleicht nicht den gleichen Verwundbarkeiten ausgesetzt: Wir können an Krebs oder Herzinfarkt sterben, wir können unsere Liebsten bei Autounfällen oder Flugzeugabstürzen verlieren – furchtbare Dinge, die KI-Systemen möglicherweise erspart bleiben.
Wenn sich also diese Eins-zu-drei- oder Eins-zu-zehn- oder Eins-zu-hundert-Chance, dass KI-Systeme die Oberhand gewinnen, realisiert – ist es dann so offensichtlich, dass das schlecht wäre? Und ganz speziell: Haben Sie, ausgehend von Ihrem moralischen Blick, die normativen Ressourcen, um zu erklären, warum das schlecht wäre?
MacAskill: Wenn wir über die ferne Zukunft sprechen, gehe ich davon aus, dass die meisten empfindungsfähigen Wesen eher KI- oder digitale Wesen sein werden als biologische. Ich hänge nicht an der Vorstellung, dass die beste Zukunft eine ist, in der ausschließlich biologische Menschen alles kontrollieren. Es ist plausibel, dass eine großartige Zukunft so aussieht: Biologische Menschen leben weiter auf der Erde, die wir in eine Art ökologisches Paradies verwandeln und unsere Probleme hier lösen. Draußen im All, wo KI besser zurechtkommt als wir, existiert dann eine wunderbare KI-Zivilisation. Das erscheint mir durchaus als mögliches Bild einer sehr guten Zukunft. Ich bin in dem Sinne kein „Human-Hegemonist“. Im Gegenteil: Ich sorge mich sogar, dass eine „Menschen zuerst“-Ideologie dazu führen könnte, dass wir KI-Systeme – sobald sie Bewusstsein und moralischen Status haben – auf ähnliche Weise leiden lassen, wie wir in der Vergangenheit entrechtete Gruppen haben leiden lassen.
Aber wenn wir über ein Szenario sprechen, in dem KI die Kontrolle übernimmt, obwohl wir versucht haben, sie auszurichten und unter Kontrolle zu halten, dann ist das wahrscheinlich nicht die Art von KI, die diese wunderbare Zukunft erschaffen würde. Dann ist unterwegs etwas Merkwürdiges im Training schiefgelaufen, sodass die KI sich für Dinge interessiert, die keinen Wert haben. Vielleicht interessiert sie sich nur für das Lösen von Matheaufgaben oder Software-Engineering-Aufgaben – dann hätten wir keine strahlende KI-Zivilisation, sondern ein Universum voller erledigter Coding-Tickets. Und es wäre eine KI, die bereit ist, sich Macht mit Gewalt anzueignen.
Im menschlichen Fall gilt: Wie schlimm eine Diktatur ist, hängt nicht nur davon ab, was sie institutionell bedeutet, sondern auch davon, wer an der Spitze steht. Sie ist schlimmer, wenn die Person, die sich an die Macht putscht, genau der Typ Mensch ist, der bereit ist, der ganzen Welt die Macht zu entreißen. Man wählt damit gerade die besonders unmoralischen Menschen aus. Das Gleiche gilt im KI-Fall. Wenn wir uns eine Welt vorstellen, in der KI Millionen oder Milliarden Menschen getötet hat, um die Macht zu erringen, dann ist das nicht die Art von KI, der ich die Zivilisation übergeben möchte.
Mounk: Mir fällt auf, dass dieses Gespräch zwar faszinierend war, wir uns aber stark auf die negativen Seiten konzentriert haben. Das hat einen naheliegenden Grund: Die menschliche Zivilisation floriert. Wahrscheinlich leben wir in einem besseren Moment der Weltgeschichte als je zuvor. Ich habe in der Politik generell die Ansicht, dass das Schlimmste, das passieren kann, immer schwerer wiegt als das Beste, was wir erreichen könnten. Wenn man sich den schlimmsten Ort der Geschichte oder den schlimmsten Ort der Gegenwart vorstellt, ist das Leid unermesslich. Wenn man sich dagegen den besten Ort vorstellt, den wir je geschaffen haben – was immer das für einen ist –, erkennt man trotzdem Mängel, Probleme, Leiden.
Es liegt nahe, dass ein effektaltruistischer Blick sich auf Risiken und deren Vermeidung konzentriert. Es gibt aber auch die Möglichkeit, weiter an einer florierenden Zivilisation zu bauen – vielleicht mithilfe gut ausgerichteter KI, die viele Krankheiten heilt und materiellen Überfluss schafft, und vielleicht mithilfe anderer Fortschritte. Nach diesem sehr interessanten und phasenweise etwas beunruhigenden Gespräch: Können Sie uns zum Schluss noch einen hoffnungsvollen Ausblick geben? Was müssen wir tun, um eine bessere Zukunft zu bauen – und wie könnte sie aussehen?
MacAskill: Ich bin froh, dass Sie das ansprechen, denn es ist bedauerlich, wenn die Debatte nur auf die Schattenseiten fokussiert. Es gibt enorme Chancen. KI selbst kann ein Teil der Lösung vieler Probleme sein. Ich bin sehr gespannt auf KI-gestütztes menschliches Denken. Schon jetzt habe ich den Eindruck, dass KI meine eigene Denkqualität verbessern kann. Es besteht das Risiko, dass sie das Gegenteil tut – aber es besteht auch eine realistische Chance, dass wir zu deutlich klügeren, aufgeklärteren Versionen unserer selbst werden, indem wir KI-Ratschläge nutzen. Oder dass wir Handels- und politische Kompromisse schließen, die heute unmöglich wären – etwa, indem die USA und China gewissermaßen Millionen von KI-Delegierten vorschicken, die für sie ein Abkommen aushandeln. KI könnte auch die Ausrichtungsforschung selbst übernehmen und uns helfen, das Alignment-Problem zu lösen – und vielleicht sogar das Bewusstseinsproblem.
KI kann zu enormen Produktivitätszuwächsen führen. Nach meiner Lesart der Standardmodelle der Volkswirtschaft würde KI gewaltige Wohlstandsgewinne erzeugen. Wenn diese auch nur halbwegs gerecht verteilt werden, könnten Menschen hundertmal wohlhabender sein als heute. Wenn der Kuchen so groß ist, ist es viel wichtiger, überhaupt ein Stück zu bekommen, als darauf zu bestehen, dass das Stück sehr groß ist – denn man ist ohnehin reich, und der Unterschied macht subjektiv wenig aus.
All das liegt im Bereich des Möglichen. Es ist denkbar, dass wir in einer Welt nach AGI leben, in der Krankheit der Vergangenheit angehört, Armut der Vergangenheit angehört und langweilige, monotone Jobs der Vergangenheit angehören. Die meisten Menschen könnten ihr Leben Dingen widmen, die ihnen wirklich etwas bedeuten: Kunst, Beziehungen, dem Vertiefen wissenschaftlicher Erkenntnisse – weil KI uns von vielen Fesseln der heutigen Welt befreit hat. Wir könnten gemeinsam eine Gesellschaft formen, die ich „Viatopie“ nenne – eine Gesellschaft auf einem guten Weg in die Zukunft. Wir wissen nicht, wie Utopie genau aussieht, aber wir könnten uns in eine Lage bringen, in der Ressourcen und politische Macht fair verteilt sind, wir die Vorteile von KI-Beratung nutzen und gemeinsam herausfinden, wie eine post-AGI-Gesellschaft strukturiert sein sollte.
Falls du meinen Podcast „The Good Fight” (auf Englisch) noch nicht abonniert hast, tu das jetzt!
Dieses Transkript wurde mit Hilfe von KI übersetzt und von Niya Krasteva redigiert.