„Mit der Superintelligenz gibt es kein zweites Mal“: Warum KI-Forscher vor dem Kontrollverlust warnen

Frankfurt, 25. August 2026 – Die Warnung kommt von denen, die es wissen müssten: Die KI-Forscher Eliezer Yudkowsky und Nate Soares haben ein Buch mit dem programmatischen Titel „If anyone builds it, everyone dies“ geschrieben und warnen eindringlich davor, jetzt schon übermenschliche Computer zu entwickeln. Denn wir können das nicht kontrollieren.^[F.A.Z. – KI-Risiko für Menschheit: Mit der Superintelligenz gibt es kein zweites Mal – url: https://www.faz.net/aktuell/wirtschaft/unternehmen/ki-superintelligenz-warum-es-kein-zweites-mal-geben-koennte-accg-201136962.html] Die F.A.Z. veröffentlichte am Dienstag einen Auszug aus dem Werk – und liefert damit Material für eine Debatte, die längst nicht mehr nur in Forschungslaboren geführt wird.

„Nur“ zehn Prozent – oder doch mehr als fünfzig?

Wie groß ist die Gefahr, dass Künstliche Intelligenz die Menschheit zerstört? Die Schätzungen prominenter Fachleute klaffen weit auseinander – zumindest auf den ersten Blick. Der australische Philosoph Toby Ord, der extreme Gefahren für die Menschheit erforscht hat und unter anderem Googles DeepMind beriet, wird mit einer Wahrscheinlichkeit von „lediglich“ zehn Prozent zitiert. Doch bei genauerem Hinsehen relativiert sich das: Ord sagt, seine Schätzung basiere auf der Erwartung, dass die Menschheit zur Vernunft komme und sich zusammenreiße.^[F.A.Z. – KI-Risiko für Menschheit: Mit der Superintelligenz gibt es kein zweites Mal – url: https://www.faz.net/aktuell/wirtschaft/unternehmen/ki-superintelligenz-warum-es-kein-zweites-mal-geben-koennte-accg-201136962.html] Nobelpreisträger Geoffrey Hinton, der „Pate der KI“, versucht Regierungen zu erklären, dass die Wahrscheinlichkeit bei „mindestens zehn Prozent“ liege. Privat sieht er sie eigenen Angaben zufolge bei mehr als 50 Prozent – er vermeide es aber, das zu sagen, „weil es andere gibt, die von einer geringeren Wahrscheinlichkeit ausgehen“.^[F.A.Z. – KI-Risiko für Menschheit: Mit der Superintelligenz gibt es kein zweites Mal – url: https://www.faz.net/aktuell/wirtschaft/unternehmen/ki-superintelligenz-warum-es-kein-zweites-mal-geben-koennte-accg-201136962.html]

Die Politik hat das Thema längst erreicht

Auch in der Politik ist das Risiko angekommen: Bereits im Oktober 2023 warnte der damalige britische Premierminister Rishi Sunak in einer Rede, in den „unwahrscheinlichsten, aber extremsten Fällen“ bestehe das Risiko, dass die Menschheit die Kontrolle über die KI vollständig verliere – „dank einer Form der KI, die gelegentlich als Superintelligenz bezeichnet wird“. Einige Sätze später fügte er hinzu: „Ich möchte keine Panik verbreiten.“^[F.A.Z. – KI-Risiko für Menschheit: Mit der Superintelligenz gibt es kein zweites Mal – url: https://www.faz.net/aktuell/wirtschaft/unternehmen/ki-superintelligenz-warum-es-kein-zweites-mal-geben-koennte-accg-201136962.html] In Deutschland setzt die Regierung derweil auf Wettbewerbsfähigkeit: „Deutschland soll ein starkes Industrieland bleiben, auch im KI-Zeitalter“, sagte Kanzler Friedrich Merz am Dienstag zum Auftakt der Kabinettsklausur in Neuhardenberg.^[DER SPIEGEL – Regierung kommt zu zweitägiger Kabinettsklausur in Brandenburg zusammen – url: https://www.spiegel.de/politik/deutschland/merz-regierung-kommt-zu-zweitaegiger-kabinettsklausur-in-brandenburg-zusammen-a-687c6c73-bb75-4de1-9bae-a3f3bbf1013d]

Die Lehren aus Tschernobyl und der Titanic

Yudkowsky und Soares ziehen historische Vergleiche: Wer die Geschichte technischer Katastrophen kenne, erkenne „die Phase des typischen Katastrophenverlaufs“ wieder – die Phase, in der die Bestinformierten ihre Ängste herunterspielen müssen, weil der Rest des Systems noch nicht so weit ist. In der Sowjetunion habe die Parteilinie gelautet, Reaktoren wie der in Tschernobyl könnten nicht explodieren – der führende wissenschaftliche Berater pries den RBMK-Reaktortyp als „so sicher wie einen Teekessel“. Als die Titanic zu sinken begann, weigerten sich viele Passagiere, in die Rettungsboote zu steigen, weil sie von der Unsinkbarkeit des Schiffes überzeugt waren.^[F.A.Z. – KI-Risiko für Menschheit: Mit der Superintelligenz gibt es kein zweites Mal – url: https://www.faz.net/aktuell/wirtschaft/unternehmen/ki-superintelligenz-warum-es-kein-zweites-mal-geben-koennte-accg-201136962.html] Der Unterschied zur KI: „Wir machen einen Fehler beim ersten Mal und lernen daraus für das zweite Mal. Bei der künstlichen Superintelligenz gibt es kein zweites Mal.“^[F.A.Z. – KI-Risiko für Menschheit: Mit der Superintelligenz gibt es kein zweites Mal – url: https://www.faz.net/aktuell/wirtschaft/unternehmen/ki-superintelligenz-warum-es-kein-zweites-mal-geben-koennte-accg-201136962.html]

Warum niemand auf die Bremse tritt

Bleibt die Frage, warum KI-Unternehmen unbeirrt weitermachen, obwohl selbst ihre Manager die Wahrscheinlichkeit eines Untergangs bisweilen mit 20 Prozent beziffern. Die Autoren verweisen auf Anreize: Kein einzelnes Unternehmen und kein einzelner Forscher könne die Entwicklung des gesamten Forschungsfelds stoppen – wenn einer aufhöre, mache ein anderer weiter.^[F.A.Z. – KI-Risiko für Menschheit: Mit der Superintelligenz gibt es kein zweites Mal – url: https://www.faz.net/aktuell/wirtschaft/unternehmen/ki-superintelligenz-warum-es-kein-zweites-mal-geben-koennte-accg-201136962.html] Genau hier setzt die Regulierungsdebatte an: Ob die Politik in der Lage ist, rechtzeitig Grenzen zu setzen, bevor die Technologie unkontrollierbar wird, ist die eigentliche Frage der kommenden Jahre.

Quellen: F.A.Z. – Mit der Superintelligenz gibt es kein zweites Mal · DER SPIEGEL – Kabinettsklausur: Merz und das KI-Zeitalter