Kalifornien prüft Notschalter für KI: Newsom ordnet Sicherheits-Leitlinie an

Sacramento, 19. September 2026 – In der Debatte um existenzielle Risiken Künstlicher Intelligenz könnte der US-Bundesstaat Kalifornien eine Notabschalt-Vorrichtung für KI-Software vorschreiben. Ein solcher Mechanismus gehört zu einer Liste von Maßnahmen, zu denen dem demokratischen Gouverneur Gavin Newsom bis Mitte November Vorschläge gemacht werden sollen. Zu den weiteren Ideen gehören unabhängige Beobachter in großen KI-Laboren sowie striktere Verpflichtungen, über Sicherheits-Zwischenfälle zu berichten.^[DER SPIEGEL – Künstliche Intelligenz: Kalifornien überlegt, per Gesetz einen Notschalter vorzuschreiben – url: https://www.spiegel.de/netzwelt/kuenstliche-intelligenz-kalifornien-ueberlegt-per-gesetz-einen-notschalter-vorzuschreiben-a-48cab5bc-384d-4b99-b656-49ead852164a]^[Handelsblatt – Künstliche Intelligenz: Kalifornien könnte Notschalter für KI vorschreiben – url: https://www.handelsblatt.com/technik/it-internet/kuenstliche-intelligenz-kalifornien-koennte-notschalter-fuer-ki-vorschreiben/100255771.html]

Newsom unterzeichnete die Anordnung am Freitag. Danach beruft er zunächst „eine Gruppe weltweit führender Experten ein, die innerhalb von zwei Monaten einen Leitfaden für Kalifornien ausarbeiten sollen“, um die Gesetze zur Sicherheit im KI-Bereich zu verbessern.^[DER SPIEGEL – Kalifornien überlegt, per Gesetz einen Notschalter vorzuschreiben – url: https://www.spiegel.de/netzwelt/kuenstliche-intelligenz-kalifornien-ueberlegt-per-gesetz-einen-notschalter-vorzuschreiben-a-48cab5bc-384d-4b99-b656-49ead852164a]

Ein Signal gegen Washington

Der Vorstoß ist auch als Abgrenzung zur Bundespolitik zu verstehen. Newsom erklärte, während Präsident Donald Trump und der Kongress in Washington schliefen, wolle er selbst eine Führungsrolle übernehmen, um die „KI-Sicherheit für alle Amerikaner zu stärken“.^[DER SPIEGEL – Kalifornien überlegt, per Gesetz einen Notschalter vorzuschreiben – url: https://www.spiegel.de/netzwelt/kuenstliche-intelligenz-kalifornien-ueberlegt-per-gesetz-einen-notschalter-vorzuschreiben-a-48cab5bc-384d-4b99-b656-49ead852164a] Trump lehnt eine Regulierung der KI-Branche ab; er will damit den technologischen Vorsprung der USA gegenüber China sichern. Im Kongress war in dieser Woche ein Vorstoß für eine KI-Notabschaltung ins Leere gelaufen.^[DER SPIEGEL – Kalifornien überlegt, per Gesetz einen Notschalter vorzuschreiben – url: https://www.spiegel.de/netzwelt/kuenstliche-intelligenz-kalifornien-ueberlegt-per-gesetz-einen-notschalter-vorzuschreiben-a-48cab5bc-384d-4b99-b656-49ead852164a]

Aus dem Umfeld des Gouverneurs hieß es, die Trump-Regierung habe „ihre Verantwortung zum Schutz der Amerikaner“ abgegeben. Die Anordnung empfiehlt eine strengere Aufsicht über KI-Unternehmen und verlangt, dass diese für ihre Frontier-Modelle einen „Kill Switch“ entwickeln, falls diese außer Kontrolle geraten.^[Fox Business – Newsom advances AI 'kill switch' mandate under new California executive order – url: https://www.foxbusiness.com/politics/newsom-advances-ai-kill-switch-mandate-under-new-california-executive-order.amp]

Beschleunigte Umsetzung bestehender Gesetze

Kalifornien verfügt nach eigener Darstellung bereits über die umfassendste KI-Regulierung des Landes. Die Anordnung beschleunigt die Umsetzung zweier kürzlich verabschiedeter Gesetze: SB 813, das einen Rahmen für unabhängige Prüforganisationen schafft, die KI-Systeme auf Sicherheitsrisiken bewerten können, und AB 1405, das Standards und ein Register für KI-Auditoren einführt.^[Recordnet/USA Today Network – California governor proposes AI 'kill switch' amid fears of rogue tech – url: https://www.recordnet.com/story/news/politics/2026/09/18/newsom-advances-ai-kill-switch-amid-rogue-ai-fears-in-california/91827664007] Die Anordnung beauftragt die staatliche Government Operations Agency und das Governor's Office of Emergency Services, Expertinnen und Experten zusammenzubringen und bis Mitte November Empfehlungen vorzulegen – als Grundlage für künftige Gesetze oder Regeländerungen. Zugleich wird das Inkrafttreten des KI-Auditoren-Registers von Januar 2029 auf Dezember 2027 vorgezogen.^[Recordnet/USA Today Network – California governor proposes AI 'kill switch' amid fears of rogue tech – url: https://www.recordnet.com/story/news/politics/2026/09/18/newsom-advances-ai-kill-switch-amid-rogue-ai-fears-in-california/91827664007]^[Fox Business – Newsom advances AI 'kill switch' mandate – url: https://www.foxbusiness.com/politics/newsom-advances-ai-kill-switch-mandate-under-new-california-executive-order.amp]

Ein „Kill Switch“ – und offene Fragen

Über einen „Kill Switch“ für Künstliche Intelligenz wird schon seit einiger Zeit diskutiert – noch ist allerdings unklar, ob eine solche Vorrichtung zur Notabschaltung technisch überhaupt realisierbar ist.^[Handelsblatt – Kalifornien könnte Notschalter für KI vorschreiben – url: https://www.handelsblatt.com/technik/it-internet/kuenstliche-intelligenz-kalifornien-koennte-notschalter-fuer-ki-vorschreiben/100255771.html] Kalifornien gilt als wichtigster Standort bei der Entwicklung von KI: In San Francisco und im Silicon Valley sitzen führende Unternehmen wie der ChatGPT-Entwickler OpenAI, dessen Rivale Anthropic und Google. Damit könnte der Bundesstaat auch bei der Regulierung eine zentrale Rolle spielen.^[DER SPIEGEL – Kalifornien überlegt, per Gesetz einen Notschalter vorzuschreiben – url: https://www.spiegel.de/netzwelt/kuenstliche-intelligenz-kalifornien-ueberlegt-per-gesetz-einen-notschalter-vorzuschreiben-a-48cab5bc-384d-4b99-b656-49ead852164a] Newsoms zweite und letzte Amtszeit als Gouverneur endet Anfang kommenden Jahres; der 58-Jährige gilt als möglicher Bewerber der Demokraten für die Präsidentschaftswahl 2028.^[Handelsblatt – Kalifornien könnte Notschalter für KI vorschreiben – url: https://www.handelsblatt.com/technik/it-internet/kuenstliche-intelligenz-kalifornien-koennte-notschalter-fuer-ki-vorschreiben/100255771.html]

Warnungen aus der Branche

Die Debatte über die Gefahren von KI hatte sich in den vergangenen Wochen zugespitzt – insbesondere, nachdem Hacking-Attacken durch KI-Software bekannt geworden waren. Mitarbeiter von KI-Laboren warnten vor dem Risiko, dass die Menschheit die Kontrolle über KI verliert.^[DER SPIEGEL – Kalifornien überlegt, per Gesetz einen Notschalter vorzuschreiben – url: https://www.spiegel.de/netzwelt/kuenstliche-intelligenz-kalifornien-ueberlegt-per-gesetz-einen-notschalter-vorzuschreiben-a-48cab5bc-384d-4b99-b656-49ead852164a]

Neben Anthropic-Chef Dario Amodei sprach sich auch OpenAI-Chef Sam Altman dafür aus, das Entwicklungstempo hoch entwickelter KI zu bremsen und die Aufsicht zu verstärken.^[DER SPIEGEL – Kalifornien überlegt, per Gesetz einen Notschalter vorzuschreiben – url: https://www.spiegel.de/netzwelt/kuenstliche-intelligenz-kalifornien-ueberlegt-per-gesetz-einen-notschalter-vorzuschreiben-a-48cab5bc-384d-4b99-b656-49ead852164a] Inzwischen fordern Dutzende renommierte Fachleute – darunter der Physik-Nobelpreisträger und frühere Google-Forscher Geoffrey Hinton – führende KI-Labore in einem offenen Brief auf, unabhängige Aufsicht zuzulassen; die Aufseher müssten wie führende Manager Zugang zu den Systemen haben. Anthropic benannte als ersten Aufsichtspartner die Firma Faculty, eine Tochter des Beratungskonzerns Accenture.^[DER SPIEGEL – Kalifornien überlegt, per Gesetz einen Notschalter vorzuschreiben – url: https://www.spiegel.de/netzwelt/kuenstliche-intelligenz-kalifornien-ueberlegt-per-gesetz-einen-notschalter-vorzuschreiben-a-48cab5bc-384d-4b99-b656-49ead852164a] Der mit Spannung erwartete Börsengang von Anthropic verzögert sich unterdessen dem „Wall Street Journal“ zufolge bis November.^[DER SPIEGEL – Kalifornien überlegt, per Gesetz einen Notschalter vorzuschreiben – url: https://www.spiegel.de/netzwelt/kuenstliche-intelligenz-kalifornien-ueberlegt-per-gesetz-einen-notschalter-vorzuschreiben-a-48cab5bc-384d-4b99-b656-49ead852164a]

Quellen: DER SPIEGEL – Kalifornien überlegt, per Gesetz einen Notschalter vorzuschreiben · Handelsblatt – Kalifornien könnte Notschalter für KI vorschreiben · Recordnet/USA Today – California governor proposes AI 'kill switch' · Fox Business – Newsom advances AI 'kill switch' mandate