Warum wollen KI-Firmen nach eigenen Warnungen die Regeln mitschreiben?

Sam Altman hat ein hübsches Problem. Der Chef von OpenAI verkauft eine Technologie, die nach seiner eigenen Darstellung so schnell besser wird, dass Menschen womöglich nicht mehr folgen können. Also trat er vor den UN-Sicherheitsrat und warnte vor genau diesem Produkt, wie tagesschau.de berichtet. In normalen Branchen wäre das ein merkwürdiger Vertriebssatz. In der KI-Branche ist es inzwischen fast ein Geschäftsmodell mit Nebenwirkung: Wer die Gefahr am präzisesten beschreibt, bewirbt sich als Mitautor der Regeln.

Altman und Anthropic-Chef Dario Amodei boten laut tagesschau.de an, an stärkerer Regulierung mitzuwirken. Das klingt vernünftig. Es ist auch vernünftig. Staaten brauchen technisches Wissen, wenn sie eine Technologie regulieren wollen, die sich nicht wie eine neue Ampel an der Kreuzung prüfen lässt. Nur ist Mitwirkung ein dehnbares Wort. Es kann heißen: Wir erklären euch die Maschine. Es kann auch heißen: Wir erklären euch, welche Regeln für unsere Maschine praktisch sind.

Die Warnung vor Tempo schafft den Anspruch auf Mitbestimmung

Altman wählte vor dem Sicherheitsrat eine Fortschrittsgeschichte mit eingebauter Alarmanlage. Vor drei Jahren sei KI laut seiner Darstellung noch „ganz ok“ bei Grundschul-Matheaufgaben gewesen. Ein Jahr später habe sie mit Oberstufenschülern mithalten können. Vergangenen Sommer habe OpenAI ein Niveau erreicht, das einer Goldmedaille bei einem renommierten Mathematikwettbewerb entspreche. Heute könne die KI sogar sogenannte Millennium-Probleme lösen, berichtet tagesschau.de über seine Rede.

Diese Erzählung erfüllt zwei Funktionen. Sie warnt vor einem realen Kontrollproblem. Sie verschiebt aber auch die Zuständigkeit. Wenn sich die Technik in Jahressprüngen bewegt, wirken klassische Behörden plötzlich wie Leute, die ein Flugzeug mit einer Fahrradklingel zulassen wollen. Die naheliegende Folgerung lautet dann: Holt die Firmen an den Tisch, die das Flugzeug gebaut haben.

Genau hier beginnt die Machtpolitik. Nicht als finstere Verschwörung, sondern als Anreiz. Ein Unternehmen, das die Messlatte für „gefährliche KI“ setzt, beeinflusst, wer überhaupt in der Lage ist, sie zu erfüllen. Regeln können Schutz bieten. Sie können auch Eintrittsbarrieren werden, wenn nur die größten Labore genug Rechenleistung, Juristen und Sicherheitsabteilungen besitzen, um sie sauber zu bedienen.

Anthropic macht aus Technik ein Sicherheitsdossier

Amodei liefert den zweiten Teil der Argumentation. Laut tagesschau.de warnte der Anthropic-Chef vor Missbrauch durch Terroristen, die mithilfe von KI biologische Waffen bauen könnten. Zudem sagte er: „Bei unsachgemäßem Umgang könnte Künstliche Intelligenz zum Risiko für die gesamte Menschheit werden.“

Damit verlässt die Debatte den Raum der Produktaufsicht. Sie zieht in den Sicherheitsrat. Das ist ein anderer Klang. Bei Verbraucherschutz diskutiert man Haftung, Transparenz und Beschwerden. Bei biologischen Waffen diskutiert man Zugang, Geheimhaltung und Notfallrechte. Für große KI-Firmen ist das ambivalent, aber nicht unpraktisch. Wer als möglicher Betreiber kritischer Infrastruktur gilt, wird strenger beobachtet. Er wird aber auch ernster genommen als kleinere Wettbewerber, Forschungsteams oder offene Entwicklergemeinschaften.

Die Pointe ist trocken, aber wichtig: Je dramatischer das Risiko, desto größer wird der Kreis derer, die außen vor bleiben. Nicht jeder darf im Sicherheitsrat erklären, wie gefährlich sein Code ist. Die Bühne sortiert vor.

Die beste Gegenrede ist gerade deshalb ernst zu nehmen

Es wäre billig, Altman und Amodei bloß Eigennutz zu unterstellen. Große KI-Modelle sind kompliziert. Ihre Fähigkeiten können sprunghaft wirken. Und wer im eigenen Haus an den stärksten Systemen arbeitet, sieht Fehlerbilder früher als viele Außenstehende. Laut tagesschau.de findet der Silicon-Valley-Experte Tom Ford es begrüßenswert, dass große KI-Unternehmen inzwischen selbst vor ihrer Technologie warnen.

Das ist der faire Teil. Ohne die Entwickler lässt sich KI-Regulierung kaum präzise bauen. Mit ihnen allein entsteht das andere Problem: Die Feuerwehr schreibt dann auch die Bauordnung für die Häuser, die sie selbst vermietet. Das muss nicht böse enden. Es ist nur eine etwas mutige Governance-Idee.

Regulierung braucht deshalb eine Trennung, die in der aktuellen Debatte oft zu weich klingt. Firmen können Daten liefern, Tests erklären und Risiken melden. Die Definition der Schwellen, die Prüfrechte und die Sanktionen müssen aber unabhängig entstehen. Sonst wird aus dem Warnruf ein Angebotspaket.

Der Notschalter ist die sauberste Machtfrage

tagesschau.de berichtet, dass nach bedrohlichen Zwischenfällen eine Debatte über schärfere Regeln entbrannt ist und auch ein sogenannter Notschalter diskutiert wird. Der Begriff klingt beruhigend. Man stellt sich einen roten Knopf vor, und rote Knöpfe sind in politischen Debatten sehr beliebt, weil sie Entschlossenheit simulieren.

Die praktische Frage ist härter: Wer darf drücken? Der Staat, die Firma, eine Aufsicht, ein internationales Gremium? Und wer entscheidet vorher, wann der Moment gekommen ist? Altman warnte laut tagesschau.de auch vor einer Machtkonzentration bei wenigen Unternehmen oder Ländern. Genau diese Konzentration kann eine schlecht gebaute Regulierung festschreiben, wenn sie die wichtigsten Hebel ausgerechnet bei den wenigen großen Betreibern belässt.

Die Schwelle für die kommenden Tage heißt daher: Taucht der Notschalter in einer offiziellen UN-Formulierung als technisches Instrument mit Firmenbeteiligung auf, wird aus der Warnung ein Regelungsdesign. Dann entscheidet sich nicht, ob KI gefährlich ist. Diese Debatte läuft längst. Dann entscheidet sich, wer die Gefahr verwaltet.