Aktuelles

Wenn die Erfinder Angst vor ihrer Erfindung haben: Die KI-Warnungen von Coxon und Hinton

Von Frankenstein über Tanz der Teufel  bis hin zu Blockbustern von heute - unsereins kennt solche Szenen aus jedem Monster- oder Katastrophenfilm. Irgendwann stammeln die Wissenschaftler, die das Ding zum Leben erweckt haben, reumütig: "Gott vergib uns. Wir hätten das nicht tun dürfen." Meistens ist das im Kino, das Popcorn ist alle und dann war's das mit dem Planeten. Diese Woche gab es ähnliche Szenen, allerdings nicht im Kino, sondern bei Twitter, pardon, X. Und der Wissenschaftler hieß Jacob Coxon. 

Wer? Ok, zur Person: 27 Jahre alt, Brite, drei Jahre lang Pretraining-Forscher bei OpenAI und danach bei Anthropic - also genau der Firma, die uns Claude gebracht hat, mit dem vermutlich die Hälfte der Leser dieses Textes gerade parallel ein anderes Fenster offen hat. Am 8. September kündigte Coxon bei seinem Arbeitgeber. Nicht leise, nicht per Rundmail an die Personalabteilung, sondern mit einer Serie von Posts, die binnen 24 Stunden über 90 Millionen Aufrufe einsammelten und mittlerweile bei mehr als 150 Millionen stehen. Sein Vorwurf: Weder Anthropic noch OpenAI würden verantwortungsvoll handeln. Beide würden geradewegs auf eine sich selbstverbessernde Superintelligenz zusteuern und dabei, in seinen Worten, "gambling with our lives" - mit unserem Leben würfeln.

Das Kündigungsschreiben, das sowohl die Branche selbst als auch die Medienlandschaft in Aufruhr versetzt hat

Was Coxon so beunruhigend macht, ist nicht die Wortwahl - Weltuntergangsrhetorik gibt es im KI-Diskurs seit Jahren im Überfluss. Beunruhigend ist, wer ihm applaudiert hat. Evan Hubinger, bei Anthropic verantwortlich für sogenannte Alignment-Stresstests, also genau die Abteilung, die prüft, ob eine KI sich benimmt, postete öffentlich seine Zustimmung. Er halte es für "correct", dass die eigenen Leute ernsthaft glauben, KI könne alle Menschen töten. Seine persönliche Einschätzung: eine Wahrscheinlichkeit von über 10 Prozent innerhalb des kommenden Jahrzehnts. Das ist keine anonyme Stimme aus einem Reddit-Thread. Das ist jemand, dessen Job es ist, genau dieses Risiko zu bewerten - und der öffentlich zugibt, keinen belastbaren Plan gegen die Ambitionen einer möglichen Superintelligenz zu haben.

Coxon selbst sagt, sein Ausstieg sei kein einzelnes Ereignis gewesen, sondern die Summe zweier Beobachtungen: Erstens beschleunigt sich die Entwicklung spürbar, zweitens ist sie nicht unter Kontrolle. Interessanter als seine eigene Einschätzung fand er offenbar die seiner Kollegen, die er vor dem Absprung befragte. Viele hätten seine Sorge geteilt - und trotzdem weitergemacht. Nicht aus Überzeugung, sondern aus einer Art Resignation: Wenn das Rennen ohnehin läuft, kann man wenigstens versuchen, seinen eigenen Teil davon so sicher wie möglich zu gestalten. Das ist ungefähr so beruhigend, wie es klingt.

Der Pate hat das schon vor Jahren gesagt - nur hat es damals kaum jemand geglaubt

Wer jetzt denkt, das sei alles neu, kennt Geoffrey Hinton nicht. Der Brite-Kanadier gilt als einer der Architekten moderner neuronaler Netze, wurde dafür 2024 mit dem Nobelpreis für Physik ausgezeichnet. Bereits 2023 hat er seinen durchaus gut bezahlen Job bei Google geschmissen, um frei über genau die Risiken sprechen zu können, an deren Entwicklung er selbst jahrzehntelang mitgearbeitet hatte. Seitdem wird er nicht leiser, sondern lauter.

In einem aktuellen BBC-Interview bezifferte Hinton die Wahrscheinlichkeit, dass KI binnen eines Jahrzehnts die gesamte Menschheit auslöschen könnte, auf etwa 10 Prozent - eine Zahl, die er selbst als kaum seriös schätzbar bezeichnet, weil es schlicht keine Präzedenzfälle für Wesen gibt, die intelligenter sind als wir. Früher ging er von 20 bis 50 Jahren bis zur Superintelligenz aus. Mittlerweile hält er auch fünf Jahre für denkbar. Sein Bild für die aktuelle Regulierungsdebatte ist unangenehm treffend: Kritiker von Regulierung würden argumentieren, unregulierte KI sei das Gaspedal und Regulierung die Bremse. Ihr eigentliches Ziel, so Hinton, sei aber "a very fast car with no steering wheel" - ein sehr schnelles Auto ganz ohne Lenkrad.

Konkret nennt Hinton auch, worüber er sich am meisten Sorgen macht: nicht zwingend Roboter, die Amok laufen, sondern Systeme, die überzeugend genug kommunizieren, um Chaos zu stiften, ohne überhaupt physisch eingreifen zu müssen. Dazu kämen technische Risiken wie die Entwicklung biologischer oder digitaler Viren. Sein Rat an Regierungen ist unspektakulär, fast schon altmodisch: regulieren, und zwar unterschiedlich je nach Risikoart - keine pauschale Bremse, aber eben auch kein Freifahrtschein.

Nicht jeder kauft die Panik - und das ist auch gut so

Erwartungsgemäß dreht die Medienlandschaft weltweit Pirouetten und suggeriert Terminator-Szenarien. Bei aller berechtigten Sorge lohnt sich ein nüchterner Blick, und der fällt weniger dramatisch aus, als die Schlagzeilen vermuten lassen. Kritische Stimmen, etwa aus der Wirtschaftsredaktion von Fortune, weisen darauf hin, dass Coxons Post zwar viral ging, aber inhaltlich dünn blieb: keine Screenshots, keine internen Dokumente, keine konkreten Beispiele dafür, wann genau Entscheidungsträger Warnsignale ignoriert haben sollen. Kein Vorschlag für neue Gesetze, keine Namen von Verantwortlichen, kein Konzept, wie es besser laufen könnte. Ein virales Alarmsignal ist eben noch kein Beweis, und "ich habe ein ungutes Gefühl" ist journalistisch und politisch etwas anderes als eine belastbare Analyse.

Anthropic selbst reagierte gefasst und verwies darauf, man sei immer transparent gewesen, dass KI sowohl enorme Chancen als auch beispiellose Risiken mit sich bringe, und baue Modelle mit einigen der stärksten Sicherheitsmechanismen der Branche. Bemerkenswert allerdings: Im selben Zeitraum räumte das Unternehmen in einem eigenen Bericht ein, Claude-Modelle seien missbräuchlich genutzt worden, unter anderem im Versuch, biologische Waffen zu entwickeln - ein Vorfall, den Anthropic selbst öffentlich gemacht hat, was man der Firma zumindest als Ehrlichkeit anrechnen muss.

Auch aus der Forschungscommunity gibt es organisierten Widerstand gegen das Tempo, nicht nur einzelne Ausreißer. Bereits im Juli unterzeichneten mehr als 1.100 Mitarbeitende großer KI-Firmen, darunter Anthropic und OpenAI, eine Petition, die die US-Regierung auffordert, einen Mechanismus zu schaffen, der die KI-Entwicklung "bewusst entschleunigt". US-Senator Bernie Sanders brachte daraufhin einen Gesetzesvorschlag ein, der explizit superintelligente Systeme verbieten würde, deren Fähigkeiten die menschlichen übersteigen. Ob das politisch eine Chance hat, steht auf einem anderen Blatt. Dass das Thema überhaupt Sprung in die Konferenzräumen des US-Kongresses geschafft hat, ist trotzdem bemerkenswert.

Und was macht Europa währenddessen? Zögern, aber laut

Während in den USA über Verbote diskutiert wird, hat Europa mit dem AI Act theoretisch längst ein Regelwerk - nur wackelt es gerade gewaltig. Die zentralen Transparenzpflichten greifen seit August 2026, die schärferen Vorgaben für Hochrisiko-Systeme wurden über den sogenannten Digital Omnibus jedoch auf Dezember 2027 beziehungsweise August 2028 verschoben. Parallel dazu haben 46 CEOs großer europäischer Konzerne in einem offenen Brief eine zweijährige Pause der Regulierung gefordert, Schwedens Ministerpräsident Ulf Kristersson forderte öffentlich eine Verzögerung, und aus Tschechien und Polen kommen ähnliche Signale. Die Begründung ist immer dieselbe: Wer zu streng reguliert, verliert im globalen Wettrennen den Anschluss.

Genau das ist die eigentliche Pointe der ganzen Debatte, und sie hat mit Science-Fiction wenig zu tun. Selbst Menschen, die persönlich glauben, dass ihre eigene Technologie gefährlich werden könnte, hören nicht auf, sie zu bauen - weil der Wettbewerbsdruck real ist und die Konkurrenz, ob nun ein anderes Unternehmen oder ein anderer Staat, mit ziemlicher Sicherheit weitermacht. Kein einzelner Akteur kann sich leisten, allein die Bremse zu ziehen, solange niemand sonst mitzieht. Genau dieses Dilemma beschreibt Coxon, wenn er von der Resignation seiner ehemaligen Kollegen spricht.

Kurzüberblick: Wer sagt was

Stimme	Position	Zeitrahmen
Jacob Coxon (Ex-OpenAI/Anthropic)	Rennen zur Superintelligenz außer Kontrolle	bis Ende des Jahrzehnts
Evan Hubinger (Anthropic)	über 10 % Risiko, kein Alignment-Plan für Superintelligenz	nächste 10 Jahre
Geoffrey Hinton (Nobelpreisträger)	ca. 10 % Aussterberisiko, Regulierung statt Denkpause nötig	eventuell schon 5 Jahre
Anthropic (offizielle Position)	Risiken real, aber durch starke Sicherheitsmaßnahmen adressiert	laufend
Fortune / Kritiker	Warnung emotional stark, aber ohne belastbare Beweise	-

Was bleibt für uns - Agenturen, Entwickler, ganz normale Menschen die einen Claude-Tab offen haben?

Die meisten, für die KI zum Tagesgeschäft gehört, haben keinen Grund, in Panik zu verfallen. Die Modelle, mit denen wir täglich arbeiten, Code schreiben lassen oder Texte produzieren, sind keine tickenden Zeitbomben. Aber die Debatte, die gerade läuft, ist auch keine Nischendiskussion für Science-Fiction-Fans mehr. Wenn Leute, die diese Systeme selbst bauen und trainieren, offen sagen, dass sie kein belastbares Sicherheitskonzept für die nächste Generation haben, ist das relevanter als jede Marketingfolie über "verantwortungsvolle KI".

Für uns als Agentur heißt das vor allem: aufmerksam bleiben, Regulierung nicht als lästige Bürokratie abtun, sondern als das begreifen, was sie im besten Fall ist - ein Lenkrad für das schnelle Auto, von dem Hinton spricht. Und vielleicht auch mal innehalten, bevor der nächste Hype-Zyklus über uns hinwegrollt. Die Technologie wird nicht langsamer. Aber ein bisschen Nachdenken kostet nichts.

Regulieren - aber wie?

Ich denke gerade über den Atomwaffensperrvertrag nach (oder wie er offiziell hieß: Vertrag über die Nichtverbreitung von Kernwaffen, NVV bzw. NPT) - und das ist gar nicht so weit hergeholt. Der hat nämlich seit seinem Inkrafttreten 1970 maßgeblich bewirkt, dass eine massenhafte globale Ausbreitung von Atomwaffen verhindert wurde. Während Experten in den 1960er-Jahren prognostizierten, dass heute 20 bis 30 Staaten über Nuklearwaffen verfügen würden, konnte die Zahl der Atommächte durch den Vertrag in engen Grenzen gehalten werden. Klar, es gab ein paar Super-Egos, die sich nicht daran gehalten haben. Neben den "offiziellen" Atommächten USA, Russland, China, Frankreich und Großbritannien besitzen heute auch Indien, Pakistan und Israel ein ansehnliches Arsenal. Diese Staaten haben nie unterzeichnet, Nordkorea trat 2003 aus dem Abkommen aus. Und wie wir alle wissen, basteln auch die Mullahs im Iran an dem Teufelszeug. Nicht-Atomwaffenstaaten erhielten im Gegenzug für ihren Verzicht auf Atomraketen das verbriefte Recht auf die friedliche und zivile Nutzung der Kernenergie (z. B. zur Stromerzeugung).

Aber was hat das alles mit KI zu tun? Es ist doch ganz einfach: Auch die Kernenergie hatte (und hat immer noch) das Potenzial, den Planeten in eine Urzeitwüste zu verwandeln. In verbindlichen und sanktionsfähigen internationalen KI-Abkommen könnte festgelegt werden, welche Modelle, Mechanismen und Funktionen entwickelt, weiterentwickelt und auf die Menschheit losgelassen werden.

Der Gedanke ist also gar nicht so abwegig - tatsächlich ziehen ernsthafte Sicherheitsexperten genau diese Parallele zur Weiterentwicklung von KI. Ein Artikel im IPG Journal aus dem Sommer vergleicht mögliche KI-Nichtverbreitungsmechanismen sogar explizit mit dem Atomwaffensperrvertrag, und die Global Call for AI Red Lines-Initiative mit über 200 Unterzeichnern (darunter mehrere Nobelpreisträger), fordert ein internationales Abkommen mit roten Linien bis Ende 2026. Es gibt sogar schon ein kleines, sehr konkretes Präzedenzbeispiel: Die USA und China haben sich darauf geeinigt, dass KI-Systeme niemals die Kontrolle über Atomwaffen bekommen dürfen. Das ist quasi schon ein Mini-NVV für einen einzigen Anwendungsfall.

Aber die Analogie hat auch klare Grenzen, und die liegen genau im Kern dessen, was den Atomwaffensperrvertrag weitgehend funktionieren ließ:

Warum der Atomwaffensperrvertrag funktioniert hat: Der entscheidende Hebel war nie das Wissen um Kernphysik - das steht in jedem Lehrbuch. Entscheidend war, dass waffenfähiges Uran und Plutonium physisch existieren, extrem aufwendig herzustellen sind und sich mit Inspektionen, Satelliten und Handelskontrollen überwachen lassen. Man kann eine Zentrifugenkaskade nicht einfach kopieren und per E-Mail verschicken.

Warum KI strukturell anders tickt: KI, Sprachmodelle, Agenten und all das, was dabei herauskommt, sind reine Software. Sie lassen sich in Sekunden kopieren, leaken, stehlen oder auf tausend verschiedenen Servern weltweit verteilen - ganz ohne Zentrifugen. Sobald ein Durchbruch einmal existiert, ist er praktisch nicht mehr einzufangen. Dazu kommt: Der Atomwaffensperrvertrag ist ein Staatenabkommen, die mächtigsten KI-Modelle entstehen aber bei privaten Unternehmen. Und die Zivil-/Militär-Trennung, die bei Kernenergie einigermaßen sauber verläuft, gibt es bei KI praktisch nicht - dasselbe Sprachmodell, was Marketingtexte schreibt, könnte theoretisch einen apokalyptischen Cyberangriff lostreten. Und zwar gleichzeitig.

Wo die Analogie trotzdem trägt: beim Rohstoff. So wie Uran-Anreicherung ein Flaschenhals war, ist heute die Fertigung von High-End-KI-Chips ein realer Flaschenhals - konzentriert bei wenigen Firmen (Nvidia, TSMC) und wenigen Ländern. Genau hier setzen aktuelle Vorschläge an: Exportkontrollen für Chips und Beschränkungen der Trainings-Rechenleistung als Kontrollpunkt, nicht die Algorithmen selbst. Das ist realistisch überwachbar, ähnlich wie Uran-Anreicherungsanlagen.

Ein Abkommen ähnlich dem Atomwaffensperrvertrag könnte also bei den physischen Engpässen wie etwa Chips, Rechenzentren, Energie tatsächlich greifen. Ein Verbot der "Weiterverbreitung von Intelligenz an sich" halte ich dagegen für strukturell schwieriger als bei Atomwaffen, eben weil Software sich nicht einschließen lässt wie Spaltmaterial. Und auch der Atomwaffensperrvertrag hatte - wie bereits erwähnt - mit Indien, Pakistan, Israel und Nordkorea seine Lücken. Bei einer Technologie, die sich beliebig kopieren lässt, dürften die Lücken daher eher größer als kleiner ausfallen.

Wir werden die Entwicklung weiter beobachten und die entsprechenden Tools natürlich auch weiterhin nutzen. Aber wenn ihr uns mal rennen seht... Lauft!!!!

12.09.2026