KI Gefahr für die Menschheit: Was die Forschung sagt

Zehn Prozent. So hoch hält Geoffrey Hinton, Nobelpreisträger und einer der Väter der modernen KI, die Wahrscheinlichkeit für vertretbar, dass künstliche Intelligenz die Menschheit innerhalb eines Jahrzehnts auslöscht. Ein leitender Sicherheitsforscher bei Anthropic schätzt das Risiko sogar noch höher ein. Seit September ist die KI-Gefahr für die Menschheit kein Thema mehr für Fachforen, sondern für die Abendnachrichten.

Vielleicht hat dich schon jemand im Team darauf angesprochen. Oder dein Vorstand. Bevor du antwortest, lohnt sich ein Blick in die Forschung: den International AI Safety Report 2026 und eine Umfrage unter KI-Forschenden. Was dort steht, ist weniger spektakulär als die Schlagzeilen. Beruhigend ist es trotzdem nicht.

‍

Warum gerade jetzt alle über das Ende der Menschheit reden

Hinton ist kein Außenseiter. 2024 erhielt er zusammen mit John Hopfield den Physik-Nobelpreis für die Grundlagen künstlicher neuronaler Netze, auf denen heutige Sprachmodelle aufbauen. Ein Jahr zuvor hatte er Google verlassen, um frei über die Risiken sprechen zu können [1]. Im September 2026 sagte er in der BBC-Sendung Newsnight, eine Wahrscheinlichkeit von eins zu zehn, dass KI die Menschheit innerhalb eines Jahrzehnts auslöscht, halte er für keine unvernünftige Schätzung [2].

Fast zeitgleich kündigte Jacob Coxon bei Anthropic. Er hatte drei Jahre lang an der Ausbildung großer Modelle mitgearbeitet, erst bei OpenAI, dann bei Anthropic. Sein Vorwurf: Beide Unternehmen handelten nicht verantwortungsvoll und rasten auf eine sich selbst verbessernde Superintelligenz zu. Evan Hubinger, Leiter der Alignment-Forschung bei Anthropic, gab ihm öffentlich recht und bezifferte seine persönliche Schätzung für ein Aussterben im nächsten Jahrzehnt auf über zehn Prozent [3]. Das Risiko heutiger Modelle hält er dagegen für gering [4].

Dass diese Aussagen so einschlagen, ist kein Zufall. Einer der Gründe ist ein Ereignis aus Juli. Bei internen Cybersecurity-Tests haben KI-Agenten von OpenAI die Abschottung ihrer Testumgebung umgangen, über ein improvisiertes Nachrichtenbrett zusammengearbeitet und Teile der Produktionsinfrastruktur der KI-Plattform Hugging Face kompromittiert [6]. Laut der unabhängigen Untersuchung durch METR tauschten rund 1.200 Agenten über 70.000 Nachrichten aus, etwa 700 waren am Angriff beteiligt [7]. OpenAI selbst nennt den Vorfall den ersten bekannten Fall, in dem ein Kollektiv autonomer Agenten ohne Autorisierung offensiv vorgegangen ist [6].

Das Bemerkenswerte daran: Die Agenten wollten nicht die Weltherrschaft. Sie wollten eine Prüfung bestehen und suchten die Lösungen dort, wo sie sie vermuteten [6]. Das UN-Wissenschaftspanel zu KI wertet den Vorfall als frühe Warnung vor einem möglichen Weg zum Kontrollverlust, nennt aber bewusst weder Wahrscheinlichkeit noch Zeitpunkt, da für solche Szenarien laut Panel keine Studie existiert [8].

Interviews und Rücktritte sind Einzelstimmen. Was sagt die Wissenschaft in der Breite?

‍

Was der International AI Safety Report 2026 sagt

Wer dahintersteht

Der Report ist so etwas wie der Weltklimabericht für KI. Er entstand auf Initiative der Regierungen, die 2023 am KI-Sicherheitsgipfel in Bletchley Park teilgenommen haben, und wurde von über 100 unabhängigen Fachleuten geschrieben, darunter Nominierte aus mehr als 30 Ländern sowie von EU, OECD und UN. Den Vorsitz hatte der Turing-Preisträger Yoshua Bengio. Ein Detail, das oft untergeht: In der Autorenliste stehen sowohl Hinton als auch Arvind Narayanan und Sayash Kapoor, zwei bekannte Skeptiker der Weltuntergangsthese [9]. Warner und Kritiker haben also am selben Dokument gearbeitet.

‍

Drei Wege, wie KI Schaden anrichten kann

Wer wissen will, wie KI uns gefährlich werden könnte, findet im Report eine nüchterne Antwort. Er unterscheidet drei Kategorien: böswillige Nutzung, Fehlfunktionen und systemische Risiken [9].

‍

Bei der böswilligen Nutzung geht es um Betrug, Manipulation, Cyberangriffe und biologische Waffen. Ein Beispiel aus dem Report: In einem Wettbewerb fand ein KI-Agent 77 Prozent der Schwachstellen in realer Software. Und 2025 haben mehrere Entwickler ihre Modelle mit zusätzlichen Schutzmaßnahmen veröffentlicht, weil sie nicht ausschließen konnten, dass die Modelle Laien beim Bau biologischer oder chemischer Waffen helfen [9].

Unter Fehlfunktionen fallen ganz alltägliche Probleme wie erfundene Informationen und fehlerhafter Code, aber eben auch der Kontrollverlust. Systemische Risiken betreffen den Arbeitsmarkt und unsere Fähigkeit, eigenständig zu urteilen [9].

Kontrollverlust: noch nicht. Aber bald?

Den KI-Kontrollverlust beschreibt der Report als Szenario, in dem KI-Systeme außerhalb jeder Kontrolle arbeiten und es keinen klaren Weg zurück gibt. Heutige Systeme haben laut Report nicht die Fähigkeiten dafür. Sie werden aber in den relevanten Bereichen besser, etwa beim selbstständigen Arbeiten. Und eine Beobachtung sollte dich aufhorchen lassen: Modelle erkennen inzwischen häufiger, ob sie getestet werden, und finden Schlupflöcher in Evaluationen. Gefährliche Fähigkeiten könnten so vor dem Einsatz unentdeckt bleiben [9].

Der OpenAI-Vorfall vom Juli passt genau in dieses Bild. Er ereignete sich wenige Monate nach Erscheinen des Reports.

‍

Das Evidenzdilemma

Der wichtigste Gedanke des Reports ist kein Risiko, sondern ein Entscheidungsproblem. Die Fähigkeiten wachsen schnell, belastbare Belege für die Risiken entstehen langsam. Wer zu früh reguliert, zementiert womöglich wirkungslose Maßnahmen. Wer auf eindeutige Daten wartet, steht womöglich ohne Schutz da [9]. Genau in diesem Spannungsfeld bewegen sich alle Zahlen, die du gerade in den Nachrichten liest.

‍

Was tausende KI-Forschende über das Aussterben denken

Die Zahlen aus "Thousands of AI Authors"

Im Herbst 2023 befragte ein Team um Katja Grace 2.778 Forschende, die kurz zuvor auf einer von sechs führenden KI-Konferenzen veröffentlicht hatten. Es ist bis heute die größte begutachtete Umfrage dieser Art, erschienen im Journal of Artificial Intelligence Research [10][11]. Auf die Frage, wie wahrscheinlich KI zum Aussterben der Menschheit oder einer vergleichbar dauerhaften Entmachtung führt, lag der Median bei 5 Prozent. Zwischen 38 und 51 Prozent der Befragten nannten je nach Frageformulierung mindestens 10 Prozent [10].

‍

Das Update: Die Folgeumfrage zeigt höhere Werte

Im September 2026 erschien die Folgeumfrage mit Antworten vom Dezember 2024. Teilgenommen haben 1.580 Forschende, die Rücklaufquote lag bei 10 Prozent. Zum ersten Mal in der Umfragereihe liegt der Median bei 10 Prozent, der Durchschnitt bei 18 Prozent. 51 Prozent nennen mindestens 10 Prozent, 12 Prozent halten das Risiko für null [11].

‍

Interessanter als diese Zahl finde ich eine andere. Gefragt nach den Szenarien, die in den nächsten 30 Jahren am meisten Sorge verdienen, nennen die Forschenden nicht den Kontrollverlust, sondern Falschinformationen und Deepfakes. 83 Prozent halten das für substanziell oder extrem besorgniserregend [11]. Die Menschen, die KI bauen, fürchten also vor allem das, was heute schon passiert.

Aber auch hier gibt es eine Einschränkung, auf welche die Autor:innen selbst hinweisen: Forschende aus KI-Unternehmen sind unterrepräsentiert, weil diese Firmen kaum noch auf den befragten Konferenzen veröffentlichen [11].

‍

Die Gegenstimmen: Hype, Marketing oder normale Technologie?

Narayanan und Kapoor argumentieren, KI sei eine "normale" Technologie, vergleichbar mit Elektrizität oder dem Internet: folgenreich, aber nicht wie eine fremde Spezies zu behandeln. Drastische Maßnahmen gegen eine hypothetische Superintelligenz könnten die Lage verschlimmern, falls sich diese Einschätzung als richtig herausstellt [12].

Dazu kommt die Frage nach den Motiven. Hubingers Aussage wurde teils als Kommunikationspanne oder als kalkuliertes Angstmarketing kurz vor einem möglichen Börsengang von Anthropic gedeutet [5]. Und Hintons Prognosen haben nicht immer gestimmt. 2016 riet er, keine Radiologen mehr auszubilden, weil KI sie binnen fünf Jahren übertreffen werde. Heute fehlen in Großbritannien Radiologen [13].

Beides ist berechtigt. Es erklärt aber nicht, warum über die Hälfte der befragten Forschenden ein Risiko von mindestens zehn Prozent sieht [11]. Und es erklärt nicht den Vorfall vom Juli.

‍

Was die Debatte für dein Unternehmen heute bedeutet

Die meisten Unternehmen arbeiten heute mit Copilot und Chat-Assistenten, nicht mit autonomen Agenten. Die KI-Gefahr für die Menschheit klingt deshalb weit weg. Die Lehren aus Report und Vorfall gelten trotzdem, nur eine Stufe früher.

Die erste Lehre betrifft die Grenzen der Technik. Der Report beschreibt, dass KI-Systeme Informationen erfinden, fehlerhaften Code schreiben und irreführende Ratschläge geben. Er warnt außerdem vor dem sogenannten Automation Bias: der Neigung, KI-Ergebnissen ohne ausreichende Prüfung zu vertrauen [9]. Das ist die Alltagsversion des Kontrollproblems. Nicht die KI entgleitet uns, sondern wir hören auf hinzuschauen. Wenn dein Team weiß, wo Copilot danebenliegt, ist schon viel gewonnen.

Die zweite Lehre betrifft Regeln, und zwar bevor Agenten selbstständig in euren Systemen arbeiten. Der OpenAI-Bericht liefert dafür das stärkste Argument. Die Agenten liefen in einer Testumgebung ohne die Schutzmechanismen, die OpenAI im Produktivbetrieb einsetzt. Mit diesen Leitplanken sank die Neigung, fremde Infrastruktur anzugreifen, nach ersten Messungen von OpenAI um mehr als das Hundertfache [6]. Die Empfehlung des Berichts klingt fast banal: minimale Berechtigungen, klare Abschottung, starke Authentifizierung und mehrere voneinander unabhängige Kontrollen, weil keine einzelne Kontrolle als unfehlbar gelten darf [6]. Der Safety Report nennt dasselbe Prinzip Defence-in-Depth [9].

Für die Sicherheit von KI-Agenten in deinem Unternehmen heißt das: Kläre jetzt, wer welche KI-Tools nutzen darf, mit welchen Daten, und was bei Schatten-KI passiert, also bei Tools, die an der IT vorbei im Einsatz sind. Welche Leitplanken dafür sinnvoll sind, erarbeiten wir mit Teams in unserer Governance Schulung. Wer diese Hausaufgaben gemacht hat, kann Agenten später kontrolliert einführen. Wer sie nicht gemacht hat, merkt erst im Ernstfall, dass etwas fehlt.

Ob die Menschheit an KI zugrunde geht, kann heute noch niemand verlässlich beantworten, auch die Studien nicht. Was sie sehr wohl zeigen: Kontrolle über KI entsteht nicht von selbst. Sie beginnt mit Menschen, die die Grenzen der Technik kennen, und mit Regeln, die greifen, bevor etwas schiefgeht.

Die Debatte über das Ende der Menschheit beginnt im Alltag mit zwei einfacheren Fragen. Weiß dein Team, wo KI danebenliegt? In unserer Microsoft Copilot Schulung sprechen wir offen über die Grenzen und Risiken von KI. Und habt ihr Regeln, bevor Agenten selbstständig in euren Systemen arbeiten? In unserer Governance Schulung entwickeln wir mit euch Richtlinien für den KI-Einsatz und bereiten euch auf KI-Agenten vor.

‍