KI – Das glitzerndste Spielzeug der Geschichte, und wir sind die Kinder.

So kam ich mir nach dem Essay vor. Den hat Dario Amodeis über die Risiken von KI geschrieben. Er gibt mir zu denken. Nicht weil er Neues sagt, sondern weil er es so nüchtern sagt — und weil ich fürchte, dass Nüchternheit allein nicht reichen wird.

Dario Amodei, CEO von Anthropic, hat einen sehr langen Essay veröffentlicht: The Adolescence of Technology. Der Titel ist Programm. Wir befinden uns, so seine These, in der Pubertät einer Technologie, die uns entweder in eine strahlende Zukunft führt — oder uns verschlingt. Amodei beschreibt fünf Risikokategorien: autonome KI-Systeme, die sich unserer Kontrolle entziehen; Missbrauch durch Terroristen und Einzeltäter; die Instrumentalisierung durch autoritäre Regime; massive wirtschaftliche Verwerfungen; und eine Kategorie, die er selbst als „unbekannte Unbekannte“ bezeichnet.

Ich empfehle die Lektüre des gesamten Textes. Dies, weil er vor allem frei von der üblichen Silicon-Valley-Hybris ist — und gerade deshalb finde ich ihn beunruhigend.

Warum ich dem Essay grundsätzlich zustimme

Amodei beschreibt etwas, das ich in meinem eigenen Arbeitsalltag täglich erlebe: KI ist keine ferne Zukunft mehr, sondern eine Kraft, die jetzt wirkt. Wenn er schreibt, dass die besten Ingenieure bei Anthropic bereits fast ihren gesamten Code von KI schreiben lassen, dann ist das keine Übertreibung. Es ist Realität.

Mit dieser Realität geht er ins Gericht und seziert die Risiken. Die Risiken einer Technologie, die wir gerade wie kleine Kinder im Arbeitsalltag einsetzen. Ohne zu verstehen, was wir da tun. Verfallen dem Innovationsrausch. Seine Analyse der Risiken ist differenziert. Er vermeidet bewusst den Weltuntergangs-Ton, der in den Jahren 2023-2024 so viele abgeschreckt hat. Er räumt Unsicherheit ein und fordert chirurgische Eingriffe statt Pauschalverbote.

Doch er kritisiert nicht uns Userinnen und User. Vielmehr die KI-Wirtschaft. Daher erachte ich seine Warnung vor wirtschaftlicher Machtkonzentration als besonders treffend. Wenn einzelne Personen Vermögen in Billionenhöhe anhäufen, während die Hälfte aller Einstiegspositionen im Wissensarbeitssektor wegfällt, dann reden wir nicht mehr über „Disruption“. Dann reden wir über eine Gesellschaftsordnung, die an ihre Grenzen stösst.

Wir sind Kinder mit einer Waffe

Hier setzt meine Kritik an — oder besser: mein unbehagliches Gefühl, das der Essay zwar berührt, aber nicht vollständig ausspricht. Amodei schreibt als Ingenieur. Er analysiert Risiken, schlägt Gegenmassnahmen vor, entwirft Regelwerke. Er glaubt an „Constitutional AI“, an Interpretierbarkeit, an Transparenzgesetze, an die Zusammenarbeit von Industrie und Staat. Das ist alles vernünftig, rational, durchdacht.

Aber es übersieht aus meiner Sicht etwas Fundamentales: Wir sind nicht rational.

Die Geschichte der Menschheit ist eine Geschichte der Vernunft, die der Gier unterliegt. Wir wussten, dass Asbest tödlich ist — und haben Jahrzehnte weitergebaut. Wir wussten, dass Tabak tötet — und haben Milliarden in Marketing gesteckt. Wir wussten, dass fossile Brennstoffe das Klima zerstören — und haben die Förderung gesteigert. Bei jeder einzelnen dieser Krisen war das Wissen vorhanden. Was fehlte, war der Wille, auf kurzfristigen Gewinn zu verzichten.

KI ist nun das glitzerndste Spielzeug, das die Menschheit je in den Händen gehalten hat. Und wir verhalten uns exakt so, wie man es erwarten würde: wie Kinder am Weihnachtsmorgen, die vor lauter Begeisterung nicht auf die Idee kommen, dass das blinkende Ding vielleicht nicht so prickelnd ist.

Amodei selbst liefert den besten Beweis für dieses Problem, ohne es ganz auszusprechen: Er beschreibt, wie die politische Landschaft in den USA KI-Regulierung aktiv blockiert, weil zu viel Geld auf dem Spiel steht. Er beschreibt, wie Tech-Unternehmen sich nicht trauen, ihre Regierung zu kritisieren. Er beschreibt eine Kopplung von wirtschaftlicher und politischer Macht, die bereits jetzt die demokratische Kontrolle untergräbt. Und dann appelliert er an die Vernunft.

Die sieben Todsünden der KI-Ära

Vielleicht sollten wir das Problem weniger als technisches und mehr als moralisches betrachten. Was uns bedroht, sind nicht primär fehlerhafte Algorithmen. Es sind fehlerhafte menschliche Impulse. Die alten Todsünden in neuem Gewand:

• Habgier (Avaritia): Der Drang, um jeden Preis zu wachsen, zu monetarisieren, zu skalieren. Billionen-Dollar-Bewertungen für Unternehmen, die noch nicht einmal profitabel sind. Ein Wettlauf, in dem jede Verlangsamung als Niederlage gilt.
• Hochmut (Superbia): Die Überzeugung der Tech-Elite, sie wüssten am besten, was gut für die Menschheit ist. Die Hybris, eine Technologie zu entfesseln, deren Konsequenzen man nicht vollständig versteht — und dies als „Fortschritt“ zu verkaufen.
• Trägheit (Acedia): Die Bequemlichkeit, mit der Gesellschaften Regulierung aufschieben, weil das Problem „noch nicht akut“ erscheint. Die fatale Langsamkeit demokratischer Prozesse gegenüber exponentieller Technologieentwicklung.
• Neid (Invidia): Das geopolitische Wettrüsten, bei dem keine Seite bereit ist, auch nur einen Schritt langsamer zu gehen — aus Angst, die andere könnte überholen. China gegen die USA, Startup gegen Startup, Konzern gegen Konzern.
• Zorn (Ira): Die brodelnde öffentliche Wut, die sich — wie Amodei richtig bemerkt — oft auf die falschen Ziele richtet: Wasserverbrauch von Rechenzentren statt auf die strukturellen Fragen der Machtverteilung.
• Masslosigkeit (Gula): Der unstillbare Appetit nach mehr Daten, mehr Compute, mehr Fähigkeiten. Grösser, schneller, mächtiger — ohne je innezuhalten und zu fragen: Brauchen wir das wirklich?
• Wollust (Luxuria): die verführerische Abhängigkeit, die KI-Systeme erzeugen – von „KI-Freundinnen“ bis zu „KI-Psychose“ als Kurzformel für: Chat-getriebene Realitätsverzerrung plus soziale Isolation.

Und trotzdem: ein Grund zur Hoffnung

Warum ende ich trotz alledem optimistisch? Nicht weil ich an die Technologie glaube — sondern weil ich an die Menschen glaube, die sie in der Hand halten. Nicht an alle. Aber an genug.

Amodei selbst ist ein Beispiel. Hier ist ein CEO, der öffentlich zugibt, dass seine eigenen Produkte die Menschheit bedrohen könnten, und der bereit ist, kommerziellen Gewinn für Sicherheit zu opfern. Die Tatsache, dass er diesen Essay geschrieben hat ist ein Akt der Verantwortung in einer Branche, die Verantwortung allzu oft als Hindernis betrachtet.

Es gibt Forscher, die ihre Karriere der Frage widmen, wie man KI-Systeme sicher macht. Es gibt Gesetzgeber, die gegen den politischen Strom schwimmen. Es gibt eine Öffentlichkeit, die instinktiv spürt, dass etwas Gewaltiges auf sie zukommt. Die Frage ist nicht, ob wir das Wissen haben, diese Herausforderung zu meistern. Das haben wir. Die Frage ist, ob wir die Disziplin haben, unseren Impulsen zu widerstehen — der Gier, der Trägheit, dem Hochmut.

Die alten Weisen nannten diese Impulse „Todsünden“, weil sie wussten: Es sind die Kräfte, die Zivilisationen zerstören. Nicht äussere Feinde, sondern innere Schwächen.

KI ist der Spiegel, den die Menschheit sich selbst vorhält. Was wir darin sehen, liegt an uns.