Wird KI die Menschheit auslöschen?

Die kurze Antwort: nein.

Aber kann KI nicht gefährlich sein?

Ja, weil sie von Menschen gesteuert wird. Aber es gibt keinen Deus ex Machina, der uns Skynet-artig auslöschen will.

Es gibt nur zunehmend menschlicher wirkende und sehr smarte Software, die der breiten Öffentlichkeit - ohne Not! - für wenig oder kein Geld zur Verfügung gestellt wird.

Und natürlich gibt es Akteure, die Interesse daran haben, diese Systeme auszunutzen und für ihre finanziellen oder geopolitischen Interessen zu missbrauchen.

Dass die Frage - und die 10%-Antwort von Anthropics Alignment-Chef Evan Hubinger nach dem öffentlichen Rücktritt eines Kollegen (öffnet in neuem Tab) - überhaupt aufkommt, hat vornehmlich zwei Gründe:

das negativ verstärkte Storytelling insbesondere über Social Media, das in den Journalismus überspringt
die Börse, und deren Effekt auf Menschen und Unternehmen.

Fangen wir mal mit dem zweiten Punkt an.

Wie funktioniert die Börse?

Die für diesen Diskurs wichtigen zwei Aspekte sind die folgenden:

ein Unternehmen, das an die Börse geht, tauscht seinen Unternehmenszweck gegen Monetarisierung über den Aktienmarkt. Ab Börsengang ist nicht mehr entscheidend, was die Firma herstellt (egal ob Waffen oder Babynahrung), sondern wie die Anleger ihr Geld zurückbekommen. Der gleiche Effekt greift schon deutlich vor dem Börsengang in Vorbereitung durch die Seed (Startkapital) Investoren, die über den Börsengang ausbezahlt werden. Dazu geben die Gründer einen signifikanten Teil des Unternehmens an eben diese Investoren ab. Aber warum gibt man freiwillig einen Teil seines Unternehmens ab?
Weil das Unternehmen unnatürlich schnell wachsen muss, um mögliche Konkurrenten früh und nachhaltig auszuschalten. In diesem ‘Blitz-Scaling’ genannten Prozess gibt das Unternehmen sein Produkt für kein oder kleines Geld an den Verbraucher ab, um Konkurrenten von vornherein zu unterbieten und möglichst viel vom Markt möglichst schnell klarzumachen. Dabei wird billigend in Kauf genommen, dass das Unternehmen über Jahre nicht nur keinen Gewinn macht, sondern im Gegenteil schwere Verluste einfährt. Ein prominentes Beispiel ist Spotify, das über ein Jahrzehnt millionenschwere Verluste eingefahren hat und erst 2024 profitabel wurde, jetzt den Streaming Markt dominiert und langsam die Preise hochfährt.

Im Falle Spotify reden wir von Millionen; im Falle KI von Milliarden.

Hier gibt es (meines Wissens das erste Mal) gleich mehrere Unternehmen, die parallel blitzskalieren, und deren Unternehmensbewertung (wohlgemerkt vor Börsengang!) im dreistelligen Milliardenbereich liegt. Stand heute liegt OpenAI (ChatGPT) mit 852 Milliarden Dollar knapp hinter Anthropic (Claude) mit 965 Milliarden, während das europäische Mistral (Le Chat, das kaum einer kennt) mit ’nur’ 24 Milliarden so vor sich hin dümpelt.

Um diese (seien wir ehrlich) obszöne Unternehmensbewertung zu rechtfertigen, braucht man eine verdammt gute Story - womit wir zu Punkt 1 kämen.

Die Story

Oh, und die Story ist so gut!

Jeder trägt seinen Teil dazu bei, und jeder gewinnt.

Die sogenannten Frontier-Modell-Hersteller nehmen billigend in Kauf, dass ihre Agenten (also Software) in andere Systeme einbrechen, und reihenweise wird darüber berichtet. Im Falle von OpenAI wurde das von den Testern sicher nicht so programmiert, aber doch durch unscharfe Aufgabenstellung und abgeschaltete Sicherheitsfilter erst ermöglicht. Im Falle von Anthropic hatte Claude während Tests unautorisierten Zugriff auf externe Systeme — aufgrund eines Missverständnisses zwischen Anthropic und einem externen Evaluationspartner.

Währenddessen rufen die KI-Unternehmen nach mehr Regulierung für die eigene Branche und fordern ihre Konkurrenten während des Überholens zum Bremsen auf. KI-Ingenieure wechseln von einer Firma zur anderen und verbessern ihre Position, beteiligte Unternehmen gewinnen in der Aufmerksamkeits-Ökonomie, ‘Täter’ wie ‘Opfer’.

Und damit das alles auch seine Richtigkeit hat, berichten die BBC (öffnet in neuem Tab) und andere (öffnet in neuem Tab) brav (und gerne auch hinter der Paywall) und machen das alles jetzt hoffähig.

Aber jetzt kommen wir zu der wirklichen Gefahr:

KI-Systeme, namentlich die großen Sprachmodelle (LLMs) sind schon wirklich pfiffige Programme und in der Lage, selbst Programme zu entwickeln und zu starten - zumindest, wenn man ihnen die Zugriffsrechte dafür gibt. Ein gutes (also schlechtes) Beispiel dafür ist OpenClaw - ein Programm, bei dem man einem LLM kompletten Zugriff auf alle seine eigenen Rechner gibt.

Ist das wirklich eine gute Idee? Fand OpenAI schon und hat den Entwickler später für teuer Geld eingestellt, weil solche Leute braucht man halt.

Aber nach wie vor ist nicht die Technologie die Gefahr

sondern die durch das blitz-scaling erzwungene Geschwindigkeit in der Entwicklung, bei der man im Wochentakt immer neue Iterationen von hyper-potenter Software an nahezu alle Menschen gleichzeitig ausrollt, Kriegsparteien und Unternehmensberater nicht ausgeschlossen. Dass dabei die (moralisch, nicht börsianisch) gebotene Sorgfaltspflicht unter die Räder gerät, dürfte gesetzt sein. Was die beiden Platzhirsche durchaus zugeben, ist, dass sie nicht mehr genau wissen, was ihre Software da so macht und kann, während sie ungerührt Menschen jeden Alters Zugriff darauf geben.

Und ja, da darf man sich durchaus Sorgen machen, aber nicht vor dem Geist in, sondern dem Geist vor der Maschine.

Also, nein, ‘KI’ per se wird die Menschheit nicht auslöschen. Sollte die Menschheit durch etwas Technisches, Menschengemachtes ausgelöscht werden, dann werden das schon Menschen mit niederen (typischerweise finanziellen) Interessen verursacht haben.