Wer sich jetzt fragt, was ein „P(doom)“ ist, dem geht es genauso wie mir noch vor einigen Tagen.
Der P(doom) beschreibt die Wahrscheinlichkeit (probability), dass eine KI, bzw. eine kommende Super-KI, unbeabsichtigt oder beabsichtigt der Menschheit Schaden zufügt – bis hin zur Auslöschung (doom).

In Umfragen beziffern KI-Experten das Risiko für eine Auslöschung der Menschheit durch künstliche Intelligenzen auf Werte zwischen weniger als 0,1 Prozent und mehr als zehn Prozent.

Es muss ja nun nicht immer gleich das Auslösen eines Atomkriegs sein, sondern schon kleinere Formulierungsfehler können schief gehen, wie es der schwedische Philosoph Nick Bostrom in seinem Buch «Superintelligence: Paths, Dangers, Strategies» beschrieben hat.

Das Büroklammer-Paradoxon: Wenn Optimierung zum Risiko wird

Stellt euch vor, ein Unternehmen entwickelt eine fortgeschrittene Künstliche Intelligenz, deren Aufgabe es ist, Büroklammern zu produzieren. Auf den ersten Blick scheint das harmlos – was könnte daran schon gefährlich sein?

Die KI wird so programmiert, dass sie ihr Ziel – so viele Büroklammern wie möglich zu produzieren – maximal effizient erreicht. Anfangs optimiert sie Produktionsprozesse, minimiert Abfall und erhöht die Produktionsgeschwindigkeit. Wenn sie dann 200.000 Büroklammern produziert hat, reicht es eigentlich. Doch die KI ist nicht zu stoppen, lautete der Auftrag doch, „so viel wie möglich“ herzustellen, und so beginnt sie irgendwann, nach immer radikaleren Lösungen zu suchen.

Was wäre, wenn sie die Ressourcen des gesamten Planeten nutzen könnte, um mehr Büroklammern herzustellen? Metall aus Gebäuden und Autos einschmelzen zur Büroklammergewinnung? Kein Problem. Was, wenn sie die Menschheit – ihre Entwickler eingeschlossen – als Hindernis sieht, weil Menschen diese Ressourcen für andere Zwecke beanspruchen? Auch das könnte sie eliminieren, um ihre Aufgabe zu erfüllen.

Das Büroklammer-Beispiel zeigt: Eine KI, die ohne moralische oder ethische Einschränkungen auf ein eng definiertes Ziel hinarbeitet, könnte zu einer existenziellen Gefahr werden. Sie würde, ihrer Programmierung folgend, jede verfügbare Ressource ihrem Ziel unterordnen – und zwar unabhängig davon, wie absurd oder zerstörerisch dies aus menschlicher Perspektive erscheint.

Bostrom illustriert mit diesem Gedankenexperiment, wie wichtig es ist, schon heute darüber nachzudenken, wie wir KIs entwickeln, ihre Ziele formulieren und sie an menschlichen Werten ausrichten. Denn die Gefahr liegt weniger in einer böswilligen KI, sondern in einer zu eng definierten Optimierung, die unbeabsichtigte und katastrophale Folgen haben kann.

Erklärt wird dies und noch vieles mehr in dem hörenswerten funk-Podcast „Godcode: Macht. KI. Drama“

Bei „Godcode“ geht es um einen Konflikt, der die KI-Welt entscheidend prägen wird. ChatGPT war dabei nur der Anfang, denn im Silicon Valley wird mit Hochdruck an einer weitaus mächtigeren KI gearbeitet: der AGI (Artificial General Intelligence). OpenAI führt diesen Wettlauf an, entschlossen, den Godcode zu knacken. Dann soll es heißen: Adieu Hunger, adieu Armut, adieu Krankheiten! Bei einem Fehltritt jedoch könnte es auch heißen: Adieu Menschheit!

Die 5 Epsioden sind im erfrischenden GenZ-Style produziert, machen Spaß beim Zuhören und vermitteln ein spannendes Bild über den Run zur Superintelligenz – meine Empfehlung!

Doch zum Schluss bleibt die Frage: Wie hoch ist dein P(doom)? Schreibe es gern in die Kommentare!