Ein Einblick in die chaotische Ethik des Krieges mit Maschinen

KI dringt in die Entscheidungsfindung im Kampf vor. Wer trägt die Schuld, wenn etwas schief geht?

In einem Krieg der nahen Zukunft – der, soweit wir wissen, morgen beginnen könnte – nimmt ein Soldat auf einem leeren Dach eine Schießposition ein. Seine Einheit kämpft sich Block für Block durch die Stadt. Es fühlt sich an, als ob die Feinde hinter jeder Ecke stillschweigend auf der Lauer liegen und bereit sind, Feuer auf ihre Ziele zu regnen, sobald sie einen Schuss haben.

Durch sein Visier scannt der Soldat die Fenster eines nahegelegenen Gebäudes. Er bemerkt, dass frische Wäsche auf den Balkonen hängt. Über Funk kommt die Nachricht, dass sein Team im Begriff ist, über ein offenes Stück Land weiter unten zu ziehen. Als sie hinausgehen, erscheint in der oberen linken Ecke des Visiers ein roter Begrenzungsrahmen. Das Computer-Vision-System des Geräts hat ein potenzielles Ziel markiert – eine umrissene Gestalt in einem Fenster scheint sich auf den Weg zu machen, um eine Aufnahme zu machen.

Der Soldat hat keine klare Sicht, aber seiner Erfahrung nach verfügt das System über eine übermenschliche Fähigkeit, die leiseste Spur eines Feindes aufzuspüren. Also richtet er sein Fadenkreuz auf die Kiste und bereitet sich darauf vor, den Abzug zu betätigen.

In einem anderen Krieg, möglicherweise auch kurz hinter dem Horizont, steht ein Kommandant vor einer Reihe von Monitoren. Es erscheint eine Warnung von einem Chatbot. Es bringt die Nachricht, dass Satelliten einen Lastwagen erfasst haben, der in einen bestimmten Stadtblock einfuhr, der als möglicher Stützpunkt für feindliche Raketenstarts ausgewiesen wurde. Der Chatbot hat einer Artillerieeinheit, die seiner Schätzung nach die höchste geschätzte „Tötungswahrscheinlichkeit“ hat, bereits geraten, auf den Lastwagen zu zielen und bereitzuhalten.

Dem Chatbot zufolge handelt es sich bei keinem der nahegelegenen Gebäude um eine zivile Struktur, allerdings wird darauf hingewiesen, dass die Feststellung noch manuell bestätigt werden muss. Eine Drohne, die das System zur genaueren Untersuchung geschickt hatte, trifft vor Ort ein. Das Video zeigt, wie der Lastwagen rückwärts in eine enge Passage zwischen zwei Geländen fährt. Die Gelegenheit, das Foto zu machen, neigt sich schnell dem Ende zu.

Für den Kommandanten ist nun alles still. Das Chaos, die Unsicherheit, die Kakophonie – alles reduziert auf das Geräusch einer tickenden Uhr und den Anblick eines einzelnen leuchtenden Knopfes:

„Brandbefehl genehmigen.“

Den Abzug betätigen – oder, je nachdem, ihn nicht betätigen. Den Knopf drücken oder zurückhalten. Rechtlich – und ethisch – ist die Entscheidung des Soldaten in Fragen von Leben und Tod von herausragender und unverzichtbarer Bedeutung. Im Grunde sind es diese Entscheidungen, die die menschliche Kriegshandlung bestimmen.

Automatisierung kann uns dabei helfen, schwierige Entscheidungen zu treffen, aber sie allein kann sie nicht bewältigen.

Daher sollte es kaum überraschen, dass Staaten und Zivilgesellschaft die Frage nach intelligenten autonomen Waffen – Waffen, die ohne menschliches Zutun Ziele auswählen und beschießen können – mit ernster Besorgnis aufgegriffen haben. Im Mai einigten sich die Vertragsparteien des UN-Übereinkommens über bestimmte konventionelle Waffen nach fast einem Jahrzehnt der Diskussionen unter anderem darauf, dass Militärs, die diese Waffen einsetzen, wahrscheinlich „die Dauer, den geografischen Umfang und den Umfang des Einsatzes begrenzen“ müssen, um diese einzuhalten die Kriegsgesetze. Die Aussage war unverbindlich, aber sie war zumindest eine Anerkennung dafür, dass ein Mensch – irgendwo, irgendwann – eine Rolle im unmittelbaren Prozess spielen muss, der zu einem Mord führt.

Aber intelligente autonome Waffen, die die menschliche Entscheidungsfindung vollständig ersetzen, haben (wahrscheinlich) noch keinen realen Einsatz. Sogar die „autonomen“ Drohnen und Schiffe der USA und anderer Mächte werden unter strenger menschlicher Aufsicht eingesetzt. Mittlerweile erobern intelligente Systeme, die lediglich die Hand führen, die den Abzug betätigt, Einzug in den Werkzeugkasten der Kriegsmacher. Und sie sind in aller Stille so ausgefeilt geworden, dass sie neue Fragen aufwerfen – solche, die schwieriger zu beantworten sind als die gut dokumentierten Auseinandersetzungen um Killerroboter und mit jedem Tag dringlicher werden: Was bedeutet es, wenn eine Entscheidung nur teilweise menschlich ist und Teil Maschine? Und wann, wenn überhaupt, ist es ethisch vertretbar, dass diese Entscheidung eine Entscheidung zum Töten ist?

Lange Zeit war die Idee, eine menschliche Entscheidung computergestützt zu unterstützen, nicht so umstritten. Der pensionierte Generalleutnant der Air Force, Jack Shanahan, sagt, das Radar des Kampfflugzeugs F4 Phantom, das er in den 1980er Jahren flog, sei eine Art Entscheidungshilfe gewesen. Es habe ihn auf die Anwesenheit anderer Flugzeuge aufmerksam gemacht, erzählte er mir, sodass er herausfinden konnte, was er dagegen tun sollte. Aber zu sagen, dass die Besatzung und das Radar gleichberechtigte Komplizen waren, wäre übertrieben.

Das hat alles begonnen, sich zu ändern. „Was wir jetzt sehen, ist zumindest in meiner Sicht ein Übergang zu einer Welt, in der Menschen und Maschinen in einer Art Team zusammenarbeiten müssen“, sagt Shanahan.

Insbesondere der Aufstieg des maschinellen Lernens hat einen Paradigmenwechsel in der Art und Weise ausgelöst, wie Militärs Computer nutzen, um die entscheidenden Entscheidungen der Kriegsführung mitzugestalten – bis hin zur endgültigen Entscheidung. Shanahan war der erste Direktor von Project Maven, einem Pentagon-Programm, das Zielerkennungsalgorithmen für Videoaufnahmen von Drohnen entwickelte. Das Projekt, das eine neue Ära der amerikanischen militärischen KI einläutete, wurde 2017 ins Leben gerufen, nachdem eine Studie zu dem Schluss kam, dass „Deep-Learning-Algorithmen auf nahezu menschlichem Niveau arbeiten können“. (Es löste auch Kontroversen aus – im Jahr 2018 unterzeichneten mehr als 3.000 Google-Mitarbeiter einen Protestbrief gegen die Beteiligung des Unternehmens an dem Projekt.)

Mit auf maschinellem Lernen basierenden Entscheidungstools „verfügen Sie über mehr scheinbare Kompetenz und mehr Breite“ als frühere Tools, sagt Matt Turek, stellvertretender Direktor des Information Innovation Office bei der Defense Advanced Research Projects Agency. „Und vielleicht besteht daraus die Tendenz, ihnen mehr Entscheidungsfindung zu überlassen.“

Ein Soldat, der nach feindlichen Scharfschützen Ausschau hält, könnte dies beispielsweise über das Assault Rifle Combat Application System tun, ein Zielfernrohr des israelischen Verteidigungsunternehmens Elbit Systems. Laut einem Datenblatt des Unternehmens ist das „KI-gestützte“ Gerät in der Lage, „menschliche Ziele aus einer Entfernung von mehr als 550 Metern zu erkennen“ und menschliche Ziele zu „identifizieren“.(vermutlich, um zu erkennen, ob es sich bei einer Person um jemanden handelt, der erschossen werden könnte) etwa so lang wie ein Fußballfeld. Anna Ahronheim-Cohen, eine Sprecherin des Unternehmens, sagte gegenüber MIT Technology Review: „Das System wurde bereits in Echtzeitszenarien von kämpfenden Infanteriesoldaten getestet.“

Ein anderes von der Firma Smartshooter gebautes Visier soll ähnliche Fähigkeiten haben. Laut der Website des Unternehmens kann es auch in ein ferngesteuertes Maschinengewehr verpackt werden, wie es israelische Agenten 2021 bei der Ermordung des iranischen Nuklearwissenschaftlers Mohsen Fakhrizadeh eingesetzt haben.

Tools zur Entscheidungsunterstützung, die weiter vom Schlachtfeld entfernt sind, können ebenso entscheidend sein. Das Pentagon scheint bei der Abfolge nachrichtendienstlicher Analysen und Entscheidungen, die zu einem möglichen Angriff führten, KI eingesetzt zu haben, ein Prozess, der als „Kill Chain“ bekannt ist – auch wenn es sich in Bezug auf die Details zurückhaltend äußerte. Als Antwort auf Fragen von MIT Technology Review schrieb Laura McAndrews, eine Sprecherin der Air Force, dass der Dienst „einen Mensch-Maschine-Teaming-Ansatz nutzt“.

Die Bandbreite der Beurteilungen, die in die militärische Entscheidungsfindung einfließen, ist enorm. Und es bedarf nicht immer einer künstlichen Superintelligenz, um sie automatisiert zu beseitigen.

Andere Länder experimentieren offener mit einer solchen Automatisierung. Kurz nach dem israelisch-palästinensischen Konflikt im Jahr 2021 sagten die israelischen Verteidigungskräfte, sie hätten sogenannte KI-Tools eingesetzt, um Truppen vor bevorstehenden Angriffen zu warnen und Ziele für Operationen vorzuschlagen.

Die ukrainische Armee nutzt ein Programm, GIS Arta, das jedes bekannte russische Ziel auf dem Schlachtfeld der Artillerieeinheit zuordnet, die laut Algorithmus am besten zum Beschießen geeignet ist. Ein Bericht der britischen Zeitung The Times verglich es mit Ubers Algorithmus zur Paarung von Fahrern und Mitfahrern und stellte fest, dass dadurch die Zeit zwischen der Erkennung eines Ziels und dem Moment, in dem sich das Ziel unter einem Feuerwerk befindet, erheblich verkürzt wird. Bevor die Ukrainer GIS Arta hatten, dauerte dieser Vorgang 20 Minuten. Jetzt braucht es angeblich einen.

Russland behauptet, über ein eigenes Kommando- und Kontrollsystem mit sogenannter künstlicher Intelligenz zu verfügen, hat jedoch nur wenige technische Details mitgeteilt. Gregory Allen, der Direktor des Wadhwani Center for AI and Advanced Technologies und einer der Architekten der aktuellen KI-Richtlinien des Pentagons, sagte mir, es sei wichtig, einige dieser Behauptungen mit Vorsicht zu genießen. Er sagt, einige der angeblichen militärischen KI Russlands seien „Sachen, die jeder seit Jahrzehnten macht“, und er nennt GIS Arta „nur traditionelle Software“.

Die Bandbreite der Beurteilungen, die in die militärische Entscheidungsfindung einfließen, ist jedoch enorm. Und es bedarf nicht immer einer künstlichen Superintelligenz, um sie automatisiert zu beseitigen. Es gibt Tools zur Vorhersage feindlicher Truppenbewegungen, Tools zur Ermittlung, wie man ein bestimmtes Ziel ausschaltet, und Tools zur Schätzung, wie viel Kollateralschaden den Zivilisten in der Nähe wahrscheinlich zustoßen wird.

Keines dieser Geräte könnte als Killerroboter bezeichnet werden. Aber die Technologie ist nicht ohne Gefahren. Wie bei jedem komplexen Computer kann es bei einem KI-basierten Tool zu ungewöhnlichen und unvorhersehbaren Störungen kommen. Es ist nicht klar, ob der beteiligte Mensch immer wissen kann, ob die Antworten auf dem Bildschirm richtig oder falsch sind. Aufgrund ihrer unermüdlichen Effizienz lassen diese Tools den Menschen möglicherweise auch nicht genügend Zeit und Raum, um festzustellen, ob das, was sie tun, legal ist. In einigen Bereichen konnten sie so übermenschliche Leistungen erbringen, dass etwas Unaussprechliches an der Kriegshandlung völlig verloren gehen konnte.

Schließlich planen Militärs, maschinelle Intelligenz zu nutzen, um viele dieser einzelnen Instrumente zu einem einzigen automatisierten Netzwerk zusammenzufügen, das jede Waffe, jeden Kommandanten und jeden Soldaten miteinander verbindet. Keine Kill Chain, sondern – wie das Pentagon es nennt – ein Kill Web.

In diesen Netzen ist nicht klar, ob es sich bei der Entscheidung des Menschen tatsächlich überhaupt um eine Entscheidung handelt. Rafael, ein israelischer Verteidigungsriese, hat bereits ein solches Produkt, Fire Weaver, an die IDF verkauft (und es auch dem US-Verteidigungsministerium und dem deutschen Militär vorgeführt). Nach Angaben des Unternehmens findet Fire Weaver feindliche Positionen, teilt der Einheit mit, dass sie seiner Meinung nach am besten zum Beschießen geeignet ist, und richtet sogar ein Fadenkreuz direkt auf das Ziel im Visier der Waffe dieser Einheit. Laut einem Video der Software besteht die Rolle des Menschen darin, zwischen zwei Schaltflächen zu wählen: „Genehmigen“ und „Abbrechen“.

Nehmen wir an, die Silhouette im Fenster war kein Soldat, sondern ein Kind. Stellen Sie sich vor, der Lastwagen würde dem Feind keine Sprengköpfe liefern, sondern Wassereimer zu einem Haus.

Von den fünf „ethischen Grundsätzen für künstliche Intelligenz“ des Verteidigungsministeriums, die als Qualitäten formuliert werden, wird immer zuerst „Verantwortungsvoll“ aufgeführt. In der Praxis bedeutet das, dass, wenn etwas schief geht, jemand – ein Mensch, nicht eine Maschine – die Verantwortung übernehmen muss.

Natürlich gibt es das Prinzip der Verantwortung schon lange vor der Einführung künstlich intelligenter Maschinen. Alle Gesetze und Bräuche des Krieges wären bedeutungslos ohne das grundlegende gemeinsame Verständnis, dass jede vorsätzliche Handlung im Kampf immer jemandem zu Lasten geht. Aber angesichts der Aussicht, dass Computer alle möglichen anspruchsvollen neuen Rollen übernehmen werden, findet das uralte Prinzip neuen Anklang.

„Für mich und für die meisten Menschen, die ich jemals in Uniform kannte, war dies der Kern dessen, wer wir als Kommandeure waren: dass letztendlich jemand zur Verantwortung gezogen wird“, sagt Shanahan, der nach Maven der erste Direktor der Joint Artificial Intelligence des Pentagons wurde Zentrum und überwachte die Entwicklung der ethischen KI-Grundsätze.

Aus diesem Grund muss eine menschliche Hand den Abzug betätigen und auf „Genehmigen“ klicken. Wenn ein Computer das falsche Ziel ins Visier nimmt und der Soldat trotzdem den Abzug drückt, ist das die Schuld des Soldaten. „Wenn ein Mensch etwas tut, das zu einem Unfall mit der Maschine führt – zum Beispiel eine Waffe dort fallen lässt, wo sie nicht hingehört –, ist das immer noch eine menschliche Entscheidung“, sagt Shanahan.

Aber Unfälle passieren. Und hier wird es knifflig. Moderne Militärs haben Hunderte von Jahren damit verbracht, herauszufinden, wie sie die unvermeidlichen, schuldlosen Tragödien der Kriegsführung von böswilligen Handlungen, fehlgeleiteter Wut oder grober Fahrlässigkeit unterscheiden können. Auch jetzt bleibt dies eine schwierige Aufgabe. Die Auslagerung eines Teils menschlicher Handlungsfähigkeit und Urteilsfähigkeit an Algorithmen, die in vielen Fällen auf dem mathematischen Optimierungsprinzip basieren, wird all diese Gesetze und Lehren auf eine grundlegend neue Art und Weise in Frage stellen, sagt Courtney Bowman, globale Direktorin für Datenschutz und Bürgerfreiheitstechnik bei Palantir. ein in den USA ansässiges Unternehmen, das Datenverwaltungssoftware für Militärs, Regierungen und große Unternehmen entwickelt.

„Es ist ein Bruch. Es ist störend“, sagt Bowman. „Es bedarf eines neuen ethischen Konstrukts, um fundierte Entscheidungen treffen zu können.“

In einem Schritt, der im Zeitalter von ChatGPT unvermeidlich war, gab Palantir in diesem Jahr bekannt, dass es eine Software namens Artificial Intelligence Platform entwickelt, die die Integration großer Sprachmodelle in die Militärprodukte des Unternehmens ermöglicht. In einer im Frühjahr auf YouTube veröffentlichten Demo von AIP warnt die Plattform den Benutzer vor einer potenziell bedrohlichen feindlichen Bewegung. Anschließend schlägt es vor, eine Drohne zur genaueren Untersuchung zu schicken, schlägt drei mögliche Pläne vor, um die angreifende Truppe abzufangen, und legt eine optimale Route für das ausgewählte Angriffsteam fest, um sie zu erreichen.

Und doch wollen die Militärs selbst bei einer Maschine, die zu solch scheinbarer Cleverness fähig ist, nicht, dass der Benutzer jedem seiner Vorschläge blind vertraut. Wenn der Mensch nur einen Knopf in einer Tötungskette drückt, sollte es wahrscheinlich nicht der „Ich glaube“-Knopf sein, wie es ein besorgter, aber anonymer Armeeagent einmal in einem Kriegsspiel des Verteidigungsministeriums im Jahr 2019 ausdrückte.

Im Rahmen eines Programms namens „Urban Reconnaissance through Supervised Autonomy“ (URSA) baute DARPA ein System auf, das es Robotern und Drohnen ermöglichte, als Vorwärtsbeobachter für Züge bei städtischen Einsätzen zu fungieren. Nach Eingaben der Beratergruppe des Projekts zu ethischen und rechtlichen Fragen wurde beschlossen, dass die Software Personen immer nur als „Personen von Interesse“ bezeichnen würde. Auch wenn der Zweck der Technologie darin bestand, Hinterhalte aufzuspüren, würde sie niemals so weit gehen, jemanden als „Bedrohung“ abzustempeln.

Man hoffte, dass dies einen Soldaten davon abhalten würde, voreilige Schlussfolgerungen zu ziehen. Laut Brian Williams, einem stellvertretenden Forschungsmitarbeiter am Institute for Defense Analyses und Leiter der Beratergruppe, gab es auch eine rechtliche Begründung. Kein Gericht habe positiv festgestellt, dass eine Maschine eine Person rechtlich als Bedrohung einstufen könne, sagt er. (Andererseits, fügt er hinzu, habe auch kein Gericht ausdrücklich entschieden, dass es illegal sei, und er räumt ein, dass nicht alle Militäroperatoren notwendigerweise die vorsichtige Auslegung des Gesetzes durch seine Gruppe teilen würden.) Laut Williams wollte die DARPA ursprünglich, dass URSA dies sei in der Lage, die Absicht einer Person selbstständig zu erkennen; Auch diese Funktion wurde auf Drängen der Gruppe gestrichen.

Bowman sagt, Palantirs Ansatz bestehe darin, „technisch konstruierte Ineffizienzen“ an „Punkten im Entscheidungsprozess zu verarbeiten, an denen man die Dinge tatsächlich verlangsamen möchte“. Beispielsweise könnte die Ausgabe eines Computers, die auf eine feindliche Truppenbewegung hinweist, von einem Benutzer verlangen, dass er nach einer zweiten bestätigenden Informationsquelle sucht, bevor er mit einer Aktion fortfährt (im Video scheint die Plattform für künstliche Intelligenz dies nicht zu tun). ).

„Wenn interessante Personen auf einem Bildschirm als rote Punkte identifiziert werden, hat das unterbewusst eine andere Auswirkung, als wenn interessante Personen auf einem Bildschirm als kleine fröhliche Gesichter identifiziert werden.“

Im Fall von AIP geht es laut Bowman darum, die Informationen so darzustellen, „dass der Betrachter es versteht, der Analyst versteht, dass es sich nur um einen Vorschlag handelt“. In der Praxis könnte es auf kleine Details des Grafikdesigns ankommen, das menschliche Urteilsvermögen vor der Herrschaft einer betörend intelligenten Maschine zu schützen. „Wenn interessante Personen auf einem Bildschirm als rote Punkte identifiziert werden, hat das unterbewusst eine andere Bedeutung, als wenn interessante Personen auf einem Bildschirm als kleine fröhliche Gesichter identifiziert werden“, sagt Rebecca Crootof, Juraprofessorin an der University of Richmond , der ausführlich über die Herausforderungen der Verantwortlichkeit bei autonomen Human-in-the-Loop-Waffen geschrieben hat.

In manchen Situationen wünschen sich Soldaten jedoch möglicherweise nur einen „Ich glaube“-Button. Ursprünglich stellte sich DARPA URSA als ein am Handgelenk getragenes Gerät für Soldaten an der Front vor. „In der allerersten Arbeitsgruppensitzung haben wir gesagt, dass das nicht ratsam ist“, erzählte mir Williams. Die Art von technischer Ineffizienz, die für einen verantwortungsvollen Gebrauch erforderlich ist, wäre für Benutzer, denen die Kugeln an den Ohren vorbeifliegen, einfach nicht praktikabel. Stattdessen bauten sie ein Computersystem auf, das mit einem engagierten Bediener weit hinter dem Geschehen sitzt.

Einige Entscheidungsunterstützungssysteme sind jedoch definitiv für die Art von Entscheidungsfindung in Sekundenbruchteilen konzipiert, die mitten im Geschehen stattfindet. Die US-Armee hat erklärt, dass es ihr in Live-Tests gelungen sei, ihren eigenen 20-minütigen Zielzyklus auf 20 Sekunden zu verkürzen. Auch scheint der Markt den Geist der Zurückhaltung nicht angenommen zu haben. In online veröffentlichten Demovideos sind die Begrenzungsrahmen für die computergesteuerten Visiere von Elbit und Smartshooter blutrot.

In anderen Fällen hat der Computer Recht und der Mensch Unrecht.

Hätte der Soldat auf dem Dach das Zielfernrohr noch einmal erraten und sich herausgestellt, dass es sich bei der Silhouette tatsächlich um einen feindlichen Scharfschützen handelte, hätten seine Teamkameraden für den Bruchteil einer Sekunde des Zögerns einen hohen Preis zahlen müssen.

Dies ist eine andere Problemquelle, die viel weniger diskutiert wird, aber im realen Kampf nicht weniger wahrscheinlich ist. Und es bringt den Menschen in eine Art Zwickmühle. Soldaten werden angewiesen, ihren digitalen Assistenten mit genügend Misstrauen zu begegnen, um die Unantastbarkeit ihres Urteilsvermögens zu wahren. Aber bei Maschinen, die oft Recht haben, kann genau dieser Widerwille, sich dem Computer zu beugen, selbst zu einem Punkt für vermeidbares Scheitern werden.

In der Luftfahrtgeschichte mangelt es nicht an Fällen, in denen die Weigerung eines menschlichen Piloten, auf die Maschine zu achten, zu einer Katastrophe führte. Diese (normalerweise umgekommenen) Seelen wurden von den Ermittlern, die die Tragödie erklären wollten, nicht freundlich betrachtet. Carol J. Smith, eine leitende Forschungswissenschaftlerin am Software Engineering Institute der Carnegie Mellon University, die an der Ausarbeitung verantwortungsvoller KI-Richtlinien für die Defence Innovation Unit des Verteidigungsministeriums beteiligt war, sieht kein Problem: „Wenn die Person in diesem Moment das Gefühl hat, dass die Entscheidung falsch ist, Sie machen es zu ihrer Entscheidung und müssen sich mit den Konsequenzen auseinandersetzen.“

Für andere ist dies ein böses ethisches Rätsel. Die Wissenschaftlerin MC Elish hat vorgeschlagen, dass ein Mensch, der in eine solche unmögliche Schleife gerät, am Ende zu einer „moralischen Knautschzone“ werden könnte, wie sie es nennt. Im Falle eines Unfalls – unabhängig davon, ob der Mensch falsch lag, der Computer falsch lag oder sie gemeinsam falsch lagen – wird die Person, die die „Entscheidung“ getroffen hat, die Schuld auf sich nehmen und alle anderen entlang der Befehlskette umfassend schützen Auswirkungen der Rechenschaftspflicht.

In einem Aufsatz schrieb Smith, dass die „am schlechtesten bezahlte Person“ nicht „mit dieser Verantwortung belastet werden sollte“ und auch nicht „die am höchsten bezahlte Person“. Stattdessen, sagte sie mir, sollte die Verantwortung auf alle Beteiligten verteilt werden, und die Einführung von KI sollte an dieser Verantwortung nichts ändern.

In der Praxis ist das schwieriger, als es sich anhört. Crootof weist darauf hin, dass es auch heute noch „keine große Verantwortung für Unfälle im Krieg gibt“. Da KI-Tools immer größer und komplexer werden und die Tötungsketten kürzer und webähnlicher werden, wird die Suche nach den richtigen Schuldigen zu einer noch labyrinthischeren Aufgabe.

Diejenigen, die diese Tools schreiben, und die Unternehmen, für die sie arbeiten, werden den Sturz wahrscheinlich nicht erleiden. Die Entwicklung von KI-Software ist ein langwieriger, iterativer Prozess, der oft auf Open-Source-Code basiert, der weit von den tatsächlichen materiellen Fakten des metalldurchdringenden Fleisches entfernt ist. Und sofern es keine wesentlichen Änderungen des US-Rechts gibt, sind Verteidigungsunternehmen ohnehin grundsätzlich von der Haftung geschützt, sagt Crootof.

Unternehmen sagen, sie wollen ethische KI. Aber diejenigen, die in diesem Bereich arbeiten, sagen, dass Ehrgeiz auf ihre Kosten geht.

Jedes Streben nach Rechenschaftspflicht auf den oberen Führungsebenen würde unterdessen wahrscheinlich durch den schweren Schleier der Regierungsklassifizierung behindert werden, der dazu neigt, die meisten KI-Entscheidungsunterstützungstools und die Art und Weise, wie sie verwendet werden, zu verschleiern. Die US-Luftwaffe hat sich nicht dazu geäußert, ob ihre KI überhaupt im realen Einsatz eingesetzt wurde. Shanahan sagt, dass die KI-Modelle von Maven kurz nach dem Start des Projekts für Geheimdienstanalysen eingesetzt wurden, und im Jahr 2021 sagte der Sekretär der Luftwaffe, dass „KI-Algorithmen“ kürzlich „zum ersten Mal auf eine Live-Operational-Kill-Chain“ angewendet worden seien, mit einem Ein damaliger Sprecher der Luftwaffe fügte hinzu, dass diese Tools in Geheimdienstzentren auf der ganzen Welt verfügbar seien, „wann immer sie gebraucht würden“. Aber Laura McAndrews, die Sprecherin der Air Force, sagte, dass diese Algorithmen tatsächlich „nicht in einer aktiven, aktiven Kill-Chain angewendet wurden“ und lehnte es ab, nähere Angaben zu anderen Algorithmen zu machen, die möglicherweise seitdem verwendet wurden oder nicht.

Die wahre Geschichte könnte jahrelang im Dunkeln bleiben. Im Jahr 2018 erließ das Pentagon eine Entscheidung, die Project Maven von Anfragen zur Informationsfreiheit ausnimmt. Letztes Jahr übergab es das gesamte Programm an die National Geospatial-Intelligence Agency, die für die Verarbeitung der umfangreichen geheimen Luftüberwachungsdaten Amerikas verantwortlich ist. Auf die Frage, ob die Algorithmen in Kill Chains verwendet werden, antwortete Robbin Brooks, ein NGA-Sprecher, gegenüber MIT Technology Review: „Wir können keine genauen Angaben dazu machen, wie und wo Maven verwendet wird.“

In gewisser Weise ist das Neue hier auch alt. Wir legen unsere Sicherheit – ja, unsere gesamte Existenz als Spezies – routinemäßig in die Hände anderer Menschen. Diese Entscheidungsträger verweisen wiederum auf Maschinen, die sie nicht vollständig verstehen.

In einem exquisiten Aufsatz über Automatisierung, der 2018 veröffentlicht wurde, zu einer Zeit, als operative KI-gestützte Entscheidungsunterstützung noch eine Seltenheit war, wies der ehemalige Marineminister Richard Danzig darauf hin, dass ein Präsident, wenn er „entschließt“, einen Atomschlag anzuordnen, dies nicht aus diesem Grund tun wird Jeder hat aus dem Fenster des Oval Office geschaut und gesehen, wie feindliche Raketen auf DC herabregnen, sondern vielmehr, weil diese Raketen von Algorithmen im Luftverteidigungsnetzwerk entdeckt, verfolgt und – hoffentlich richtig – identifiziert wurden.

Wie im Fall eines Kommandanten, der auf Anraten eines Chatbots einen Artillerieangriff auslöst, oder eines Schützen, der beim bloßen Anblick eines roten Begrenzungsrahmens den Abzug drückt, „kann man höchstens sagen, dass es sich um einen Menschen handelt ist beteiligt‘“, schrieb Danzig.

„Das ist eine alltägliche Situation in der Moderne“, schrieb er. „Menschliche Entscheidungsträger sind Reiter, die durch unbekanntes Gelände reisen und kaum oder gar nicht in der Lage sind, die mächtigen Bestien einzuschätzen, die sie tragen und führen.“

Unter den Menschen, die dafür verantwortlich sind, dass diese Bestien uns am Ende nicht fressen, kann es einen alarmierenden Zug des Defätismus geben. Während einer Reihe von Gesprächen, die ich während der Berichterstattung über diese Geschichte führte, äußerte sich mein Gesprächspartner ernüchternd zu dem Schluss, dass er sich mit der ewigen Unvermeidlichkeit von Tod und Zerstörung einverstanden erklärt, die zwar tragisch ist, aber keinem einzelnen Menschen zugeschrieben werden kann. Krieg ist chaotisch, Technologien versagen auf unvorhersehbare Weise, und das ist es auch.

„Bei der Kriegsführung“, sagt Bowman von Palantir, „gibt es bei der Anwendung jeglicher Technologie, ganz zu schweigen von der KI, ein gewisses Maß an Schaden, den man anrichten möchte – den man akzeptieren muss, und das Spiel besteht in der Risikominderung.“ ”

Es ist möglich, aber noch nicht bewiesen, dass der Einsatz künstlicher Intelligenz im Kampf zu weniger zivilen Opfern führen kann, wie Befürworter oft behaupten. Doch die unwiderrufliche Verbindung von menschlichem Urteilsvermögen und mathematischem Denken in diesen entscheidenden Momenten des Krieges könnte mit versteckten Kosten verbunden sein – Kosten, die über ein einfaches, utilitaristisches Endergebnis hinausgehen. Vielleicht kann etwas einfach nicht richtig sein oder sollte nicht richtig sein, wenn es um die Wahl des Zeitpunkts und der Art und Weise geht, in der eine Person stirbt, so wie Sie eine Fahrt von Uber anfordern.

Für eine Maschine könnte dies eine suboptimale Logik sein. Aber für bestimmte Menschen ist das der Punkt. „Einer der Aspekte des Urteilsvermögens als menschliche Fähigkeit besteht darin, dass es in einer offenen Welt geschieht“, sagt Lucy Suchman, emeritierte Professorin für Anthropologie an der Lancaster University, die seit vier Jahren über die Zwickmühlen der Mensch-Maschine-Interaktion schreibt Jahrzehnte.

Die Parameter von Entscheidungen über Leben und Tod – das Wissen um die Bedeutung der frischen Wäsche, die am Fenster hängt, und gleichzeitig der Wunsch, dass die Teamkollegen nicht sterben – sind „unreduzierbar qualitativ“, sagt sie. Das Chaos, der Lärm und die Ungewissheit, das Gewicht dessen, was richtig und was falsch ist inmitten all dieser Wut – nicht das Geringste davon lässt sich in algorithmischen Begriffen definieren. In Fragen von Leben und Tod gibt es kein rechnerisch perfektes Ergebnis. „Und daraus ergibt sich die moralische Verantwortung“, sagt sie. „Du fällst ein Urteil.“

Das Visier drückt niemals den Abzug. Der Chatbot drückt nie den Knopf. Aber jedes Mal, wenn eine Maschine eine neue Rolle übernimmt, die das Irreduzible reduziert, kommen wir möglicherweise dem Moment ein Stück näher, an dem der Akt des Tötens eher maschinell als menschlich ist, an dem Ethik zur Formel und Verantwortung kaum mehr als eine Abstraktion wird . Wenn wir uns darüber einig sind, dass wir uns nicht den ganzen Weg dorthin von den Maschinen tragen lassen wollen, müssen wir uns früher oder später fragen: Wo ist die Grenze?

Arthur Holland Michel schreibt über Technologie. Er lebt in Barcelona und ist gelegentlich in New York anzutreffen.

Diese Geschichte war Teil unserer September/Oktober 2023-Ausgabe.

Das Unternehmen hofft, dass LLaMA 2 als Open-Source-Lösung ihm einen Vorsprung gegenüber Konkurrenten wie OpenAI verschaffen könnte.

Die Wissenschaft wird viel spannender – und das wird uns alle betreffen, argumentiert der ehemalige CEO von Google.

Der Modern Turing Test würde messen, was eine KI in der Welt bewirken kann, und nicht nur, wie sie aussieht. Und was ist aussagekräftiger als Geld zu verdienen?

PhotoGuard, entwickelt von Forschern am MIT, verändert Fotos auf eine Weise, die für uns nicht wahrnehmbar ist, verhindert aber, dass KI-Systeme daran herumbasteln.

Entdecken Sie Sonderangebote, Top-Storys, bevorstehende Veranstaltungen und mehr.

Vielen Dank für die Übermittlung Ihrer E-Mail!

Es sieht so aus, als wäre etwas schief gelaufen.

Beim Speichern Ihrer Einstellungen ist ein Problem aufgetreten. Versuchen Sie, diese Seite zu aktualisieren und sie noch einmal zu aktualisieren. Wenn Sie diese Nachricht weiterhin erhalten, wenden Sie sich an [email protected] mit einer Liste der Newsletter, die Sie erhalten möchten.