KI unter Waffen: Anthropic gegen das Pentagon

00:00:00: Jochen G. Fuchs: Hallo und herzlich willkommen zu einer neuen Folge deines KI-Lieblingspodcasts LAIer 8|9. Hallo Barbara!

00:00:11: Barbara Lampl: Hallo Jochen! Da sind wir wieder.

00:00:15: Jochen G. Fuchs: Ja, da sind wir wieder. Was ist denn eigentlich los da draußen? Das ist ja der Irrsinn. Bei dieser Eröffnung fragt man sich auch schon, wovon redet er eigentlich. Es brennt gerade an so vielen Stellen.

00:00:25: Barbara Lampl: Ich weiß nicht so genau. Ich bin nur froh, dass ich kein Dubai-Influencer bin.

00:00:30: Jochen G. Fuchs: Nein, wir meinen tatsächlich den größten Brandherd im Nahen Osten, in dessen Kontext auch die KI-Welt gestreift wird. Claude hat es gerade an die Spitze der App-Stores katapultiert, weil sich Anthropic öffentlichkeitswirksam gegen das Pentagon gestellt hat – oder zumindest das Pentagon nicht so hat spielen lassen, wie sie spielen wollten. Woraufhin jetzt Sam Altman sich in die Bresche geworfen hat und gesagt hat: Gut, wenn ihr nicht mit denen spielen wollt, dann spielen wir mit denen. Hier sind unsere Schäufelchen, macht mal.

00:01:00: Jochen G. Fuchs: Die erste Frage, die ich mir ganz ehrlich gestellt habe: Fangen wir vielleicht mal mit den Basics an. Was macht das Pentagon eigentlich mit Claude und warum haben sie irgendeinen Teil der Nutzungsbedingungen gestreift, der Anthropic dazu bringt, auf die Barrikaden zu gehen?

00:01:40: Barbara Lampl: Okay, fangen wir ganz vorne an. Anthropic hat unter diesen ganzen AI-Contracts den historisch längsten Vertrag mit dem Pentagon. Das heißt nicht, dass die anderen keine Verträge haben. Google hat einen Vertrag, Grok beziehungsweise xAI von Musk, OpenAI hat ebenfalls Verträge mit dem Verteidigungsministerium. Aber Anthropic hat den, der am längsten besteht und am tiefsten integriert ist – und zwar seit 2024.

00:02:20: Barbara Lampl: In diesen Vertragsverhandlungen, die noch unter beiden Regierungen stattgefunden haben, waren sich beide Seiten recht einig: All diese GenAI-LLM-Systeme haben bestimmte Grenzen, die wir aktuell nicht überschreiten wollen. Die zwei heiklen Punkte, die jetzt auch öffentlich eskaliert sind: Mass Surveillance, also die komplette Überwachung durch GenAI- oder LLM-Systeme, sowie autonome Waffen, die auf irgendeiner Form von KI basieren. Das war ein Vertrag, der ursprünglich noch unter beiden Regierungen abgeschlossen wurde. Dann hat die Regierung in den USA gewechselt. Und jetzt sind wir in der Diskussion, dass man diese Sachen aus dem Vertrag herausnehmen möchte und zur generellen Definition des Lawful Intent übergehen will.

00:03:18: Jochen G. Fuchs: Du hast jetzt Massenüberwachung und die Steuerung von autonomen tödlichen Waffen erwähnt. Vom Kontext her vielleicht erstmal festhalten – weil die ersten Memes kursieren schon: Hier geht es nicht darum, dass sich das Pentagon eine Enterprise-Lizenz für den Chatbot gesichert hat und dann sitzt da jemand und schmeißt Berichte in Claude rein.

00:03:51: Barbara Lampl: Das werden sie sicherlich auch haben. Die CIA ist anscheinend ziemlich am Rotieren wegen der Konsequenzen und fragt sich: Wieso sollen wir jetzt ohne Claude auskommen? Aber grundsätzlich geht es außerhalb der Enterprise-Lizenzen sehr klar darum, Claude über die tiefere Integration, die das Pentagon seit gut zwei Jahren vorgenommen hat, tiefer in die Prozesse zu integrieren. Das läuft damit sicherlich auf anderen Anwendungen als nur einem lustigen Chatbot oder der Claude Code Enterprise Solution.

00:04:30: Jochen G. Fuchs: Da kam dann schon der schwarze Humor durch in den Memes. Ich bin heute Morgen über eins gestolpert, wo Claude sich dafür entschuldigt hat, dass er aus Versehen den Irak bombardiert hat.

00:04:42: Barbara Lampl: Ganz auszuschließen wäre es nicht.

00:04:46: Jochen G. Fuchs: Das ist ja das, wo wir hier mit unserem grenzwertigen Humor sitzen. Es ist tatsächlich nicht auszuschließen. Wenn autonome Waffen von einer generativen KI gesteuert würden, besteht tatsächlich die Chance, dass eine Halluzination – oder wenn man noch weiter denkt, eine Prompt-Injection – da sind wir ja schon im Bereich der Gegenspionage und Sabotage.

00:05:14: Barbara Lampl: Unter vielen Aspekten macht es wenig Sinn. Die Frage dieser autonomen Waffensysteme ist nochmal eine ganz separate Diskussion. Aber ein autonomes Waffensystem auf etwas aufzubauen, was so leicht gehackt werden kann – wo wir schon über Reliability-Diskussionen in ganz anderen Bereichen sprechen – da sollten wir vielleicht auch noch mal das Hirn einschalten. Das ist also der Hintergrund, warum das an so vielen Ecken jetzt eskaliert. Plus die ganze Mass-Surveillance-Diskussion. Man muss dazu wissen, dass der Hauptdienstleister Palantir hier im Pentagon ist und Claude eine tiefe Integration mit Palantir fährt. Das Ganze bekommt ein Bedrohungsszenario unter zwei Aspekten: Wie unreliable die Technologie für bestimmte Dinge ist. Und wie mächtig sie bereits geworden ist, dass es überhaupt durchdenkbar wird.

00:06:43: Jochen G. Fuchs: Der Stand ist, falls sich das jemand fragt: Es gibt verschiedene internationale Abkommen zum Thema Waffen. Das bekannteste davon ist die Genfer Konvention. Der aktuelle Stand der Dinge: Vollständig autonome tödliche Systeme sind nicht verboten. Der Einsatz ist natürlich umstritten. UN-Generalsekretär Guterres fordert schon seit zwei bis drei Jahren ein Verbot von autonomen Waffen ohne menschliche Kontrolle. Es gibt Staaten, die blockieren – darunter die USA, Russland und China. Guterres dringt darauf, dass das 2026 verabschiedet wird. Jetzt mal eine Rückblende: Ist das denn notwendig? Ist das denn überhaupt sinnvoll? Rein technisch: GenAI im Kontext autonomer tödlicher Waffen?

00:08:37: Barbara Lampl: Ich bin schon kein Freund von autonomen tödlichen Waffen. Ich weiß gar nicht, wozu wir die bauen wollen. Schritt eins bin ich erst mal raus. Jetzt versuche ich das mal technisch-wissenschaftlich zu zerlegen.

00:09:01: Jochen G. Fuchs: Ich will dich nicht in die Rolle des Advocatus Diaboli drängen. Die Antwort könnte auch einfach sein: Das ist kompletter Bullshit, sowieso schon aus technischer Sicht. Dann hätten wir schon zwei Argumente dagegen.

00:09:14: Barbara Lampl: Technologisch sind wir sicherlich nicht an der Stelle, dass auch nur ansatzweise die Technologie so gut ist, dass das sauber funktioniert und wir wirklich von autonom sprechen können. Kleines Beispiel – nehmen wir mal den Drift raus: Self-Driving Cars. Wenn wir uns selbstfahrende Autos anschauen – bekannt sind die Waymos in San Francisco und LA – haben wir selbst dort trotzdem noch menschliche Instanzen. Es gibt Operating Center. Wir vertrauen noch nicht mal dem Auto, dass es ohne Operating Center auskommt.

00:10:00: Barbara Lampl: Jetzt sehen wir, dass sich die Technologie massiv weiterentwickelt. Die Zeitachse, bis das technisch möglich oder reliable wird, rückt näher. Entweder ziehst du frühzeitig Linien in den Sand – die schon grenzwertig spät gezogen worden sind – oder halt kurz bevor du den roten Knopf drücken musst. Und wir sind in einer Situation, wo man sich fragt: Erwachsene haben den Raum definitiv nicht betreten, was KI-Regulierung angeht. Die Reaktion der Konsumenten zeigt sich: Auf einmal wissen alle, was Claude ist und Claude wird runtergeladen.

00:11:50: Jochen G. Fuchs: Manchmal wirkt das, als würde man mit aller Gewalt daran arbeiten, sich selbst überflüssig zu machen. Das autonom fahrende Auto war für mich das Erste, was mir in den Kopf geschossen ist. Wenn das schon nicht ohne Operating Center funktioniert, wie kommt man auf solche Träume?

00:12:17: Barbara Lampl: Vielleicht eine kleine Nebeninstanz: Fox News hat eine interessante Nebenmeldung gebracht. Der Verteidigungsminister der USA hat entschieden, dass aktive Service-Members ab dem nächsten Semester nicht mehr an Ivy-League-Universitäten studieren dürfen. Der Culture Creek hat eine neue Dimension bekommen. Dario Amodei, der CEO von Anthropic – ein ehemaliger OpenAI-Co-Founder – ist ein ganz klassisch akademisch, wissenschaftlich-humanistisch geprägter Mensch. Das zählt mit in diese Diskussion hinein.

00:13:41: Jochen G. Fuchs: Wenn wir darüber sprechen, wie fehlerhaft das ist: Was für eine Diskussion wird da geführt? Ist das eine hypothetische, was du mit dem Kulturkampf andeutest? Wir dürfen daraus nicht schließen, dass die tatsächlich versuchen, mit Claude etwas vom Stapel zu lassen. Es könnte sich um eine rein kulturelle Grundsatzdiskussion handeln.

00:14:35: Barbara Lampl: Kurzer Throwback: März 2024, Opus 3 kommt raus. Seitdem ist klar, dass Anthropic die besten Modelle baut. Ich bin ein hartes LLM-Fangirl, weil es einfach das leistungsfähigste Modell ist. Jetzt müssen wir zwei Dinge auseinanderhalten: Autonome Waffensysteme – da sind wir wirklich noch relativ weit entfernt. Die Mass Surveillance ist eine ganz andere Hausnummer. Massenüberwachung hängt an zwei entscheidenden Punkten: Wie gut ist die Datenarchitektur? Und dann brauche ich das Tool, die Daten zu analysieren. Der Data Grab, der in den USA stattfindet, ist sehr vehement. Falls ihr das noch nicht mitbekommen habt: Die LinkedIn-Verifizierung mit dem blauen Haken läuft über einen Dienstleister, der sämtliche Biometrics in die USA schickt. Das steht in den 43 Seiten Bedingungen drin.

00:16:54: Barbara Lampl: LLMs sind die perfektesten Profiling-Modelle, die wir jemals hatten. Deshalb sind LLMs auch so massiv bei allen Nachrichtendiensten im Einsatz. Bei der Massenüberwachung sind wir sehr viel näher. Du brauchst die performantesten Modelle, um Massenüberwachung auf Scale und einigermaßen reliable hinzubekommen. Angesichts der politischen Lage kommen wir in einen anderen Druckpunkt: Warum sollen Mass-Deportation-Center gebaut werden? Wenn ich Daten menschlichen Ursprungs kombiniert mit unstrukturierten Daten habe, dann ist ein LLM eine sinnvolle Variante. Damit schließt sich der Kreis, warum mehr Druck dahinter steckt, die Freigabe zu erzwingen.

00:18:49: Jochen G. Fuchs: In diesem Komplex laufen die Modelle in internen Netzwerken – in den USA heißt das GovCloud. Der Stein des Anstoßes war der Einsatz in der Dateninfrastruktur von Palantir. Die Modelle laufen bei Palantir, Palantir verknüpft die unterschiedlichen Datenströme und lässt die Modelle darauf los. Kumuliert hat sich das Ganze dann, weil sich die Anzeichen verdichtet haben, dass das eine Rolle gespielt hat bei der Festnahme von Maduro.

00:19:55: Barbara Lampl: Maduro wäre keine Mass Surveillance, sondern ein legitimer Einsatz. Die Mass Surveillance ist, dass Palantir auch auf dem ganzen Data Grab der US-Behörden sitzt und die Querdaten der amerikanischen Bürger miteinander kombiniert werden. Massenüberwachung bedeutet, dass du deine eigenen Bürger und fremde Bürger überwachst. Rein technisch: Dafür brauchst du eine Masse an Daten. Die müssen miteinander kommunizieren können. Das ist eine Datenarchitektur-Frage. Und dann kommen unter anderem LLMs zum Einsatz.

00:21:26: Jochen G. Fuchs: Wir haben uns ja schon in den letzten Jahrzehnten mit dem Thema Massenüberwachung auseinandergesetzt – nach Manning und nachdem den Menschen bewusst wurde, was GCHQ und all die anderen Dienste treiben. Wenn wir diesen Kenntnisstand mit den Möglichkeiten vergleichen, die wir jetzt durch diese Modelle haben: Wie potenziert sich das?

00:22:27: Barbara Lampl: Ausgenommen China war es schlicht so, dass wir es nie geschafft haben, vier, maximal fünf Prozent aller erzeugten Daten weltweit auswerten zu können. Das hat sich verändert, nicht nur durch LLMs, sondern insbesondere durch Datencenter. Mehr Rechenpower. LLMs sind cool, aber ich kann auch klassische Algorithmen heute mit mehr Geschwindigkeit und Parametern rechnen als vor zehn Jahren. Die Datencenter sind der entscheidende Punkt. Die Kombination: LLMs ermöglichen tiefe Einblicke in Patterns, zusammen damit, dass klassische Methoden durch Datencenter mächtiger sind. Die kritische Grenze liegt bei etwa 30 Prozent. Wenn ich 30 Prozent analysieren kann, habe ich den Tipping Point – das reicht für volle Kontrolle.

00:24:44: Barbara Lampl: Massenüberwachung funktioniert nur, wenn ich die Massen bespielen kann. Ohne Propaganda funktioniert Überwachung alleine nicht. DDR versus China: unterschiedliche Ansätze. LLMs sind jetzt in der Kombination mit GenAI: Wir können KI-generierte Videos kaum noch von realen Aufnahmen unterscheiden. Kombiniert mit der Recommendation Engine wird daraus ein Paket, das das Problem der Propaganda lösen kann: das konstante Beschallen der Massen.

00:26:09: Barbara Lampl: Das ist nichts Neues. Diese Komponenten spielen jetzt alle zusammen. Deshalb kann GenAI auf vielen Ebenen ein negativer Enabler sein. Wir können es natürlich auch für coole Sachen benutzen. Aber grundsätzlich diskutieren wir gerade über diesen Haufen.

00:26:31: Jochen G. Fuchs: Wie hoch ist die Gefahr von einer Prompt-Injection als Honeypot? Man füttert ja quasi das Modell mit Daten. Wenn jemand auf die Idee kommt, einen Honeypot auszulegen mit Daten, die das Militär zu falschen Schlüssen ziehen lässt.

00:27:08: Barbara Lampl: Hoch! Prompt-Injections – die klassischen Angriffsvektoren sind der Kindergarten gegen das, was wir schon wissen: dass LLMs mit russischer Propaganda durchsetzt sind. Denken wir es drei Stufen weiter: Du nimmst ein Open-Weight-Modell. Du hast keine Ahnung, aus welchen Trainingsdaten das gebaut ist. Du weißt auch nicht, ob malicious Architektur eingebaut ist. Das sind Sachen, warum Security kein Afterthought sein kann. Wir hatten letzte Woche die Folge zur Open Claw. Natürlich ist eine Honeypot-Situation denkbar. Es ist dermaßen trivial geworden. Der Drops ist gelutscht, weil die ganzen großen Player alle mit den Regierungen spielen.

00:29:23: Jochen G. Fuchs: Es gibt Gefechtssimulationen und Planungen, wo anscheinend generative KI zum Einsatz kommt. Verschiedene Szenarien werden durchgespielt und die wahrscheinlichsten Handlungsoptionen ausgegeben.

00:29:49: Barbara Lampl: Wargaming ist eine Standarddisziplin des militärischen Einsatzes. Grundsätzlich sind es Simulations- und Forecasting-Rechnungen, die heute mehr mit LLMs kombiniert werden. Mein Problem ist nicht die Sachbearbeiterin Gudrun, die ein LLM zum Einsatz bringt. Mein Problem ist der CFO, der bei völliger Ahnungslosigkeit ein LLM durch die Konzernbuchhaltung ballert. Die Technologie ist gut geworden. Aber sie warten morgens noch nicht alleine darauf, Unsinn zu veranstalten. Das sind immer noch Menschen. Und die sind unser Problem – aktuell viel größer als alles andere.

00:31:34: Jochen G. Fuchs: Wenn man sich an die Signal-Affäre von Hegseth zurückerinnert, bei dem ein militärischer Schlag über Signal koordiniert wurde und aus Versehen ein Journalist der Gruppe hinzugefügt wurde – wahrscheinlich ist die Gefahr, dass ein politischer Führer seinen Claude-Chatbot anschmeißt und fragt, wen greifen wir denn heute an, im Moment absurderweise gefährlicher als das Pentagon, das wenigstens noch einigermaßen weiß, was es tut.

00:32:28: Barbara Lampl: Wir sind in einer der kritischsten Phasen der Geopolitik. Wir sind in einem geopolitischen Machtspiel, gleichzeitig gefangen in einem geopolitischen Vakuum. Zusammen mit super mächtiger Technologie: Mit viel Macht kommt viel Verantwortung. Ich bin jetzt sehr stolz auf Amodei. Wenn du so einen Key Client hast, kann man separate Verträge machen. Feingetuntes, Spezialmodelle. Das ist eine tiefe Integration, die nicht trivial auszutauschen ist. Es ist eine notwendige Diskussion. Vom Anthropic-Headquarter waren liebevolle Nachrichten auf den Gehweg gemalt, San Francisco hat sich bedankt. Resistance beginnt auch erst mal mit einer Person.

00:35:32: Jochen G. Fuchs: Dass Claude in den App-Stores auf Platz eins steigt, dass so viele positive Reaktionen eingehen – das stärkt jemandem, der rote Linien in den Sand zieht, den Rücken. Es hat eine sofortige Reaktion in der Öffentlichkeit, was Auswirkungen auf Märkte und Börsenkurse hat. Das erfordert Mut. Jetzt noch eine letzte Frage: Die Berichterstattung scheint aktuell sehr US-lastig zu sein. Was passiert in diesem Komplex bei uns in der EU? Und kann man KI auch zur Gegenwehr verwenden?

00:37:05: Barbara Lampl: Die geopolitischen Machtspiele zwischen China und USA – das sind zwei ähnlichere Systeme, als man gerne hätte. Das ist genau einer der Gründe, warum so massiv hochgerüstet wird. Die wahrscheinlichste Antwort ist immer die gleiche Technologie. Wir erinnern uns an den Kalten Krieg und das atomare Wettrüsten.

00:38:53: Barbara Lampl: Die europäische Position: Wir sind im deutschsprachigen Raum in einer eher dummen Situation. Wir sind historisch nostalgisch. Im Prinzip haben wir verpennt, was seit Mitte der 90er passiert ist. Wir haben keine alternative Antwort auf Performance. So sehr ich Mistral mag – das einzige europäische Modell – wir sind nicht bereit, in diesen Schmerz hineinzugehen. Stattdessen trödeln wir und finden nochmal eine Regulationsschleife. Wir sind dann so uninteressant, dass man uns nicht angreift. Auch eine charmante Variante. Mir fehlt die echte Antwort und Alternative. Wie viel Diskussion auf politischer Ebene in Deutschland zu KI stattfindet – hast du eine mitbekommen?

00:42:15: Jochen G. Fuchs: Manche schon, aber manchmal frage ich mich, ob es was bringt.

00:42:38: Barbara Lampl: Die sollen einfach Kohle in die Hand nehmen. Wenn du dir Finanzierungsstrukturen anschaust, die in Hochschulen fließen – oder schauen wir nach China, wie die Zahlungsströme des Politbüros in die Bildungsinstitute fließen. Was ist die Zukunftsvision für Deutschland 2030? Ich habe bisher keine bekommen. Die Liste, wo wir mal führend waren, ist lang. Worin wollen wir jetzt führend sein? Dazu braucht es eine politische Vision. Die haben wir nicht. Die Unternehmen sind nicht besser.

00:44:53: Jochen G. Fuchs: Ich hätte gerne mit einer positiven Note geendet.

00:45:08: Barbara Lampl: Es ist scheiße. Punkt. Wir haben 2026 und diskutieren immer noch so rum, als wären wir in 1998. Das ist verheerend und keiner will in den Spiegel schauen.

00:45:34: Jochen G. Fuchs: Dass wir auf Industrien schauen, die sich auf einem absteigenden Ast befinden und lieber versuchen, sie zu retten, anstatt Gelder in Zukunftsindustrien zu investieren – das ist ein politisches Problem. Ein banales Beispiel: Eine Office-365-Ersatzlösung aus Europa. Open-Source-Projekte wie OpenDesk bieten Strukturgrundlagen, kommen aber nur in Behörden zum Einsatz. Kein Hyperscaler baut eine sichtbare Alternative auf. Das ist ein Einfallstor: Was waren die ersten Gehversuche vieler Unternehmen mit KI? Der Microsoft Copilot – weil es in Office 365 integriert ist. Wir brauchen politische Visionen und unternehmerische Visionen. Das ist unser Abschlussappell.

00:47:57: Barbara Lampl: Wir wünschen euch ein schönes Wochenende, wenn ihr die Folge gleich am Freitag hört.

00:48:03: Jochen G. Fuchs: Vielen Dank fürs Einschalten und bis zum nächsten Mal.