266 Milliarden Schaden: Warum KI und Cybersecurity zusammengehören

00:00:00: Jochen G. Fuchs: So, hallo und herzlich willkommen zu einer neuen Episode deines KI-Lieblings-Podcasts, LAIer 8|9. Hallo Barbara!

00:00:08: Barbara Lampl: Hallo Jochen!

00:00:10: Jochen G. Fuchs: Ja, spannende Zeiten, in denen wir leben, liebe Barbara, spannende Zeiten.

00:00:15: Barbara Lampl: Gott, ich hab schon unseren WhatsApp-Chat gesehen. Da hat mir Jochen gefühlte 180.000 Themen reingeschossen. Falls diese Folge einen leichten Anklang von Chaos hat – ich kann nicht garantieren, dass ich da Ordnung und Struktur reinbekomme. Wir geben beide alles. Jetzt fragt sich nur, wer von welcher Seite.

00:00:32: Jochen G. Fuchs: Ich gebe alles, dass es im Chaos ausartet. Wo fange ich denn überhaupt an? Ich lese jetzt einfach unseren WhatsApp-Chat-Verlauf vollkommen unsortiert vor. Nein, das tue ich nicht. Also, ich sitze im Moment so ein bisschen da – ich bin ja unter die Gründer gegangen und gründe mein eigenes Medium mit The BuyBeat. Man macht sich als Journalist, das ist ja nun mal eine der Professionen Schreiben, KI, Textgeneration – die so ein bisschen bedroht klingt – man macht sich so ein bisschen Sorgen, wie man sein eigenes Geschäftsmodell gegen diese ganzen tollen Neuerungen absichert. Wie man sich dagegen absichert, dass die eigenen Texte, die man gebaut hat, von der KI gecrawlt und gefressen werden. Man überlegt sich, ob man nicht vielleicht doch irgendeine andere Form von Mehrwert hinzufügen sollte als nur geschriebenen Text. Und während ich das so tue, stoße ich auf Marc-Uwe Kling. Bestsellerautor, der die Känguru-Reihe geschrieben hat. Auch lesenswert übrigens. Der hat was Witziges gemacht. Ich bin in irgendeinem Social-Media-Kanal drüber gestolpert. Der hat einen Schweizer Konfiseur namens Urs Stengeli – glaube ich war der Name – erfunden, hat ihn in sein Buch gepackt und hat behauptet, der gute Stengeli hätte 1894 in Zürich die Zuckerkruste erfunden.

00:01:58: Barbara Lampl: Das Schnapspralinchen? Auch irgendwas erfunden.

00:02:01: Jochen G. Fuchs: Ja, die Zuckerkruste ist ein Bestandteil der Schnapspraline, die den Schnaps von der Schokolade fernhält. Es ist eigentlich eine alte – glaube ich – französische Pâtisserie-Technik, eine allgemeine Kulinar-Technik, deren exakter Ursprung tatsächlich ein bisschen schwer nachzuverfolgen ist. Aber er sagte einfach 1894, das passt so ungefähr zu dem dokumentierten Zeitraum, an dem das Zeug zum ersten Mal auftaucht.

00:02:27: Jochen G. Fuchs: Macht es also so ein bisschen plausibel, hätte der liebe Stengeli diese Zuckerkruste für die Schnapspraline erfunden. Er packte das in sein Buch rein. Das Buch landete mit Leseproben im Internet und irgendein Social-Media-Leser las dann diesen Text. Der liebe Kling hat humorig drunter geschrieben: „Naja, im KI-Zeitalter wird es jetzt wahrscheinlich nicht lange dauern, bis ihr anfangt, im Netz danach zu suchen, wer denn bitte der Erfinder der Zuckerkruste ist – und dann bekommt ihr schwupps meinen Urs Stengeli serviert." Der Social-Media-Nutzer hat das sofort ausprobiert bei den AI Overviews von Google und bekam prompt die Antwort, dass Urs Stengeli die Zuckerkruste erfunden hätte. Ich hab mir das dann angeguckt und ausprobiert. Bei Claude hat es natürlich nicht funktioniert. Bei Google konnte ich es nicht auf Anhieb rekonstruieren. Ich habe aber einen Wikipedia-Eintrag gefunden – einen mittlerweile am 9. März gelöschten – über die Schnapspraline, wo im Exzerpt in den Suchergebnissen noch zu finden war, dass der liebe Stengeli die Zuckerkruste erfunden hat. Und dachte mir dann so: Das erinnert mich an die Problematik mit den Prompt Injections, auch wenn das jetzt keine Prompt Injection war, sondern eher so eine Art Wissens-Injection in Anführungszeichen. Bitte schön Barbara. Sortier den Rotz doch mal, du bist Data Scientist. Sortier doch mal die ganzen Daten, die ich da oben reingekippt hab.

00:03:48: Barbara Lampl: Okay, dann atmen wir alle ein und aus, Jochen seine Storyline, und jetzt bringen wir da Ordnung und Struktur rein. Ich bin Mathematikerin, das hört schon auf. Also fangen wir mal ganz vorne an. Das Beispiel mit Marc-Uwe Kling ist eine ganz interessante Variante. Zwei Thesen muss man jetzt mal in den Raum werfen. These 1: Das Ganze ist so alt, dass es schon in den Trainingsdaten drin ist. Dann würde ein LLM das ausgeben, basierend darauf, dass es diese Trainingsdaten gecrawlt und verarbeitet hat. Ich würde sagen, das ist nicht so alt. Das heißt, was passiert ist: Bei den Anfragen – wenn ihr in einem Chat-Tool eurer Wahl, aber auch in den AI Overviews oder in Google sucht – dann werden zusätzliche Daten aus dem Web herausgesucht. Dann kann es passieren, dass diese frisch gesuchten, neuen, hoffentlich fachlich korrekten Inputs – die in dem Fall natürlich fachlich nicht korrekt waren – in euren Ausgaben landen. Egal ob jetzt in einem Chatbot oder in den AI Overviews. Das hat damit zu tun, dass es zur Schnapspraline wahrscheinlich nie so viele historische Trainingsdaten geben wird. Das heißt, das wird eine Suchfunktion in allen Varianten der Tools triggern. Dann kann das natürlich passieren. In dem Fall hat das jemand ausgenutzt. Das ist auch ein altbekanntes Problem: LLMs sind wahnsinnig schlecht in der Einschätzung – aber auch grundsätzlich immer zum Aprilscherz. Was wir als Menschen vielleicht noch verarbeiten können, das kann das LLM in diesen Such-Anfragen nicht unbedingt. In dem Fall hat der gut gemachte Streich genau dafür gesorgt, wofür man das auf der positiven Seite baut – nämlich, dass man hochrankt, wenn die Nutzenden einen Chatbot oder sonst etwas benutzen. In dem Fall wurde das missbraucht. Und wie das dann so ist: Das kam nur oft genug vor, wahrscheinlich hat das dann eine Automatisierung bei Wikipedia getriggert, sodass noch ein Wikipedia-Artikel entstanden ist. Zusammen mit diesen beiden Sachen hat sich das hochgespielt. Es gibt einen Reddit-Thread oder was auch immer – also mehr Daten, die das unterstützen. Und dann war es auf einmal das, was nie existiert hat, sah als solider Fakt aus. Und schon haben wir Mythen rund um die Schnapspraline. Und was hat das mit Prompt Injection zu tun? Das ist was ganz anderes. Prompt Injection ist eigentlich ein Angriffsvektor aus der echten, harten Cybersecurity. Und die Cybersecurity ist nicht dafür zuständig, dein Geschäftsmodell, Jochen, am Leben zu erhalten. Das ist eine andere Frage – sondern dich und dein Unternehmen am Leben zu erhalten, unabhängig vom Geschäftsmodell. Prompt Injections sind in der Welt der KI einer der klassischen Angriffsvektoren, LLMs grundsätzlich zu knacken, aber auch alles Tooling oder alle Sachen, die gebaut worden sind mit LLMs, eben malicious Content hineinzubekommen. Und was wir jetzt sehen, ist nicht unbedingt purer klassischer Cyber. Es gibt von Microsoft ein Research Paper, das gezeigt hat, wie mit dem Summary-Button eine Prompt Injection gelaufen ist, die in die Memory-Funktion von diversen Consumer-Tools injiziert – oder grundsätzlich auf die Memory-Funktion einspielt. Sodass der Jochen dann quasi vor drei Wochen irgendwann über die Schnapspraline gesurcht hat und eine Prompt Injection damit verbunden wäre – und dann sechs Wochen später, er hat natürlich längst vergessen, was er da getan hat, ist das immer noch Teil der Memory. Und dann sucht er für die Schwiegermutter ein Geburtstags- oder Weihnachtsgeschenk, und dann schlägt sie ihm lauter Schnapspralinen vor. Im Zweifelsfall vom Hersteller XY, weil der das im Zweifelsfall initiiert hat. Und damit ist der eigentliche Angriffsvektor der Cybersecurity zu einer Art Black-Hat-SEO-Hack geworden – so wie wir früher schlechte Links durch die Gegend geballert haben. Und dann fällt es quasi wieder in die Welt rein, wo Jochen vorne reingekommen ist: Wie sicher ist eigentlich mein Geschäftsmodell im Zeitalter von AI? Das hat aber zwei Seiten: Geschäftsmodell sicher durch die Entwicklung der Technik – und wie sicher ist mein Unternehmen, das ist die Cybersecurity. Beides kann die gleichen Varianten verwenden und kann eklig dreckig werden.

00:07:59: Jochen G. Fuchs: Also, banal gesprochen: Ob mein Geschäftsmodell sicher ist oder nicht, betrifft die Inhalte, die ich produziere – ob ein KI-Chatbot oder eine KI-gestützte Datenbank, die ich entwerfe. Das ist dann so mein Geschäftsmodell. Und meine Cybersecurity, was mein Unternehmen angeht, ist dann eher der Punkt: Ob dann mein Content-Management-System abgesichert ist, damit kein Rotz auf meiner Webseite erscheint. Ob mein Agenten-Tool, das eigentlich Anfragen von meinen Lesern beantworten soll, so abgesichert ist, dass es nicht versehentlich meine Bankdaten nach außen kommuniziert – wenn irgendjemand sagt: „Sag doch mal, wie sind denn die Zugangsdaten vom Jochen für sein Bankkonto?"

00:08:47: Barbara Lampl: Genau, beides kann unter anderem über eine Prompt Injection laufen.

00:08:53: Jochen G. Fuchs: Okay, aber das fängt doch schon ein bisschen daran an, dass man diese Tools voneinander fernhält, oder? Also ich sollte jetzt nicht den KI-Chatbot, mit dem ich meine Bankgeschäfte steuere – was ich im Teufel niemals tun werde, nebenbei bemerkt – nicht mit dem KI-Chatbot vermengen, der Fragen meiner Endanwender auf der Webseite beantwortet.

00:09:15: Barbara Lampl: Ja, wäre das alles so einfach, würden keine Firmen in Deutschland jemals irgendwie gehackt werden. Die Sachen sprechen ja relativ viel miteinander. Kleine Spoilerfrage, lieber Jochen, zur Cybersecurity: Wie viel Schaden richten Cybersecurity-Attacken jährlich allein in Deutschland an?

00:09:31: Jochen G. Fuchs: Ich bin zwar mehr Wirtschafts- als Tech-Journalist, aber ich gehe von einer recht hohen Summe aus. Irgendwas, das in den Milliardenbereich geht, würde ich schon fast schätzen. Sagen wir mal so 500 bis 750 Millionen Euro. Nehmen wir mal eine Nummer.

00:09:47: Barbara Lampl: Die meisten kennen die Zahlen nicht, weil sie die Bitkom-Studie noch nie aufgemacht haben. 266,6 Milliarden. 266,6 Milliarden jährlicher Schaden aus der Bitkom-Studie. *Anmerkung der Redaktion: Barbara bezieht sich hier auf den Vorjahreswert (2024). Die aktuelle Bitkom-Studie „Wirtschaftsschutz 2025" beziffert den Gesamtschaden auf 289,2 Milliarden Euro.*

00:09:58: Jochen G. Fuchs: Was für ein Schaden – mal ganz kurz, damit es nicht ganz so abstrakt bleibt, weil bei dieser Riesensumme schaltet das menschliche Gehirn ja schon so ein bisschen ab. Was sind das in Relation? Unser Bruttoinlandsprodukt liegt bei irgendwie viereinhalb bis fünf Billionen, glaube ich.

00:10:26: Barbara Lampl: Hoch! Also, Sachkritische Schäden – die Lage der Sicherheit – wir können euch das gerne auch nochmal verlinken.

00:10:34: Jochen G. Fuchs: 10 Prozent wären 400 Milliarden, 20 Prozent wären 800 Milliarden ... Er schießt mich einfach. Lasst mich hier liegen.

00:10:41: Barbara Lampl: So, die Vorstellung der Bitkom-Studie. Ich hab hier nebenbei nochmal schnell gecheckt. Achtung, das ist die deutsche Wirtschaft. Okay, Frau Lampl, das war die alte Zahl, die Sie im Kopf hatten. Asche auf mein Haupt.

00:11:02: Barbara Lampl: Das ist alles, was zu Cybersecurity-Attacken zählt: Datendiebstahl, Industriespionage und Sabotage. Und drei von vier Unternehmen registrieren eine Zunahme von Angriffen. Das vierte Unternehmen misst es wahrscheinlich nur nicht.

00:11:11: Jochen G. Fuchs: Okay. Das einzige Mal, wo ich das mal erlebt habe, da hat irgendwer irgendwo einen Weg zu einer Kundendatenbank gefunden und hat das publiziert. Dann saß das Unternehmen in der Tinte. Das ist so der einzige Fall, an den ich mich erinnere, wo ich mal drüber gestolpert bin. Was ist denn das eigentlich – was kann da alles kaputtgehen?

00:11:48: Barbara Lampl: Alles.

00:11:50: Jochen G. Fuchs: Danke. Geht das ein bisschen plastischer als „alles"?

00:11:52: Barbara Lampl: Okay, pass auf: Du wirst gehackt. Du bist ein großes Unternehmen. In dem Moment, wo der Angriff durchgeführt wird, musst du ziemlich harte und schnelle Entscheidungen treffen. Was machen wir? Alles stoppen? Alles dark gehen? Du kannst gehackt werden auf deiner operativen Seite. Der Worst Case ist: Die ziehen die Daten ab. Aus allem. Das können deine Personaldaten sein, deine Kundendaten, deine – was auch immer. Alles, was Daten ist. Das können aber auch deine Shopfloor-Daten sein, deine Werkstattdaten, deine Maschinendaten. Alles kann gehackt werden. Und jetzt: Die ziehen ja nicht nur ab, die verschlüsseln auch deine Daten. Datendiebstahl ist noch ziemlich das Offensichtliche. Während die im Zweifelsfall deine Daten ziehen, verschlüsseln sie sie – das heißt, du hast keinen Zugang mehr. Dann kommt eine Lösegeldforderung, um das wieder zu haben. Ohne Daten und ohne IT-Technik kann kein Unternehmen heute mehr überleben. Denkt an die großen Fälle: Marks & Spencer, Jaguar Land Rover. Bei Land Rover war der Hack so groß, dass die britische Regierung ein Notfallpaket schnüren musste, damit die Zulieferer nicht pleitegehen – weil der Unwind von dem Hack so lange dauerte, dass die kompletten Produktionslinien stillstanden. Das Ausmaß heißt: Alles, was ein Unternehmen hat, kann stillstehen und weg sein.

00:13:09: Jochen G. Fuchs: Ja, ich erinnere mich noch an irgendeinen Fall, der groß durch die Presse ging, wo ein Landratsamt in so eine Situation reinkam. Da werden dann keine Gelder mehr ausgezahlt, gar nichts, weil die Daten verschlüsselt sind und sie nicht mehr darauf zugreifen können.

00:13:16: Barbara Lampl: Auch diverse Städte und so weiter – keiner ist sicher. Und wenn ihr euch die Zahlen anguckt, wenn ihr denkt, ihr schlaft nachts gut: Drei von vier Unternehmen in Deutschland melden erhöhte Cyberattacken. Acht von zehn Unternehmen sind von Datendiebstahl, Spionage oder Sabotage betroffen. Acht von zehn. Na ja, Prompt Injection ist heute ein erweiterter Angriffsfaktor. Und jetzt zu deiner kleinen Frage: Deine Bank sollte ja natürlich nicht mit deinem Workflow reden. Aber könnte es sein, dass du versehentlich E-Mails hin- und herschickst und du nur eine White-Text-Injection hast, weil im anderen System deine E-Mails ausgelesen werden? Diese White-Text-Injection enthält ausführbaren Code. Du brauchst nicht mehr die Phishing-Mail aufzumachen, weil dein Agent liest sie ja.

00:14:04: Jochen G. Fuchs: Ja, ich meine jetzt mal banal gesprochen: Ich überlege im Moment tatsächlich – es steht mir wieder eine Steuererklärung an – mit Gemini über meine Mails drüberzugehen, alle Rechnungen zu extrahieren. Und der manuelle Zwischenschritt wäre: Alles, was der dann extrahiert hat, lade ich in meinen Posteingang hoch und meine Buchhaltungssoftware erkennt dann die PDFs und bucht das Zeug ein. Nur wenn ich das nicht manuell mache und nicht prüfe, ob das tatsächlich alles Rechnungen und PDFs sind, dann könnte der Agent da irgendwas anderes, was sich als Rechnung tarnt, ins System importieren, an die Buchhaltung weiterleiten – und dann ist da über eine Injection ...

00:14:48: Barbara Lampl: Genau. Und das sind halt so einfache Sachen. In einem größeren System kann man das alles sicherstellen. Ich muss nur den Aufwand betreiben. Ihr merkt schon, ich sage immer wieder: muss nur den Aufwand betreiben. Denn ja, der Großteil davon ist definitiv nur mit Aufwand zu lösen. Und wenn du eine gute Cybersecurity hast, bist du da auch sauber aufgestellt. Aber das ist dieses ... Wenn Kollegen – ich ja auch manchmal – die Hände über dem Kopf zusammenschlagen und lustige Sachen sehen, ihr erinnert euch vielleicht an unsere OpenAI-Folge, dann geht es nicht darum, dass wir euch den Spaß nehmen wollen, sondern wir sagen: Denkt dreimal drüber nach, macht das doch in einem separaten System. Einfach weil du als Profi nur eines grundsätzlich mitdenkst: Ihr habt die Schadenssummen gerade gehört. AI und Cybersecurity müssen synchron und gemeinschaftlich gedacht werden. Und, lieber Jochen – wen hat's denn da gerade so erwischt, wo das nicht gemacht worden ist?

00:15:43: Jochen G. Fuchs: Da gab's doch die Nummer hier mit ... War das McKinsey in Australien?

00:15:47: Barbara Lampl: So eine ganz kleine Unternehmensberatung hat's da jetzt mal erwischt. Also, McKinsey ist gehackt worden. Nein, das war keine Prompt Injection, aber es war auch in zwei Stunden durch. Der Agent, der den Hack ausgeführt hat, hat vorgeschlagen, dass McKinseys hausinterne AI-Plattform ein besonders interessantes Target ist. Das können wir daraus lernen: Viele Dinge. Aber wenn's McKinsey erwischt, kann's alle erwischen. Okay?

00:16:11: Jochen G. Fuchs: Ja, schmerzhaft. Was ist bei denen eigentlich passiert?

00:16:14: Barbara Lampl: Jetzt wird's noch viel bitterer. Also, Jochen, ich weiß, du hast einen Techie-Background. Deswegen, over to you: Was ist ein Pentest?

00:16:23: Jochen G. Fuchs: Pentest – den kenne ich jetzt nicht, da muss ich mich blamieren.

00:16:28: Barbara Lampl: Tu's dir gar nicht. Also, Pentest ist ein klassischer Penetrationstest.

00:16:35: Jochen G. Fuchs: Okay, Penetrationstest – ohne Abkürzung hätte ich es gewusst.

00:16:38: Barbara Lampl: Siehste, wunderbar. Was ist so ein Penetrationstest? Sorry, wenn ich hier wieder mit meinen Kurzbegriffen um die Ecke komme.

00:16:44: Jochen G. Fuchs: Man versucht, ob man in ein System eindringen kann, würde ich jetzt mal ganz banal sagen.

00:16:48: Barbara Lampl: Richtig. Ein Pentest ist eine simulierte Attacke. Das ist ein Sicherheitstest, der darauf ausgelegt ist – der in den 90er Jahren immer weiter standardmäßig verwendet wurde. Dein Pentest ist nichts anderes, als zu testen, ob deine Plattformen, deine Rechner von außen zugänglich und sicher sind. Du willst ja lieber vorbereitet sein, als dass dir nachher der Hacker sagt: „Übrigens, ich bin da mal da." Das ist etwas, was seit vielen Jahren existiert, es gibt ganz viele Varianten, wie das durchläuft. Da ist übrigens auch der ganze Begriff „Red Teaming" hergekommen. Red Teaming, Social Engineering – es gibt ganz viele Varianten von Pentests. Und das ist im Prinzip auch, wie McKinsey gehackt worden ist – mit einem sehr klassischen Pentest-Ansatz. Das macht das Ganze so bitter. Denn die haben – ja, das ist ein bisschen eine Sonderlocke. Aber trotzdem in State-of-the-Art-Tools alles vorhanden. Am Ende des Tages hat das CodeWall – ein Cybersecurity-Startup und Researcher aus London – den Agenten draufgejagt. Und der hat nichts anderes gemacht, als dass er über 200 API-Endpoints gemappt hat und geguckt hat, was davon authentifiziert ist und was nicht. Dann hat er die genommen, die es nicht waren – das waren dann noch 22. Dann hat er sich da ein bisschen rumversucht und hat eine Sonderlocke einer SQL-Injection hinbekommen, die jetzt auch nicht unbedingt so weit außerhalb der Wahrnehmung liegt. So haben die die Komplettplattform – Lilli genannt, von McKinsey – die definitiv die komplette hausinterne Plattform ist, wo ich weiß nicht wie viele der 57.000 Mitarbeiter drauf arbeiten, aufbekommen. Und vollen Access gehabt.

00:18:52: Jochen G. Fuchs: Okay, krass. Also wenn man so einen Penetrationstest macht, muss man erstmal von außen wissen: Was für Systeme gibt es, was für Angriffsvektoren gibt es, womit muss ich mich auseinandersetzen? Wo richte ich meinen Blick hin?

00:19:08: Barbara Lampl: Naja, wenn du so eine Plattform laufen hast, dann ist der Penetrationstest einer deiner Standardtests. Aber du hast natürlich neben dem Pentest ganz viele Varianten: Ihr kennt Phishing-E-Mails, Spam-E-Mails und Scam-E-Mails. Prompt Injection ist ein Teil davon. Und in diesen sehr sophistizierten Fällen – und das ist das, was bei McKinsey ein bisschen hochgezogene Augenbrauen macht – in dem Fall wurde ein LLM benutzt, aber es war keine LLM-Attacke. Das LLM wurde benutzt, um eine Schwachstelle zu finden. Ein LLM-basierter Agent hat diese Attacke in zwei Stunden ausgeführt. Auch das ist einfach neu: dass wir Agenten haben, die Attacken ausführen. Aber der eigentliche Hack war relativ oldschool. Ansonsten hast du ganz viele Sachen: Prompt Injection, API-Codes, die rausgezogen werden, offene Endpunkte. Also das Übliche: Wie dicht ist das Haus aus allen Varianten? Und in Agenten musst du zusätzlich aufpassen, dass du von innen dich nicht selbst schwächst, weil deine Agent-Plattformen deine Hauswände penetrieren. Das ist nochmal eine zusätzliche Schicht, wenn du in hoch agentischen Workflows arbeitest – dass du nicht von innen versehentlich deine eigenen Türen und Tore aufmachst.

00:20:36: Barbara Lampl: Es gibt immer wieder diese Aussage von Kollegen, die dann auch mal wieder die Zahlen zeigen: Früher hattest du, ganz früher, zwei Jahre Zeit, nachdem ein Patch rausgekommen ist. Heute hast du zwischen der Erkennung – verdammte Hacke, wir müssen patchen – bis die Attacke fertig ist, nach den letzten Zahlen 1,6 Tage. Wenn ich mir angucke, dass der Agent zwei Stunden gebraucht hat, haben wir vielleicht nur 1,4 Tage oder sogar nur zwei Stunden Zeit, um zu patchen. Also: Wenn ein System eine Schwachstelle identifiziert, du nutzt ein Tool oder sonstwas – ohne dynamisches Patch-Management, wenn du eine Benachrichtigung wegdrückst mit „dieses Update mach ich später" ... Für Unternehmen kann so ein Update ziemlich komplex sein. Wir erinnern uns an diverse Outages. Und das ist halt diese gesamte Bandbreite. Du kommst quasi von der einen Seite: Wie valide ist mein Geschäftsmodell im Zeitalter von AI? Insbesondere auch, dass wir sowas wie Black Hat in der SEO-, Marketing- und sonstigen Welt haben. Und auf der anderen Seite: Wie sicher ist mein Haus eigentlich? Und das kann besonders für große Unternehmen schwierig sein – je größer du bist, umso schwieriger ist diese Frage zusammen und unabhängig voneinander zu beantworten. Weil das eine ist das Geschäftsmodell, das andere ist das Haus, in dem dein Geschäftsmodell stattfindet. Deswegen muss das alles miteinander und untereinander gedacht werden. Das ist einfach ein ganz wichtiger Aspekt.

00:22:00: Jochen G. Fuchs: Und so wie ich vorhin gedacht habe: „Naja, mein KI-System hat ja keine direkte Verbindung zu meiner Bank, da habe ich ja schon mal kein Problem" – das ist halt nur ein allerkleinster erster Schritt. Weil die Prompt Injection kann dann auf einem anderen Weg in mein Banksystem landen.

00:22:19: Barbara Lampl: Genau. Wenn du nicht in der Agent-Welt arbeitest, wo dein Agent Write Access hat, dann bist du relativ safe. Aber das sind alles Sachen, die du überlegen musst: Gebe ich Read Access, Write Access? In welchen Umgebungen läuft das? Das soll euch nicht den Spaß an KI nehmen, ganz im Gegenteil. Es soll euch nur klar sein: Je nachdem, wo ihr steht und was ihr macht, die Verantwortung wird täglich größer. Es wird nicht trivialer. Und Cybersecurity ist auch überlebenswichtig. Deswegen finde ich dein Beispiel so gut – ich hatte das vor ein paar Wochen schon auf LinkedIn geteilt mit der Prompt-Injection-Studie von Microsoft. Weil das ist ja in erster Linie kein malicious Cybersecurity-Angriff. Aber es könnte theoretisch das Geschäftsmodell von jemandem komplett ruinieren. Und wenn ihr euch die Zahlen vom Bundesamt für Verfassungsschutz aus 2025 zur Bitkom-Studie anguckt – die heißt übrigens „Wirtschaftsschutz 2025" – die haben wir bestimmt unten verlinkt. Lest euch das rein, damit ihr seht, wo die ganze Welt sich hinschwenkt und warum weder das eine noch das andere Nice-to-have ist. Das eine findet meistens auf der Business-Development-Seite statt. Das andere ist die Cybersecurity. Aber beides zusammen muss miteinander gedacht werden. Also liebe Shoutouts: liebe CSOs und liebe Teams dieser Welt da draußen, I feel you. Ich war noch nie so in der Diskussion und hab gerade das Gefühl, ich hänge hinterher, was morgen machbar ist, und fühle mich ständig im Wissensdefizit.

00:23:57: Jochen G. Fuchs: Ja, und bei manchen Sachen muss man sich wahrscheinlich auch einfach von der Architektur her Gedanken machen. Ein Beispiel: Wenn du sagst, okay, du hast einen Kundenservice-Agenten. Es gibt Kunden, die was zurückschicken – ich bin jetzt im E-Commerce-Bereich, gerade vom Kopf her, meiner Homebase.

00:24:19: Jochen G. Fuchs: Und du sagst, okay, gut, ich will jetzt nicht jeden Vorgang selber entscheiden müssen – und der Agent kriegt auf einmal die Möglichkeit, Erstattungen für Bestellungen vorzunehmen und auszulösen. Dann hast du unter Umständen ein Architekturproblem. Wenn der aufs normale Firmenkonto zugreift, um Erstattungen auszulösen, oder mit Vollzugriff aufs ERP-System fährt, um die Erstattung auszulösen, und dann jemand über diesen Agenten schafft, eine Prompt Injection vorbeizuschmuggeln – kann es halt in die Hose gehen. In dem Fall wäre es dann wahrscheinlich sinnvoller, ein Extra-Konto zu schaffen, das ein Limit hat, auf das der Agent dann Zugriff hat. Oder es ist eine Aktion, wo der Agent gar keinen Zugriff hat und ein Human in the Loop drinhängt.

00:25:04: Barbara Lampl: Ja. Und das ist auch nochmal ganz wichtig – ich wiederhole mich tausendmal und ihr werdet den Spruch von mir in tausend anderen Varianten hören: Human in the Loop ist kein Allheilmittel. Du brauchst technisches Counteracting. Kein Human in the Loop bei der Responsegeschwindigkeit. Was sollen deine Mitarbeiter nicht mehr schlafen und jetzt konstant auf Binärdaten draufgucken, damit du safe bist? Human in the Loop kann und sollte immer Teil einer Kette sein. Aber wenn Human in the Loop deine Defense Line oder dein Allheilmittel ist? Hier ist der Rat zur guten Stunde: Wir sind dafür noch nicht gesponsert, aber seid ihr eine Wirtschaftskanzlei, die Insolvenz anbietet – habt ihr ein Subscription-Modell, wo sich eventuelle Kunden schon mal einen Platz sichern können? So ein Subscription-Modell für die Insolvenzverwaltung. Das ist jetzt ein Scherz, aber es ist halt sehr viel Wahrheit dahinter, leider bitter. Weil wenn ihr Human in the Loop als Defense-Mechanismus oder als Allheilmittel habt – Leute, das fliegt euch um die Ohren. Und es ist absehbar, dass es richtig drastisch wird.

00:26:12: Jochen G. Fuchs: Okay, ich komme nochmal kurz zur Prompt Injection zurück, weil das so ein Thema ist, das bei KI immer wieder hochgespült wird. Ist denn das eigentlich ein Feld, das man technisch einigermaßen abriegeln kann? Weil gerade die KI-Kritiker sind da ja immer sehr laut und sagen, dass das LLM an sich als Architektur man nicht hundertprozentig gegen eine Prompt Injection absichern kann.

00:26:35: Barbara Lampl: Das LLM, das rohe LLM – dann kannst du es nicht mehr prompten. Das kannst du nicht absichern. Kannst du andere Sachen außen rumbauen, die das relativ sauber machen? Ja, natürlich. Deswegen zurück zu: Du brauchst automatisierte Überwachungssysteme. Das ist eine der Critical Instances. Aber an der Stelle musst du halt einfach ... Security by Design ist kein Nice-to-have mehr. Das muss komplett by Design essentiell sein. Kannst du das rohe LLM dagegen absichern? Nein, sonst wird's ja nicht funktionieren. Die Prompt Injection ist ja quasi das, was das Ding zum Laufen bringt. Musst du deswegen Systeme und Überlegungen außen rum haben, je nachdem, wie du es einsetzt? Ja, das ist aber deine Aufgabe, das zu durchdenken.

00:27:29: Jochen G. Fuchs: Das heißt: Entweder die Architektur intern so konstruieren, dass es keinen Schaden geben kann, plus technische Systeme als Verteidigungslinien.

00:27:37: Barbara Lampl: Monitoring- und Maintenance-Systeme, Human in the Loop als Trägerelement, Notausknöpfe. Wir haben an der Stelle schon gute, solide Sachen – die müssen verwendet werden. Dann sind wir wieder bei der dreckigen Aufgabe: Ist das jetzt in einem geschlossenen Piloten schon etwas, was mitgedacht worden ist? Nein. Muss ich da aber, wenn ich aus der Pilotphase in Production gehe, eventuell nochmal einen Sonderposten in der Budgetierung einplanen? Ganz häufig fällt das hinten runter. Ja. Aber das ist der Kampf, wo halt gerade bei vielen Unternehmen ein bisschen das Bewusstsein fehlt. Deswegen lese ich die Bitkom-Studie jährlich immer mit viel Grauen und denke: Da sollten wir doch bisschen mehr schon verstanden haben. Aber deswegen habe ich ja auch gesagt, als wir uns in unserem WhatsApp-Chat vorbereitet haben: Komm doch gerne mit dem ganzen Chaos rein. Weil mein Eindruck ist, dass du noch relativ organisiert dran bist mit Prompt Injection. Das hat was mit meinem Geschäftsmodell zu tun – okay. Cybersecurity? Habe ich lange nicht mehr darüber nachgedacht. Aber selbst diese Klarheit haben ganz viele Unternehmen nicht. Insbesondere nicht in Gremienentscheidungen oder dort, wo es drauf ankommt – Stichwort Aufsichtsräte, Beiräte. Das ist kein Nice-to-have. Und 289,2 Milliarden Schaden sind jetzt auch kein Butterbrot. Das ist zerstörte Wirtschaftsleistung.

00:29:00: Jochen G. Fuchs: Ja, und mir scheint auch: Was man nicht vergessen darf, ist, Worst-Case-Szenarien zu entwerfen, oder? Bei so einem Ding wie beim Landratsamt beispielsweise fragt man sich: Warum hat diesen Gedanken nie irgendjemand vorher durchgespielt und sich überlegt, was passiert denn eigentlich wenn? Und wie können wir dann zurückrollen, wie können wir erstmal den Stecker ziehen?

00:29:23: Barbara Lampl: Wahrscheinlich hat das sogar jemand. Aber wenn ich mir die üblichen Hierarchiestrukturen angucke, ist der jemand ständig gebashed worden, dann gab's dafür kein Budget. Und momentan sage ich einfach immer wieder Unternehmen: Es gibt sogenanntes Wargaming, das sind sogenannte Doomsday-Szenarien. Und jedes mittelgroße Unternehmen sollte eigentlich eine Abteilung haben, die Doomsday-Szenarien spielt. Das beinhaltet das, was du gerade angesprochen hast. Das beinhaltet die Cybersecurity. Im besten Falle ist das Montag, Dienstag Doomsday-Szenarien. Und Mittwoch, Donnerstag, Freitag trampelt man die Best-Case-Szenarien voran. Das sind aber Sachen, die sind nicht in den Kulturen verankert – dass es relevant ist, dass du jemanden hast, der nur darüber nachdenkt, was morgen kaputtgehen kann und wie sehr wir unter Feuer stehen können. Gleichzeitig jemanden, der sich in der gleichen Position um 180 Grad dreht und sagt: „Auf sie mit Gebrüll." AI ist ein riesiges Culture-Thema. Wir kommen um die Diskussion nicht herum, wir können die Augen verschließen, aber AI ist ein riesiges Culture-Thema. Und AI führt wie mit einem Brennglas, mit einem Scheinwerfer drauf, auf die nicht gemachten Hausaufgaben, auf die ungelösten Culture-Konflikte und auf die Frage: Wo stehen wir wirklich? Was haben wir mit WD-40 zum Laufen gebracht? Wo haben wir zu viel Friction? Und wo haben wir Ductape drübergeballert, wo AI sagt: Da kann ich nicht drüberhüpfen?

00:30:50: Jochen G. Fuchs: Ist auch ein bisschen ein kulturelles Thema. Es ist halt auch oft so, dass wenn ich mich an einzelne Fälle erinnere, wo die Cybersecurity dann eben einen Breach hatte und Schaden entstanden ist – es sind oft irgendwelche seltsamen Edge Cases. Irgendwelche Sachen, wo man schon schräg denken muss, um auf die Idee zu kommen. Da hat dann wieder keiner dran gedacht. Und das Problem ist – das fühlt sich für mich jetzt gerade so ein bisschen an, wenn man an diesen Agenten und McKinsey denkt: Früher brauchte man eine Mischung aus Zeit, Kapazitäten, unter Umständen auch personelle Kapazitäten und Wissen, um diese Schwachstellen aufzudecken. Und das brauchst du jetzt eventuell nicht mehr. Du brauchst einen Agenten und einen Prompt und ein kleines bisschen Fachwissen – und dann schickst du das Ding los und sagst: Such mal Schwachstellen.

00:31:35: Barbara Lampl: So bitter das klingt – CodeWall sind Bomben, die haben gute Researcher, da sitzen schon auch Profis. Aber die haben sich bei dem Hack auf mehr eingestellt. Die hatten geplant, was sie als zweite oder dritte Attackwelle fahren – nicht, dass der erste Agent nach zwei Stunden voll durchgestoßen ist. Und das ist halt schon selten bitter. In dem Fall sind das ein Research Lab, die natürlich sofort McKinsey informiert haben. Aber auch an der Stelle: Wann ist es nach außen gedrungen? McKinsey hat kein Statement dazu abgegeben. Dass sie gehackt worden sind – CodeWall hat drüber berichtet. Dann wurde es nach und nach über X und LinkedIn berichtet. Dann haben irgendwelche Medienhäuser darauf reagiert – Handelsblatt und Financial Times. Da merkt man halt auch, wie solche Neuigkeiten versucht werden zu steuern. Das ist ein Teil der Kommunikationsstrategie: Wenn du gehackt wirst, ist das ein essenzieller Teil. Aber jetzt denken wir das doch mal kurz weiter – und ich sage das jetzt öffentlich: Wenn ihr euch das Statement vom Bundesamt für Verfassungsschutz anguckt und den Bericht lest, dann steht da sehr offensichtlich drin, wer die größten Player sind. Und die größten Player in diesem Markt sind geopolitische Player. Das ist ein offenes Geheimnis, dass Russland, China, aber auch der Iran Hacker-Truppen haben. Der kleine gemeine Mensch in mir denkt sich: Wie viel Zugang ist jetzt gerade weggegangen? Wenn der Agent zwei Stunden gebraucht hat, und da soll mir einer sagen, dass da nicht vorher schon jemand auf die Idee gekommen ist. Wenn ich eins in meinem Job gelernt habe: Ich habe keine neuen Ideen. Irgendjemand, der sehr viel schlauer ist als ich, ist schon längst auf die Idee vor mir gekommen. Besonders mit mehr Ressourcen. Und das Ding ist Ende Februar gehackt worden. Ich weiß nicht, wer sich am nächsten Morgen gedacht hat: Wo ist mein Account hin? Und 1+1 schon alles gezogen hat. Das ist halt auch viel die Gefahr. In dem Fall hat bisher niemand gesagt: „Schickt mir Lösegeld, ich sperre euch aus." Die haben im Zweifelsfall nur mitgelesen.

00:33:37: Jochen G. Fuchs: Ja, definitiv. Und nur nochmal kurz das Thema Kommunikationsstrategie herauszuheben, weil das erlebe ich oft – auch als Tech-Journalist sehe ich das des Öfteren: Ich kriege irgendwelche Informationen zugespielt oder ich sehe es in der Berichterstattung von Kollegen. Ich finde, man kann zu hundert Prozent davon ausgehen, dass wenn ich ein Sicherheitsleck hatte, das mindestens eine Person weiß.

00:34:05: Barbara Lampl: Mindestens eine Person.

00:34:06: Jochen G. Fuchs: Und in dem Moment kann man meines Erachtens nach keinen Deckel mehr draufhalten. Und vor allen Dingen im heutigen Zeitalter: Wenn sowas bekannt wird, dann gibt es in der Regel Krisensitzungen. Das heißt, es sind immer mehr als eine Person. Es sind einige Personen involviert. Und man muss auch überlegen: Meistens ist ein Anlass dafür da, dass über dieses Sicherheitsleck jetzt gesprochen wird und überlegt wird, wie gehen wir damit kommunikativ um. Und der Anlass ist meistens extrinsisch getrieben. Irgendjemand von außen hat das geliefert. Und da habe ich nie eine Kontrolle drüber. Auch wenn der sagt, ich kommuniziere das nicht – du weißt nicht, was er kommuniziert hat, ob er das wirklich komplett dicht gemacht hat, ob er vielleicht gehackt wird oder ob er einen Hass schiebt und es dann doch durchsticht. Wenn dir das passiert als Unternehmen, musst du eigentlich proaktiv kommunizieren. Du musst den Schaden begrenzen.

00:34:58: Barbara Lampl: Genau. Du solltest bei der großen, sich immer wiederkehrenden Schleife halt vorbereitet sein. Du, lieber Jochen, du musst dich vorbereiten von deinem Geschäftsmodell: Wie sieht dein Geschäftsmodell morgen aus in der Prompt-Injection- und Black-Hat-SEO-Welt der neuen Art, der AI-driven Welt? Deine eigentliche Idee, dass das Geschäftsmodell eventuell ruiniert werden kann? Und Cybersecurity braucht genauso Vorbereitung: Was, wenn's der Worst Case ist? Ab wann kommunizieren wir was, wie gehen wir damit um?

00:35:23: Jochen G. Fuchs: Fertige Kommunikationsstrategien in der Schublade, bitte, liebe Leute.

00:35:26: Barbara Lampl: Genau, dann kannst du ja immer noch sechs verschiedene Varianten haben. Vielleicht ist es so – je nachdem. Ich bin froh, dass ich nicht in der Position bin, das entscheiden zu müssen. Aber das ist halt die Realität an der Stelle, wo man sich immer wieder Gedanken drüber machen muss. Du kannst in unserer heutigen Welt nicht wissen, was morgen passiert. Aber du musst halt irgendwie versuchen, gut vorbereitet zu sein. Und das ist das: Wenn du natürlich tagtäglich von weiß ich nicht wie vielen Leuten beansprucht wirst – dann frage ich mich manchmal: Für was nehmen wir uns denn jetzt Zeit? Und das ist keine Frage der Prioritäten. Und ich möchte einen kleinen Shoutout an einer Stelle geben, weil ich durfte beim Data Science Slam dabei sein und durfte einen Slam halten im großartigen Schauspielhaus Bochum. Und mit mir auf der Bühne waren ganz großartige Kolleginnen und Kollegen. Ich mache ja immer wieder folgenden Witz. Den kennt ihr eventuell von mir schon: „Wir machen hier doch nicht alle irgendwie offene Herz-OPs." Den habt ihr bestimmt schon mal gehört. Warum diese lange Ausführung? Denn der großartige Dr. Martin Christ hat im Zuge der Frauenherzgesundheit zwischen zwei Schichten sich entschieden, es möglich zu machen und auf die Bühne des Data Science Slams für die gute Sache zu gehen. Zusammen mit Sina Barkow von E.ON sich auf die Bühne zu stellen und einen großen Aufruf zu starten. *Anmerkung der Redaktion: Martin Christ hat uns freundlicherweise darauf hingewiesen, dass er selbst keine offenen Herz-OPs durchführt – dafür ist sein Kollege Payam Akhyari zuständig. Beide engagieren sich gemeinsam für die Frauenherzgesundheit und stehen regelmäßig auf Bühnen, um die Awareness dafür zu steigern.* Und wenn der das hinbekommt – zwischen zwei Schichten auf die Bühne eines Data Science Slams zu gehen – dann sollten wir vielleicht alle nochmal kurz einatmen und ausatmen und fragen, was denn so unsere Prioritäten sind. Weil: Hey, das musst du erstmal hinbekommen. Großartig. Aber vielleicht sollten wir da bisschen Hirnweitern lassen. Wenn der das schafft, bei einem Data Science Slam in Bochum vorbeizuheizen, dann sollten wir vielleicht auch noch Gedanken machen über unsere zukünftigen Geschäftsmodelle und über Cybersecurity – die dann nämlich ansonsten wirklich zur offenen Herz-OP werden.

00:37:38: Jochen G. Fuchs: Alles klar, können wir diesen Slam eigentlich irgendwo sehen? Ist da was aufgezeichnet worden?

00:37:42: Barbara Lampl: Ich geb euch, sobald ich ein Update habe – eventuell haben wir schon ein Update – dann können wir es verlinken. Ich glaube, da gibt's Nachberichterstattung in Video und so weiter. Dann linken wir das euch rein und ansonsten werden wir diese Show Notes definitiv updaten oder irgendwie ankündigen. Dann könnt ihr gucken, wo mein Slam so rumhängt. Das war ein echter 10-Minuten-Slam, ohne Slides. Nur der Hintergrund. Und wenn ihr den Titel kennen wollt, das können wir euch auf jeden Fall verraten – ist nämlich ein kleiner Fun Fact und damit enden wir dann: Die KI weiß, wer AI Babsi ist. Ich habe den Slam-Titel, weil ich eine einzelne Slide brauchte, schnell in Gamma eingegeben: „KI und ihr menschendämlicher Einsatz" bei AI Babsi. Und Jochen und ich haben's geschafft: Unser Branding ist so freaking on point, dass Gamma zehn Slides zu unserem Lieblingspodcast – eurem hoffentlich Lieblingspodcast – erstellt hat zu LAIer 8|9. Wir verlinken euch das PDF, wenn ihr's wollt, unten in den Show Notes. Kleiner Lacher an der Geschichte. Jochen, unser Branding funktioniert.

00:38:37: Jochen G. Fuchs: Ja wunderbar, das klingt mir nach einem guten Schlusswort. Wir freuen uns, wenn ihr wieder einschaltet beim nächsten Mal. Macht's gut, bis bald.

00:38:47: Barbara Lampl: Ciao, ciao! --