Der E-Fuchs (Jochen G. Fuchs) : So, hallo und herzlich willkommen zur neuen Episode eures neuen KI-Lieblingspodcasts. Hallo Barbara!

Barbara Lampl : Hallo Jochen! Ich habe übrigens das erste Feedback bekommen von einem ganz lieben Freund. Der meinte so, kannst du dich nicht gerade erinnern als Barbara Schöneberger die erste CD rausgebracht hat oder die erste Musik gemacht hat, jetzt singt sie auch noch. Er hat mir jetzt geschrieben, jetzt podcastet sie auch noch selber. Okay, aber es scheint gut anzukommen und der Podcast hat ihn erreicht. Ich habe ihn nicht handgeteilt. Also hallo und herzlich willkommen extra special an unsere allerersten Abonnenten. Wir freuen uns ganz arg.

Der E-Fuchs (Jochen G. Fuchs) : Ja, aber wirklich. Ja, Barbara Schöneberger. Nun, warum nicht? Ich glaube, die Scheibe war gar nicht so schlecht. Das war irgendein Jazz-Gedöns, wenn ich mich...

Barbara Lampl : Ich glaube irgendwie sowas. Also wie gesagt, das mit dem Singen vergesst es. Ich bleib beim Sprechen. Just sing.

Der E-Fuchs (Jochen G. Fuchs) : Ja, ich habe meine Frau beim Singen, beim Karaokesingen kennengelernt, aber keine Angst, ich verschone euch.

Barbara Lampl : Sehr gut, dann kommen wir also heute zu unserer offiziellen Episode 4. Was machen wir denn heute, Jochen?

Der E-Fuchs (Jochen G. Fuchs) : Äh, Kaffeekuchen? Nein, natürlich nicht. Wir sprechen mal darüber, was es denn noch so alles jenseits von Gen.AI gibt. Unsere Episode hat ja den tollen Titel, Evolution der KI. Es gibt noch Leben außerhalb des Planeten Gen.AI. Liebe Barbara, führ uns doch mal in die extraterrestrischen Gefilde und...

Barbara Lampl : Ich habe etwas in meinem Train, der KI-Trainer hat gerade jemand gesagt, Barbara führt uns in die transgalaktischen Dimensionen der Data Science ein. Also scheint ein Ding gerade zu sein. Okay, herzlich willkommen zur transgalaktischen Evolution der KI. Herzlich willkommen außerhalb des Planeten Gen.AI. Das sind unsere anderen Planetensysteme. Falls ihr ein Video davon seht, dann seht ihr wahrscheinlich gerade eine Grafik. Falls ihr das nicht seht, erkläre ich euch kurz, was auf der Grafik zu sehen ist. Das sind nämlich eigentlich nur vier Kreise, die ineinander gesteckt sind. Ein kleiner Kreis innen und dann werden sie immer größer. Der größte Außenkreis, und wenn ihr auf LinkedIn oder so etwas bei mir im Profil guckt, dann kennt ihr diese Grafik auch, ist ein pinker Kreis und da steht dick drin Artificial Intelligence als nämlich Künstliche Intelligenz, als der große Überbegriff. Da kommen wir auch gleich dazu, wie es denn dazu kam. Und dann sind da drei weitere Kreise innen drin. Einmal das sogenannte Machine Learning. Dann der quasi nächste Kreis sind die neuronalen Netzwerke und dann innen drin das Deep Learning. Witzigerweise steht da kein eigener Kreis für Generative AI. Warum? Naja, weil Deep Learning sowohl Bilder erkennen kann oder Sachen generieren als auch erkennen und verändern kann. Und wie gesagt, das gehört zur Klassifikation des Deep Learnings. Diese Grafik bildet zwei Dinge ab. Einmal die historische Perspektive, dass - kein Witz - Artificial Intelligence der älteste Begriff ist, der quasi da drauf ist und deswegen der historische Überbegriff ist. Und dann innen drin die drei quasi großen technischen Approaches, wir nennen oder eher besser mathematischen Approaches, nämlich das Machine Learning, die neuronalen Netzwerke und das Deep Learning unterscheidet, diese Technik abzubilden. Also anders, also Stichwort EU-EI Act. Der macht einen risikobasierten Ansatz, technologiefrei. Grafik, auf die wir uns jetzt konstant beziehen und die ihr dann auch quasi auch irgendwann wieder irgendwo nachgucken könnt, auch im Transcript, ist eben technologisch getrieben, um das technisch sauber abzugrenzen, was das eine und was das andere ist, außerhalb des Planeten Gen.AI und wieso dieser kleine, das ist eigentlich nur ein kleiner Planet, quasi der kleinste Planet in dieser Grafik ist und eigentlich gar nicht drin vorkommt, sondern da stehen dann so lustige Sachen wie Transformer-Modelle, sowas wie BIRD oder eben GPT.

Der E-Fuchs (Jochen G. Fuchs) : Okay, jetzt hast du ganz kurz gesagt, dass der älteste Begriff AI ist, also künstliche Intelligenz. Mir schwirren da jetzt so verschiedene Begriffe im Hinterkopf rum. Mir schwirrt da natürlich Turing im Kopf herum. Mir schwirrt die Dartmouth-Konferenz im Kopf herum. Wo liegen denn da die Ursprünge?

Barbara Lampl : Also die ganz Ursprünge liegen bei Turing, deswegen gibt es auch den Turing-Test oder die sogenannten Turing-Machines. 1943-44 hilft Turing unter anderem die Enigma zu knacken. Also Zweiter Weltkrieg, deutsche Verschlüsselungstechnik in Form von der Enigma, die Engländer knacken die Enigma und während dieses Knacken der Enigma kommt diese Idee auf, das ist ja irgendwie, das verhält sich quasi so ähnlich wie so bisschen wie menschliche Intelligenz, was könnten wir denn damit noch alles machen? Und so wird die Idee der Artificial Intelligence geboren, die dann so Ende der 40er als Begriff nach und nach eben genannt wird. Also wir sind so von 43 bis so Ende der 48er, 1949er Jahre, kommt der Begriff Artificial Intelligence langsam auf. Und dann kommen in den ersten Vorlesungen und Papern dran vor, so das und das ist die Dartmouth-Konferenz, die sehr legendäre, denn das ist die allererste echte Konferenz zur Artificial Intelligence 1956 mit sehr interessanten, ambitieusen Zielen. Was wollten die da noch mal tun bei der ersten Konferenz?

Der E-Fuchs (Jochen G. Fuchs) : Ich erinnere mich nur mit meinem laienhaften Wissen daran, dass sie irgendwie der Meinung waren, sie hätten das Problem bis Ende des Sommers gelöst.

Barbara Lampl : Also es war eine Konferenz, die nicht drei Tage ging, sondern es war mehr, was wir heute so unter Summerschool verstehen. Eigentlich war die Dartmouth's Konferenz und man hatte so halt quasi so eine Summerschool, also die Sommerfreie Vorlesungszeit sich vorgenommen. Wunderbar. Wir treffen uns da, die Gurus und dann lösen wir alle Probleme rund KI in diesem Sommer. Das war Dartmouth's Konferenz. Erste Ambitionen hatte man damals schon. Große. Aber deswegen kommt historisch, ist quasi alles, was wir da tun, irgendwie Artificial Intelligence. Das heißt, auch wenn wir uns manchmal darüber aufregen, ist das überhaupt echte KI, dann ist das historisch eine ziemlich depperte Diskussion, weil das war der erste Begriff, den wir eigentlich hatten.

Der E-Fuchs (Jochen G. Fuchs) : Okay, ja und in anderen Folgen werden wir dann mal drüber nachsinnieren, wie weit wir da an den Menschen gekommen sind und wie weit wir...

Barbara Lampl : Das ist noch mal eine ganz andere Hausnummer. Wie gesagt, ist, warum ist dieser Begriff Artificial Intelligence entstanden? Weil man halt wirklich die Idee war, können wir sowas wie eine Intelligenz bauen? Eine künstliche Intelligenz. Da war nie definiert, dass das an menschliche Intelligenz dran soll. Da hat sich auch keiner darüber nachgedacht, wie Intelligenz definiert ist. Deswegen ist das eine völlig depperte Diskussion, wenn wir darüber uns den Begriff Intelligenz in Artificial Intelligence irgendwie diskutieren, weil wie gesagt historisch das war nicht die Idee, die dahinter steckt.

Der E-Fuchs (Jochen G. Fuchs) : Ja, das ist doch mal spannend. Vielleicht werfen wir als erstes so einen Blick auf die Grundlagen der modernen KI. Wo fangen wir denn da am besten an?

Barbara Lampl : Ja. Grundsätzlich ist einmal das Wichtigste zu verstehen, dass wir eben diese drei Riesensysteme einsortieren, eben was wir Machine Learning nennen, was wir neuronale Netzwerke nennen und was wir Deep Learning nennen. Übrigens kleiner Fun Fact. Das Deep Learning, Begriff ist eigentlich sind neuronale Netzwerke und Deep Learning fast das gleiche. Heute sehen wir es ein bisschen unterschiedlich, weil Deep Learning wir quasi mehr noch höhere Advanced Technologie verwenden oder komplexere, mathematische, schrägstrich mehr sogenannten hidden layers haben als in den klassischen neuronalen Netzwerken. Aber eigentlich ist der Begriff mehr entstanden, weil neuronale Netzwerke total out waren und man keine Forschungsgelder mehr dafür bekommen hat. Deswegen musste man schnell einen neuen Begriff erfinden und hat dann gesagt, wir machen jetzt tiefes Lernen und so ist Deep Learning entstanden, aber Deep Learning existiert nicht ohne neuronale Netzwerke. Also man merkt schon, das ist so ein Standard-Story in diesem ganzen Thema der künstliche Intelligenz, der Data Science. Wir schmeißen regelmäßig mit anderen Begriffen, weil wir sind eigentlich eine Nerdwissenschaft, die ab und zu wird immer sexy und wir sind Trendthema. Dann sind wir es wieder nicht mehr und dann müssen wir was Neues erfinden, manchmal das Gleiche wie vorher. Genau, also deswegen drei große Kategorien. Machine Learning, neuronale Netzwerke und Deep Learning. Unterschiedliche Ansatzpunkte, unterschiedliche Verwendungsweisen. Aber das ist im Prinzip das, was hinter all der irgendwie Data Science, Artificial Intelligence steckt. Warum sage ich immer Data Science? Weil wir mit bestimmten, weil wir natürlich mit Daten arbeiten und mir das in der künstlichen Intelligenz immer so ein bisschen als Begriff unten runterfällt. Deswegen in einem Projekt, häufig in der Umsetzung, Datenkompetenz zu verhielten runterfällt, wenn wir nur über Artificial Intelligence reden. Deswegen sage ich mal, Artificial Intelligence und Data Science ist ein großes Fachgebiet, was viele Sachen zusammenkommt. Genau, aber das ist die Idee dahinter.

Der E-Fuchs (Jochen G. Fuchs) : Okay, gibt es da eine lineare Entwicklung, also dass man quasi sagt, es fing mit neuralen Netzwerken an und entwickelte sich dann weiter oder wie stelle ich mir das vor?

Barbara Lampl : Ja und nein. Es ist so bisschen vor und zurück. Ehrlicherweise kommt als Allererstes das sogenannte maschinelle Lernen. Das ist das, was wir als Allererstes wirklich richtig sauber rechnen konnten. Also Maschinen-Learning ist definitiv das, was wir zuerst gemacht haben. Dann kamen aber schon schnell neuronale Netze, dann ging es wieder vor und zurück, dann haben sich die Machine Learning Algorithmen, insbesondere auch die Supervised Machine Learning Algorithmen massiv weiterentwickelt. Das ist ein Vor und Zurück, aber grundsätzlich fangen wir eigentlich erst mal vorne eher bei Machine Learning an. Das hat was damit zu tun, dass Machine Learning aus der Welt der strukturierten Daten kommt und mit weniger Rechenleistung versehen wurde und das ist natürlich immer eine definitiv wichtige Sache. Wir reden hier über Artificial Intelligence, ist Mathe in Code. Das vergessen die Leute immer, dass diese Wissenschaft dominant Mathematik und Physik ist, die dann in Code übersetzt wird. Der Code muss irgendwo laufen und wir haben halt regelmäßig Probleme, was die Rechenpower gegen die letzten paar Jahre immer gehabt hat. Da laufen wir jetzt ja gerade wieder rein. Das heißt, viele Sachen, die in der Theorie existierten, konnten in der Praxis nicht gerechnet werden, weil einfach die Computer nicht gut genug waren. Deswegen ist es so Vor- und Zurück, aber linear hat sich das Ganze nicht entwickelt noch dazu, weil manche Sachen sehen wir auch gerade wieder miteinander kombiniert werden, dann kommt wieder was Neues raus. Also deswegen grob zuerst kommen wir aus dem Machine Learning, dann sind wir in neuronalen Netzen und Deep Learning gegangen, aber trotzdem geht es die ganze Zeit hin und her.

Der E-Fuchs (Jochen G. Fuchs) : Was hat man denn beim Machine Learning gemacht? Können wir das vielleicht an irgendeinem Beispiel festmachen?

Barbara Lampl : Also Machine Learning sind grundsätzlich Algorithmen, die unser komplettes Leben beeinflussen und standardmäßig. Wir sind hier ja quasi, nehmen wir mal so Beispiel, was ich einfach relativ klassisch benutze, und das ist auch, wie ich es meinen Studenten immer wieder erkläre. Die zwei Varianten, die gerne jedes Unternehmen hätte, wären die Conversion zu optimieren, also mehr Interessenten die Kunden werden. Und die Kunden, die Kunden sind, zu behalten, also Churn. Also dass der Kunde nicht kündigt. Stellt euch vor. Ihr habt irgendwie ein lustiges Produkt im Angebot und ihr möchtet eben halt zum Beispiel die Conversion voraussagen. Das ist sogenannte Conversion Prediction und das ist klassischerweise basiert auf strukturierten Daten und das ist Machine Learning. Das ist von mir aus klassischer Variante des Machine Learning Algorithmus. Oder du hast bestimmte Kundencluster oder von mir aus mein kleines Beispiel das Oberwein und wir möchten zum Beispiel bestimmte Cluster analysieren. Das ist alles Machine Learning. Churn Prediction ist auch so ein Klassiker, normalerweise Supervised Machine Learning, weil wir wissen ja quasi, wer kündigt und wer nicht kündigt. Damit haben wir sogenannte Labeled Data, die wir bei Supervised Machine Learning brauchen und können dann eben Voraussage-Modelle bauen, zu sagen, der Jochen, der könnte jetzt bald kündigen, weil der hat schon sechs Mal beim Customer Support eine motzige Nachricht ins Ticket geschrieben. So entwickelt man zum Beispiel Churn Prediction Modelle. Also das sind solche Varianten, aber ihr kennt bestimmt auch solche Regressionsmodelle. Die lineare Regression, damit, wirklich auch jeder Schüler quasi, ein linearer Zusammenhang zwischen zwei Merkmalen. Auch das fällt, wenn ich es nicht einmal rechne, sondern maschinelles Lernen betreibe. Ich habe einen sogenannten Trainingsdatensatz und einen Testdatensatz und mache das immer wieder, dann sprechen wir von Machine Learning. Das heißt, viele sind klassische statistische Algorithmen, die sonst irgendwie einmal gerechnet werden, deskriptiv-explorativ zu sein, die wir dann weiter verwenden in nächsten Varianten, daraus zum Beispiel prädiktive oder diagnostische Modelle zu bauen. Das fällt alles so grob in die Machine Learning-Welt hinein, da wo ich ursprünglich eben auch herkomme, wie die meisten von uns, die es ein bisschen länger machen.

Der E-Fuchs (Jochen G. Fuchs) : Okay, wenn man strukturierte Daten für das Machine Learning aufbereitet und vorbereitet, dann, du hast vorhin schon das supervised learning erwähnt, dann haben wir ja noch das reinforcement learning, das der eine oder andere jetzt vielleicht auch schon im Zusammenhang mit DeepSeek und Co wahrscheinlich gehört hat, weil das da in breiter Masse in die Medien gelangt ist. Was macht man denn da?

Barbara Lampl : Und wir haben noch unsupervised learning. Also wir haben drei Kategorien des Maschinenlernings, supervised machine learning, unsupervised machine learning und reinforcement learning. Das sind die drei großen Kategorien, in die wir klassisch die Maschinenlearning-Algorithmen einteilen.

Der E-Fuchs (Jochen G. Fuchs) : Okay, was macht man da? Was sind die Unterschiede zwischen den Dreien? Schön. Jetzt weiß ich mehr.

Barbara Lampl : Supervised Machine Learning heißt, ich habe Daten, die sogenannt labeled sind, also Labeled Data. Ich gebe eine Zielrichtung vor, dann sind wir im Supervised Machine Learning. Falls ihr Machine Learning lernt, an jeder Uni, wir quälen alle Studenten eigentlich alle mit dem gleichen Datensatz, mit dem Titanic-Datensatz und möchten voraussagen, wer die Titanic überlebt. Also diese Titanic-Kreuzer-Unterschrift, die untergegangen ist. Heißt an der Stelle schlicht und einfach, dass wir quasi voraussagen möchten, survived yes or no. Und das ist dann quasi der Datensatz auf Barbara hat überlebt, Jochen hat nicht, dann habe ich ein Label, nämlich das ich überlebt habe und Jochen hat ein Label, das er nicht überlebt hat. Und das nennen wir sogenannt Labeled Data. Und wir geben die Zielgröße vor beim Supervised Machine Learning, dass wir jetzt alle Algorithmen darauf trimmen, dass sie uns voraussagen, was die Wahrscheinlichkeiten und die Merkmale sind, die dieses Überleben bedingen. Und warum habe ich jetzt quasi mich auf Survived und Jochen nicht auf Survived? Wenn man das rechnet, dann sieht man, dass der erste Split, zum Beispiel wenn man hier in der Grafik reinguckt, da ist so ein Decision Tree drin, also so ein Entscheidungsbäumchen. Und wenn wir den rechnen, dann ist der erste Split eben Frauen, Geschlecht hat den höchsten Einfluss darüber, ob du überlebt hast oder nicht. Das verstehen wir unter Supervised Machine Learning. Und Unsupervised Machine Learning heißt, wir haben diese Labels alle nicht und wir messen quasi, was zusammengehört. Also wir finden quasi die Zusammenhänge, deswegen nennt man das Unsupervised und häufig ist das auch übrigens ChatGPT und Co. Alle erklären Machine Learning übrigens meistens nur als unsupervised Machine Learning, weil das eben das ist, dass aus den Daten selber eine nächste Extraktion gezogen wird. Das heißt, dass die Daten quasi vorgeben, wie zum Beispiel ein lustiges Cluster ist. Das ist aber nur ein Subgebiet des Machine Learnings. Also seid da bitte vorsichtig, ich das war ganz lustig, wir quasi, Jochen hat das Ganze vorbereitet und dann, haben wir es so bisschen hin und her geschickt und dann bin ich über unser Vorbereitungsdokument drüber und dann so, naja, also, der gute Claude ist mal ein bisschen kreativ geworden. Übrigens so klassischer Dead Giveaway, wenn jemand keine Ahnung hat von AI, dann ist, Moment, ich hab das da extra, wir haben das doch hier irgendwo, die Machine Learning Definition. Die war hier irgendwo drin, die erklären wir euch nachher noch mal schnell, weil das ist wirklich so ein Standard, der da unten irgendwie irgendwo drin vorkommt. Genau, Machine Learning ist, dass Systeme aus Daten lernen, statt explizit programmiert zu werden. Das behaupten die AI-Systeme alle. Und es ist einfach fucking, sorry, falsch. Also falls ihr irgendjemand auf irgendeiner Bühne oder irgendein Meeting das erzählen hört, hebt ihr in Zukunft bitte die Hand und sagt, Entschuldigung, das wäre maximal die Definition von unsupervised machine learning und selbst diesen Algorithmus und diesen Code hat jemand programmiert. Lustig was da draus geworden ist es übrigens im deutschen dramatischer als im englischen also nur falls ihr das nächste Mal einen Meeting-Klugscheißer-Moment haben wollt, hier mal so ein kleiner der kleine Klugscheißer-Moment für heute.

Der E-Fuchs (Jochen G. Fuchs) : Jetzt hatten wir zwei Kategorien. Wir hatten das Supervised. Wir hatten das Unsupoervised.

Barbara Lampl : Und dann das Reinforcement Learning. Und das Reinforcement ist genau das, was die meisten jetzt mit Deep Seek und sonst schon mal mitbekommen haben, was wir auch in der anderen Folge schon hatten. Das ist im Prinzip Belohnung und Bestrafen. Das heißt, wir reden über States und Actions. Das könnte ich mir wirklich wie gesagt mit Zuckerbrot und Peitsche vorstellen. Reinforcement Learning heißt, du machst was richtig und wirst belohnt, du machst was falsch und wirst bestraft. Diese beiden können wir miteinander mixen oder in einfachen auch separieren. Das kommt auf die Variante an, wie wir es rechnen möchten. Aber das ist reinforcement learning. Das heißt, wir sagen, hast du gut gemacht, loben dich oder das war sehr, sehr böse. Wie gesagt, entweder als separater Prozess oder eben auch in so einer quasi Mix und dann kann man das sehr komplex machen, wie man das richtig rechnet. Aber das sind die drei großen Kategorien, die wir kennen. Und das Supervised und Unsupervised unterscheidet sich nochmal in Unterkategorien, also keine Panik, ich weiß auch, dass es da noch mehr Kategorien gibt, aber ich glaube, das reicht so als ersten Einstieg erstmal aus.

Der E-Fuchs (Jochen G. Fuchs) : Okay, jetzt frage ich mal ganz platt, weil viele von uns ja jetzt vielleicht zum ersten Mal mit LLMs und GenAI Berührung hatten, diese drei Machine Learning Kategorien. Ich bilde mir gerade ein, dass sich alle drei irgendwo im Prozess von den LLMs wiederfinden, je nachdem mit was von dem Modell ich spreche.

Barbara Lampl : Ja, genau. Du findest quasi ... Dadurch, dass der Durchbruch im Deep Learning zwei große Komponenten hatte. Erstens die Masse an Daten und damit was am Computer gebraucht wurde. Und zweitens, dass massiv mehr labeled Data benutzt worden ist. Der Durchbruch im Deep Learning ist ImageNet und AlexNet Paper. ImageNet ist genau das gewesen, dass wir das quasi anstatt 10.000 Bilder, 100.000 bzw. Millionen Bilder durchgelabelt worden sind. Also entschieden worden ist, das ist eine Katze und das ist ein Hund. Im Deep Learning selber ist das Unsupervised Learning, das Ding lernt also selber aus sich heraus, aber das Deep Learning hat sich massiv verbessert, oder das war eben der große Durchbruch, wenn man ihm halt quasi Labeled Data gegeben hat. Und deswegen Labeled Data kommt aus der Idee des Supervised Machine Learning, so hängen die zwei Sachen zusammen. Das unsupervised führte zu den Durchbrüchen in den neuronalen Netzen und im Deep Learning und kommt also aus der Ecke des unsupervised Learnings, aber Deep Learning und neuronalen Netze sind eine separate Kategorie. Und das reinforcement Learning ist quasi das, was wir klassischerweise eh schon kennen. Kein Mensch von uns rechnet nur einen Algorithmus, sondern normalerweise kombinieren wir hintereinander, nebeneinander, miteinander mehrere Modelle oder Algorithmen und nennen das ein Model Ensemble, um die Performance grundsätzlich zu optimieren, zu verbessern, wie auch immer. Und da findet sich eben gerade besonders bei den Reasoning-Modellen quasi das Revival, das Reinforcement Learning, weil man eben festgestellt hat, also wenn ich dem sage, dass das gut ist und das schlecht ist, dann ist der Output besser. Surprise, surprise. Aber genau das wird gerade wieder mehr benutzt. Deswegen treten wir jetzt in so eine Zeit ein, das fällt mir auch bei allen Vorbildungen auf, die ich gebe, die Toolschlacht ist ja nett, aber wenn du wirklich verstehen willst, in der gesamten holistischen Kette, also von, keine Ahnung, klassischem Unternehmen, von was da alles so durch die Gegend fliegt, aber auch wie die Modelle sich weiterentwickeln, dann ist es halt ziemlich doof, wenn du nur weißt, dass es ein LLM ist und das vielleicht auch nach Transformer-Technologie basiert, aber du kannst halt nicht einschätzen, wie die nächsten Stufen sind und auch... wo die Shortcuts sind, also wo quasi die Modelle zu kurz sind, weil wenn du sowas liest wie Long-Term Short-Term Memory, also LSTM, dann könnte man auf die Idee kommen, dass die Dinger echtes Gedächtnis haben. Das steckt aber übrigens gar nicht in dem Begriff drin. Und das ist halt genau diese Komplexität, die die meisten, ich will nicht sagen unterschätzt haben, ich würde sogar einen Schritt weitergehen, sondern eher fast ignoriert haben die letzten so zweieinhalb Jahre, die aber eigentlich in diesem Fachgebiet stecken. Genau.

Der E-Fuchs (Jochen G. Fuchs) : Bevor wir uns weiter vorarbeiten in Richtung Neuralen Netzwerke und Deep Learning, eine Frage. Du hast jetzt ganz oft den Begriff labeled data erwähnt und wir beschäftigen uns da in einer anderen Folge nochmal so ethisch, moralisch, gesellschaftliche Implikationen, aber ich möchte es doch an der Stelle einmal fragen. Who the fuck labeled diese Daten eigentlich?

Barbara Lampl : Who the fuck labeled die? Ziemlich trivial der Mensch an sich. Kleiner Spoiler zu einem anderen Podcast. Ich glaube, diese Folge kommt raus bevor die von Unfuck Your Data. Ich habe eine extra lange Session mit Christian gegeben, aber wir greifen das Thema in unserem Podcast auch nochmal auf. Die Daten werden von Menschen gelabelt. Das war übrigens auch, als das ursprünglich aufgekommen war, es heißt Label oder Annotation, war das kein, das ist sehr viel länger. Dieses Label Data oder Data Labeling oder Annotation geht seit zurück bald in die 90er Jahre. Also schon weit bevor wir hier irgendwie im Deep Learning 2012 bei ImageNet gelandet sind. Das tun Menschen und teilweise unter sehr dramatischen Arbeitsbedingungen, die mal besser mal schlechter sind. Ja, also das tun Menschen und da Clickworker haben wir sie früher genannt. Heute sind sie Labeler oder Data Worker. Das ist genau das, was ich euch darunter vorstelle, kurz vor sklavenähnlichen Verhältnissen sind das Massen an Data Labor Farmen. Ja, die Modelle sind heute so gut, dass ein Teil davon wieder schon durch die Maschine abgedeckt werden kann. Aber dadurch, dass wir so viel Daten produzieren, so viel Daten Hunger haben, wird der Anteil an Menschen, die in diesen Arbeiten eingebunden wird, momentan nicht kleiner, sondern eher sogar wieder größer.

Der E-Fuchs (Jochen G. Fuchs) : Okay, ja das ist mal ein wichtiger Einwurf, auch das zu wissen, dass diese Daten nicht im leeren Raum entstehen und es hier nicht einfach nur in Anführungszeichen die Frage geht, wer ist der Urheber in Anführungszeichen dieser Daten und wie gehen wir mit den Urhebern sondern auch tatsächlich wer hat diese Daten verarbeitet und für das maschinelle Lernen vorbereitet und weitergereicht.

Barbara Lampl : Genau, und wie gesagt, nochmal der Durchbruch, nicht zu unterschätzen im Deep Learning, war natürlich sowohl eine mathematische Kunstgriff als auch wirklich Code und Computing Power. Aber einer der krassesten Durchbrüche war schlicht und einfach, dass Deep Learning auf Labeled Data, und zwar auf Massen von Labeled Data, gelaufen ist und nicht wie da vor die Jahre, Deep Learning auf quasi ohne, komplett quasi wahllos durchgelaufen ist und einfach keine guten Ergebnisse geliefert hat. Das war dieser tiefe Winter der KI-Entwicklung der neuronalen Netze, weil wir natürlich erstmal versucht haben, quasi komplettes Chaos einfach nur mit Mathematik zu erschlagen und das lief genauso gut wie man sich das vorstellen kann, nämlich ziemlich beschissen. Und damit kamen wir in diesem ominösen KI-Winter, weil wir da einfach nicht vorwärts gekommen sind. Und das änderte sich erst mit dieser Masse an Labeled Data, dass die Maschinen eine andere Lernkurve entwickeln konnten.

Der E-Fuchs (Jochen G. Fuchs) : Okay, nur das zeitlich kurz einzuordnen, das sind die 90er Jahre dieser tiefe KI-Winter.

Barbara Lampl : Wir hatten zwei KI-Winter, das sind die 70er Jahre und das sind die 90er Jahre. Also wir hatten eigentlich zwei KI-Winter, denn 1966 kam ja die Ur-Ur-Ur-Großmutter von ChatGPT, Eliza. Weizenbaum hatte die gebaut und das war eigentlich schon eher so yeah cool, also eigentlich ist sie ja gebaut worden um zu beweisen, dass es Schrott ist und dass es mal wieder was anderes ist. Also 1966 kommt das. Wie gesagt, Reaktion, warum Eliza gebaut worden ist, kam dann eher in eine kleine Halbwelle rein, die dann ziemlich abgeflacht ist in den 70er Jahren. Dann ging es quasi wieder weiter, dann hat man das Themengebiet gewechselt, wir sind dann sehr stark in andere Themengebiete reingegangen. Quasi, NLP kam dann groß auf, also Natural Language Processing, und dann ist man sehr an die Grenzen des NLP geraten, das ist dann in den 90er Jahren passiert. Dann ging die nächste Welle hoch und dann kamen quasi, die nächste große Welle war die Computer Vision, also die Maschine sieht. Deswegen sind auch ganzen Entwicklungen im ImageNet und Co. nicht textbasiert entstanden, sondern auf Bildern, weil das gerade der Hype war, nämlich aus der Computer Vision ist es Deep Learning mit Bildern entstanden. Und dann kamen wir, Moment, wir haben ja auch noch Text, das könnten wir ja auch mal probieren. Ja, und dann kamen eben 2016 und 2017, all you need is attention. Und dann hat man die Verskette, Bilder ist ja eigentlich komplexer als Text oder probieren wir es mal aus. So kam dann diese Entwicklung, die wir heute unter den Large Language Modellen kennen. Aber wie gesagt, nochmal, das ist alles erheblich älter als die meisten denken. Aber überhaupt ein kleiner Fun Fact. Letztes Jahr ist der Deal, dass Google DeepMind gekauft worden ist, 10-jähriges Jubiläum. Also 2014 hat Google DeepMind gekauft. Das ist alles nicht gerade erst gestern passiert schon lang. Da haben wir schon 10-jähriges.

Der E-Fuchs (Jochen G. Fuchs) : Ich überlege gerade, so das war, wofür man Deep Mind denn 2014 herum kannte. Hatten wir da nicht diese Episode mit dem Schachgroßmeister? Hatte ich das gerade richtig in Erinnerung? Ach, das war Deep Blue.

Barbara Lampl : Ja, nee, das war Deep Blue, das war IBM, das war Deep Blue. DeepMind hat relativ zeitnah da drauf Alpha Fold rausgebracht. Alpha Fold ist, was heute noch eingesetzt wird, ist das Proteinfolding. Also das ist das, wo die hergekommen sind. Also Alpha Fold war, Moment jetzt, damit ich keinen Schwachsinn erzähle, Alpha Fold kam 2016, glaube ich, raus, wenn ich das richtig im Kopf habe. Ja, genau, Dezember 2018 kam Alpha Fold raus. Aber DeepMind war eben damals schon das erste führende Research Lab und die haben danach einiges rausgebracht. Aber Deep Blue Schachtgroßmeister, das ist noch mal ein ganzes Stückchen weiter nach vorne. Das ist noch älter.

Der E-Fuchs (Jochen G. Fuchs) : Okay, ja dann schlagen wir doch den Bogen nochmal zurück zu den Neuralen Netzwerken. Ich weiß, dass das Ganze an den menschlichen Neuralen Netzwerken angelehnt war von der Grundidee her. Es geht aber nicht darum, da wirklich die Neuralen Netzwerke im Hirn nachzubilden, sondern da ist bloß die Idee der Kick-off gewesen in Anführungszeichen.

Barbara Lampl : Genau. Das war die Idee, dass man uns gedacht hat, das ist ja echt ganz witzig. Also so ähnlich wie Artificial Intelligence, deswegen ist es auch so diese neuronale Netzwerk-Geschichte - ob das jetzt eine Abbildung des echten Denkprozesses ist, ist völlig am Thema vorbei. Bitte nochmal alle in die Geschichtsstunde gehen. Das war die Denkidee, die die Mathematiker und Physiker hatten. Der Stelle übrigens nochmal, die meisten dieser Sachen sind immer von Mathematikern und Physikern entwickelt worden und wir sind nochmal nicht sonderlich kreativ, sondern wir suchen uns dann, also Mathematik, ich bin eine wandelnde Hilfswissenschaft. Sie ist dafür da, anderes zu erklären. In dem Fall haben sie sich von den Neuronen inspirieren lassen und zu überlegen, das ist eine witzige Idee, lass uns das doch mal in Mathe und in Code gießen. So sind die Dinge entstanden. Es war jetzt wie eine affige Diskussion, ist das jetzt die Abbildung eines menschlichen Hirns? Nee, das war nur die Inspirationsquelle. Also, das war's auch schon.

Der E-Fuchs (Jochen G. Fuchs) : Okay, ich sehe auf deiner Grafik ziemlich viel zum Thema neurale Netzwerke. Was ist denn da so das Wichtigste? Was muss man wissen? Was ist heute vor allen Dingen relevant?

Barbara Lampl : Also von dieser ganzen Grafik, was man da wissen muss, ich glaube die zwei Sachen, die man gerade aktuell wissen sollte, sind die Hopfield Networks und die Boltzmann Machines. Warum? Weil der Physik-Nobelpreis einfach an die beiden gegangen ist 2024. Das ist einfach Hopfield Networks und Boltzmann Machines, sicherlich die Sachen, die gerade 2024 auch in der Presse da waren. Ansonsten sind es Recurrent Neural Networks, sogenannte RNNs, weil auf diese Entwicklung kamen nämlich dann weitere Sachen, die dann im klassischen Deep Learning genannt sind. Also aus RNNs wurden CNNs und die Recurrent Neural Networks wurden auch noch mal quasi dichter und komplexer gemacht und deswegen sind diese wohl quasi das Verbindungsglied zwischen dem, was wir so zwischen neuronalen Netzwerken und Deep Learning verstehen. Das quasi bildet sich da drin ab. In Realität, und das glaube ich ist, bevor jetzt alle denken zu Bonnerden, heute aus sind, was labert die Lampl für lustige Begriffe. Es ist einfach wichtig zu verstehen, dass der Planet Gen.AI in einem ganzen Planeten-System läuft und das Large-Language-Modell oder Gen.AI eine Lösung für ein Problem ist, nicht für generelle Probleme. Und das wollten wir mit dieser Folge ein bisschen klarer machen. Da gibt es sehr viel mehr, warum der Profi auch nicht auf jedes Problem ein LLM schmeißt, nur weil es vielleicht gerade rumliegt. Und das ist eben so bisschen der Hintergrund. Ja, genau. Wie gesagt, aber das ist so der Übergang. Also Hopfield Networks und Boltzmann Machines, Physik Nobelpreis 2024 und RNNs, die dann eben quasi die Weiterentwicklung der Deep Learning Sachen in den nächsten quasi seit Ende der 90er, 2010er Jahre geprägt hat.

Der E-Fuchs (Jochen G. Fuchs) : Cool. So ein kleines Häppchen, was ich noch weiß, und hier stehen jetzt beispielsweise auch die Perceptrons mit drinne, das ist aus den späten 50ern das erste künstliche Neuron, in Anführungszeichen, Rosenblatt. Die New York Times schrieb damals, dass die Maschinen bald in einer fremden Sprache sprechen und ein eigenes Bewusstsein entwickeln würden. Ja, warten wir heute noch drauf. Halt, tief durchatmen.

Barbara Lampl : Das mit der eigenen Sprache tun sie übrigens standardmäßig, weil sie unsere Sprache für ineffizient halten. Aber grundsätzlich, wir sind immer sehr geil. Kaum, Artificial Intelligence irgendwas Neues entwickelt, die Welt geht unter. Die Maschinen werden schlauer als der Mensch und wir warten irgendwie immer noch darauf, dass es passiert. Also Just Saying, das kenne ich auch schon seit Studientagen und wäre ich noch älter, würde ich es auch noch nach älteren Tagen kennen. Aber wie gesagt, 52er-Jahren schon mal so ein Ding. Ja, ich bin da völlig ...

Der E-Fuchs (Jochen G. Fuchs) : Okay, ja, immer wieder schön zu sehen, dass das ganze doch älter ist, als man eigentlich denkt.

Barbara Lampl : Ja. Genau, wie gesagt, das ist alles sehr viel älter. Merkt euch einfach, 43, 44 ist der Begriff der Artificial Intelligence quasi geboren worden als Idee, als philosophisches Konzept. Deswegen sind viele depperte Diskussionen, ich mach mal ein bisschen unsinnig, wie gesagt, das Ding ist sehr viel älter. Und auch wie gesagt, Deep Learning und auch GPT Modelle und sonst irgendwas sind alle sehr viel älter als manche, besonders wenn man so mit der LinkedIN Crowd oder Instagram Crowd Who was cool, als manche so behaupten.

Der E-Fuchs (Jochen G. Fuchs) : Du hast vorhin ImageNet erwähnt, das ImageNet Paper, das war anscheinend ein Wettbewerb ursprünglich mal von...

Barbara Lampl : Also, Fei-Fei Li, damals noch in Berkeley, also einer der wenigen Frauen, die auch bekannt ist in diesem Feld. Parallel, wie gesagt, AlexNet und ImageNet Paper sind relativ parallel rausgegangen. AlexNet ist, hat unser guter Ilya Ex-OpenAI mit geschrieben als Research Assistant. Das war zurück zu, das war, also ich weiß gar nicht, ob es ein Wettbewerb 100 Prozent war, aber es war in erster Linie, war das halt wieder so eine Summer School Aktion im Sommer in Berkeley 2012. Also deswegen ja, so hängen die Sachen so ein bisschen zusammen.

Der E-Fuchs (Jochen G. Fuchs) : Okay, und die hatten da aber dann auch vermute ich jetzt mal gleichzeitig einfach das Glück, dass genügend Rechenleistung und Daten da waren, da dann auch tatsächlich in der Praxis weiterzukommen, oder?

Barbara Lampl : Ja, der Punkt war, dass der ImageNet Durchbruch genau das nämlich war, dass der Datensatz auf in dem Fall 14 Millionen hochgeblasen worden ist. Der Datensatz war ein paar Zehntausend Bilder groß, dann ist ja auch Hunderttausend Bilder hochgeblasen. Und dann kam eben der Punkt, dass dieser Datensatz wirklich knallhart händisch aufgeblasen worden ist auf einen 14 Millionen großen Datensatz und dass wir damals schon die Supercomputer hatten. Und zwar in der zweiten, wenn nicht sogar dritten Generation, also die ETH, als ich studiert habe, hatten sich auch die, glaube ich, erste oder zweite Generation Supercomputer geleistet. Das heißt, wir hatten jetzt quasi auch genügend Rechenpower, diese Bilder zu verarbeiten. Und so kam es zu diesen großen Durchbrüchen. Wie gesagt, einer der wichtigsten Punkte ist, war auf einmal dieser riesen Datensatz von 14 Millionen labeled, tagged Datenbildern. Und darauf konnte das dann durchextaziert werden. Die Ideen standen sehr viel länger, aber wie gesagt, das hat halt einfach nicht hingehauen an Datenmenge und an Rechenpower. Und das ist dann quasi da beides mal passiert. ImageNet und AlexNet Paper. Genau.

Der E-Fuchs (Jochen G. Fuchs) : Okay, das war dann auch zeitlich so der Punkt, an dem die Forschung anfing, das Ganze als Deep Learning zu labeln. Du hattest es glaube ich schon erwähnt, weil man auch langsam gemerkt hat, man kriegt hier keine Forschungsgelder mehr für Neurale Netzwerke.

Barbara Lampl : Das ist sogar, glaube ich, wenn ich ganz richtig liege, glaube, war sogar noch früher, das Deep Learning kam noch ganzes Stückchen früher. Ich glaube, der Begriff des Deep Learning, der sich etabliert hat, war schon so 2005, 2006, wenn ich das richtig in Erinnerung habe. Da könnt ihr mich jetzt nicht ganz festlegen. Aber wie gesagt, hat man so bisschen, also das hat nicht nur mit Forschungsgeldern zu tun, sondern wirklich, wenn man halt, wenn du neuronale Netze baust, die nicht viele Layers haben, dann kann man das noch relativ in Anführungszeichen nachvollziehen. Jetzt nicht vielleicht für den kompletten Normalo, aber es ist nicht die komplette Black Box, wie wir danach haben. Aber danach wurde es eine dermaßen Blackbox und so entstand noch mal. Auch wollte man den Prozess anders als die Struktur des neuronalen Netzes anders beschreiben. Das neuronale Netz ist eine Aussage darüber, wie die Struktur ausschaut. Während das Deep Learning mehr eine Prozessuale ist, dass das Ding wirklich tiefes Lernen macht. Ihr müsst euch vorstellen, dass wir aus... Wir haben Bilderkennungssysteme, also 2012, 14 Millionen Bilderkennungssysteme. Und auf einmal passiert im Juli 2015 was völlig Skurriles. Wir können jetzt Bilder generieren. What the fuck happened? Also das Bilderkennungssystem trifft Bilderkennungssystem und Google released Deep Dream im Juli 2015 mit, wir können jetzt Bilder generieren. What? Wie sind wir denn jetzt da gelandet? Und so entstehen diese Begriffe, weil das halt wirklich so ein tiefes Lernen ist, wo wir auch nicht so genau wissen, was ist jetzt dann passiert ist quasi.

Der E-Fuchs (Jochen G. Fuchs) : Ich sehe in unserer schönen Grafik hier für diejenigen, die sie nicht sehen, der innerste Kreis ist das mit dem Deep Learning und da sind einige Begriffe, denen ihr bestimmt auch schon begegnet seid, drinnen. Ich picke jetzt gerade mal einen Begriff raus. Long Short Term Memory Networks, also LSTM, sind, wenn ich es richtig in Erinnerung habe, eine Submenge, eine Weiterentwicklung von recurrent neural networks, kriege ich das noch irgendwie richtig?

Barbara Lampl : Ja, in die Richtung im Prinzip ist es wirklich eine Nennung. Also Support hat nachher schon eigentlich... Also ja, es kommt aus dieser Idee. Aber das Problem war halt, es ging in erster Linie darum, dass du, wenn das Ding überhaupt gar kein Gedächtnis hat, dann kann es nicht gut genug lernen. Also ich meine, das ist, wenn man es aus einer sehr menschlichen Perspektive völlig nachvollzieht. Aber wenn ich nicht mehr weiß, was ich gestern an Vokabeln gelernt habe, muss ich ja heute wieder neu anfangen. So kommen wir aber übrigens auch, warum wir von Intelligenz nehmen, weil auch Menschen wie ich ständig solche Beispiele formulieren, damit ihr es nachvollziehen könnt. Und das LSTM, also Long Short Term Memory, bedeutet nichts anderes als, die Pattern Recognition, also die Erkennung der Muster nicht mehr jedes Mal bei Null anfangen musste, sondern auf was aufbauen konnte. Das hat massiv die Netzwerke und die Erkennung verbessert. Das ist einer der großen Durchbrüche, die Sepp Hochreiter, 1997, damals noch an der LMU, zwischenzeitlich in Linz, Österreich, gelungen ist, dass das verbessert worden ist. Das kommt aus der Richtung der RNNs.

Der E-Fuchs (Jochen G. Fuchs) : Da du den Sepp Hochreiter erwähnst, der hat 2023 angekündigt, dass er quasi an einer Überarbeitung oder einer Neuversion von LSTM, nämlich xLSTM arbeitet. Der hat auch eine KI-Ausgründung gemacht. Ich kann mich noch dunkel erinnern, irgendwie Mitte letzten Jahres kam er dann, glaube ich, mit so einer ersten trainierten Fassung dann raus. Ich habe dann seitdem nichts mehr davon gehört. Also kurz zur Einordnung, weiß nicht, ob du schon erwähnt hast, LSTM kann man so ein bisschen als die Basis bezeichnen, auf der jetzt Siri, Alexa und Co. aufbauen, richtig?

Barbara Lampl : Ja, ich finde immer lustig, darauf die Basis, also das ist halt eine der Grundlagentechnologien, damit das Scheiß Deep Learning überhaupt funktioniert. Das jetzt nur einzugrenzen, dass das unter anderem für die Voice-Dinger funktioniert, finde ich ein bisschen ominös, weil ich immer nicht genau weiß, wo diese Zuweisung herkommt. Aber die sind halt, also ohne LSTM kein verdammtes Deep Learning und ohne Deep Learning funktioniert heute gar nichts mehr. Dein YouTube-Algorithmus läuft auch auf einem Deep Learning. Very sorry, es läuft alles auf Deep Learning.

Der E-Fuchs (Jochen G. Fuchs) : Hab ich gelesen. Okay, gut. Was machte der da? Es hat sich so angehört und der Hochreiter ist sehr knackig und prägnant in der Kommunikation unterwegs. Er provozierte damals dann auch ein bisschen und sagte so, ich kann die Transformer damit quasi gegen die Wand spielen, wenn ich das so hinkriege, wie ich mir das vorstelle, weil das eh alles Nonsens ist.

Barbara Lampl : Das auch. Das hat er auch gezeigt. Das ist auch wahr. Das XLSTM soll die Transformer-Technologie ablösen. Wir haben zwei Varianten, die momentan die bekanntesten sind, die sich gegen Transformer-Technologie positionieren. Das ist XLSTM vom Sepp. Und das ist die Mamba-Technologie, ist die andere. Beide gehen eben drauf, dass der Transformer halt eine gruselige Vektorkonstruktion ist und quasi durch ein hochschönes, komplexes Deep Learning-Stahlnägel durchjagt, aka Transformer. Während das XLSTM und das Mamba auf andere Architektur, rauszukommen aus dieser depperten Brute Force der Transformer. Und das XLSTM ist sehr, sehr performant, ist quasi mehr auf eine mathematische Stufe drüber, vereinfacht, ist in Matrizen gearbeitet, was definitiv für eine höhere Performance bei kleinerer Rechenleistungspower benötigt. Das ist definitiv eine der Technologien, die die Transformer ablösen könnte. Oder eine der Zusatztechnologien für bestimmte Anwendungsfälle, wo der Transformer dich in den Wahnsinn treibt, wo es XLSTM oder Mamba eine Argumentation sein könnte für die nächste Entwicklungsstufe. Entweder behalten wir sie als Zusatztechnologie, so wie in dieser lustigen Grafik, falls ihr sie seht, da steht ein GAN drin und ein RNN und was weiß ich alles. Das heißt, würde eine Zusatztechnologie darstellen oder es könnte wie gesagt auch eine der Technologien unter der Matte sein, die die Transformer komplett ablöst. Das wissen wir noch nicht so genau.

Der E-Fuchs (Jochen G. Fuchs) : Okay, jetzt muss ich mal ganz provokant fragen, weil ich als Journalist die Befürchtung habe, dass man einfach unglaublich viel Geld auf eine Richtung draufschmeißt, weil es jetzt im Moment halt einfach der Hype ist, weil sich eine wirtschaftliche Verwendbarkeit von einer Technologie gezeigt hat. Aber jetzt höre ich ja auch, nicht zum ersten Mal, dass es neben den Transformern auch noch vielversprechende Methoden, Technologien gibt, die da in Konkurrenz treten könnten. Man hat im Moment ja sowieso so ein bisschen das Gefühl, wahnsinnig viel geht auf Brute Force drauf. Ja, die Chinesen rund Deep [Seek] halten auch so ein bisschen an dieser brute force Geschichte fest. Meine persönliche rein als Wirtschaftsjournalist geprägte Einschätzung dazu ist, wenn man einmal so viel Geld auf ein Thema geschmissen hat, kann man es sich nicht mehr erlauben, sich hinzustellen und zu sagen, das geht eigentlich auch viel billiger und es geht eigentlich auch ganz anders, weil das ist den Investoren gegenüber relativ schwer zu verkaufen. Lange Vorrede, kurze Frage. Warum zum Teufel kriegt der Hochreiter irgendwie bloß ein paar Millionen hingeschmissen und alle anderen Milliarden und keiner hat anscheinend irgendwie Bock da mal richtig zu gucken, was es noch für Alternativen zum Transformer gibt. Woran liegt das?

Barbara Lampl : Das ist ja unser Podcast, also kann ich halt die Wahrheit sagen. Muss ja jetzt niemand nach dem Mund sprechen. Die bittere Wahrheit ist, dass die meisten Tech- und Data-Nerds beschissen schlecht im Fundraising sind. Da brauchst du ständig, also so einen Con-Artist wie Elon Musk und Sam Altman, die die Trommel rühren, damit du die Kohle einsammeln kannst. Hast du diesen Con-Artist nicht? Und ja, ich weiß, dass ich Elon Musk und Sam Altman jetzt als Con-Artist bezeichne, wir können auch den anderen orangenen Mann noch dazuschmeißen. Die sind halt bomben Sales-Leute, Kinder. Die sind halt bomben Sales-Leute, euch eine Story zu verkaufen. Und dieses ganze, wir reden hier über deep nerdy shit, was glaubst du, wie viel ich in... Ich befürchte, dass diese Folge bei manchen ankommt und die denken, boah, könnten die andere Begriffe, kann das nicht auch einfacher werden, muss ich das alles wissen? Du müsstest noch viel mehr wissen. Aber das ist halt genau das. Ich bin ja jetzt gerade mal in, aber es war halt immer ein nerdy Thema und es ist viel komplexer und die Leute wollen einfaches, geiles Storytelling. Und dafür geben sie die Kohle aus.

Der E-Fuchs (Jochen G. Fuchs) : Wir kratzen hier nur an der Oberfläche.

Barbara Lampl : Wir fahren mal, kleiner Fun Fact, es gab einen Moment in der Zeitrechnung, so Juli 2022, da war Europa mal kurz führend in der kompletten Technologie, ist voll an euch vorbeigegangen, oder? Paris hatte gerade Monster LLM Open Source rausgebracht und wir hatten quasi in Freilauf Stable Diffusion von der LMU als Open Source. Juli 2022, hat sich kein Schwein für interessiert. Und auch die Jahre davor.

Der E-Fuchs (Jochen G. Fuchs) : Ja, ich sit... Ich... Ich... Ja... Bitte was?

Barbara Lampl : GPT-3, der eigentliche Durchbruch war nicht GPT-3.5, sondern GPT-3 im Mai 2020. Wir haben uns die Hacken alle wund gelaufen, alle abzuholen mit, geht auf die Technologie drauf, aber es waren alle mit Pandemie beschäftigt. Mai 2020 wären wir in einer Bombenposition gewesen. Juli 2022, Europa steht schon wieder eigentlich verdammt gut da. Die Diskussion, wo kommen jetzt die Chinesen her? Sorry, Freunde der Nacht, die Chinesen waren führend jahrelang vor den Amis. DeepMind ist UK-based. DeepMind ist, ist, ist, heute noch in UK. Und was macht passiert mit Black Forest Labs? Flux aus Deutschland ist schon keine deutsche Company mehr, sondern sind natürlich in die USA, weil sie hier keine große Fundraising-Nummer gezogen bekommen. Merkt ihr das? Natürlich ist es ein Hype-Thema. Bei dem Hype-Thema, da müsste ich mich in der Tiefe damit beschäftigen und dann müsste ich auf einmal Geld in Grundlagenforschung investieren, in so komische Menschen, die Mathe oder Physik studiert haben, die, damit sie es verständlich erklären, wahrscheinlich sechs Stunden ums Gold der Kalb tanzen. Aber so viel Zeit habe ich für ein Meeting nicht. That's the problem.

Der E-Fuchs (Jochen G. Fuchs) : Ja, also die einzige, ich möchte eigentlich nicht sagen Hoffnung, weil das keine Hoffnung sein darf, aber der einzige, das einzig Positive, was sich dieser ganzen Katastrophe in den USA im Moment gerade abgewinnen kann, ist, Gott, wer war es? War es Jan LeCun, der gesagt hat, die machen hier gerade das komplette Forschungssystem kaputt, liebe Europäer, wenn ihr jetzt mal anfängt, den Leuten ein bisschen vernünftig zu bezahlen, ein bisschen vernünftige Grundlagen...

Barbara Lampl : und zum Schluss...

Der E-Fuchs (Jochen G. Fuchs) : für Forschung aufzustocken. In einigen Punkten seid ihr schon ganz gut, liebe Europäer. Es gibt dann noch so zwei oder drei Punkte, seid ihr leider nicht so gut. Aber haut da mal ein bisschen rein, dann könnt ihr hier die ganzen US-amerikanischen Wissenschaftler, denen gerade die Grundlage entzogen wird, abwerben. Einsammeln.

Barbara Lampl : Die ja meistens noch nicht mal US-Amerikaner sind, Jan LeCun ist Franzose, hat in Paris studiert. Merkt ihr was? Aber wir leisten uns halt weder die großen Forschungsgehälter in den Forschungsinstitutionen, noch leisten wir uns, dass die Leute, die es in Production setzen müssen, gut genug bezahlt werden. Und natürlich ist dann so ein verdammter Scheck aus den USA, wo du dich irgendwann fragst, scheiß doch drauf, ich nehme die Kohle, was soll denn der Krampf?

Der E-Fuchs (Jochen G. Fuchs) : Man will ja auch selber weiterkommen.

Barbara Lampl : Besonders, ich kann heute keinen guten Junior, der wirklich was kann, guten Herzens sagen, bleib hier. Ich muss ihm auch sagen, geh. Du hast keine Führungsspitze, die dich voranbringt. Du hast keine Expertise inhouse. Geh. Wo willst du es lernen? Hier nicht? Ja. So, wir waren aber eigentlich bei unserer Grafik anstatt, dass ich heute schon wieder für schlechte Stimmung sorge.

Der E-Fuchs (Jochen G. Fuchs) : Genau, wollte gerade sagen, lass uns die Kurve vom Doomsday wegkriegen und von Männern mit orangefarbenen Haaren. Wir waren bei LSTM und wir waren bei XLSTM. Wir haben hier noch die Transformer-Modelle stehen.

Barbara Lampl : Das sollte jetzt langsam jeder können, da sagen wir heute nichts mehr dazu, da reden wir in jeder Folge drüber, vergisst das.

Der E-Fuchs (Jochen G. Fuchs) : Da hast du recht. Aber vielleicht versuchen wir kurz ein bisschen einzusortieren, wofür die einzelnen Dinge sind. Wir haben da convolutional neural networks. Das war Bildverarbeitung, oder?

Barbara Lampl : Nochmal, ich glaube, große, ja revolutionär für die Bildverarbeitung, glaube, das große Missverständnis ist, AI ist Mathe in Code und der Mathe ist ziemlich wurscht, ob du sie auf Text, Bild oder sonstige Scheiße draufschmeißt. Nur weil wir es ursprünglich sehen, ein zwar Durchbruch Bild, aber alles, die Large-Language-Modelle sind aus Bild entstanden. Der Mathe ist es recht egal. Ich glaube, da sollten wir nochmal den Kleinen, bevor wir langsam ins Wrap-Up reinkommen, There is no freaking free lunch und wir hatten in einer Folge auch schon diesen ominösen Data Model Match. Vielleicht bringen wir die zwei Sachen noch nett zusammen, dann holen wir sie vielleicht nochmal ein bisschen ab.

Der E-Fuchs (Jochen G. Fuchs) : Ja, aber das habe ich, glaube ich, auch noch im Kopf. Also dadurch, dass du als Anwender halt auf das als unterschiedliche Kategorien behandelt, weil du halt einfach weißt, hier ich generiere Bilder mit Diffusion Models, ich generiere Text mit Transformer Models, also das, was ich herauskriege, kommt aus denen jeweils raus, sitzt du irgendwie, glaube ich, auch auf diese Idee, das müsste da irgendwie Netzwerke geben, die jeweils für für eines zuständig sind, nur ausschließlich.

Barbara Lampl : Genau, und wie gesagt, das kommt aus diesem Missverständnis, dass wenn du natürlich das fertige Produkt hast, dann kannst du sonst nichts mehr für anderes verwenden. Also deswegen quasi ImageNet ist ImageNet. Dahinter liegen aber Code, Mathe, sonstige Überlegungen und diese können, und wie gesagt, der Mathematik ist relativ wurscht, ob ich jetzt einen Clusterrechner auf Wein, ob ich einen Clusterrechner auf Churn, es ist, sorry, das ist jedes Mal die, nicht umsonst Mathematiker, Hilfswissenschaftler, die können gar nichts, wenn uns jemand ein Problem liefert. Aber das ist halt immer dieses große Missverständnis, dass das Endprodukt in dem Fall so wie wir die CNNs mal kennengelernt haben, natürlich dominant aus der Bildrichtung kommt. Das heißt nicht, dass ich nicht Sachen daraus, insbesondere Mathe oder auch selbst Teile des Codes, für was ganz anderes verwenden kann. Und auch zum Beispiel so lustig, natürlich ist es mehr Aufwand, vielleicht ist es ein bisschen andere sonst irgendwas, aber das ist definitiv eine dieser Komponenten, die einfach da eine hohe Relevanz haben.

Der E-Fuchs (Jochen G. Fuchs) : Okay, was würdest du sagen ist das wichtigste, was unsere Hörerinnen und unsere Zuschauerinnen jetzt mitnehmen sollen aus unserer Folge?

Barbara Lampl : Was ist das Wichtigste? Zum einen, müsst ihr euch nicht alle zu Data Scientists und AI Experten machen, auch wenn ich natürlich morgens aufwache und mir wünschen würde, dass es ein paar mehr geben würde. Seid offen dafür, dass die Welt der Gen.AI, das was ihr kennt, eigentlich eine einzige Toolschlacht ist und es völlig egal ist, ob OpenAI, Anthropic oder sonst was. Es ist alles relativ krass, gleiche Technologie. Und lernen stärker zu abstrahieren, dass wir sehr viel mehr haben als nur irgendwelche wahllosen LLMs. Wir sehen jetzt schon, und ganz ehrlich, wie bin ich denn überhaupt bei diesem ganzen Large-Language-Scheiße gelandet? Also, ich habe AlexNet und ImageNet Paper 2014 gelesen und dachte mir, Mann, bin ich abgehängt, worauf ich mir erst mal einen Lehrauftrag 2016 gesucht habe, damit ich dranbleibe. Weil du... Selbst damals schon war es schnell, dass du abgehängt werden kannst. Was mir aber immer geholfen hat, ich hab einen anderen Hintergrund als ihr, ist ein Gesamtverständnis zu haben. Erstens ist es komplexer, aber zweitens gibt es bestimmte Sachen, die wir sehr lange tun, die wir gut miteinander kombinieren können. Wie hängen die Dinge stärker miteinander zusammen? So ist der ganze Podcast entstanden. Es ist entweder Doom, wir gehen morgen alle unter, oder totaler Hype, ihr stellt fest, in der AI war schon immer genau nur das. Wir haben nie so einen Mittelgrund gefunden. Dieser Mittelmaß ist halt genau das, dass wir jetzt an einer kritischen Evolutionsstufe stehen und jeder, der hier zuhört und Zuhörerin in verantwortungsvoller Position ist, Ladies and Gentlemen, gebt Gas, überzeugt alle eure Shareholder und Stakeholder. Jetzt ist der Moment, wo wir entweder das hinbekommen, all das, was da ist, den Firmen zu implementieren, denn das ist das, was wir nachher in der Vollorchestrierung machen müssen, uns vorzubereiten auf das, was da quasi kommt und die Möglichkeiten auch zu nutzen. Und da darf ich eben nicht hyperfokussiert sein auf wir schmeißen jetzt auf alles ein LLM. Ja, nee, Kinder, das wird gar nicht funktionieren. Versuch mal mit einem Scheiß LLM eine Zeitreihe zu analysieren. Das geht genauso nicht. Das LLM schreibt ja dann eventuell Python-Code und dann weiß er immer noch nicht, was da passiert ist. Aber das ist die Idee dahinter. Und das ist auch dieses, was wir in der anderen Folge schon mal gesagt haben, mit diesem Data Model Match. Und was dieses legendäre, in den 90er Jahren geschriebenen Paper damit, There is no free lunch, das ja eigentlich aus der Finanzwissenschaft kommt, quasi die Arbitragegeschäfte. Und die Idee hinter There is no free lunch in der Data- und Computer Science ist, es gibt nicht den einen Algorithmus to rule them all. Und das müsst ihr euch quasi, das ist euer Haupt Takeaway, wenn ihr es bis hierher geschafft habt. Es gibt weder das eine Modell noch den einen Algorithmus to rule them fucking all. Das ist keine Highlander-Diskussion. Wir haben nicht den Highlander, wir haben immer wieder coole Sachen. Aber der Algorithmus, die Modelle müssen zum Problem und zu den Daten passen, das gibt es nicht, magischen Algorithmus. Das ist ja das, was mit den LLMs gerne von unseren sehr lauten Salesmenschen gerade erzählt wird, dass das LLM für alles gut ist. Ja, bisher hält das Paper mit There is no free lunch und damit das ist nicht den einen Algorithmus, sehr sauber und das kennen wir. Jeder, der sein Handwerk kann, weiß, wir kombinieren ständig irgendwie alles, es verbessern zu wollen. Ich meine ganz ehrlich, noch mal, eins könnt ihr auch mitnehmen. Mathematiker und Physiker sind stinkend faul. Wir tun uns doch nicht mehr Arbeit an als unbedingt notwendig, wenn es auch einfach geht.

Der E-Fuchs (Jochen G. Fuchs) : Ich habe neulich ein Artikel geschrieben in der W&V. Ich leite da ja das KI- und Tech-Resort. Ich hatte so das Gefühl, dass sehr viele KI-Strategien sehr hochfliegend sind, von oben herab angeordnet werden. Meine persönliche Empfehlung, wenn mich jemand danach fragen würde, mach es genau andersrum, fang von unten an. Schnappt euch deinen Fußvolk, Entschuldige, das ist wirklich nicht abwertend gemeint, also mich beispielsweise, schaut euch an, was für Anwendungsfälle da sind, die viel Aufwand erzeugen und versucht einzuschätzen, ob man diesen Aufwand in irgendeiner Form automatisieren kann. Das heißt, erstmal gucken, wo ist ein Problem.

Barbara Lampl : Nee.

Der E-Fuchs (Jochen G. Fuchs) : Wo können wir ein Problem lösen? Dann nehmen wir das Problem und überlegen, was ist das richtige Werkzeug für dieses Problem? Schmeißen wir da jetzt aus irgendeinem Grund einfach nur eine Automatisierung drauf mit Zapier oder was auch immer? Brauchen wir da tatsächlich ein Gen.AI, das da irgendwas für uns bastelt? Und der letzte Schritt für mich, ich nenne es jetzt Low Hanging Fruits, vielleicht fängst du an zu lachen und sagst, das sind wirklich keine Low Hanging Fruits, aber das war es für mich eben, so diese kleinen Anwendungsfälle, dann, Lücken zu schließen für mich, Brücken zu bauen. Vieles, was man jetzt, wenn man sich für KI interessiert, tun kann, tut man relativ autark und isoliert. Das heißt, du arbeitest in der Umgebung eines Chatbots oder eines sonst noch irgendwas und musst dann das, was du da erarbeitet hast, wieder in irgendeine andere Umgebung transportieren. Und da stecken meines Erachtens nach schon viele Optimierungspotenziale, indem man diese Schritte eben in irgendeiner Form automatisieren und überbrücken kann.

Barbara Lampl : Ich unterschreibe das alles mit einer Zusatzinformation oder zwei Zusatzinformationen. Heute bin ich schlecht im Zählen. Komm, ich schneid mir voll in rechten Zeigefinger rein. Kann die Lampl schon immer zählen. Ich sag's euch, also dramatische Zustände hier. Zwei Ergänzungen dazu. Alles richtig, was du sagst. Bitte unterschätzt mir nie. Weil gerade ist es das, die Projekte, die bei mir auf dem Tisch landen, sind entweder wirklich so eine Top-Level, mehr Umsatz weniger Kosten, KI-Strategie. Sorry, das ist keine KI-Strategie. Oder wir sind einen Schritt weiter gekommen. Das heißt, sie haben genau das gemacht, was du gesagt hast, das ist definitiv der bessere Ansatz. Aber sie haben nicht gecheckt und dann kommt hier Mutti um die Ecke und sagt, okay, ihr müsst schon noch anchecken, welche Daten wir zur Verfügung haben. Das Ding lasst euch nicht von Artificial Intelligence und LLMs und Gen-AI ablenken. Das Ganze ist ein Datenthema und wenn ich die Daten nicht habe, ich habe ein Problem, habe eine Fehlstelle, ist das schön, aber wenn ich keine Daten habe, die weiterkommen, bin ich völlig, völlig gearscht. Punkt. Das heißt, ich muss auch immer überlegen, habe ich überhaupt Daten dazu? Und jetzt kommt es und das ist quasi Punkt eins. Unterschätzt mir das nicht, welche Daten haben wir. Und Punkt zwei, du hast völlig recht, Klammer und aber nicht alles kann ich mit einem LLM lösen. Und wenn ihr euch nur Leute reinholt, die Gen-AI-Expertise haben und die sollen dann auf einmal das vorne genannte Churn-Problem lösen. Kinder, dann lauft ihr ins Volldesaster. Churns sind klassische bewährten Algorithmen. Dafür muss jemand Machine Learning können. Was heißt, wenn ihr auf strategischer Konsultant-Ebene nur jemanden reinholt, der irgendwie Gen.AI gerade buchstabieren kann, hier mit meinem Papa mal zu zitieren, Gott hab ihn selig, Schraubenzieher vorwärts, rückwärts buchstabieren können, aber ihren Scheißgriff nicht finden, dann habt ihr ein Problem. Und das ist das, ihr müsst ja quasi auf strategischer Ebene tierisch aufpassen. Diese Leute haben alle ihre Daseinsberechtigung, die sie in den Teilen, nochmal, ich bin echt auch nicht der Schlaueste in dem KI-Feld. Aber es ist wichtig zu verstehen, deswegen haben wir das Fass heute mal aufgemacht. Wir haben da sehr viel mehr. Und alles hat seine verdammte Daseinsberechtigung, alleine es stabil zum Laufen zu bekommen. LLMs sind geil. Ich liebe sie. Sie machen mein Leben und euer Leben schöner. Aber sie sind halt nicht die Lösung für alles. Also wer im Sommer mit den Skiern schieffahren will, hat ein Problem.

Der E-Fuchs (Jochen G. Fuchs) : Ich glaube, das war ein gutes Stichwort. Ich geh jetzt mal meine Skier holen, weil draußen scheint die Sonne.

Barbara Lampl : Sehr guter Plan, nimm die Sommerskisheats, wir sehen uns in der nächsten Folge.

Der E-Fuchs (Jochen G. Fuchs) : Machen wir es. Bleibt dran, wir freuen uns auf euch in der nächsten Folge und wir sind schon gespannt was es geben wird.

Barbara Lampl : Genau, genau. Wir lassen uns überraschen, die News, wo die News uns hintreiben. Und natürlich bitte, bitte noch mal, wenn ihr eine Spezialfolge oder irgendeine Erklärbar-Folge oder sonst irgendwas haben wollt, schreibt uns, meldet uns. Wir wollen es erklären, sehr gerne. Ich versuche auch mal, langsamer zu sprechen bei meiner AI da unten. Schon wieder sagt Lampe, du hast wieder viel zu viele Worte in der Minutix.

Der E-Fuchs (Jochen G. Fuchs) : So machen wir das. Tschüss!

Barbara Lampl : Tschüss!