Markdown statt JSON: Was Notion teuer lernen musste

**Jochen G. Fuchs: ** Hallo und herzlich willkommen zu einer neuen Folge deines neuen KI-Lieblingspodcasts LAIer 8|9. Hallo Barbara!

**Barbara: ** Hallo Jochen, was haben wir denn heute für ein schönes Thema?

**Jochen G. Fuchs: ** Ich hab da was nicht verstanden. So könnten...

**Barbara: ** Herzlich willkommen zur Sprechstunde mit AI Babsi bei LAIer 8|9... Nein, der Jochen hat was nicht verstanden. Das ist gemein.

**Jochen G. Fuchs: ** So könnte ein Großteil unserer Podcasts starten. Hängen geblieben bin ich – ich muss jetzt aufpassen, dass ich niemanden auf eine falsche Fährte führe – an einem Post von VentureBeat. Die haben ein Podcast-Gespräch mit dem AI-Lead von Notion, Ryan Nystrom, gefeatured und haben da irgendwas über Markdown erzählt. Ich bin daran hängen geblieben, weil ich im Moment darüber nachdenke, wie ich meine Artikel unter Umgehung des CMS abspeichere und direkt auf die Webseite bringe. Hab da auch über Markdown nachgedacht, bin dann daran hängen geblieben und dachte: Das hat irgendwas mit mir zu tun. Dann hab ich irgendwann gedacht: Das hat gar nichts mit mir zu tun. Und jetzt frage ich mal Barbara, was der ganze Scheiß überhaupt soll. Pardon my French. Es geht darum, dass Notion auf professioneller Basis mit KI arbeitet. Da sitzen Entwickler, die in der KI-Infrastruktur Prompts in irgendein Framework einbetten müssen. Dazu haben sie bisher JSON verwendet. Ich muss dazu sagen: Ich bin so ein Westentaschen-Entwickler, war mal Product Owner. Ich weiß, was JSON ist und wo das eingesetzt wird. Als ich gelesen habe, die verwenden JSON für ihre Prompts, saß ich da mit einem riesengroßen Fragezeichen und dachte mir: Ich spreche mit dem Ding, warum gebt ihr ihm JSON? Und jetzt haben sie als bahnbrechende Erkenntnis herausgebracht, dass Markdown die native Sprache des Reasoning-Prozesses ist. Ich sitze da und denke mir: Hilfe. Was tun sie da und warum tun sie das? Was ist da los? Barbara, was?

**Barbara: ** Ich hatte eine ähnliche Reaktion. Was tun sie da? Wie viel Kohle haben sie zum Fenster rausgeschmissen? Sie hätten die Millionen nicht verbrennen müssen. Ich hab da eine ganz schöne Kontoverbindung – ihr hättet mir die Kohle auch überweisen können. Als mir Jochen diesen Post und den Podcast geschickt hat, saß ich da und wollte kurz zum heulenden Elend übergehen, weil ich mir gedacht habe: Irgendwie erreiche ich die Leute mit meinem Wissensstand nicht, und meine lieben Kollegen auch nicht. Das hat Notion garantiert einen zweistelligen Millionenbetrag gekostet – diese Erkenntnisse, die sie jetzt als bahnbrechend verkaufen. Angesichts der Irritation, die Jochen hat, dachte ich mir: Bringen wir unsere beiden Irritationen mal zusammen. Warum die eine Seite des Tisches sich denkt "Hä?" und die andere auch – und hoffen dann, uns in der Mitte zu treffen. Meine Reaktion war ähnlich, aber aus anderen Gründen.

**Jochen G. Fuchs: ** Wenn wir ein Comic wären, wären unsere beiden Fragezeichen spiegelbildlich in unterschiedlicher Richtung dargestellt. Ich habe nicht so ganz verstanden, was die da im Framework mit JSON tun und warum.

**Barbara: ** Fangen wir ganz vorne an. Wenn ihr in die Shownotes reingeht und den LinkedIn-Artikel lesen werdet, wo alles weitere verlinkt ist, dann werdet ihr eine Zeile lesen: "Why this matters for the technical decision makers." Das ist ein kleiner Hinweis darauf, wer gerne JSON promptet: Tech-Leute. Menschen mit mehr Code-Verständnis, häufig Ingenieure – die klassischen Tech Leads. Die haben ganz am Anfang herausgefunden – mit völliger Berechtigung übrigens –, dass das natürliche Geblubbere, was wir 2023 gerne in ein LLM reingeballert haben ("Liebes ChatGPT, ich habe heute einen ganz schlechten Tag, kannst du mir bitte meine E-Mail überarbeiten, damit mein Chef mich nicht kündigt"), vielleicht nicht die beste Prompt-Strategie ist. Dann haben sie angefangen, ein Format zu benutzen – in dem Fall JSON. In ihrer Welt spricht man mit einer GenAI so, noch dazu weil sie häufig auf den APIs gearbeitet haben – also nicht in ChatGPT, sondern gleich mit dem rohen Modell. Sie haben festgestellt: Geprompt geblubbere schlechter Output, JSON besserer Output.

**Jochen G. Fuchs: ** Was einfach daran liegt, dass sie den Prompt nicht in ein fluffiges Gespräch, sondern in ein strukturiertes Format gebracht haben.

**Barbara: ** Richtig, in ein strukturiertes Format gebracht haben. Sie haben festgestellt: Wunder, strukturiertes Prompten führt zu besseren Ergebnissen.

**Jochen G. Fuchs: ** Deswegen hat mich das so irritiert. Ich saß da und dachte: Ihr habt jetzt rausgefunden, dass man mit einem Sprachmodell besser spricht? Bitte was? Bin ich dumm oder...?

**Barbara: ** Jetzt geht's aber einen Schritt weiter. JSON ist insbesondere auf der Schnittstelle der natürliche Modus, wie das technische Tierchen mit dem Ding spricht. Was man dann aber nicht weitergedacht hat: Wir haben trotzdem ein Large Language Model, ein Sprachmodell. Eventuell könnte Code – JSON ist ja am Ende des Tages Code – vielleicht nicht die beste Formatierung sein. Jetzt passiert etwas sehr Lustiges: Die Tech-Welt entdeckt andere Formatierungen. Sie entdecken YAML, sie entdecken XML. Und dann irgendwann – und das ist das, was Notion jetzt entdeckt hat, haltet euch fest an euren Schreibtischen, Fahrrädern oder Lenkrädern – sie haben das Markdown-Format entdeckt. Da muss ich kurz die Faust auf die Schreibtischplatte schmettern und denken: Das fällt euch jetzt auf? Ihr hättet auch einfach meinen Data-Scientist-Kollegen fragen können. Von Anfang an schon immer. Es gibt bessere und optimale Prompt-Strategien, was die Formatierung angeht. Die zwei einzigen Formate, die beständig outperformen, sind in Pi mal Daumen 80 Prozent der Fälle Markdown und in den anderen 20 Prozent XML. Das wissen wir schon sehr lange und jede verdammte Studie bestätigt das. Notion hat jetzt – das Interview kam 2026 raus, also Ende 2025 – gebraucht, um das rauszufinden. Wir können jetzt mal in Euro hochrechnen: Das hat garantiert einen zweistelligen Millionenbetrag gekostet. Jochens Irritation ist genauso gerechtfertigt wie meine. Die Gründe sind unterschiedlich. Euer Takeaway: Markdown oder XML. Und verdammte Hacke, testet die Strukturen eurer Prompts durch.

**Jochen G. Fuchs: ** Was ich hier interessant fand, und das führte mich gedanklich wieder in meine Welt zurück, in diese Handelswelt: Die diskutieren da auf einem Punkt rum, wo sie sagen, es ist nur dann gut, wenn du es genauso erklärst, wie du es auch einem Menschen erklären würdest. Also wenn dein Prompt so ist, als würdest du mit einem Mitarbeiter sprechen. Sie kumulieren dann diese bahnbrechende Erkenntnis in den Punkt: Für ein Sprach-LLM ist das besonders gut verständlich, was auch ein Mensch versteht.

**Barbara: ** Nöööö. Also wir haben 2026 und die Erkenntnisse aus dem Silicon Valley sind wirklich bahnbrechend.

**Jochen G. Fuchs: ** Ich muss manchmal grinsen, weil ich ähnliche Effekte erlebe. Menschen im SEO-Bereich sprechen darüber, wie man seinen Inhalt mit diesem GEO-Kram für die Maschinen optimiert. Und dann geht's darum, wie man reagiert, wenn mal ein Agent kommt, der was kaufen will. Ja, da gibt's infrastrukturelle Themen, wie der Checkout dann auch mitgeht und so weiter. Es ist einfach oft so: Wenn irgendwer über Perplexity oder sonst wen da sitzt und versucht herauszukriegen, ob das Produkt, was ihm gerade in diesem Chat beschrieben wurde, zu dem passt, was er auf diesem Onlineshop findet – dann ist das, was jetzt ausschlaggebend dafür ist, wie gut dieses Produkt beschrieben ist. Wenn ich eine Wanderhose für einen spezifischen Anwendungszweck mit einer bestimmten Temperatur und einer bestimmten Materialie suche, dann funktioniert das nur, wenn das auf der Webseite so beschrieben ist. Viele, die über GEO und SEO sprechen, gelangen zur Erkenntnis, dass die Informationen, die sie bisher auf ihren Webseiten anbieten, so unvollständig sind, dass der Agent nicht zu einer vollständigen Einschätzung gelangt. Dementsprechend wird das Produkt oder Ergebnis nicht berücksichtigt. Banal gesagt: Wenn ihr sowas machen wollt, dann sorgt dafür, dass das, was ihr produziert, für Menschen besser verständlich ist. Dann ist es auch für den Agenten besser verständlich.

**Barbara: ** Spoiler Alert, ja. Noch dazu, weil im Zweifelsfall ein Agent sich nicht selbst steuert, sondern ein Mensch den Agenten steuert. Bleiben wir beim Beispiel Wanderhose: Ich schaff's vielleicht noch, "Wanderhose Gore-Tex" einzugeben, weil ich das als Material kenne. Es gibt aber vielleicht noch andere coole Wanderhosenmaterialien, die kenn ich nicht. Dann schreibe ich natürlich eine Beschreibung, was das Material sein soll, und nicht den Fachbegriff. In der Welt, von der dann zum Beispiel immer gesprochen wird – "maschinenlesbar" –, stehen 25.000 Fachbegriffe drin, die weder die Maschine zuordnen kann. Die weiß natürlich nicht, dass dieses Material wasserabweisend, atmungsaktiv und besonders schön weich ist. Und nicht ich reinschreibe: "Ich möchte eine Wanderhose, hat folgende Kriterien, such mir dazu was raus." Da fängt es schon an. Die ganze GEO-Diskussion können wir vielleicht mal in einer anderen Folge vertiefen. Aber das führt uns wieder zu: Professionellen Umgang finden mit AI heißt auch, in der Grundlage mal verstehen, was die Dinge tun und wie sie funktionieren. Besonders als Tech Lead. Wenn ich der AI-Lead bei einer Company bin, dann erwarte ich ein bisschen mehr Data-Science-Kompetenz als das, was in diesem Podcast durchgespiegelt ist. Hui, hui, hui.

**Jochen G. Fuchs: ** Was hier noch auftaucht: ein Shift in Richtung deterministische Abläufe, Determinismus. Sie sprechen darüber, dass man einen breiten Shift über den Tech-Deck hinweg in diese Richtung findet. Auch da bin ich irgendwie dagesessen und habe mich am Kopf gekratzt. Wenn ich Claude beispielsweise die Entscheidung darüber überlasse, welche Integration er jetzt für meinen Arbeitsauftrag verwendet, dann versucht er unter Umständen, meine Google-Docs-Datei in OneDrive zu finden – falls er nicht versucht, sie über Canva zu öffnen.

**Barbara: ** Auch da versuchen wir nochmal Data-Science-Semester 1 zu wiederholen. Es gibt eine einfache Regel, die man am Anfang lernt: Einfache Mathe auf einfache Probleme und komplexe Mathe auf komplexe Probleme. Das schmeißen wir später in weiteren Semestern um, aber am Ende des Tages lernst du immer: Wo deterministische Prozesse eine solide Lösung liefern, schmeißen wir keine Wahrscheinlichkeitsrechnung drauf. Das ist das, was jetzt auch Notion rausgefunden hat. Warum überlassen wir einem LLM die Auswahlmöglichkeiten der Marmeladengläser, wenn wir auch einfach eine SQL-Query schreiben können, dass es genau das tun soll? Das ist in der Data Science eine Standard-Methode, die wir auch im Model-Assembling bauen. Wir möchten möglichst viel Stabilität injizieren – nicht immer die höchstmögliche Performance, das ist dann ein anderer Use Case – also Stabilität, Reliability, aber auch Nachvollziehbarkeit und Transparenz. Das kann ich ganz klassisch Tag eins der Data Science tun: Wenn ich sehr genau überlege, "ich brauche die Kaffeetasse mit dem blauen Muster", dann sage ich dem Modell "nimm die Kaffeetasse mit dem blauen Muster" und nicht "entscheide dich für eine Kaffeetasse, die vielleicht dunkelblau ist" oder überlasse dem Modell, welche Kaffeetasse ich heute benutze. Es ist total skurril. Ich kann hochrechnen im Kopf, was diese Erkenntnisse gekostet haben. Die haben monatelang an irgendwas rumgebastelt, um dann festzustellen: Okay, wir schmeißen einfach zwischen den Agenten und den Agenten eine SQL-Query rein. Wow, wir machen einen klassischen Tool-Call. Ganz klassisch hard-coded. Da sind Unsummen in den Bach runtergegangen. Für Erkenntnisse, die es quasi gratis an der Straßenecke gibt. Das ist schon relativ beeindruckend. Das hat das Silicon Valley gut rausgefunden.

**Jochen G. Fuchs: ** Manchmal frage ich mich: Unheimlich viel der KI-Berichterstattung, gerade von KI-Influencern, geht in die verständliche Richtung, darüber zu diskutieren und auszuprobieren, was so ein LLM in Anführungszeichen alleine hinbekommt. Natürlich kann ich ein LLM darum bitten, das Wetter für morgen einzuschätzen, mit einem ewig langen Prompt anhand von, keine Ahnung, was er recherchieren soll, und schick dann Deep Research drauf. Oder ich kann ihm halt einfach sagen: Ruf bitte, mach einen API-Call bei einem Wetterdienst und gib mir die Temperatur aus.

**Barbara: ** Fenster rausgucken ist auch eine Variante. Eine Website besuchen, die wetter.de heißt, auch eine Variante. Google hat auch eine sehr solide Lösung: Wetter plus Postleitzahl eingeben, gibt eine saubere Wetterprognose. Wir kommen aus einer Welt – und ich muss ganz ehrlich sagen, ich weiß gar nicht mehr, was ich dazu sagen soll – wo dieses Ausprobieren als das Maß aller Dinge gilt. Es gibt kein Grundlagenverständnis. Wir reden hier über Dinge, die bringe ich meinen Bachelor-Studenten seit mehreren Jahren bei. Über einem Jahrzehnt halte ich einen Lehrauftrag in Data Science für Bachelor, Master, PhD. Habe sie alle vor der Brust gehabt. Und immer noch: Das sind die Basics. Das sind die gnadenlosen Basics, aber nicht nur in der Data Science, sondern auch in der Softwareentwicklung. Jetzt nur weil es GenAI ist und wir ein Kilo LLM scheinbar auf jeden Scheiß draufschmeißen können, experimentieren wir, verbrennen Finanzmittel von Unternehmen – was ja nicht unsere eigene Kohle ist – und hypen jeglichen Schrott auf jeglicher Social-Media-Plattform als die neueste Erkenntnis. Wir hatten vor ein paar Wochen TOON (T-Doppel-O-N). Da hat so ein – ich glaub, in dem Fall war es sogar ein Berliner Start-up – rausgefunden, haltet euch fest, jetzt kommt der Anfall des Tages: Dass JSON nicht das optimale Format ist, aber so ein manipuliertes JSON-Format ist gut. Das Ding hing genau zwischen einem Markdown und einem XML-Format. Die finden XML raus. Was übrigens in jeder verdammten Dokumentation der Model-Foundation-Modellprovider drin steht: Markdown und XML. Da steht nichts anderes drin. Lesen hilft!

**Jochen G. Fuchs: ** Es erinnert mich so ein kleines bisschen an diesen – ich weiß gar nicht, wer von euch liebe Zuhörerinnen und Zuhörer sich daran noch erinnern kann – aber es gab mal so ein Ding, wo irgendjemand anfing: "Guck mal, die haben eine Methode gefunden, mit der sich LLMs untereinander unterhalten können." Und dann haben sie den Sprachmodus von beiden LLMs gestartet und hatten irgendeine Modulation dazwischen geschaltet, wo die quasi über Sprache Daten übertragen haben. Und die alten Kellerkinder unter uns saßen da und sagten: "Guck mal, geil, sie haben das Modem erfunden."

**Barbara: ** Aber das ist halt genau das. Es ist 2026 und so ein Post – und du fragst dich echt: Was habt ihr die letzten Jahre gemacht? Habt ihr allen Ernstes geglaubt, dass ein Bereich, der 80 Jahre alt ist, der solide Best Practices kennt, der solide Grundlagenforschung kennt, der Experten und Expertinnen – ja ich weiß, wir sind wenige, aber Frauenquote hochgehalten – kennt, dass wir den ganzen Tag Däumchen gedreht haben und unseren Job nicht gemacht haben?

**Jochen G. Fuchs: ** Ich weiß nicht, woran es liegt. Ich versuche mich gerade in der Product-Owner-Brille in einem Company-Kontext wieder zu versetzen und überlege, was zu sowas führen kann. Das eine: Das Management von oben sagt, ihr müsst jetzt hauptsächlich auf GenAI setzen, weil das ist das, was im Moment alle wollen. Das Zweite: Man hat irgendwie das Gefühl, da ist jetzt irgendwas vollkommen Neues rausgekommen, was noch nicht jeder so ganz verstanden hat. Auch in der Wissenschaft und Studienlage kommen oft Sachen raus wie: Irgendein Forscher probiert aus, was macht denn das LLM, wenn man dieses oder jenes tut. Das guckt man sich an, dann guckt man sich die Leute an, die irgendwelche Use Cases mit KI-Assistenten durchspielen und einfach mal gucken wollen: Was passiert denn, wenn ich zur KI sage, versuche mal ein Unternehmen zu gründen oder versuche mal dieses oder jenes zu machen? Die dann aus Experimentierfreude heraus einfach mal gucken wollen, wie weit das LLM kommt. Auf unserer einfachen KI-Literacy-Basis empfehlen wir den Leuten ja auch: Probiert aus, experimentiert rum, damit ihr ein Gefühl dafür kriegt, was das macht. Kommt mir so vor, als wären die in dieselbe Schiene geraten. Als hätten die sich hingesetzt und gesagt: Jetzt versuchen wir mal, wenn wir mit professioneller Infrastruktur auf ein LLM schießen, ob das Ding auch ohne die ganzen üblichen Logiken und Tools auskommt. Wir werfen mal alles, was wir über Softwareentwicklung wissen, über Bord.

**Barbara: ** Ich bin da bei dir. Und wir sagen ja auch immer, experimentiert. Aber jetzt mal ernsthaft: Ihr seid neu in dem Feld, ihr habt noch nicht viel Berührung mit GenAI gemacht. Wie viele Stunden experimentierst du, bevor du den verdammten Profi anrufst?

**Jochen G. Fuchs: ** Wenn ich jetzt meine PO-Brille wieder aufsetze: Das Erste, was ich mache, ist eine Schätzung. Ich brauche ein Grooming. Bevor ich anfange mit dem Scheiß, brauche ich jemanden, der sich damit auskennt, der mir sagen kann, was ich tun muss und wie lange das ungefähr dauert. Ich würde da jetzt nicht ohne Hilfe rangehen.

**Barbara: ** So. Ich kann es euch beantworten. Benutzt ein GenAI-Tool eurer Wahl, fangt mit einem Gratis-Account an und spielt so lange rum, bis ihr ins Limit reinlauft. Also bei ChatGPT ins Limit reinlaufen, Gratis-Account. Schritt zwei: Du gibst die 20 Euro aus. Für welches Tool auch immer – Claude, ChatGPT, irgendwas, ist mir völlig egal. Und dann nimmst du dir 10 bis 20 Stunden vor und experimentierst. Mit allem Möglichen, was nicht mehr auf den Bäumen ist. Das heißt, wir haben den ersten Lauf, der vielleicht ein, zwei Stunden ist. Und dann haben wir 10 bis 20 Stunden. Und dann musst du einen Schritt zurücktreten. Dann musst du rausfinden, wo das Problem liegt: Ist es die Technik oder bist du es? Hand ins Feuer – und wenn ihr unsere letzte Folge gehört habt, wisst ihr: Es ist nicht die Technik. Die LLMs sind verdammt gut geworden. Es liegt also an euch. Jetzt habt ihr ein paar Möglichkeiten. Ihr könnt solche hoffentlich coolen Podcasts wie uns hören – aber es gibt noch viele andere Podcasts, die auch eine gute Grundlagenbildung versuchen. Ihr holt euch Podcasts, ihr sucht euch ein YouTube-Video raus, ihr sucht euch einen Kurs raus – gratis, sonst irgendwas, guckt ein paar YouTube-Videos. Und jetzt investiert ihr vielleicht nochmal 10 bis 20 Stunden, um irgendwie zu verstehen, wie das Ganze funktioniert. Jetzt kommt eine entscheidende Frage: Möchte ich AI professionell benutzen? Oder ist es für mich was Privates, nicht Teil meines Jobs? Freundin von mir ist Krankenschwester. Sie sagt: "Ich spiele viel damit rum, aber aktuell sehe ich den Use Case nicht bei uns im Krankenhaus, weil es bei uns nicht so relevant ist. Für mich ist es privat." Muss die jetzt genau den gleichen Aufwand in die Bildung reinstecken wie ein Journalist? Nein. Der Journalist wird das Tool professionell nutzen. Jetzt kommt es zu einer harten Entscheidung: Du musst anfangen, Geld zu investieren. Wir haben über ein Investitionsvehikel gesprochen von quasi nur gratis. Und jetzt hast du so vielleicht 10 bis 20 und quasi maximal 40 bis 45 Stunden investiert. Wenn du jetzt an dem Punkt noch nicht bist, dass du dich mit Grundlagen beschäftigt hast, vielleicht deinen ersten Workshop – meistens so was wie ein Einstieg in KI, Grundlagen-Prompting oder vielleicht sogar schon Advanced Prompting, je nachdem wie gut die Grundlage ist – aber spätestens nach 100 Stunden muss der Punkt kommen: Wenn ich einen professionellen Use Case habe, muss ich in meine AI-Bildung investieren. Alles darüber hinaus: Die Opportunitätskosten, die ich erzeuge mit meinem Pseudo-Rumexperimentieren, in meinem Pseudo-ich-glaube-ja-schon-was-zu-wissen, kosten mich eine Unmenge an Asche. Egal ob es die nervigen Partner und Partnerinnen sind ("Was spielst du denn da schon wieder rum?") oder mein eigenes Wissen – weil ich gar nicht weiß, wie die Tools funktionieren, kriege ich keinen professionellen Einsatz hin. Nach spätestens 100 Stunden muss Schluss sein. Und in einem Unternehmen, das unkontrolliert Experimentierfelder erlaubt – die haben wohl schon mal zu viel Kohle auf dem Konto. Was anderes ist: Ich habe ja als Einstiegskriterium zum Beispiel bei mir im "Train the KI Trainer" immer gesagt, ihr müsst Heavy-User sein. Das heißt, ich erwarte irgendwie so über die letzten paar Monate, von mir aus im letzten Jahr, so eine 100-Stunden-Nutzung. Und ich erwarte auch eine bestimmte Bildung in dem Bereich. Entweder die meisten sind bei mir in der zweiten Ausbildung, weil die erste Scheiße war – aber das ist jetzt mal ein anderes Thema. Man hat in irgendwelche Sachen investiert, in mehr oder minder Kurse, in mehr oder minder Fortbildung. Dann macht so eine Riesenausbildung Sinn. Wenn ich ins Advanced Prompting reinkomme, dann habe ich so 30, 40, vielleicht 50 Stunden rum experimentiert. Ich kenne ein paar Prompting-Schemes, ein paar Grundlagen-Geschichten – wir haben auch hier schon mal eine Folge dazu gemacht – und denke mir jetzt: Okay, irgendwie muss da mehr gehen. Aber ein Unternehmen wie Notion, was ja scheinbar jetzt – ich meine, GenAI ist mature Technology bereits seit Anfang 2025 auf diesem Grad – also ich hoffe bitte um Gottes Willen, dass Notion das schon bereits in 2024 herausgefunden hat und in 2025 nur noch durchexerziert hat. Aber bitte nicht diese Erkenntnisse 2025 gemacht hat, weil das wäre echt bitter als Aussage über die Fachlichkeit, die hinter so einem AI-Lead steckt. Ich bin bei dir. Natürlich wird immer groß gepredigt: "Wir schmeißen KI auf alles." Ich sag's euch, wie es ist: AI first ist keine Option. Dann passiert nämlich genau das. Weil ich alles andere ignoriere. Was in einem wissenschaftlichen Paper steht, ist nicht etwas, was ich im Unternehmen hoffentlich nochmal reproduziere. Dafür hat es doch jemand geschrieben. Sondern ich muss meine Erkenntnisse aus diesem Paper – es gibt da zum Beispiel Anthropic und seine Vending-Machines – ableiten und sagen: Was ist die Transferleistung aus diesem Paper? Wie kann ich das reproduzieren in meiner Architektur, damit ich den Fehler nicht nochmal machen muss und das Experimentier-Budget ausgeben muss? Was sind wir denn alle? AI Frontier Labs? Mir neu, dass ich für eins arbeite.

**Jochen G. Fuchs: ** Es gibt ja auch bei den Studien, wenn man sich die zusammenfassen lassen will – es gibt da schon so eine Zusammenfassung am Anfang von den Studien. Vielleicht kann man da auch mal drauf hinweisen. Ich muss mir nicht jede Studie...

**Barbara: ** Ja, so ein Abstract. Man kann den aber schon mal durchlesen, und dann geht's zur Conclusion. Diese Paper sind sehr strukturiert, sehr gleich aufgebaut.

**Jochen G. Fuchs: ** Wäre hilfreich. Ich hab da nochmal drüber geguckt, was die denn noch so erkannt haben. Sie sprechen von einem 150k Token Sweet Spot. Was meinen sie denn damit?

**Barbara: ** Die meinen damit: Der ist ganz spannend, weil das hat mich ein bisschen gefreut zu lesen. Das ist ziemlich deckungsgleich mit dem, was ich auch immer empfehle. Yay! Ich sage auch immer so 125.000 bis maximal 175.000 Tokens ist so der Sweet Spot. Ich finde aber gut, dass die auch auf die 150.000 gekommen sind. Spoiler Alert: Auch das ist klassische Data Science. Grundsätzlich hast du die sogenannte Token Window Function. Das ist die Funktion, wie groß dein Token Context Window ist, wenn du den Prompt eingibst. Der Prompt wird verarbeitet, also es gibt Input und Output. Diese Token Windows sind extrem groß geworden. Gemini zum Beispiel hat ein bis zu eine Million großes Token Window. Wir wissen aber, dass es nicht unbedingt sinnvoll ist, diese Token-Function voll auszunutzen, weil dann Geschwindigkeit, aber auch Reliability, Halluzination und alles sonst irgendwas ziemlich den Bach runtergehen können. Für alle in Consumer-Anwendungen: Das ist immer dann, wenn ihr den Chat so lange benutzt. Viele nutzen ja einen Chat, der eigentlich schon längst tot ist. Diese Aussage kennt ihr von mir schon: Der Chat ist tot, weil du halt so viele Iterationen mit dem Chat gemacht hast. Das ist diese Token-Function. Wir sehen in professionellen Anwendungen – und das kann man auch relativ gut messen – dass so der Sweet Spot wirklich um die 120.000, 128.000 Token übrigens, 150.000, 175.000 Token sind. Besonders für agentische Anwendungen. Davor ist der Kontext und der Prompt zu klein. Danach verliert es ganz gerne mal den Faden. Das Ding weiß dann nicht mehr, auf was es sich beziehen soll. Das ist der Hintergrund von den 150.000 Token. Das kann man relativ sauber evaluieren und das zeigt sich nicht nur in Studien, sondern auch in all unseren Projekten. Das ist wirklich ein sehr, sehr solider Spot. Keine große Überraschung übrigens. Da fängt man mal an zu messen. Auch da gibt es Grundlagenforschung zu.

**Jochen G. Fuchs: ** Ich hab neulich mal ausprobiert, wie lange es dauert, bis ich bei Claude im Chat an diese Grenze gerate. Hab das Ding mal bis zum Ultimo getrieben und dann hat er etwas gemacht, was ich auch nicht so richtig zuordnen konnte. Er fing an, den Chat zu komprimieren. Er sagte: "Ich komprimiere jetzt die Unterhaltung, damit du weiterschreiben kannst." Ich dachte: Was tust du jetzt? Ich mein, klar, jetzt hab ich das Ende des Windows in Anführungszeichen erreicht, aber was komprimiert er da bitte wohin? Leert er dann einfach einen Teil raus oder was machen die da?

**Barbara: ** Ja, er versucht quasi wie so ein Cache zu löschen. Grundsätzlich, wenn man das mal ausprobiert – zurück zum Experimentieren: Ich habe das auch schon mal gemacht. Grundsätzlich meldet Claude übrigens wahnsinnig viel zu spät, dass er tot ist. Also davor hat er schon irgendwie fast den Faden verloren. Es ist definitiv so, dass er dann versucht, den Hintergrund zu komprimieren. Im Prinzip kann man sich das ein bisschen vorstellen: Ihr kennt doch – wer bei mir im Workshop war, kennt das – wenn du das Gefühl hast, der Chat ist zu Ende, dass du dann promptest: "Mach mal eine Zusammenfassung von all unseren Erkenntnissen, die wir in einem neuen Chat verwenden können." Im Prinzip ähnlich funktioniert es technisch – ein bisschen, aber auch nicht wirklich viel advanceder. Er fährt so eine Art Erkenntniskomprimierung und dann wie eine Art Restart von dem Chat. Das funktioniert mehr oder minder gut. Ich würde mich nie im Leben drauf verlassen. Aber das ist so bisschen der Hintergrund, der da passiert. Ihr könnt das mal ausprobieren. Zurück zu: Manche Sachen sollte man auch mindestens ein-, zweimal experimentieren, aber dann ist auch das Experimentierbudget wieder aus. Ganz klare Warnung: Wenn Claude meldet – und Claude macht übrigens als einziger diese Meldungen, "hier der Chat ist gleich tot" – ist es eigentlich schon zu spät.

**Jochen G. Fuchs: ** Ist schon zu spät, okay. Aber das, was er da tut, ist so was Ähnliches wie das, was ich eigentlich von Hand mache. Wenn ich in einem Chat gearbeitet habe und eine Erkenntnis rausgezogen habe, nehme ich das und packe das in einen neuen Chat und arbeite dann quasi mit dem Ergebnis dieses Chats weiter, weil ich eben nicht abdriften will.

**Barbara: ** Richtig. Nur dass du die volle Kontrolle hast über das, was dann quasi neu gestartet wird. Während du dich so auf ein System verlassen musst, was auf einer Wahrscheinlichkeitsfunktion funktioniert, und du hoffst, dass er's richtig mitnimmt.

**Jochen G. Fuchs: ** Ja, ich weiß dann ja nicht, was er da komprimiert hat. Was hat er weggelassen, was hat er mitgenommen?

**Barbara: ** Nein. Und für alle, die meinen berühmt-berüchtigten Rant kennen, warum ich die Memory-Funktion und das Durchsuchen der Chats als unsinnig bezeichne: Das hat unter anderem auch was mit der Token-Funktion zu tun. Damit verbrauche ich natürlich auch Tokens, die ich eventuell gar nicht brauche, weil ich die ja mit in den Kontext schleppe, weil ich die mit in die Chat-Durchsuchungs-Funktion schleppe und so weiter. Das heißt, die nutzbaren Tokens werden dadurch, dass ich diese Funktionalitäten an habe, auch geringer.

**Jochen G. Fuchs: ** Okay.

**Barbara: ** Wer jetzt final noch mal ein Argument haben wollte, warum wir den Scheiß ausschalten: Sie hat's mal wieder gesagt.

**Jochen G. Fuchs: ** Wenn wir jetzt zusammenfassen würden: Wenn jemand da sitzt und sagt, okay, ich bereite mich jetzt darauf vor, professionell eine KI-Infrastruktur aufzubauen, ich will ein Agenten-Framework oder sowas bauen – dann wissen wir jetzt zumindest mal: Markdown ist gut, strukturierte Prompts sind gut, mit dem Ding so sprechen, wie es auch ein normaler Mensch noch verstehen würde, ohne Coder zu sein. Alles, was eigentlich mit einem Tool-Call zu erledigen ist, schmeißen wir bitte nicht auf das LLM. Was würdest du noch hinzufügen?

**Barbara: ** Wenn das der Erkenntnisstand derjenigen Personen ist, die die KI-Infrastruktur bauen: Dringend Fortbildung besuchen.

**Jochen G. Fuchs: ** Sehr schön.

**Barbara: ** Sorry, aber ja, würde dem hinzufügen: 150.000 Token ist ein guter Sweet Spot, den kann man sich gut merken. Aber wenn der- oder diejenige im Lead ist und das ihr Wissensstand ist und gleichzeitig die Verantwortung für irgendwelche KI-Strategien, KI-Infrastruktur und sonstige Sachen hat: Investieren Sie bitte in Fortbildung, jetzt. Wir stehen gerne mit Rat und Tat zur Verfügung. Das tut mir sehr leid, aber sorry: Upskill yourself. Bevor wir hier irgendwie Unternehmensressourcen verbrennen.

**Jochen G. Fuchs: ** Klingt gut. Also nein, nicht, aber...

**Barbara: ** Nein, nein. Also ich glaube, einen Ausblick zu sicherlich einer Folge zu bekommen, die wir in den nächsten Wochen irgendwann auch nochmal haben – besonders auch wer mir auf Substack folgt, da wird auch noch ein Artikel kommen. Eventuell, wenn ihr diese Folge hört, wird er auch schon veröffentlicht sein. Meine ganz persönliche Prognose für 2026 – und wer auf LinkedIn folgt, wird es vielleicht schon im Post gesehen haben: Go Pro or Go Home. Deswegen unterscheide ich immer so krass zwischen professionellem und privatem Einsatz. Mir liegt natürlich der private Einsatz auch am Herzen und ich halte da mit vielen Sachen auch immer die Fahne hoch. Aber gehen wir mal auf meinen Dayjob. Das ist der professionelle Einsatz von allem, was rund um Data Science, Data AI möglich ist. "Go Pro or Go Home" wird das Motto für 2026. Es wird sich einfach unterscheiden. Notion ist jetzt pro gegangen, hat sie viel Kohle gekostet. Hoffen wir, dass sie in dem Team bleiben. Aber es geht wirklich darum: Wie professionell finde ich meinen Umgang mit GenAI und all den notwendigen Sachen, die dazugehören? Und raus aus Experimentieren sollten wir schon längst sein. Unternehmen, die jetzt noch experimentieren müssen, müssen die Phase des Experimentierens massiv kürzen. Ansonsten werden sie von der schon vorhandenen Welle, die schon längst da ist, zum dritten Mal überrollt.

**Jochen G. Fuchs: ** Ressourcentechnisch: Wenn ich als Unternehmen in dieser Lage bin und vermeiden will, dass ich in sowas hineinfalle, und ich habe eine klassische Entwicklerstruktur mit irgendwelchen Product Ownern und irgendwelchen Entwicklern, die halt bisher mit JSON und Co. gearbeitet haben, so wie das jetzt wahrscheinlich bei Notion auch war – was versuche ich denn dann zu finden? Muss ich wirklich versuchen, mir einen Data Scientist...?

**Barbara: ** Nein, versucht mal intern zu identifizieren. Wenn ich jemanden hab, der schon ein paar Schritte weiter ist, versucht einen internen Champion zu identifizieren. Könnt ihr den nicht identifizieren? Versucht euch erst mal externe Hilfe zu holen bei einem kurzen Assessment von dem, was ihr braucht, bevor ihr dann wirklich entscheidet. Nein, der Data Scientist ist auch übrigens nicht die klassische Antwort, weil es eine sehr spezielle Profession ist. Der Data Scientist ist ja eigentlich für Rohdaten verantwortlich, nicht für die Implementierung von AI-Enablement. Ich weiß, manchmal hab ich auch gedacht: Wie bin ich denn jetzt hier gelandet? Weil ich eigentlich Team Rohdaten bin. Aber das ist definitiv der Fall. Identifiziert erst mal: Es wird im Zweifelsfall schon jemand geben, der schon mehr Ahnung hat, egal auf welcher Hierarchiestufe. Den einfach mal schnappen. Ansonsten kann man klein und punktuell externe Hilfe einkaufen. Aber ehrlicherweise: Alle Unternehmen, die jetzt an dem Punkt sind, dass ihr immer noch mit AI startet – tiefes Ein- und Ausatmen. Ihr müsst auf jeden Fall Consulting-Budget aufwenden, egal in welcher Art und Weise, denn ihr seid in einer Aufholjagd und ihr müsst ein bisschen Gas geben. Da sollte man definitiv mal klar haben: Man muss auch noch eine gute Beratung finden. Das ist leider auch nicht ganz trivial. Aber deswegen ist es so wichtig, intern Leute zu finden, die vielleicht schon eine Idee haben, oder mit unabhängigen Instanzen zu sprechen, die auch bei der Dienstleisterauswahl helfen können. Das gibt es ja. Jede Menge gibt es nicht, aber es gibt Angebote, die wir auch begleiten. Sucht euch jemanden, der euch ein bisschen durchleitet. Deswegen machen wir auch den Podcast. Hört euch solche Sachen an. Es gibt andere großartige Podcasts, in denen ja auch ich ganz gerne zu Gast sein darf. Wir haben großartige Kollegen, egal ob jetzt "Wundersame Panik", "Unfuck Your Data" von Christian, aber auch "Tech and Tales" von Liz oder auch "Doppelgänger" von Philipp. Es gibt wirklich richtig, richtig gute Podcasts, gute Quellen, mit denen man sich eine gute Grundlage aufladen kann, um dann die nächsten Schritte zu gehen. Identifiziert einfach mal die Leute, die bei euch intern schon ziemlich weit sind. Irgendjemanden finden wir immer und von da aus kann man gut die nächsten Schritte gehen.

**Jochen G. Fuchs: ** Klingt nach einem guten Schlusswort. Herzlichen Dank! Und herzlichen Dank an euch, liebe Zuhörerinnen und Zuhörer, fürs Zuhören.

**Barbara: ** Fürs Zuhören und fürs Interagieren. Wir danken wie immer für all euer Feedback und die E-Mails, die wir bekommen. Freut mich immer ganz großartig. Achtung: Falls ihr eine E-Mail an mich geschrieben habt und ich noch nicht geantwortet hab, rate mal – Mutti ist gerne mal verplant. Schreibt noch mal. Ich war im Weihnachtsurlaub und irgendwie ist ein bisschen was liegen geblieben.

**Jochen G. Fuchs: ** Ja, aber im Weihnachtsurlaub war ich auch, das ist glaube ich völlig verständlich. Nächsten Freitag, 17 Uhr, wieder einschalten in euren neuen KI-Lieblingspodcast LAIer 8|9. Bis bald, tschüss!

**Barbara: ** Bis bald, tschö!