#35: Prompting ist tot? Warum KI jetzt den Prompt schreibt

0:00 Moritz Heininger: Größte Modell grade ist irgendwie, 1 zu diesen Codg Modellen, Codg 4 verast, irgendwie 2.000.000 Contactsfenster.

0:06 Moritz Heininger: Die GPT Modelle, die Norman 9, die haben nur 400.000 heutzutage.

0:10 Benjamin Wüstenhagen: Wenn man jetzt von 2.000.000

0:12 Benjamin Wüstenhagen: Contacts

0:13 Benjamin Wüstenhagen: spricht, dann meint man 2.000.000 Token. Und zwar in den Token sind so, nachdem wie man's rechnet, vielleicht so 1.250.000

0:19 Benjamin Wüstenhagen: Wörter,

0:20 Benjamin Wüstenhagen: fast so viel wie alle 7 Harry Potter Band da zusammen.

0:27 Benjamin Wüstenhagen: Willkommen zurück

0:29 Benjamin Wüstenhagen: Co-Intelligence,

0:30 Benjamin Wüstenhagen: eurem KI Lernpodcast

0:32 Benjamin Wüstenhagen: mit Moritz Heininger,

0:34 Benjamin Wüstenhagen: Nala und mir Benjamin Wüstenhagen. Weil's so schön ist, ist sie wieder dabei. Sie ist eine arbeitslose.

0:40 Moritz Heininger: Genau.

0:41 Moritz Heininger: Die Rolle gibt es nicht mehr.

0:44 Benjamin Wüstenhagen: Heute geht's nicht nur Prompts, es geht vielmehr Metaprompting,

0:49 Benjamin Wüstenhagen: Kontext Engineering und ein bisschen Agenten

0:52 Benjamin Wüstenhagen: und Spider-Man.

0:53 Moritz Heininger: Und Spider-Man. Genau. Und mit Spider-Man wollen wir anfangen und zwar mit dem bekannten Meme, das ihr da kennt, wie quasi der eine Spider-Man auf den anderen Spider-Man zeigt.

1:02 Moritz Heininger: Und zwar ist das eine gute Einleitung zum Thema Metaprompting.

1:06 Moritz Heininger: Und was ist Metaprompting?

1:08 Moritz Heininger: Mit der KI zu prompten. Also ich geh nicht rein, versuche, den perfekten Prompt zu erstellen,

1:14 Moritz Heininger: dann sozusagen

1:15 Moritz Heininger: mich über potenziell mehrere Stufen zum Ziel zu hangeln,

1:19 Moritz Heininger: sondern ich lasse erst mal in einem KI Shirt einen Prompt erstellen

1:23 Moritz Heininger: und verwende diesen Prompt dann sozusagen

1:26 Moritz Heininger: weiter. Das Ganze nennt sich Meta Prompting.

1:29 Moritz Heininger: Hat den großen Vorteil, dass ich gar nicht so perfekt selbst prompten können muss, ne. Also die Regeln zählen, die wir letztes Mal angesprochen haben.

1:37 Moritz Heininger: Richtiges, klares Ziel vorgeben,

1:39 Moritz Heininger: vorgeben,

1:41 Moritz Heininger: aber ob ich denn den Prompt richtig formatiere oder wie. Das

1:44 Benjamin Wüstenhagen: macht dann die KI für mich. Lass dir im Prinzip ein Briefing geben, bevor Du den Auftrag vergibst.

1:50 Moritz Heininger: Ziemlich, genau. So, ja. Und wir haben da eine kleine

1:54 Moritz Heininger: 6 Schritte Methode,

1:56 Moritz Heininger: ne, uns überlegt, die wir heut gerne besprechen würden im ersten Teil vom Podcast.

2:01 Benjamin Wüstenhagen: Der 1. Schritt ist für alle Lebensbereiche wichtig?

2:05 Moritz Heininger: Genau. Das Nachdenken. Genau, Hirn anschalten.

2:08 Moritz Heininger: Schritt 1 ist nachdenken

2:10 Moritz Heininger: und Hirn anschalten.

2:12 Moritz Heininger: Ja. Denn das hilft, surprise, surprise,

2:16 Moritz Heininger: manchmal in der Ebene, wenn ich irgendwelche Aufgaben lösen möchte. Und so ist es natürlich hier. Und tatsächlich,

2:22 Moritz Heininger: also ich bin auch teilweise noch Oldschool,

2:24 Moritz Heininger: nehm ich mir erst mal ein Stift und ein Papier.

2:28 Moritz Heininger: Man kann das natürlich auch in dem Prompt Fenster selbst machen, aber ich überleg mir erst mal, nachdem ich mein Ziel definiert hab, was ist denn eigentlich alles relevanter Kontext, der mir so in den Kopf kommt?

2:40 Moritz Heininger: Ja, und Schritt 1 ist für mich, also wirklich zu überlegen, gar nicht so strukturiert,

2:44 Moritz Heininger: sondern was ist das Ziel und was braucht man denn eigentlich,

2:47 Moritz Heininger: dieses Ziel zu erreichen im Kontext an Informationen?

2:51 Moritz Heininger: Und das ist Schritt 1, hierhin entscheiden.

2:54 Benjamin Wüstenhagen: Ziel festlegen, Kontext festlegen, Zielgruppe festlegen und

2:58 Benjamin Wüstenhagen: überlegen, was könnten noch weitere relevante Informationen sein?

3:01 Moritz Heininger: Genau.

3:03 Moritz Heininger: Schritt

3:04 Benjamin Wüstenhagen: 2. Ist dann tatsächlich die Erstellung dieses

3:06 Benjamin Wüstenhagen: Meta Prompts.

3:08 Benjamin Wüstenhagen: Meta ist hier nicht Facebook gemeint, sondern tatsächlich die

3:12 Benjamin Wüstenhagen: höhere Ebene.

3:14 Moritz Heininger: Genau. Ich sag der KI quasi,

3:16 Moritz Heininger: liebe KI,

3:17 Moritz Heininger: dein Ziel ist es, mir einen Prompt zu erstellen,

3:21 Moritz Heininger: und zwar für

3:23 Moritz Heininger: folgendes

3:24 Moritz Heininger: Thema.

3:25 Moritz Heininger: Hier ist das Ziel, was ich erreichen möchte.

3:27 Moritz Heininger: Hier ist irgendwie alles, was ich als relevant erachte dafür, diesen Prompt zu erstellen.

3:33 Moritz Heininger: Was

3:35 Moritz Heininger: brauchst Du noch oder welche Informationen fehlen dir eigentlich noch von mir,

3:40 Moritz Heininger: den perfekten Prompt zu erstellen?

3:42 Moritz Heininger: Und das ist quasi Schritt 2. Nachdem ich mir Gedanken gemacht hab, was ich eigentlich machen will, sag ich der KI, sie sollen mir ein Prompt erstellen. Gebt ihr alles, was ich schon im Kopf habe, was ich mir in Schritt 1 überlegt habe und lass mir dann erst mal Fragen stellen von der KI. Also der 1. Schritt ist, ich sag nicht KI, stell mir sofort ein Prompt, sondern die Gedanken hab ich mir gemacht, stell mir jetzt alle weiteren Fragen,

4:01 Moritz Heininger: dann erst zu' Prompt zu kommen. Das ist quasi Schritt 2. Und damit werden natürlich alle Fehlinformationen

4:08 Benjamin Wüstenhagen: eingefordert.

4:10 Benjamin Wüstenhagen: Das ist, find ich, relevant sowohl für Prompts in LLMs als auch in

4:14 Benjamin Wüstenhagen: so Dinger wie oder

4:16 Benjamin Wüstenhagen: generell Sachen. Also wenn ich da manchmal anfange, irgendwie zu vipe coden, frag ich auch, gibt's irgendwas, was ich noch bedenken sollte? Hab ich was vergessen? Ja.

4:23 Moritz Heininger: Genau und das ist dann quasi Schritt 3. Man muss wissen, wie der wie der Mensch kommunizieren würde. Hier ist irgendwie eine Aufgabe. Ich hab mir irgendwie folgende Sachen überlegt,

4:32 Moritz Heininger: den Kontext erst für dich irgendwie relevant.

4:34 Moritz Heininger: Was brauchst Du denn noch von mir, ne, die Aufgabe zu erfüllen?

4:39 Moritz Heininger: Und dann

4:41 Moritz Heininger: fragt mich die KI in dem Fall, was alles noch fehlt oder sagt mir, was noch fehlt. Und diese Informationen stell ich dann bereit. Und das kann manchmal son bisschen Back and Force sein, bis die KI sagt, okay, jetzt hab ich alles gecheckt. Da ist mir eine Information gegeben, die ich irgendwie brauche,

4:54 Moritz Heininger: ja. Und das ist dann sozusagen

4:56 Moritz Heininger: der 4. Schritt.

4:58 Moritz Heininger: Die KI lässt mir sozusagen diesen Prompt oder erstellt mir sozusagen diesen Prompt. Was ich da immer noch mache, ist, ich sag der KI, sie soll mir einen Prompt im Markdown Format erstellen,

5:09 Moritz Heininger: sodass ich den Prompt direkt kopieren kann. Schreib doch mal kurz, was Markdown ist. Markdown

5:14 Moritz Heininger: ist

5:15 Moritz Heininger: im Wesentlichen eine Strukturierungsform,

5:19 Moritz Heininger: so wie's HTML Code irgendwie auch ist. In einem HTML Code kann ich irgendwie angeben,

5:25 Moritz Heininger: Text strukturiert ist, sone Maschine versteht, was eine Überschrift,

5:28 Moritz Heininger: was ist irgend eine Subüberschrift,

5:30 Moritz Heininger: was ist ein Paragraf und so weiter und so fort. Und ähnlich ist es auch bei markdown.

5:35 Moritz Heininger: Und markdown, das sieht man oft von diesen Rauten und so Sternchen und so weiter. Aber ich muss selbst überhaupt nicht genau verstehen, wie dieses Format funktioniert,

5:43 Moritz Heininger: aber KI Systeme verstehen halt Marktdown Formate sehr gut. Und statt jetzt irgendwie selbst da irgendwelche Rauten reinzumachen und Sternchen reinzumachen, sag ich halt in dem Schritt, hey, erstell mir diesen Prompt im Marklaudformat,

5:54 Moritz Heininger: sodass ich ihn direkt kopieren kann. Und das Coole ist bei diesen Tools wie Chippet oder Co-Pil, bei German heißt es genauso, ist, dass man den Text dann nicht einfach so im normalen Textfenster zurückbekommt,

6:04 Moritz Heininger: sondern dass man son wie son separates

6:05 Moritz Heininger: Fenster im Fenster bekomm. Ja, ja. Und da ist dann schon son Copylick Ja, ja. Symbol und dann kann ich den Prompt quasi direkt rauskopieren. Ja.

6:13 Moritz Heininger: Unsicher wegen der neuen EU KI Verordnung, die Kompetenzpflicht

6:17 Moritz Heininger: für den beruflichen Einsatz von KI Tools ist da. SnipKI bietet die Lösung. Unsere spezielle

6:22 Moritz Heininger: Schulung zu Artikel 4 konzipiert mit Rechtsanwälten macht dich und dein Team fit.

6:27 Moritz Heininger: Verstehe die rechtlichen Grundlagen und nutze KI Potenziale ohne Risiko.

6:32 Moritz Heininger: Investiere in Rechtssicherheit und Kompetenz.

6:35 Moritz Heininger: Informier dich jetzt über die Schulung SnipKI

6:37 Moritz Heininger: Punkt d e.

6:39 Benjamin Wüstenhagen: Schritt,

6:40 Benjamin Wüstenhagen: das ist dann sozusagen den Prompt generieren.

6:42 Moritz Heininger: Jetzt könnte man sogar noch Schritt 4 b einfügen und sagen, bewerte mal deinen eigenen Prompt, mach ich manchmal ganz gerne, haben wir jetzt hier nicht drin, aber Ja, bewerte oder wie könntest Du's noch besser machen, ne? Immer dieses Vibecoding, es ist ja auch oft so. Ja. Mach's noch besser, mach's noch besser. Und dann jedes Mal überlegt er sich, was er noch besser machen könnte.

6:58 Moritz Heininger: Das kann man machen, aber meistens find ich, ist eigentlich der 1. Auf der 1. Schritt eigentlich schon immer sehr gut, zumindest rein objektiv, ne. Jetzt gilt's natürlich,

7:07 Moritz Heininger: mit Schimpfwörter zu machen.

7:10 Benjamin Wüstenhagen: Testen und ausführen, den Marktdown Prompt oder welchen Prompt auch immer, vielleicht in' neuen Chatfenster einfach einfügen und gucken, was bei rauskommt.

7:18 Moritz Heininger: Genau.

7:20 Benjamin Wüstenhagen: Dann

7:21 Moritz Heininger: vielleicht dann noch mal zu bewerten und zu verfeinern. Genau, Schritt 6 wär dann quasi das Ganze noch irgendwie zu optimieren. Also Schritt 5, ich teste diesen entstandenen Prompt.

7:30 Moritz Heininger: Schritt 6 ist, wenn ich irgendwie nicht zufrieden bin, dann optimier ich den Prompt wieder mit sehrem neuen Fenster, kommt zum Ergebnis, bis ich jemand sage, okay, das Ergebnis passt für mich nicht. Und tendenziell kann man vielleicht auch oft schon Schritt 4 aufhören, wenn der Prompt fertig ist, wenn's jetzt so einfache Themen irgendwie sind, ne. Wenn's jetzt wenn ich beispielsweise sonen Prompt erstelle für ein GPT, was ein GPT ist, haben wir ja schon in den vergangenen Folgen besprochen, wir haben's ja quasi sone kleine für wiederkehrende Tasks und da ist ja son Systemprompt drin, ne. Und der soll natürlich immer das

8:01 Moritz Heininger: beste Ergebnis liefern und der muss natürlich ein bisschen getweect werden über die Zeit. Und das könnt ich quasi in sonem Prozess machen. Ich bekomm den Prompt, Schritt 5, ich teste ihn aus, bin nicht ganz zufrieden. Schritt 6, detailliertere den, mach wieder neuen, probier den wieder aus, bis ich irgendwann sage, cool, jetzt hab ich hier mit dem ersten Ergebnis eigentlich ein Ergebnis, mit dem ich 100 Prozent zufrieden bin. Wichtig aber auch bei der Iteration ist, das Ganze systematisch zu machen. Hilft jetzt nicht zu sagen, gefällt mir nicht so, irgendwie

8:26 Benjamin Wüstenhagen: war nix. Ja. Sondern vielleicht jetzt zu sagen, hey, Korrektheit, Stil,

8:31 Benjamin Wüstenhagen: Struktur,

8:32 Moritz Heininger: whatever, ne, so das ein bisschen näher eingrenzt. Und wie ich das interier, also ich interier oft dann nicht mit der KI und sag, veränder den Prompt noch mal irgendwie zu x y, sondern ich nehm den Prompt

8:42 Moritz Heininger: und editier den dann selbst, wo ich irgendwie sage, okay, da kommt noch irgendwie ein Satz Hier irgendwie würde

8:49 Moritz Heininger: x y noch helfen. Und dann probier ich das quasi aus. Das ist dann wirklich einfach son eigener iterativer Prozess,

8:55 Moritz Heininger: sozusagen immer besser zu Ergebnissen zu bekommen. Aber Long Story Short, ich muss kein absoluter Promptexperte oder -expertin sein. Ich muss nur erst mal gut kommunizieren können, was ich irgendwie vorhabe

9:06 Moritz Heininger: und mir Gedanken machen, Klar. Was ich alles machen will. Und die KI hilft mir dann, ein sehr, sehr gut strukturierten Prompt im Marktformat

9:13 Moritz Heininger: zu erstellen. In der Regel sind da so viel mehr Sachen drin, an die ich überhaupt selbst gar nicht gedacht hätte. Selbst hätte ich von meiner Meinung nach den perfekten Prompt und hätte mir eine halbe Stunde Zeit genommen, irgendwie ein sehr coolen Prompt zu schreiben,

9:27 Moritz Heininger: wär ich in allermeisten Fällen nicht so gut gewesen wie die KI, ne. Auch und ich würd sagen, ich kann tendenziell gut prompten im Vergleich zum Durchschnittsbürger,

9:36 Moritz Heininger: aber trotzdem bin ich nicht so gut wie die KI Systeme,

9:38 Moritz Heininger: wenn ich vorher eben die relevanten Kontext gebe und mein Ziel, einfach sonen Prompt zu erstellen.

9:43 Benjamin Wüstenhagen: Also nachdenken,

9:44 Benjamin Wüstenhagen: Meta Prompt erstellen, alle Informationen bereitstellen,

9:48 Benjamin Wüstenhagen: das Ganze dir generieren lassen,

9:50 Benjamin Wüstenhagen: testen, iterieren.

9:51 Moritz Heininger: Genau.

9:52 Moritz Heininger: Jetzt

9:53 Moritz Heininger: denken vielleicht manche Leute, boah, ist das nicht irgendwie komplett Overkill und ja,

9:58 Moritz Heininger: es kommt drauf an, was ich fürn Use Case habe, kann das komplett Overkill sein, ne? Wenn ich jetzt

10:04 Moritz Heininger: der KI sage, hier ist eine irgendwie eine schlecht vorgeschriebene E-Mail von mir und checkt die irgendwie auf Grammatikfehler und schreibt die ein bisschen formeller oder professioneller,

10:13 Moritz Heininger: dann langt wahrscheinlich auch einfach dieser eine Satz und ich muss jetzt nicht noch x Kontext geben, wer ich bin, was mein Unternehmen macht und so weiter und so fort, ne. Also bei so einfachen Aufgaben ist das natürlich Overkill. Also ich muss natürlich immer überlegen, was was was mach ich denn eigentlich grade?

10:28 Moritz Heininger: Und

10:29 Moritz Heininger: spielt hier ein sehr guter

10:32 Moritz Heininger: prompt

10:33 Moritz Heininger: eine große Rolle, was das Ergebnis am Ende irgendwie angeht, ja? Bei verbessern meine Grammatikfehler oder kürzen wir mal den Absatz irgendwie

10:41 Moritz Heininger: 30 Prozent,

10:43 Moritz Heininger: brauch ich jetzt wahrscheinlich nicht ganz so viel Komplexität

10:46 Benjamin Wüstenhagen: im Struktur in meinem Brain. Aber tendenziell wären ja die Modelle besser.

10:50 Benjamin Wüstenhagen: Ja, wir sehen, dass streng, dass viel

10:53 Benjamin Wüstenhagen: schwierigere Aufgaben erledigt werden können,

10:56 Benjamin Wüstenhagen: dass teilweise die KI Systeme Minuten,

10:58 Benjamin Wüstenhagen: Stunden,

10:59 Benjamin Wüstenhagen: vielleicht demnächst auch Tage nachdenken.

11:01 Benjamin Wüstenhagen: Also auch die Probleme, die ich darauf werfe, werden halt größer. Ist nicht nur, mach mal die E-Mail schöner und dementsprechend muss ich natürlich auch ein bisschen mehr Hirnschmalz in diesen Prompt reinstecken. Da kommen wir nämlich zu dem Thema Kontextfenster.

11:13 Benjamin Wüstenhagen: Mhm. Je größer das Kontextfenster

11:15 Benjamin Wüstenhagen: ist, desto mehr Kontext kann ich reingeben

11:18 Benjamin Wüstenhagen: und je größer das Kontextfenster ist, desto schwieriger können auch die Aufgaben sein, die ich dieser KI gebe.

11:25 Moritz Heininger: Superwichtige

11:26 Moritz Heininger: und superwichtige

11:27 Moritz Heininger: Herleitung auch zum Thema Kontext Engineering, wo wir gleich noch drauf einkommen.

11:31 Moritz Heininger: Son, man kann sich das so vorstellen, man kann nur maximal x Tokens oder vielleicht auch Wörter an son KI Modell schicken,

11:40 Moritz Heininger: bis es verwirrt ist. Und wenn das Kontextfenster voll ist, dann fängt die KI quasi an, verwirrt zu sein. Und man muss dabei wissen, dass jedes Mal, wenn ich son neu, wenn ich ein Chat habe und eine Antwort gebe,

11:52 Moritz Heininger: Was im Hintergrund passiert, ist, diese Antwort von mir wird hinzugenommen

11:56 Moritz Heininger: zu allem anderen, was vorher schon besprochen wurde und wieder neu ins System geschickt. Und das heißt, dieses

12:03 Moritz Heininger: Fenster, wie viel Informationen quasi immer in die KI geschickt werden, wird immer größer mit jeder weiteren Chatstufe,

12:10 Moritz Heininger: ja. Zusätzlich kommt natürlich auch der ganze Kontext, den ich reingegeben habe, die Files, die ich reingegeben habe, die auch quasi jedes Mal sozusagen wieder mitgeschickt werden.

12:19 Moritz Heininger: Ja, die Modelle sind zwar smarter geworden mittlerweile auch mit so so so Cachingthemen

12:24 Moritz Heininger: und so weiter, aber grundsätzlich

12:26 Moritz Heininger: muss man einfach wissen

12:28 Moritz Heininger: und deswegen sollte man auch nicht einfach unendlich viel Kontext reingeben, weil diese Modelle begrenzt

12:33 Moritz Heininger: sind. Und die können unterschiedlich viel,

12:36 Moritz Heininger: ja, also

12:38 Moritz Heininger: und

12:39 Moritz Heininger: unterschiedlich

12:40 Moritz Heininger: gut viel, ja, und rudern da auch teilweise zurück. Also ich hab das größte Modell grade ist irgendwie 1 in diesen Grog Grog Modellen, Grog 4,

12:50 Moritz Heininger: die haben eine 2.000.000 Kontextfenster.

12:52 Moritz Heininger: Die GPT Modelle, die 9, 9 in Anführungsstrichen, GPT-5,

12:56 Moritz Heininger: die haben nur 400.000 beispielsweise.

12:59 Benjamin Wüstenhagen: Und wenn man jetzt von 2.000.000

13:01 Benjamin Wüstenhagen: Kontextfenster spricht, dann meint man 2.000.000 Token. Und zwar in den Token sind so, je nachdem, wie man's rechnet, vielleicht so 1.250.000

13:07 Benjamin Wüstenhagen: Wörter.

13:08 Benjamin Wüstenhagen: Das ist so viel wie alle 7 Harry Potter Bände zusammen. Das ist schon eine ganze Menge und auch deutlich mehr als früher in' SMS mit 106 160 Zeichen und Ja. Am Markt 89.

13:18 Moritz Heininger: Ja. Meiner Meinung nach, also wenn man

13:21 Moritz Heininger: mein Favorit Model

13:23 Moritz Heininger: aktuell für Themen, die großes Kontextfenster brauchen,

13:27 Moritz Heininger: ist Germania 2 Punkt 5. Die haben jetzt Google. Ja. Von Google.

13:31 Moritz Heininger: Die hatten mal 2.000.000. Die haben auch das Modell beworben mit 2.000.000 und haben dann gemerkt, dass das Modell zu viel Fehler macht und haben's dann wiederum auf 1.000.000 begrenzt sozusagen, weil sie gemerkt haben, dass das Modell sozusagen sicherer ist. Und das ist wahrscheinlich auch der Grund, warum die GPD 5 Modelle auf 400 k begrenzt sind,

13:48 Moritz Heininger: weil sonst einfach zu viel Murks,

13:51 Moritz Heininger: zu viel

13:52 Moritz Heininger: Halluzinationen und so weiter wahrscheinlich rauskommen.

13:55 Moritz Heininger: Ich bin gespannt, wahrscheinlich wird meine Aussage nicht gut altern. Ich geh mal davon aus, dass im

14:01 Moritz Heininger: November,

14:02 Moritz Heininger: spätestens Dezember das Dreiermodell rauskommt von Germani

14:07 Moritz Heininger: Und

14:08 Moritz Heininger: das hoffen, dass es wahrscheinlich sogar noch viel besser wird, auch was Kontextängste angeht. Aber aktuell, wenn man mit vielen,

14:15 Moritz Heininger: vielen Informationen

14:17 Moritz Heininger: umgeht und Kontext braucht, ist mein Favorit, wie gesagt, das Google Gemini 2 5 Modell. Ich find bei

14:24 Moritz Heininger: bei Claude

14:26 Moritz Heininger: jetzt im 4 fünfer Modell, das hat mich ja ein bisschen vergrößert auf 1.000.000,

14:30 Moritz Heininger: da geht's jetzt mittlerweile.

14:32 Moritz Heininger: Ich bin in den letzten Monaten bei Claude superschnell in dem also im Chat

14:36 Moritz Heininger: an irgendwie Grenzen gestoßen und ich find auch, dass GPT-5 tatsächlich

14:40 Moritz Heininger: bei längeren Chats relativ schnell verwirrt ist, ja, was einfach an diesen 400.000

14:44 Benjamin Wüstenhagen: Tokens liegt. Und es gibt dieses Phänomen des,

14:47 Benjamin Wüstenhagen: das heißt,

14:49 Benjamin Wüstenhagen: ich geborene viele Tokens rein. Mhm. Das

14:52 Benjamin Wüstenhagen: Modell kann sich an den Anfang erinnern, kann sich ans Ende erinnern, aber das, was in der Mitte ist, das das geht irgendwie verloren.

14:58 Benjamin Wüstenhagen: Ja.

14:59 Benjamin Wüstenhagen: Wird beschrieben, warum das so ist? Ich kenn also bisher noch keine gute Begründung.

15:04 Moritz Heininger: Ja, das ist total witzig, weil also warum kann ich dir auch nicht sagen, aber bei Menschen ist es genauso. Es gibt nämlich Studien, wenn Du bei irgend sonem Kontext teilnimmst,

15:13 Moritz Heininger: beispielsweise der Eurovision

15:15 Moritz Heininger: Song Context,

15:17 Moritz Heininger: den ich natürlich jedes Mal schaue.

15:20 Moritz Heininger: Es ist so, dass wenn Du am Anfang kommst oder am Ende drankommst,

15:24 Moritz Heininger: schneidest Du viel besser ab, als wenn Du in der Mitte drankommst. Das liegt daran, dass die Leute irgendwann am Anfang viel mehr Fokus haben und am Ende viel mehr Fokus haben und in der Mitte weniger.

15:33 Moritz Heininger: Und da gibt's ganz viele Studien zu. Es ist irgendwie auch menschlich, das ist aber auch ja bei der künstlichen Intelligenz so. Aber wo genau woran das liegt, dass die KI das irgendwie genauso macht wie den Menschen, ob's irgend ein Zusammenhang gibt, ist auf jeden Fall

15:48 Benjamin Wüstenhagen: trotzdem spannendes Thema. Was ich noch ganz wichtig ist bei diesem Kontextfenster,

15:51 Benjamin Wüstenhagen: da ist natürlich auch ein Kosten Kostenthematik

15:54 Benjamin Wüstenhagen: dabei. Je mehr Tokens ich durch die Gegend schicke,

15:57 Benjamin Wüstenhagen: desto höher sind auch die Kosten, wenn ich jetzt irgendwie

16:00 Benjamin Wüstenhagen: 20 Euro flat zahle, ist es mir egal, aber wenn ich die API nutze, dann eben nicht mehr. Ja. Und was wir schon sehen, das ist auch eine wahnsinnig krasse Entwicklung in der sogenannten Inference.

16:09 Benjamin Wüstenhagen: Das heißt, in der Rechenzeit,

16:11 Benjamin Wüstenhagen: die die Anbieter von KI selber

16:13 Benjamin Wüstenhagen: nutzen müssen,

16:15 Benjamin Wüstenhagen: mit den ganzen Anfragen zurechtzukommen. Und wenn ich dann auf einmal auch Video reinnehme und von 8 Sekunden auf 16 Sekunden gehe, dann hab ich eben eine Vervielfachung

16:23 Benjamin Wüstenhagen: dessen. Ja.

16:25 Moritz Heininger: Was da auch spannend ist mit

16:28 Moritz Heininger: dem Thema Kontext ist,

16:30 Moritz Heininger: ist das neue Claude Skills.

16:32 Moritz Heininger: Als ich hab das schon mal angeschaut, Claude Skills ist...

16:36 Moritz Heininger: Im Prinzip kannst Du's dir vorstellen, jedes Skill ist eine Textdatei, in der sehr detailliert Claude beigebracht wird, wie es irgendwas umsetzt. Also beispielsweise so irgendwie machst Du Fact Checking, so

16:48 Moritz Heininger: erstellst Du irgendwie eine Präsentation,

16:50 Moritz Heininger: so irgendwie analysierst Du irgend ein Code, so schreibst Du irgend ein Code. Das ist wie sone eine an

16:57 Moritz Heininger: an Fähigkeiten.

16:59 Moritz Heininger: Und

17:00 Moritz Heininger: das funktioniert so,

17:02 Moritz Heininger: denn je mehr, wenn ich diese ganzen Fähigkeiten sozusagen mit einem prompt mitgeben würde und laut sage, such dir für die Aufgabe die relevante Fähigkeit aus,

17:12 Moritz Heininger: würde ich den kompletten Kontext mitgeben und dann das ganze Kontextfenster vollladen.

17:17 Moritz Heininger: Wie Claude aber funktioniert, ist mit diesen Skills. Es liest sich eine Kurzbeschreibung durch diese Skills,

17:22 Moritz Heininger: versteht, brauch ich diesen Skill, diese Aufgabe zu lösen?

17:26 Moritz Heininger: Und wenn nicht, liest er nicht

17:29 Moritz Heininger: sozusagen lädt er nicht den kompletten Text mit den ganzen Token. Ja. Ja, und so

17:33 Moritz Heininger: führt es dazu, dass am Ende das Kontextfenster von Claude nicht so voll geladen wird, aber Du hast da trotzdem eine gewisse Flexibilität und Dynamik,

17:40 Moritz Heininger: dort selbst entscheiden zu lassen, welchen Skill zu wählen. Also son bisschen wie, wenn man ChatGPT nutzt, wie GPTs,

17:46 Moritz Heininger: aber dein

17:47 Moritz Heininger: ChatGPT

17:48 Moritz Heininger: Chat kann selbst entscheiden,

17:51 Moritz Heininger: welches GPT es es nutzt sozusagen, wegen der Aufgabe zu lösen und braucht nicht die von

17:57 Moritz Heininger: jedem einzelnen GPT.

17:59 Moritz Heininger: Ja, das sind so Wege, so schlaue Wege eigentlich jetzt von den Model Anbietern,

18:03 Moritz Heininger: dafür zu sorgen, dass die Modelle zwar maximal flexibel und gut darin sind, Aufgaben irgendwie zu lösen, auch semi autonom oder autonom zu lösen, ohne halt das komplette Kontext Kontextfenster

18:14 Moritz Heininger: vollzumüllen.

18:15 Benjamin Wüstenhagen: Und dann vielleicht auch weniger Kosten zu haben, weil man eben nicht so viele Tokens bearbeiten muss. Ja. Wenn Du von Claude sprichst, dann meinst Du den den Anbieter Anthropic

18:23 Benjamin Wüstenhagen: mit dem Modell Claude Sonnet

18:25 Moritz Heininger: Ja. 4 5 ist, glaub ich, das scheint jetzt das Neue, dann das Opus 4.

18:30 Moritz Heininger: Ich weiß nicht, ob's ein Opus 4 5 schon oder ein Opus 4 1.

18:33 Moritz Heininger: Dann Überblick verloren. Ich glaub, es gibt ein Opus 4 1, aber wahrscheinlich wird's auch bald ein Opus 4 5 geben.

18:38 Moritz Heininger: Wird wahrscheinlich

18:40 Moritz Heininger: weniger Hörer oder Hörerinnen direkt unterschreiben. Nein, gibt's schon. Und dann danke

18:44 Moritz Heininger: für den Hinweis.

18:45 Benjamin Wüstenhagen: Und das, was Du grad angesprochen hast mit den Skills und dass ich verschiedene Skills habe

18:50 Benjamin Wüstenhagen: und die jeweils mir helfen, Dinge zu lösen. Ist eigentlich schon der 1. Schritt in Richtung Kontext Engineering, dass ich also vielleicht weg vom prompt engineering

18:59 Benjamin Wüstenhagen: hinkomme

19:00 Benjamin Wüstenhagen: dahin, dass ich eher kuratiere,

19:02 Benjamin Wüstenhagen: was sind jetzt die Sachen, die ich benötige?

19:04 Benjamin Wüstenhagen: Was ist der Kontext, den ich benötige, die Aufgabe zu erledigen?

19:08 Benjamin Wüstenhagen: Ja, Context Engineering, das neue Prompt Engineering.

19:12 Moritz Heininger: Ein neuer Job für Nada. Ja, zumindest so was den was die Begrifflichkeit

19:17 Moritz Heininger: angeht, das Context Engineering mal die Google Trends anschaut, glaube ich, am Prompt Engineering

19:22 Moritz Heininger: vorbeigezogen.

19:24 Moritz Heininger: Ist natürlich ein bisschen was anderes, weil

19:26 Moritz Heininger: Context Engineering,

19:28 Moritz Heininger: also

19:29 Moritz Heininger: der Begriff ist so wichtig, weil's vor allem halt für Systeme

19:33 Moritz Heininger: relevant ist. Wenn ich irgendwie Agentensystem oder KI Systeme aufbau,

19:36 Moritz Heininger: die ich quasi dynamisch

19:38 Moritz Heininger: für eine gewisse Aufgabe

19:40 Moritz Heininger: den relevanten Kontext zur Verfügung stelle. Also Datenhistorie,

19:44 Moritz Heininger: Regeln,

19:45 Moritz Heininger: Tools man irgendwie verwenden kann und so weiter und so fort. Ist natürlich angelehnt als

19:50 Moritz Heininger: als Prompt Engineering. Aber bei Prompt Engineering

19:53 Moritz Heininger: ist der Fokus eben auf,

19:55 Moritz Heininger: was gibst Du für Anweisungen? Was gibt's für Ziele, Beispiele, Format, ne? Alles, was wir auch in der letzten Folge besprochen haben. Wir haben bei Kontext Engineering der Fokus auf eben diesen

20:05 Moritz Heininger: dynamische

20:05 Moritz Heininger: Versorgung

20:07 Moritz Heininger: dieses Systems

20:09 Moritz Heininger: mit dem relevanten

20:10 Moritz Heininger: Kontext ist Ja. Auch quasi die Aktualisierung

20:13 Moritz Heininger: von irgendwie dem dem Kontext über die Zeit, ne. Beispiel

20:18 Moritz Heininger: GPT. GPT

20:20 Moritz Heininger: ist super für wiederkehrende Aufgaben. Dann brauch ich ein sehr guten Prompt. Wenn man den erstellt, haben wir ja quasi auch mit der 6 oder Schrittmethode

20:27 Moritz Heininger: schon definiert. Aber da rad ich ja ein Wissen rein.

20:31 Moritz Heininger: Dieses Wissen ist statisch, ja? Und wenn ich aber Systeme hab oder autonome,

20:36 Moritz Heininger: semi autonome Systeme, die irgendwie in der Company arbeiten wie ein Mensch, dann brauchen die auch immer die relevantesten

20:43 Moritz Heininger: und aktuellsten Informationen.

20:46 Moritz Heininger: Und das ist dann schon Engineering,

20:47 Moritz Heininger: es heißt ja auch Kontext Engineering

20:49 Moritz Heininger: Aufgabe eigentlich, das

20:51 Moritz Heininger: herzustellen. Und Kontext Engineers oder Kontext Engineering

20:55 Moritz Heininger: ist ultrarelevant

20:57 Moritz Heininger: und total wichtig einfach, wenn ich's wirklich hinbekommen

21:00 Moritz Heininger: möchte, sinnvollere

21:02 Benjamin Wüstenhagen: KI Systeme und Rentensysteme eben aufzubauen, ja. Son bisschen vergleichbar mitm Lernen. Also wenn ich ein sehr, sehr guten Lehrer, eine sehr, sehr gute Lehrerin hab, dann weiß die jemals, wo ich stehe und kann auf dieser Basis mir dann neue Dinge geben. Ich bleib ja nicht stehen, wenn ich einmal schreiben und lesen kann, würde ich vielleicht dann auch ein bisschen mehr können. Ja. Wenn ich aber immer nur sozusagen auf dem Stand bin, dass ich nur schreiben und lesen kann, dann geht's nicht so richtig weiter. Aber ich muss im Prinzip all das, was ich gelernt habe, immer wieder daran einbeziehen.

21:26 Benjamin Wüstenhagen: Ja. So ähnlich ist dann auch im Kontext Engineering. Ich möchte es a dynamisch anpassen und b mich natürlich auch weiterentwickeln. Ja. Mit dem, was ich da tue. Ja.

21:35 Benjamin Wüstenhagen: KI kommt nicht irgendwann. Sie ist schon da. Bist Du bereit? Mit thekey Academy machst Du dich fit für die Zukunft. Onlinekurse

21:43 Benjamin Wüstenhagen: zu KI,

21:44 Benjamin Wüstenhagen: digitaler Zusammenarbeit,

21:45 Benjamin Wüstenhagen: Leadership. Praxisnah, flexibel, IHK zertifiziert.

21:49 Benjamin Wüstenhagen: Thekey Punkt Academy

21:50 Benjamin Wüstenhagen: für alle, die mitgestalten wollen.

21:53 Benjamin Wüstenhagen: Was dabei noch wichtig ist,

21:56 Benjamin Wüstenhagen: die Begriffsdefinition

21:58 Benjamin Wüstenhagen: haben wir bisher kaum noch im Prompting gehabt. Macht da durchaus Sinn, wenn ich also mitgebe, was was ist eigentlich die Definition dessen, was ich erreichen möchte?

22:06 Benjamin Wüstenhagen: Weil dann spar ich mir auch viele Tokens, wenn das einmal klar ist. Genau, aber grade diese Tokensparthema,

22:11 Moritz Heininger: dieses Kontextfensterthema

22:12 Moritz Heininger: ist da natürlich total relevant, ne. Also dass ich halt nicht irgendwie

22:17 Moritz Heininger: das System mit

22:19 Moritz Heininger: irrelevantem,

22:20 Moritz Heininger: übermäßigem,

22:21 Moritz Heininger: vielleicht nicht mehr aktuellen

22:24 Moritz Heininger: Kontext sozusagen versorge,

22:26 Moritz Heininger: sondern halt eben zur richtigen Zeit, eine richtigen Content in der relevanten Aktualität

22:31 Moritz Heininger: eben,

22:32 Moritz Heininger: ja, systematisch eben son System zur Verfügung stellen. Die Regeln

22:36 Moritz Heininger: angesprochen hast, sind schon irgendwie auch ähnlich, ne. Also auch da zählt dann einfach weniger ist mehr.

22:41 Moritz Heininger: Also ne, nur das reingeben, was sozusagen mal wirklich relevant ist in diese Systeme.

22:48 Moritz Heininger: Dann

22:48 Moritz Heininger: noch mal und da zählt dann quasi auch schon

22:51 Moritz Heininger: mehr, als wenn ich hier mit ChatGPT spreche,

22:54 Moritz Heininger: das ganze Thema

22:55 Moritz Heininger: Struktur.

22:56 Moritz Heininger: Also ich muss da möglichst idealerweise dann auch im Marketingformat

23:01 Moritz Heininger: angeben,

23:01 Moritz Heininger: was ist eigentlich hier irgendwie eine Regel, die Du befolgen musst? Was sind irgendwie die Daten, die Du verwenden musst? Was sind quasi ganz klar definierte Beispiele, dass die KI quasi von sich aus sofort erkennt,

23:14 Moritz Heininger: was irgendwie wozu gehört,

23:16 Moritz Heininger: ne. Also nicht alles irgendwie reinrotzen und sagen, die KI macht das schon, sondern eben da sehr strukturiert

23:23 Moritz Heininger: das Ganze oder mit Jason Files oder wie auch immer, je nachdem, was man irgendwie halt am Ende umsetzt,

23:28 Moritz Heininger: muss da schon sehr viel Struktur und Grad und so weiter eben drüber. Und da geht's ums Testen und Nachschärfen

23:34 Benjamin Wüstenhagen: und der,

23:36 Benjamin Wüstenhagen: ja, 1 so der der der Vordenker beim Thema KI, Professor Ethan Mollick, der auch uns inspiriert hat für den Titel des Podcasts.

23:43 Benjamin Wüstenhagen: Ich hab's so schön gesagt vor Kurzem,

23:52 Benjamin Wüstenhagen: Also der Kontext und die Kommunikation der Ziele

23:57 Benjamin Wüstenhagen: sind

23:58 Benjamin Wüstenhagen: dafür

23:59 Benjamin Wüstenhagen: maßgeblich,

24:00 Benjamin Wüstenhagen: welche oder dass ich gute Resultate bekomme, nicht dass ich einem spezifischen Prompt Format folge. Ja. Und Du hast noch ein Satz,

24:08 Moritz Heininger: ein ersten Satz, den finde ich auch spannend. Er sagt

24:10 Moritz Heininger: im Prinzip,

24:12 Moritz Heininger: dass die meisten

24:13 Moritz Heininger: AI Educator

24:15 Moritz Heininger: immer noch komplett alte Prompting Techniken quasi vermitteln, irgendwelche Frameworks und sonst irgendwas.

24:20 Moritz Heininger: Und die die wenigsten

24:23 Moritz Heininger: verstehen heutzutage,

24:24 Moritz Heininger: dass eben diese

24:26 Moritz Heininger: diese Formeln, diese genauen Schritte und Definitionen

24:28 Moritz Heininger: und Frameworks und so weiter und shallow forward prompting,

24:32 Moritz Heininger: dass das alles komplett an Relevanz verliert.

24:36 Moritz Heininger: Also

24:36 Moritz Heininger: vielleicht ein guter sense check, je nachdem, mit wem

24:40 Moritz Heininger: man zusammenarbeitet,

24:42 Moritz Heininger: was man fürn KI Coach

24:44 Moritz Heininger: hat und nutzt. Wenn der noch sagt, Du musst irgendwie überall dazu sagen, dass relevant

24:48 Moritz Heininger: ist und die KI, die er klären soll, dir das war,

24:52 Moritz Heininger: dann sollte man vielleicht noch mal

24:55 Moritz Heininger: überdenken,

24:56 Moritz Heininger: ob der KI oder die KI Coach

25:00 Moritz Heininger: da noch State of the Art ist sozusagen mit dem Wissen. Wie Du sagst, Kontext und klare Zielvorgaben

25:06 Moritz Heininger: ist mit Abstand das

25:08 Moritz Heininger: Wichtigste sowohl beim,

25:10 Moritz Heininger: aber als auch beim

25:11 Moritz Heininger: Kontext.

25:13 Benjamin Wüstenhagen: Hab's beim letzten Mal schon angesprochen, wir haben ja nicht nur Menschen, die jetzt Kontext geben, wir haben auch immer mehr

25:20 Benjamin Wüstenhagen: Systeme,

25:21 Benjamin Wüstenhagen: Werkzeuge, Tools, die ich integrieren kann, die den Kontext geben können.

25:25 Benjamin Wüstenhagen: Jetzt angefangen vom MCP Server, den ich mit aufsetzen kann, wo ich mit verschiedenen Tools interagieren kann.

25:31 Benjamin Wüstenhagen: Über die nativen Integrationen, die ich sowohl bei Cloud als auch bei JGBT als auch bei als

25:37 Benjamin Wüstenhagen: auch bei Copilot hab natürlich verschiedene.

25:40 Benjamin Wüstenhagen: Aber da merk ich auch, je mehr ich da anbinden kann, die auch relevant sind für meine Aufgabe, desto besser hab dann auch noch meine Kontext. Weil ich sagen kann, hey, das ist mein Kalender, such mir doch bitte einen Termin raus, der für alle funktioniert und Du hast aber Zugriff auf meinen Kalender, dann sind die Nachfragen weniger.

25:56 Moritz Heininger: 1 gesagt, die man über diesen ganzen Konnektoren natürlich immer mitdenken muss, grade hier irgendwie in Deutschland, ist das ganze Thema Datenschutz.

26:02 Moritz Heininger: Ja.

26:04 Moritz Heininger: Was nutz ich denn für eine ChatGPT Version und wo wären da eigentlich die Daten zumindest temporär verarbeitet?

26:10 Moritz Heininger: Ich halt irgendwie auf dem Free- oder dem 27 Euro Account bin

26:14 Moritz Heininger: oder selbst im Businessplan

26:16 Moritz Heininger: wird halt die Inferenz, also quasi die Bearbeitung meiner Anfrage

26:20 Moritz Heininger: auf amerikanischen Servern

26:22 Moritz Heininger: stattfinden.

26:24 Moritz Heininger: Sprich, wenn ich sozusagen,

26:26 Moritz Heininger: zu meinem Google Drive, zu meinem Sharepoint und so weiter und dann auf diese Daten zurückgegriffen wird, dann finde das alles kurzzeitig,

26:34 Moritz Heininger: ja, da wird nicht drauf gelernt, aber findet zumindest kurzzeitig in den USA statt. Und das ist natürlich wieder anders, wenn ich auf der Enterprise Version bin, da komm ich immer nur drauf, wenn ich hab Stand jetzt aktuell, es ändert sich auch ständig, ich minimi 50 Lizenzen abnehme

26:46 Moritz Heininger: und daher muss ich quasi das, je nachdem, was ich fürn Tool nutze,

26:50 Moritz Heininger: eben ja immer auch mit

26:52 Moritz Heininger: denken,

26:54 Moritz Heininger: was das ganze Thema Datenschutz

26:56 Moritz Heininger: angeht. Du hast den EU Pulli an, EU

26:59 Moritz Heininger: AI Act, DSGVO.

27:01 Moritz Heininger: Ja. Da sind wir sehr

27:03 Moritz Heininger: führend, was die weltweite was die Welt, also sozusagen

27:08 Moritz Heininger: in unserer unserer Regulation. Ob das jetzt besonders gut ist oder schlecht, Ja. Kann man sicherlich oder umgesetzt ist, ist sicherlich Streiper. Die Ziele sind, glaub ich, sicherlich die richtigen, ob da,

27:19 Moritz Heininger: ja, am Ende richtig im Gesetz verankert ist und was es zu was es heute führt, da kann man, glaub ich, noch drüber reden. Auch spannend, was Du grad sagtest, dass im Enterprise dann die Inferenz in Europa stattfindet.

27:30 Benjamin Wüstenhagen: Wer weiß, wie lange noch? Ich glaub nicht, dass wir die Energie haben,

27:34 Benjamin Wüstenhagen: da hinterherzuziehen und die Rechenzentren entsprechend auszubauen. Also wir haben das ja in den anderen Episoden in den Dreißigern, ich glaub, 31, 32 besprochen, was da grade investiert wird

27:43 Benjamin Wüstenhagen: an Energieressourcen, an

27:44 Benjamin Wüstenhagen: an Rechenzentren, diese Inferenz

27:46 Benjamin Wüstenhagen: hinzubekommen.

27:48 Benjamin Wüstenhagen: Ich weiß nicht, ob Europa da mitziehen kann. Und selbst wenn wir dann ein Enterprise haben in 2 Jahren, wird's wahrscheinlich dennoch eher in Virginia ablaufen. Mal schauen. Vielleicht gibt's ja dann auch ein europäisches Modell.

27:58 Moritz Heininger: Ja gut, vielleicht führt's ja dazu, dass wir Europäer auch mal bei den Themen

28:02 Moritz Heininger: weiter in die Zukunft schauen und zu Lösungen kommen, ja.

28:05 Benjamin Wüstenhagen: Ja. Sprechen wir von' anderen Playground.

28:08 Moritz Heininger: Von' anderen Playground, ja, vom politischen Playground zu'

28:12 Benjamin Wüstenhagen: technischen Playground. Genau. Wir haben, ja, OpenAI hat das, Google AI Studio hat das, Cloud hat das auch mit der Konsole.

28:19 Benjamin Wüstenhagen: Was sind Playgrounds?

28:21 Moritz Heininger: Playgrounds

28:21 Moritz Heininger: sind so bisschen die,

28:23 Moritz Heininger: also ich würd, glaub ich, Disclaimer für die meisten Hörer und Hörerinnen ist das nicht so ultrarelevant,

28:29 Moritz Heininger: weil diese oder

28:31 Moritz Heininger: Konsolen oder Umgebungen

28:34 Moritz Heininger: halt quasi die Umgebung dieser Tools sind für deutlich technische User

28:38 Moritz Heininger: und - Userinnen. Wir haben verschiedene

28:40 Moritz Heininger: verschiedene Funktionalitäten,

28:42 Moritz Heininger: können wir auch gleich mal durchgehen.

28:44 Moritz Heininger: Auf jeden Fall in der Regel geht's einfach darum,

28:47 Moritz Heininger: Modelle zu testen

28:49 Moritz Heininger: und oder

28:51 Moritz Heininger: Prompts

28:51 Moritz Heininger: zu testen mit Modellen. Und diese oder

28:55 Moritz Heininger: beim Google heißt's AI Studio, wir können da noch mal einblenden oder in die Shownotes,

28:59 Moritz Heininger: oder in die Shownotes, die Links sozusagen für den OpenAir Background, fürs Google AI Studio und die Cloud Konsole mit reingeben. Da kann man ein bisschen rumspielen.

29:08 Moritz Heininger: Im Wesentlichen ist es eine Testing für Developern, wo ich Sachen ausprobieren kann. So kann man's, glaub ich, High Level sagen.

29:17 Moritz Heininger: Ich kann dort

29:20 Moritz Heininger: Modelle auch ohne

29:21 Moritz Heininger: die

29:22 Moritz Heininger: Systemprompts

29:23 Moritz Heininger: oder ich sag immer mit stark reduzierten Systemprompts

29:26 Moritz Heininger: der Anbieter testen, ne. Wenn ich jetzt in ChatGPT bin, haben wir ja gesagt oder Cloud wird mit meinem Prompt noch mal 56.000

29:33 Moritz Heininger: Zeichen bei Cloud, glaub ich, irgendwie mitgegeben,

29:35 Moritz Heininger: was natürlich den Output für mich besser machen soll.

29:38 Moritz Heininger: Ich kann in diesen Konsolen das aber dann teilweise auch ohne diesen System, natürlich immer noch drin, das sind so Sicherheitssachen, ne. Ich kann auch da nicht sagen, wie bau ich mir eine Bombe, ne. Aber halt ich hab weniger sozusagen

29:50 Moritz Heininger: weniger

29:51 Moritz Heininger: weniger Eingrenzung

29:52 Moritz Heininger: sozusagen von den Modellanbietern,

29:54 Moritz Heininger: diese einzelnen

29:56 Benjamin Wüstenhagen: Modelle mit meinen Prompts sozusagen zu testen. Ist vor allen Dingen dann relevant, wenn ihr Produkte baut, wo ihr

30:02 Benjamin Wüstenhagen: KI einbaut inhärent und dort Prompts nutzt und dort nicht genau wisst, okay, welches Modell kann ich jetzt nutzen? Manche sind schneller, manche sind langsamer,

30:09 Benjamin Wüstenhagen: manche sind günstiger, manche sind teurer. Da kann ich's dann ausprobieren und schauen, wie ist wie ist meine Geschwindigkeit?

30:15 Benjamin Wüstenhagen: Wie sind meine Kosten, wenn ich das jetzt nicht nur einmal mache, sondern 3.000.000 Mal? Ja.

30:20 Moritz Heininger: Ich hab da auch oft verschiedene Möglichkeiten.

30:22 Moritz Heininger: Also wenn ich das GPD 5 Modell wähle

30:25 Moritz Heininger: im normalen Chat oder das Gemini Modell, wenn ich

30:29 Moritz Heininger: Gemini Chat bin,

30:31 Moritz Heininger: hab ich ja nicht die Möglichkeit, das Modell noch mal irgendwie

30:35 Moritz Heininger: außer über meinen Prompt zu beeinflussen.

30:37 Moritz Heininger: Dass ich eine Möglichkeit habe und manche von diesen Anbietern geben mehr Möglichkeiten und manche weniger, So kann ich zum Beispiel oft die Temperatur einstellen. Das Temperatur ist Google R kann das Google kann das nicht, ne. Ich glaube, Google kann's auch im RI Studio. Okay.

30:51 Moritz Heininger: Ich weiß jetzt gar nicht genau bei Claude,

30:53 Moritz Heininger: ob's da geht, aber die Temperatur ist son bisschen die Kreativität. Ja. Einfach wie

30:59 Moritz Heininger: wie

31:00 Moritz Heininger: unwahrscheinlich

31:01 Moritz Heininger: ist die potenzielle Antwort, ne. Also wenn ich sag, gib mir irgendwie 10 Ideen

31:05 Moritz Heininger: und mach die Temperatur ganz runter, dann kriegst Du halt 10 irgendwie Standard Durchschnitt Ideen. Du sie komplett hoch machst, dann kommen halt irgendwelche wilden Ideen, die aber halt potenziell zu crazy oder eher unwahrscheinlich sind. Und so kannst Du sozusagen in diesen Umgebungen auch mit so, ja, mit dieser Variable,

31:23 Moritz Heininger: mit der Temperatur arbeiten. Was auch noch eine andere Variable ist, ist das thinking,

31:27 Moritz Heininger: also wie lange sozusagen das Modell nachdenken soll. Das gibt's ja dann teilweise bei ChatGPT

31:33 Moritz Heininger: kannst Du ja thinking wählen oder

31:35 Moritz Heininger: Bei.

31:37 Moritz Heininger: Genau, irgendwie think hardher, aber Du hast halt nicht so ultraviele Möglichkeiten und da kannst Du's halt einfach auf' Zum Slider, ne. Aufm Slider im Prinzip ja festlegen.

31:45 Moritz Heininger: All das einfach einfach wichtig ist für Developers Testing, ne. Weil wenn Du eben, wie Du sagst, ein Produkt baust,

31:51 Moritz Heininger: willst Du ja über ein API Call irgendwas zurückbekommen.

31:54 Moritz Heininger: Und

31:55 Moritz Heininger: dann halt so lang zu testen über eben Temperatur oder auch das Thinking,

32:00 Moritz Heininger: bis ich immer zu' Ergebnis komm, mit dem ich jedes Mal zufrieden bin. Einfach mehr Variablen. Weil diese Variablen kann ich auch über die API mitgeben, wenn ich ein Developer bin und das ist sozusagen da die ja, die die Tastumgebung. Und sowieso, also das ganze Thema APIs,

32:15 Moritz Heininger: wenn ich irgendwie diese Modelle anpingen möchte, brauch ich ja die API oder meine API, weil dann jeder Die Karten Die Schnittstelle. Die Schnittstelle, genau. Das ist irgendwie son langer Code. Und weil ich ja quasi für jeden Token berechnet werde

32:28 Moritz Heininger: oder sozusagen irgendwann Rechnung bekomme, muss ich ja immer eine Kreditkarte hinterlegen und irgendwie ein Budget festlegen. Und diese API

32:35 Moritz Heininger: Keys

32:36 Moritz Heininger: bekomme ich auch immer in diesen Konsolen und Black Accounts, Jetzt

32:39 Benjamin Wüstenhagen: wird's jetzt sind wir schon sehr, sehr technisch. Viel technischer wird's nicht, wenn ihr sozusagen mit make dot com und n-a-n so an die Grenzen gekommen seid, dann ist das, was euch vielleicht interessieren könnte. Dann könnt ihr euch mal in diese Playgrounds

32:51 Benjamin Wüstenhagen: einloggen und schauen, wie ihr da Agentensysteme

32:53 Moritz Heininger: bauen könnt. Aber für die normale Anwender, die normale Anwenderin ist das, glaub ich, einfach Genau, das Du hast es angesprochen, das Agentensystem, das ist jetzt quasi so dieses diesen

33:02 Moritz Heininger: Agent Builder, ist jetzt was Neues, was es im OpenAI,

33:04 Moritz Heininger: ein Blackground gibt. Das haben wir jetzt vor Kurzem launcht, ne? Das ist S4AI, also wenn die dann live geht, dann vielleicht irgendwie von 5 Wochen oder so.

33:13 Moritz Heininger: Und das ist quasi aber wirklich fokussiert auf Developer, ne. Das ist jetzt nicht so, ich kann mir direkt der Outcry, ja, Agent, OpenAI,

33:21 Moritz Heininger: make dot com, ist ja nicht kompletter Quatsch, weil's eine ganz andere Zielgruppe ist und ein anderes Thema ist. Aber es gibt beispielsweise auch in diesem blake round,

33:29 Moritz Heininger: was Du auch machen kannst, Du kannst Modelle. Du kannst ein Prompt mit verschiedenen Modellen vergleichen und die neben Ergebnisse nebeneinanderlegen.

33:35 Moritz Heininger: Natürlich kannst Du ChatGPT auch 2 Fenster aufmachen und einmal mit 5 und einmal mit 4 oder einmal mit und einmal ohne

33:42 Moritz Heininger: und dann die Ergebnisse vergleichen, da hast Du's halt direkt nebeneinander.

33:46 Moritz Heininger: Ja, das ist son Feature, was halt auch ganz cool ist, aber auch eher wieder Developer Fokus, ne. Wenn die halt entscheiden müssen, nutz ich für meine Lösung

33:54 Moritz Heininger: oder Anwendung und dann a oder b,

33:57 Moritz Heininger: Sie halt die Ergebnisse quasi direkt nebeneinander legen und vergleichen, ne. Auch irgendwie superspannend.

34:01 Moritz Heininger: Für die meisten Leute von uns

34:03 Moritz Heininger: wahrscheinlich

34:04 Moritz Heininger: weniger relevant.

34:06 Benjamin Wüstenhagen: Ja.

34:07 Benjamin Wüstenhagen: Vergleichen werden wir beim nächsten Mal auch, nämlich Browser.

34:10 Benjamin Wüstenhagen: Wir sind wieder in 1 Zeit, wo's neue Browser gibt. Das ist so spannend wie in den Neunzigern. Da gab's auch die Browser Wars,

34:17 Benjamin Wüstenhagen: Netscape gegen Microsoft.

34:19 Benjamin Wüstenhagen: Jetzt haben hat auf einmal OpenAI ein Browser, dann

34:23 Benjamin Wüstenhagen: hat ein Browser und hat ein Browser gekauft und Microsoft hat ein Browser und baut der AI ein und Google auch.

34:31 Benjamin Wüstenhagen: Spannend, das gucken wir uns genauer an in der nächsten Folge. Bis dahin bleibt uns gewogen, liket, kommentiert, empfehlt uns

34:38 Moritz Heininger: und wir freuen uns auf jedes Feedback. Bis zum nächsten Mal. Bis dann. Tschau.

34:43 Co-Intelligence

34:44 ist eine Produktion von thekey Academy in Zusammenarbeit mit SnipKI.

34:48 Produziert bei Studio Co in Berlin. Produktion und Regie,

34:52 Christina Manuel,

34:54 und

34:55 Ilias Robe.

34:56 Creative Director Lukas Shelter.

34:59 Redaktion und Moderation Benjamin Wüstenhagen und Moritz Heininger.

35:03 Abonniere uns auf Spotify,

35:04 Apple Podcasts oder YouTube.

35:07 Danke fürs Zuhören.