#38: Warum KI vielleicht doch länger braucht - Exponentiell vs. Normal

0:00 SPEAKER_01: AI ist eine völlig normale Technologie wie Strom oder das Internet. KI wird in den nächsten 3 Jahren die komplette Welt komplett transformieren.

0:07 SPEAKER_00: Beides kann wahr sein und darüber sprechen wir heute.

0:15 SPEAKER_00: Willkommen zurück zu Cointelligence,

0:17 SPEAKER_00: eurem KI Lernpodcast

0:19 SPEAKER_00: in die Episode 38

0:22 SPEAKER_00: mit Murr Teininger, Nala, der Podcasthündin

0:25 SPEAKER_00: und mir, Benjamin Wüstenhagen.

0:28 SPEAKER_00: Und heute geht's

0:29 SPEAKER_00: Normalität

0:30 SPEAKER_00: und Transformation.

0:33 SPEAKER_01: Ja, und zwar haben wir ja schon, ich weiß nicht, welche Episode es war, zu dem

0:38 SPEAKER_01: crazy Paper AI 20 27

0:41 SPEAKER_00: gesprochen. Ende Zwanziger, Anfang Dreißiger.

0:45 SPEAKER_01: Genau, wir haben uns dann noch mal die Timeline verändert, glaube ich. Ich weiß ja nicht, welche Episode es bei uns war. Ist noch gar nicht so lange her, vielleicht 3, 4 Wochen.

0:52 SPEAKER_01: Und

0:53 SPEAKER_01: in diesem Paper geht es darum, wie transformativ KI diese Welt verändern wird und dann vor allem auch, wie die Weltmächte

1:01 SPEAKER_01: im Rennen zueinander stehen und

1:04 SPEAKER_01: wann KI besser ist als der Mensch und das ist Exponential,

1:08 SPEAKER_01: dass sie alles besser wird und ich glaube Ende nächsten Jahres schon

1:12 SPEAKER_01: die KI Agenten

1:14 SPEAKER_01: bessere Softwareentwickler

1:15 SPEAKER_01: sind als wir Menschen und besser forschen und die Probleme der Welt lösen. Und wer zuerst quasi diese diese super KI hat, wird die Welt dominieren und so weiter und so fort. Also sehr, sehr spannendes,

1:27 SPEAKER_01: ja,

1:28 SPEAKER_01: spannendes Paper, was auch auf fundierten Annahmen irgendwo beruht.

1:32 SPEAKER_01: Und dann gab's ein Gegen Paper

1:35 SPEAKER_01: von

1:36 SPEAKER_01: auch sehr bekannten und smarten Leuten, die gesagt haben, na ja, KI ist halt eine Technologie wie alle anderen auch, die sich halt vielleicht bisschen schneller entwickelt, aber wir brauchen jetzt keine Panikmache,

1:47 SPEAKER_01: hier an den Tag zu legen. Und

1:49 SPEAKER_01: ja, die beiden Lager haben sich

1:52 SPEAKER_01: hingesetzt und haben

1:54 SPEAKER_01: festgestellt,

1:55 SPEAKER_01: dass sie in einigen Punkten sogar übereinstimmen,

1:58 SPEAKER_01: sondern dass sie gar nicht, dass es gar nicht alles so anders ist in den Annahmen, die sie so treffen. Sind 2 Denkschulen, ja. Die einen,

2:05 SPEAKER_00: die Normalos in Anführungszeichen, kommt von Princeton,

2:09 SPEAKER_00: Narayanan

2:10 SPEAKER_00: und Kapur.

2:11 SPEAKER_00: Die anderen haben wir euch schon vorgestellt. Das sind unter anderem so Zukunftsforscher,

2:16 SPEAKER_00: aber zu der Clique gehören halt auch beispielsweise Sam Altman,

2:19 SPEAKER_00: der CEO von von ChatGPT,

2:22 SPEAKER_01: der natürlich eine Story erzählen muss, dass sein Unternehmen

2:26 SPEAKER_01: die allgemeine

2:28 SPEAKER_01: General Intelligence erreicht und er deshalb natürlich auch sehr viel Geld braucht natürlich. Von daher muss man immer die Aussagen natürlich auch ein bisschen bewerten

2:38 SPEAKER_01: und die Motivation der einzelnen Personen

2:40 SPEAKER_01: hinterfragen.

2:41 SPEAKER_01: Aber es gibt ja auch ganz viele

2:43 SPEAKER_01: Gegner von OpenAI und ChatGPT oder überhaupt den ganzen KI Labs, die sich total die Sorgen machen, dass potenziell auch die Welt untergehen kann,

2:52 SPEAKER_01: wenn die KI Systeme nicht

2:54 SPEAKER_01: allein sind und auf einmal Dinge machen können, schlau sind als wir, wenn sie potenziell andere Ziele haben als wir. Von daher, es gibt so ganz viele verschiedene Lager und wir wollten heute einfach mal durch dieses Paper durchgehen,

3:09 SPEAKER_01: wo quasi wirklich die Punkte

3:12 SPEAKER_01: besprochen werden, wo sie sich einig sind beziehungsweise teilweise vielleicht bisschen unterscheiden,

3:17 SPEAKER_01: wo man so unterschiedliche Blickwinkel auf dieses

3:20 SPEAKER_01: gesellschaftlich

3:21 SPEAKER_01: philosophisch

3:23 SPEAKER_01: strategisch vorausschauende

3:25 SPEAKER_01: Thema

3:26 SPEAKER_01: irgendwie zu werfen, weil's halt der schon irgendwo

3:30 SPEAKER_01: unser Leben in den nächsten Jahren stark beeinflussen wird. Also heute zoomen wir mal wieder bisschen raus und schauen uns keine kleinen Modelle an oder Modelloptiv

3:39 SPEAKER_01: Verbesserungen

3:40 SPEAKER_01: oder Use Cases, sondern zoomen wir halt mal vielleicht son bisschen in die Vogelperspektive.

3:46 SPEAKER_00: Das Spannende daran ist und das haben wir ja eingangs schon gesagt, dass sich diese beiden Denkschulen,

3:50 SPEAKER_00: so

3:51 SPEAKER_00: konträr sie doch klingen, gar nicht so sehr widersprechen

3:55 SPEAKER_00: in der Konsequenz am Ende. Das ist spannend. Die eine Denkschule, also diejenigen, glauben, okay, alles geht superschnell und wir kommen sehr schnell zu allgemeingültigen

4:04 SPEAKER_00: künstlichen Intelligenz

4:05 SPEAKER_00: AGI,

4:06 SPEAKER_00: sagen, hey, Leistung steigt exponentiell.

4:09 SPEAKER_00: Also wir werfen einfach

4:11 SPEAKER_00: noch mehr

4:13 SPEAKER_00: Daten rauf und noch mehr

4:15 SPEAKER_00: compute, also Rechenleistung und brauchen noch mehr Energie und dann kriegen wir eine exponentielle Kurve hin und

4:20 SPEAKER_00: wir verdoppeln die Daten und Parameter und compute und boom,

4:24 SPEAKER_00: steigen die Fähigkeiten vorhersehbar

4:27 SPEAKER_00: oder vorhersagbar.

4:29 SPEAKER_00: Und deswegen sind wir auf 1 exponentiellen exponentiellen

4:32 SPEAKER_00: Kurve, die unweigerlich zu dieser AGI führen wird. Und die Person oder die die Firma oder die Macht oder das Land, was als Erstes da ist, hat halt die Dominanz.

4:43 SPEAKER_00: Und dazu kommt auch, dass

4:45 SPEAKER_00: im Laufe

4:47 SPEAKER_00: dieses Hochlaufs

4:49 SPEAKER_00: Fähigkeiten

4:51 SPEAKER_00: auftreten, die man vorher nicht aufm Plan hatte, also die sozusagen emergent sind.

4:55 SPEAKER_01: Ja, ja und das ganze Thema, wie entwickeln sich KI

4:59 SPEAKER_01: Agenten ist ja auch so was, als irgendwie neue.

5:01 SPEAKER_01: Es gibt halt Menschen, wir machen irgendwas. Manche Menschen können manche Sachen bisschen besser, manche bisschen schlechter. Was passiert denn, wenn's auf einmal unendlich viele

5:09 SPEAKER_01: Agenten gibt, die alle irgendwelche Ziele verfolgen, die potenziell Dinge einfach besser machen können als wir und zwar nicht vielleicht nur ein Tasks, sondern viele Tasks, ja. Und wo geht die Welt hin? Und ja, diese, ich sag mal, diese Bulls Bulls versus Bärs, wo wir wieder im Denkchen sind, die Bullen gegen die Bären,

5:29 SPEAKER_01: wobei die Bären sind auch keine Bären. Die sind halt nicht ganz so,

5:33 SPEAKER_01: die verstehen auch, dass sich die Welt stark, glaube ich, verändert, aber eben

5:37 SPEAKER_01: einfach anderen Zeithorizont

5:39 SPEAKER_01: sozusagen, wie schnell sich alles entwickeln wird. Und je nachdem, welchen Horizont man da einnimmt, muss man natürlich,

5:45 SPEAKER_01: ja, mit unterschiedlichen Problemen rechnen, die man zum unterschiedlichen Zeitpunkt lösen.

5:50 SPEAKER_00: Und diese KI Maximalisten,

5:53 SPEAKER_00: wo jetzt nicht nur Sam Altman dazugehören, sondern auch beispielsweise Marc Benioff,

5:57 SPEAKER_00: der ja 1 der Gründer von dem Investmentfonds

6:00 SPEAKER_00: in Griesens Horrids oder auch A16ZZ

6:03 SPEAKER_00: genannt, die in ganz, ganz vielen Firmen von Airbnb bis hin zu den großen AI Provider investiert sind und unter anderem auch den Browser erfunden haben, also Markeblühl. Die

6:14 SPEAKER_00: sagen ja, dass KI eine Macht ist, die sich selbst verstärkt,

6:17 SPEAKER_00: ja. Und wenn eben einmal

6:19 SPEAKER_00: KI stark ist, dann der ist es so gut, dass es sozusagen immer besser wird, sich selbst zu verstärken, sich selbst besser zu programmieren

6:27 SPEAKER_00: und uns dann letztlich ablöst in Intelligenz als Menschen. Und darauf muss sich die Gesellschaft unweigerlich

6:33 SPEAKER_00: einstellen.

6:34 SPEAKER_00: Und die die andere, die Normalo

6:37 SPEAKER_00: Denkschule,

6:38 SPEAKER_00: ja, die beiden Princeton Professoren,

6:40 SPEAKER_00: Princeton, 1 von 1 von den Universitäten

6:43 SPEAKER_00: in USA, die sagen, das ist das ist halt eine Technologie, das ist so wie

6:48 SPEAKER_00: mobil oder wie ne, wie wie mobiles Internet oder wie wie Mobilfone, das ist jetzt nix Besonderes mehr, sondern das ist halt da.

6:55 SPEAKER_00: Oder auch, dass wir Knopf im Ohr haben und drauf drücken und bloß telefonieren, ist halt auch da.

7:00 SPEAKER_01: Das hat vor allem eine Weile gedauert, ne. Also das schleicht sich halt ein, ne. Weil irgendwo und ich mein, mein, das sehen wir ja auch, wenn wir mit Unternehmen sprechen. Das eine ist das Technische. Was kann das eigentlich alles schon?

7:13 SPEAKER_01: Dann, was kann ich als Unternehmen technisch? Wie sieht meine Dateninfrastruktur aus? Welche Systeme hab ich und so weiter? Bin ich überhaupt KI ready? Aber selbst die Unternehmen mit den besten Systemen und den besten Daten, Zugriff auf die besten Tools

7:27 SPEAKER_01: haben halt immer noch den Faktor Mensch mit drin. Und das ist zwar Mensch und Gesellschaft, ja. Mensch und genau. Und zwar, man rauszoomt, ist es bei Gesellschaft. Und bis wir unser

7:35 SPEAKER_01: Verhalten anpassen

7:37 SPEAKER_01: und

7:38 SPEAKER_01: sozusagen es ja, absorbieren und aufnehmen,

7:41 SPEAKER_01: da ist dann eine gewisse Trägheit in den Prozessen mit drin. Und es gibt natürlich die Early Adopter und die Late Adopter. Es gibt immer noch Leuten, auch teilweise noch bei Unternehmen, in denen wir sprechen, denen man bisschen das Internet erklären muss. Digitalisierung in Deutschland

7:55 SPEAKER_01: ist ja jetzt auch noch nicht überall angekommen, aber die meisten sollten jetzt auch wissen, es geht nicht mehr weg mit diesem Internet. Genauso wie die meisten Leute irgendwann verstehen werden, auch wenn sie jetzt gegen KI sind, dass diese KI Sache nicht mehr weggeht. Ja.

8:08 SPEAKER_01: Aber es gibt halt einfach diesen gesellschaftlichen,

8:12 SPEAKER_01: ja, langsameren

8:13 SPEAKER_01: Veränderungsprozess,

8:15 SPEAKER_01: der egal wie gut die KI wird,

8:17 SPEAKER_01: dem natürlich irgendwann noch

8:20 SPEAKER_01: entgegen wird sozusagen, bis sich alles komplett transformiert und verändern wird in unserer Gesellschaft. Und das liegt daran, dass Organisationen

8:26 SPEAKER_00: zum einen die Menschen mitnehmen müssen. Also die Organisationen müssen bereit sein,

8:30 SPEAKER_00: von ihrem Personaltableau

8:32 SPEAKER_00: das aufzunehmen, aber halt auch von Technologie. Das heißt, die Datenqualität

8:36 SPEAKER_00: bestimmt letztlich auch noch in gewisser Weise die Qualität

8:39 SPEAKER_00: der KI, die ich einsetzen kann.

8:41 SPEAKER_00: Wenn ich veraltete Prozesse habe, wenn letztlich auch meine Skills fehlen,

8:45 SPEAKER_00: dann nützt mir auch das tollste Modell nichts, weil ich kann's nicht vernünftig einsetzen. Das ist, gibt's schönes Zitat von Harvard Business Review,

8:52 SPEAKER_00: Data Readiness, Determince AI Readiness. Also die,

8:57 SPEAKER_00: wie bereit bin ich, auf meine Daten zu zugreifen, welche Daten habe ich eigentlich und das determiniert,

9:03 SPEAKER_00: wie bereit bin ich eigentlich, KI vernünftig einzusetzen.

9:07 SPEAKER_01: Plus der Mensch.

9:08 SPEAKER_00: Der auch.

9:11 SPEAKER_00: Genau, und der Economist sagt so schön, dass also diese diese langsame,

9:15 SPEAKER_00: aber generell die Diffusion, ob sie jetzt langsam ist, man kann man diskutieren, aber das ist die eigentliche Transformation.

9:22 SPEAKER_00: Also dass jetzt immer mehr Menschen KI einsetzen, dass es immer mehr in Prozesse integriert wird, dass es aber auch immer öfter in

9:30 SPEAKER_00: Werkzeugen und Tools schon integriert ist. Wir haben in der letzten Folge über Gemini 3 gesprochen

9:35 SPEAKER_00: und Google und dass es eben den Android eine Rolle spielen wird in der Google Suche, in YouTube und so weiter und so fort. Also überall da in den Dingen, die wir den Tag schon einsetzen, kommt jetzt sozusagen schleichend oder auch weniger schleichend KI mit rein.

9:50 SPEAKER_00: KI kommt nicht irgendwann. Sie ist schon da. Bist Du bereit? Mit the key academy machst Du dich fit für die Zukunft. Onlinekurse zu KI, digitaler Zusammenarbeit,

10:00 SPEAKER_00: Leadership. Praxisnah, flexibel, IHK zertifiziert.

10:03 SPEAKER_00: The key.academy

10:04 SPEAKER_00: für alle, die mitgestalten wollen. An diese beiden konträren Denkschulen stimmen wir jetzt doch überein, zwar in 12 Punkten.

10:14 SPEAKER_00: Und im ersten Punkt sagen Sie beide interessanterweise,

10:17 SPEAKER_00: na ja, bevor diese AGI kommt,

10:20 SPEAKER_00: ist KI eine normale Technologie wie Strom beispielsweise?

10:25 SPEAKER_01: Genau, es geht ja in Stufen, so wie wir heute quasi KI erleben. Sind wir uns, glaube ich, alle einig, dass sie zwar schon viele Sachen sehr gut machen kann, aber es ist noch keine allgemeine,

10:36 SPEAKER_01: also es ist nicht im Schnitt schlauer als alle Menschen.

10:39 SPEAKER_01: Und

10:40 SPEAKER_01: während die AI twenty schon dieselben Leute sagen, das kommt in 27 oder vielleicht paar Jahre später,

10:47 SPEAKER_01: sagen die anderen, das dauert noch viel länger. Aber auf dem Weg dahin sind sie sich zumindest einig, dass es bis dahin eine normale Technologie ist.

10:55 SPEAKER_00: Und Sie sind sich auch einig, wenn wir, warum auch immer, dann doch die sogenannte STRG AGI,

11:01 SPEAKER_00: also

11:03 SPEAKER_00: die starke

11:05 SPEAKER_00: allgemeine künstliche Intelligenz erreichen, dann ist es eben keine normale Technologie mehr. Dann ist es schon 'n großer eine große Zäsur in in menschlichen Evolution, kann man fast sagen.

11:15 SPEAKER_00: Aber das Witzige ist halt auch,

11:16 SPEAKER_01: es gibt bisher noch keine wirklich gute Definition. Was ist denn eigentlich AGI oder auch AGI?

11:23 SPEAKER_01: Ja, jeder definierte das natürlich bisschen anders,

11:26 SPEAKER_01: aber zumindest sagen die, das CAMP AI ist No Magnet Technology, die sagen, gut, wenn wir den Punkt erreicht haben, dass die KI

11:34 SPEAKER_01: wirklich schlauer ist als wir alle, dann haben wir verloren, dann hattet ihr Recht, dann ist die Sicht, dass es eine Noable Technology ist, dann doch nicht richtig gewesen.

11:44 SPEAKER_01: Und die, ich sag mal, die Maximalisten,

11:46 SPEAKER_00: also die Autoren von dem AI 20 27 Paper sagen,

11:50 SPEAKER_00: das ist eben dann eine strong AGI, wenn sozusagen die KI

11:55 SPEAKER_00: selbst

11:56 SPEAKER_00: automatisiert

11:58 SPEAKER_00: KI Forschung betreibt.

12:00 SPEAKER_00: Also sozusagen son selbstreferenzielles

12:02 SPEAKER_00: System, was sich ständig verbessert. Ja. Und dieses,

12:05 SPEAKER_01: ja, wie gut ist KI System? Und das ist son bisschen der nächste Punkt, wo Sie sich einig sind,

12:10 SPEAKER_01: kann man natürlich und sollte man natürlich für sich selbst irgendwie subjektiv eigentlich immer bewerten, welchem System oder mit welchem Modell arbeite ich am besten? Welches Modell ist für meinen Usecase das Beste?

12:20 SPEAKER_01: Aber es muss natürlich oder gibt es ja auch diese öffentlichen, also verschiedenste Benchmarks, die Modelle vergleichen.

12:28 SPEAKER_01: Haben wir jetzt auch in der letzten Folge gerade über die Gemini 365 gesprochen, was da jetzt auf einmal

12:33 SPEAKER_01: überall

12:34 SPEAKER_01: das beste oder fast überall das beste Modell geworden ist.

12:38 SPEAKER_01: Und

12:38 SPEAKER_01: das sehen wir auch bei den Benchmark Anbietern, dass die immer neue Benchmarks rausbringen, weil die Modelle einfach immer mehr dieser Probleme lösen und in den top 90, 95 Prozent Bereichen sind. Ja. Und weiterhin den Fortschritt zu messen, brauche ich halt andere Tests, also schwierigere Tests.

12:54 SPEAKER_01: Und da sind sich auch beide Camps einig, dass die aktuellen Benchmarks für die zukünftigen Modelle, die dann noch kein AGI sein müssen,

13:03 SPEAKER_01: nicht ausreichend sind, weil ja,

13:06 SPEAKER_01: heute schon

13:08 SPEAKER_00: fast alles gelöst wird von KI Modellen. Und selbst wenn dann diese Benchmarks nicht ausreichen, wir neue Benchmarks brauchen und die dann auch wieder überschritten werden, sind sich trotzdem beide einig, dass es durchaus

13:18 SPEAKER_00: auch Aufgaben geben kann,

13:21 SPEAKER_00: in denen die noch so intelligente KI

13:24 SPEAKER_00: einfach scheitert an Dingen, die wir jeden Tag tun,

13:28 SPEAKER_00: sei es Dinge online kaufen.

13:30 SPEAKER_01: Ja, das wird wahrscheinlich bald gehen, würde ich jetzt mal sagen. Aber ja, so einfache Dinge wie uns die Zähne zu putzen, mal einen Roboter, der uns die Zähne putzen kann, ohne uns zu verletzen und das eigentlich ordentlich zu machen, ist halt einfach noch 'n extrem

13:47 SPEAKER_01: schwieriger Task. Ich mein, das ist jetzt Robotics Beispiel.

13:52 SPEAKER_01: Aber ich kann trotzdem

13:53 SPEAKER_01: eine Art von AGI haben, auch wenn die AGI dann manche Tasks einfach

13:58 SPEAKER_01: simple, für unsimple Tasks trotzdem nicht

14:02 SPEAKER_01: erledigen kann.

14:04 SPEAKER_01: Ja.

14:07 SPEAKER_00: Die die beiden Autoren aus Princeton, also und

14:12 SPEAKER_00: sagen aber auch, wir glauben nicht daran, dass diese AGI

14:16 SPEAKER_00: sehr schnell kommt. Vielleicht irgendwann, aber nicht sehr schnell. Also da haben sie auf jeden Fall noch mal Unterschied.

14:21 SPEAKER_00: Aber egal, ob's jetzt schnell langsam kommt, beide Camps sagen,

14:25 SPEAKER_00: KI

14:26 SPEAKER_00: AI wird mindestens

14:29 SPEAKER_00: so ein großer oder so bedeutend und so groß sein wie das Internet selbst. Ja.

14:35 SPEAKER_01: Ist doch schön, dass Sie sich darauf einigen.

14:39 SPEAKER_00: Und das Internet selbst ist ja doch recht groß geworden.

14:43 SPEAKER_01: Ja, bei manchen ist es noch nicht angekommen,

14:46 SPEAKER_01: aber

14:47 SPEAKER_01: das Internet ist schon recht wichtig geworden. Da können wir uns, glaube ich, drauf einigen und dass KI recht wichtig wird oder schon ist, auch da können sich die beiden Camps drauf einigen. Der nächste Punkt, wo sie sich drauf einigen können und das ist tatsächlich 'n,

14:59 SPEAKER_01: ja, ich glaub Punkt, der für alle sehr wichtig ist, ist das ganze Thema

15:05 SPEAKER_01: AI Alignment.

15:06 SPEAKER_01: Also wie krieg ich's hin, dass die KI Ziele verfolgt, die wir als Menschheit auch verfolgen, dort

15:14 SPEAKER_01: irgendwie rein entwickelt bekomme.

15:16 SPEAKER_01: Und

15:18 SPEAKER_01: da gibt es ja quasi auch dieses Camp, was ich eingangs angesprochen hatte, also die wirklich sagen, wir sollten sofort alle KI Forschungen stoppen,

15:26 SPEAKER_01: weil die KI sonst uns potenziell alle umbringt. Und da gibt's ja das bekannte Paperclip,

15:34 SPEAKER_01: besagt, na ja gut, wenn ich der KI nur sage, dass es sein Ziel ist, Paperclips quasi zu entwickeln. Büroklammern. Büroklammern,

15:40 SPEAKER_01: genau.

15:42 SPEAKER_01: Und es dann wird die KI alles versuchen und alle Ressourcen aufwenden und im Zweifel sagen, ja, der Mensch, der nimmt mir Ressourcen weg. Ich kann keine Büroklammern mehr machen, also der richtet den Mensch aus, mein Ziel zu erreichen. Das wär bisschen doof,

15:53 SPEAKER_01: ja. Und

15:55 SPEAKER_01: dieses

15:56 SPEAKER_01: und beide Seiten, also sowohl die, die sagen, KI wird in paar Jahren komplett durch die Decke gehen und allwissend

16:03 SPEAKER_01: und all unsere Probleme irgendwie potenziell lösen können, als die, die sagen, das ist eine Normaltechnologie, das wird noch mehr als 20 Jahre dauern, bis es vielleicht irgendwo mal an dem Punkt ist, sagen, dass wir unbedingt dieses Alignment Problem lösen müssen und dass heute viel zu wenig eigentlich dafür getan wird und daran geforscht wird.

16:20 SPEAKER_01: Und das ist schon eigentlich,

16:22 SPEAKER_01: macht einen schon bisschen nachdenklich, wenn man die Entwicklung so mitbekommt und wenn sowohl die Bulls als auch die kleineren Bulls in dem Fall

16:31 SPEAKER_01: sagen, Leute, wir müssen dieses Problem lösen und wir machen nicht genug dafür. Und weil das Problem bisher nicht gelöst ist, sagen Sie auch alle,

16:40 SPEAKER_00: dass KI

16:42 SPEAKER_00: zumindest mal auf absehbare Zeit,

16:44 SPEAKER_00: keine wichtigen Entscheidungen in kritischen Systemen treffen dürfen soll. Infrastruktur,

16:50 SPEAKER_01: Militär

16:51 SPEAKER_01: Richtig.

16:52 SPEAKER_01: Und so weiter und so fort. Selbst

16:55 SPEAKER_00: in Techcompanies nicht und selbst auch nicht in Regierungsthemen.

16:58 SPEAKER_01: Also nicht eigenständig, natürlich assistiert, aber eben nicht eigenständig. Und ich glaube, das sollte auch jedes Unternehmen heute schon so sehen, dass absolut kritische Entscheidungen und Systeme

17:08 SPEAKER_01: nicht autonom von KI Agenten

17:11 SPEAKER_01: teilweise vielleicht bedient werden dürfen, aber die finalen Entscheidungen sollten da nicht ausgelagert werden und das geht natürlich auf

17:19 SPEAKER_01: Staatsebene

17:21 SPEAKER_01: natürlich noch mal

17:22 SPEAKER_01: ja, ganz anders. Ich glaub, welches Land war das? Was ist irgendwie KI Minister?

17:26 SPEAKER_01: Irgendwas in in Osteuropa, aus Albanien oder so, wo Ja, ich hab's auch gelesen. Die haben irgendwie, ja, genau, da hab ich Ich nehm mal an, dass diese KI Minister oder KI Ministerin auch am Ende nicht die Entscheidung trifft, aber

17:40 SPEAKER_01: schön zu sehen oder gut zu sehen, dass auch hier die beiden Lager sagen, die ganz wichtigen Themen,

17:45 SPEAKER_01: die sollten nach wie vor bei uns Menschen gehen.

17:49 SPEAKER_00: Und Sie sagen auch, dass,

17:51 SPEAKER_00: weil das so ist, Transparenz,

17:55 SPEAKER_00: Reporting

17:56 SPEAKER_00: und Überwachung. Und Überwachung

17:59 SPEAKER_00: wichtig sind. Was ja auch interessant ist, finde ich, weil aus so 1, also aus meiner Perspektive übertreiben wir's in Europa

18:06 SPEAKER_00: oder haben's schon übertrieben mit dem AI Act.

18:09 SPEAKER_01: Da jetzt vielleicht wieder, klar, was sie zurückgerudert wird. Zurückgerudert

18:12 SPEAKER_00: und wenn man jetzt vielen Amerikanern folgt, dann hört man auch mal, ja, so super, dass Trump und David Sex da so viel aus dem Weg geräumt haben, nicht nur für AI, auch für Krypto und da eben nicht mehr so viel regulieren. Und dann ist halt schon spannend,

18:25 SPEAKER_00: ja, dass solche Forschenden sagen, hey, das hilft schon. Ist die Frage,

18:30 SPEAKER_00: kann man denen dann das selber

18:32 SPEAKER_00: überstülpen, den Techunternehmen sich selbst zu kontrollieren und selbst transparent zu sein und selbst

18:38 SPEAKER_00: sich zu auditieren oder braucht man da vielleicht doch bisschen Regulierung?

18:42 SPEAKER_01: Ja, und das ist auch der nächste Punkt, wo Sie sich einig sind, dass eigentlich Staaten

18:47 SPEAKER_01: heute

18:48 SPEAKER_01: nicht so richtig viel Plan davon haben, was da eigentlich passiert. Die haben die keine

18:53 SPEAKER_01: staatlichen Einrichtungen,

18:55 SPEAKER_01: die haben nicht das Know how, die haben nicht die Kapazität,

18:58 SPEAKER_01: dem überhaupt zu folgen, das zu überwachen, das mit zu beeinflussen und

19:03 SPEAKER_01: gerade wenn man dieses Alignment Thema denkt,

19:06 SPEAKER_01: so muss es halt eben eine Instanz geben und die muss

19:10 SPEAKER_01: ausgestattet sein, so Sachen halt zu überwachen und vor allem zu verstehen und so die die Entwicklung auch

19:16 SPEAKER_01: also nicht mit

19:19 SPEAKER_01: fördern muss, aber zumindest die Leitplanken

19:22 SPEAKER_01: vorgeben muss.

19:24 SPEAKER_01: Und richtige richtige Leitplanken zu setzen, auch einfach gutes Verständnis von dem ganzen Thema haben muss, was wir heute halt meiner Meinung nach zumindest in Deutschland,

19:34 SPEAKER_01: also wahrscheinlich auch nicht in den USA,

19:36 SPEAKER_01: einfach noch nicht haben in den Regierungen. Und von daher 'n weiteren Punkt, wo sich die beiden Lager drauf einigen können.

19:44 SPEAKER_00: Das soll aber nicht uns davon abhalten,

19:46 SPEAKER_00: KI in die Wirtschaft weiter einzubringen,

19:49 SPEAKER_00: denn beide sagen, diese

19:51 SPEAKER_00: Diffusion ist, glaub ich, das richtige deutsche Wort, von KI in die Wirtschaft ist generell

19:56 SPEAKER_00: schon mal gut. Ich vermute, es gibt sicherlich in Deutschland Stimmen, die sagen, nein, ist nicht gut. Wir brauchen ganz viel Datenschutz und gar keine KI.

20:05 SPEAKER_00: Zumindest sind da die Autoren dieses Papiers so sicherlich auch wir anderer Meinung.

20:08 SPEAKER_01: Das stimmt.

20:10 SPEAKER_01: Also dass KI grundsätzlich

20:12 SPEAKER_01: mit allen, also jede Technologie und ich glaub, da sind die auch irgendwie transparent und reflektiert, jede Technologie bringt Vor- und Nachteile mit sich und Umwälzung, gesellschaftliche Umwälzung potenziell.

20:23 SPEAKER_01: Aber grundsätzlich ist KI etwas, von der wir alle profitieren können, sofern sie sinnvoll eingesetzt wird und da können sich die beiden Lager

20:32 SPEAKER_01: drauf

20:33 SPEAKER_01: einigen.

20:35 SPEAKER_01: Die neue KI Verordnung ist mehr als eine Pflicht. Sie ist deine Chance. Ja, die Kompetenzschule nach Artikel 4 ist wichtig für deine Rechtssicherheit

20:42 SPEAKER_01: bei der Nutzung von KI Tools im Job. Unsere von Rechtsanwälten mit entwickelte Schulung auf SnippKI d e zeigt dir aber auch, wie KI zu deiner Superpower wird. Lerne die Grundlagen, agiere sicher und entdecke neue Möglichkeiten.

20:55 SPEAKER_01: Jetzt starten auf SnippKI Punkt d e.

20:58 SPEAKER_00: Was

21:00 SPEAKER_00: zu vermeiden ist, ist eine

21:03 SPEAKER_00: geheime Explosion von Intelligenz.

21:07 SPEAKER_00: Ja, also sowohl OpenAI als auch Anthropic haben ja das Ziel herausgegeben,

21:10 SPEAKER_00: dass sie eigentlich sich selber abschaffen möchten als Entwicklerinnen, Entwickler, sondern die KI soll das dann weiterentwickeln, also diese diesen Noop, den wir am Anfang besprochen hatten.

21:20 SPEAKER_00: Aber wenn das Ganze irgendwo im Geheimen stattfindet, dann kann das schon großes Problem sein und die Aufgabe von Regierungen sollte eben auch sein, drauf zu achten, dass das nicht passiert. Ja.

21:34 SPEAKER_01: Und wenn es halt wirklich irgend 'n unabhängiges Lab in irgend Land

21:39 SPEAKER_01: entwickelt,

21:41 SPEAKER_01: dann kann diese Entity halt theoretisch,

21:45 SPEAKER_01: also

21:47 SPEAKER_01: unüberwacht

21:48 SPEAKER_01: irgendwie dann auch die Welt übernehmen. Wenn ich als als ein Unternehmen

21:52 SPEAKER_01: alle Systeme dieser Welt infiltrieren kann und auf einmal mit mir gleichstellen kann,

21:57 SPEAKER_01: dann ist das natürlich,

21:59 SPEAKER_01: ich weiß nicht, wie hypothetisch die Gefahr ist. Ja. Ne, also aber ich sag mal, wenn man in irgendwelchen bösen Actionherofilmen

22:07 SPEAKER_01: denkt,

22:08 SPEAKER_01: kann ist so was zumindest nicht unmöglich.

22:10 SPEAKER_01: Und es gibt,

22:12 SPEAKER_01: das Buch hatten wir auch schon mal zu besprochen,

22:15 SPEAKER_01: heißt das live 3 Punkt 0 oder human 3 Punkt 0?

22:20 SPEAKER_01: Es gibt's von,

22:24 SPEAKER_01: blenden wir gleich noch mal ein. Ist auf jeden Fall ein sehr, sehr, sehr spannendes Buch, wo es genau diese ganzen möglichen Szenarien auch geht und auch das ganze Alignment Thema. Und die Intro zu diesem Buch ist genau so ein Fall, wo son Lab quasi zu AGI entwickelt und wie dann dieses Lab quasi die ganze Welt sozusagen

22:43 SPEAKER_01: unter sich,

22:44 SPEAKER_01: ja,

22:45 SPEAKER_01: unter sich Unterjocht. Unterjocht sozusagen

22:48 SPEAKER_01: aufgrund der der Fähigkeiten, die sie dadurch bekommen. Und das ist eben dieser Punkt, wo ja die beiden Lager sich auch einigen, dass so was halt einfach nicht passieren darf.

22:57 SPEAKER_00: Und Was ich persönlich besonders schön finde daran, dass die jetzt sich mal zusammengesetzt haben und das rausgebracht haben, ist genau dieses Thema, man kann anderer Meinung sein. Ja, man kann glauben, dass die anderen irgendwie auf dem auf der falschen Fährte sind, aber trotzdem macht es Sinn,

23:11 SPEAKER_00: sich mal hinzusetzen und zu schauen, wo sind wir eigentlich nicht anderer Meinung? Wo stimmen wir eigentlich überein?

23:17 SPEAKER_00: Und dann auch anderen zu helfen, zu verstehen,

23:20 SPEAKER_00: wo die Unterschiede sind und sich nicht zu bekriegen und sagen, die anderen sind doof, denen rede ich nicht, sondern genau das zu

23:28 SPEAKER_00: neudeutsch embracen.

23:29 SPEAKER_00: Wir setzen uns hin, wir wissen, wir sind anderer Meinung, aber wir versuchen auch ganz gezielt Punkte zu finden, wo wir

23:35 SPEAKER_00: Agreement haben. Und ich glaub, das könnte uns wahrscheinlich als Gesellschaft

23:39 SPEAKER_00: generell ganz gut tun, das so das so eher zu handhaben, als

23:43 SPEAKER_00: wie wir's vielleicht teilweise

23:44 SPEAKER_00: jetzt grad handhaben. Wir sollten auf jeden Fall mehr miteinander

23:48 SPEAKER_01: untereinander

23:49 SPEAKER_01: zuhören.

23:50 SPEAKER_01: Eigentlich ist es schönes Schlusswort, aber ich glaub, vielleicht

23:54 SPEAKER_01: sprechen wir noch ein paar Minuten dazu, wie wir das Ganze sehen.

23:58 SPEAKER_01: Auf welcher Seite bist Du? Bist Du der AI 20 27 Camp und in 3 Jahren gibt's die AGI, die potenzielle Probleme der Welt löst oder Riesenprobleme schafft? Oder bist Du eher in dem Camp? Das ist eine ganz normale Technologie, das dauert alles noch 20 Jahre. Vorher wird sich nichts Großes verändern Camp.

24:17 SPEAKER_00: Ist eine sehr gute Frage. Ich

24:20 SPEAKER_00: glaube, technologisch bin ich bisschen bullisher

24:23 SPEAKER_00: als dieses, es dauert alles noch 20 Jahre. Ich glaub, technologisch passiert sehr, sehr viel.

24:29 SPEAKER_00: Und wir sehen ja auch, dass in anderen Ecken der Welt da wahnsinnig viel Energie

24:33 SPEAKER_00: und Investment reinfließt.

24:36 SPEAKER_00: Ich sehe die Gefahr, dass wir uns Stück weit selber im Weg stehen,

24:40 SPEAKER_00: ja, und langsamer sind als andere Teile der Welt, solche Sachen zu

24:46 SPEAKER_00: adaptieren,

24:47 SPEAKER_00: unseren Kopf rumzuwickeln,

24:48 SPEAKER_00: da mitzumachen.

24:50 SPEAKER_00: Und das kann dann auf der einen Seite vielleicht bisschen Stress aus der Gesellschaft nehmen, auf der anderen Seite aber auch den ganzen europäischen Kontinent ziemlich abhängen.

24:59 SPEAKER_00: Und daher würd ich mir eigentlich 'n bisschen mehr Offenheit in Europa wünschen, würde mir

25:03 SPEAKER_00: ja auch mehr Engagement von der Politik wünschen und auch mehr Investment wünschen.

25:08 SPEAKER_00: Gleichzeitig,

25:09 SPEAKER_00: wenn ich mir

25:11 SPEAKER_00: an Tagen, wo ich vielleicht bisschen klarer denke,

25:14 SPEAKER_00: die Investments anschaue und überlege, okay, das alles zurückzuzahlen,

25:18 SPEAKER_00: was muss da ökonomisch eigentlich passieren, stell ich mir schon die Frage,

25:22 SPEAKER_00: ob wir die Ressourcen, die wir haben,

25:24 SPEAKER_00: richtig einsetzen, wenn wir die ganze Zeit nur irgendwelche Standbilder im Grog zu Videos animieren und ich weiß nicht, wie viel Energie verbrauchen.

25:32 SPEAKER_00: Also ich kann dir da gar keine klare Antwort geben, ich mir andere zwischen den Camps, wo ich sage, weil wie geht's dir?

25:38 SPEAKER_01: Ich glaub, je nachdem, welchen Bereich ich mir anschaue, bin ich, glaub ich, manchmal mehr, manchmal auf der anderen Seite.

25:44 SPEAKER_01: Also

25:45 SPEAKER_01: ich hab keine Panik, dass in 3 Jahren die Welt irgendwie

25:49 SPEAKER_01: von der KI übernommen wird und wir alle unterjocht

25:51 SPEAKER_01: werden.

25:54 SPEAKER_01: A haben wir bisher als Menschen, glaub ich, immer ganz gute Probleme oder Lösungen gefunden zu

26:00 SPEAKER_01: Problemen, die aufgekommen sind.

26:02 SPEAKER_01: Ich bin nicht in dem Fast Take off camp. Also ich glaub, ich und wir sehen das ja jetzt auch, wie die Modelle irgendwie Schritt für Schritt immer besser werden. Gemini 365,

26:12 SPEAKER_01: viel besser als alle anderen Modelle. Gemini 365 ist aber trotzdem kein AGI,

26:16 SPEAKER_01: was jetzt übermorgen die Welt übernimmt und ich glaube schon, ich hab diese Schritte, wie schnell viel besser diese Modelle werden,

26:23 SPEAKER_01: da bin ich auf dem AI camp,

26:27 SPEAKER_01: also dass wir eine deutliche

26:29 SPEAKER_01: Verbesserung

26:30 SPEAKER_01: in kurzen Zeit der Modelle sehen werden.

26:33 SPEAKER_01: Aber ich glaube, dass wir immer noch an jeder Stelle genug Zeit haben, zu reflektieren und einzuordnen und die Gefahren zu erkennen, die das nächste Modell vielleicht alles mit sich bringt, sodass wir, glaube ich, schon die Möglichkeit haben, an gewissen Punkt einzuschreiten und zu sagen, okay, wir werden jetzt, ab jetzt müssen wir aufpassen.

26:52 SPEAKER_01: Was das Thema Einfluss auf unsere Gesellschaft angeht,

26:56 SPEAKER_01: kann ich mir schon vorstellen, dass es kurzfristig,

27:00 SPEAKER_01: also ich bin mittel- bis langfristig sehr positiv eingestellt.

27:04 SPEAKER_01: Ich kann mir aber schon vorstellen, wenn ich jetzt die Fähigkeiten dieser ganzen Modelle sehe, nicht, dass die Modelle uns alle umbringen, weil sie irgendwelche

27:11 SPEAKER_01: Paperclips

27:12 SPEAKER_01: erstellen.

27:13 SPEAKER_00: Schlippie schlägt zurück. Genau.

27:16 SPEAKER_01: Sondern weil,

27:17 SPEAKER_01: glaube ich, ganz viele

27:19 SPEAKER_01: nicht komplette Jobs, aber Aufgaben

27:22 SPEAKER_01: aus Jobs mittlerweile KI einfach besser kann. Und bis es in der Gesellschaft ankommt, dauert das schon noch Moment, aber es wird ankommen. Und dann ist die Frage,

27:31 SPEAKER_01: schaffen es die Leute, ihre Rolle anders zu definieren, ihre Aufgaben zu definieren, sich damit auseinanderzusetzen,

27:36 SPEAKER_01: die Sachen zu lernen?

27:38 SPEAKER_01: Weil wenn nicht,

27:39 SPEAKER_01: dann glaube ich schon, dass es kurzfristig einen relativ starken Einfluss auf den Arbeitsmarkt haben kann für gewisse Jobs

27:46 SPEAKER_01: und Berufe,

27:47 SPEAKER_01: was dann natürlich wieder ganz in der Gesellschaft die Folgen mit sich hat, AntiKI,

27:53 SPEAKER_01: Arbeitslosigkeit,

27:55 SPEAKER_01: Rückgang der Wirtschaft,

27:57 SPEAKER_01: was ja im Endeffekt dann auch wieder Riesenproblem

28:00 SPEAKER_01: wird. Ich glaub, es muss potenziell,

28:03 SPEAKER_01: also die Frage ist, wo wo bleibt denn der ganze Wert am Ende hängen, ja? Und wenn's so, wie's aktuell aussieht, geht der halt zu den ganzen KI Kampagnen, die halt die Modelle haben, die halt die Anwendung irgendwie entwickeln teilweise

28:15 SPEAKER_01: und muss das dann vielleicht irgendwie potenzielles,

28:18 SPEAKER_01: ja, Umverteilungsmechanismus

28:20 SPEAKER_01: geben. Also nicht, dass alle Leute jetzt alles umsonst bekommen und nicht mehr arbeiten müssen. Wer weiß, best case

28:26 SPEAKER_01: wird so viel Wert geschaffen durch die Veindex. Dass

28:29 SPEAKER_01: wir alle eben halt potenziell nicht mehr arbeiten müssen oder weniger arbeiten müssen oder wie auch immer. Aber ich glaube, es muss irgend oder es wird irgend 'n Mechanismus geben müssen, diese

28:38 SPEAKER_01: diese

28:40 SPEAKER_01: Veränderungen

28:41 SPEAKER_01: in der Gesellschaft und den den den potenziell

28:44 SPEAKER_01: negativen Einfluss auf gewisse Gesellschaftsgruppen

28:46 SPEAKER_01: und Berufe

28:48 SPEAKER_01: irgendwo auszugleichen.

28:49 SPEAKER_01: Ich hab die Lösung nicht dafür

28:52 SPEAKER_01: und das kann tatsächlich meiner Meinung nach in den nächsten 4, 5 Jahren schon passieren,

28:56 SPEAKER_01: auch wenn's dann noch kein AGI gibt. Allein schon die Fähigkeiten, die KI heute hat, wir sehen das ja jeden Tag, hat den Einfluss schon in den nächsten 4, 5 Jahren dann massiven Einfluss zu haben. Dafür müssen wir eben Lösungen finden,

29:10 SPEAKER_00: ja? Teil der Lösung ist schon Bildung. Das machen wir ja beide. Ja. Sind beide irgendwie unterwegs in dem Bereich.

29:15 SPEAKER_00: Und das ist auch ehrlicherweise,

29:17 SPEAKER_00: wenn ich jetzt mein Team frage, ist schon son auch Why, zu sagen, ey, wir können uns nicht drauf verlassen, dass die Jobs, die es heute gibt, genauso bleiben, wie sie vor 10 Jahren waren,

29:26 SPEAKER_00: sondern dann ist es auch Aufgabe 1 jeden Einzelnen, 1 jeden Individuums, sich darum zu kümmern. Kann sich nicht hinstellen und sagen, lieber Staat, lass dein Wissen runterregnen und und sag mir bescheid, was ich zu tun habe oder rette mich. Sondern dann glaube ich auch bisschen an die,

29:40 SPEAKER_00: also natürlich einerseits

29:41 SPEAKER_00: oft an die Mechanismen,

29:43 SPEAKER_00: die Menschen helfen, da hinzukommen, aber andererseits auch an die ja, persönliche Verantwortung als jeden

29:49 SPEAKER_01: und appellieren. Hundertprozentig unterschreiben.

29:51 SPEAKER_01: Das ist traurig, ist, glaub ich, nicht unsere Podcast Server und Hörerinnen, die hören den Podcast ja auch, weil sie irgendwie sich selbst weiterentwickeln wollen. Aber ich glaub einfach, dass leider sehr viele Menschen so im Kopf haben, ja, der Start muss sich halt mich kümmern.

30:05 SPEAKER_01: Und

30:07 SPEAKER_01: zu wenig Leute haben, glaub ich, das Mindset,

30:12 SPEAKER_01: dass

30:13 SPEAKER_01: man sich immer weiterentwickeln muss, neue Sachen

30:16 SPEAKER_01: annehmen muss und

30:18 SPEAKER_00: ja, damit wachsen muss und nicht sagen kann, so, jetzt hab ich irgendwie meine Ausbildung oder meinen Uniabschluss gemacht und den Rest meines Lebens kann ich jetzt die Sachen genauso weitermachen, wie ich sie damals gelernt habe. Und ist halt auch eine Riesenchance aus meiner Sicht, ne. Wenn Du halt irgendwas gelernt hast, worauf Du eigentlich keine Lust hast, aber dich drauf eingestellt hast, das die nächsten 20, 30 Jahre zu machen und auch gar keinen gar keinen Horizont gesehen hast, da rauszukommen,

30:39 SPEAKER_00: dann ist das jetzt schon eine sehr und und einmalige Zeit aus meiner Sicht, weil Du halt genau das tun kannst. Du kannst dich hinsetzen und, ne, Du hast letzte Mal erzählt, Du hast mir jetzt in der Pause gezeigt,

30:49 SPEAKER_00: hier dein Co- von der Jens hat sich irgendwie eigenes Betriebssystem gebaut. Jetzt wüsste ich nicht, warum sich jeder eigenes Betriebssystem baut, aber Du kannst ja auch alles andere Mögliche bauen. Kannst dich hinsetzen und sagen, hier, liebe KI, bau mir das.

31:00 SPEAKER_00: Das war vor 5 Jahren, vor allem selbst vor 3 Jahren, selbst vor allen Jahren war das nicht möglich. Auf einmal ist es möglich und wenn Du dich damit beschäftigst, kannst Du das für dich nutzen. Ja. Das Mindset Thema.

31:10 SPEAKER_01: Ist,

31:12 SPEAKER_01: ja, ich glaub, da da haben die Amerikaner und wahrscheinlich auch die Chinesen

31:17 SPEAKER_01: schon

31:18 SPEAKER_01: irgendwie bisschen anderes Mindset als wir. Und das ist, glaub ich, auch was,

31:22 SPEAKER_01: was wir alle versuchen müssen, in die Gesellschaft zu treiben vom Start aus, von den Schulen, vom Unisystem,

31:28 SPEAKER_01: von den Podcastern und anderen Educatern dieser Welt,

31:32 SPEAKER_01: weil ohne Veränderungen

31:33 SPEAKER_01: wird's auf jeden Fall nicht gehen.

31:36 SPEAKER_00: Diskutiert gern mit uns und wir freuen mit uns, diskutiert gern mit uns. Wir freuen uns drauf. Schreibt uns Kommentare,

31:43 SPEAKER_00: folgt uns gern auf tiktok. Wir müssen die 1000 Follower knacken, damit wir auch den Podcast verlinken können.

31:49 SPEAKER_00: Sprecht über uns. Wir sehen uns nächste Woche. Danke für eure Aufmerksamkeit.

31:53 SPEAKER_00: Tschüss, tschö.

31:55 SPEAKER_02: Cointelligence

31:56 SPEAKER_02: ist eine Produktion von the key academy in Zusammenarbeit mit Snippkey.

32:00 SPEAKER_02: Produziert bei Studio Co in Berlin. Produktion und Regie, Christina Manuelle,

32:05 SPEAKER_02: Fuatze Vatli Elias Frohbel.

32:08 SPEAKER_02: Director,

32:09 SPEAKER_02: Lukas Schelter.

32:10 SPEAKER_02: Redaktion und Moderation,

32:12 SPEAKER_02: Benjamin Wüstenhagen und Moritz Heininger.

32:15 SPEAKER_02: Abonniere uns auf Spotify, Apple Podcasts oder YouTube.

32:18 SPEAKER_02: Danke fürs Zuhören.