EP_027 EU AI Act und KI-Regulierung 52 min

EU AI Act: Was zählt heute schon? Strafen, Risiken & Pflichten für Unternehmen

Erschienen 24. September 2025 · mit Tobias Weigand

// Hören auf

// Lieber nur Audio? Bei Spotify hören

// KI-Zusammenfassung

Die Episode beleuchtet den EU AI Act und seine Auswirkungen auf Unternehmen. Sie erklärt den risikobasierten Ansatz der Verordnung, von inakzeptablen bis zu minimalen Risiken, und die damit verbundenen Pflichten und potenziellen Strafen. Hörer erfahren, welche KI-Anwendungen als Hochrisiko gelten und warum eine kontinuierliche Auseinandersetzung mit dem sich entwickelnden Gesetz unerlässlich ist.

// Die eine Idee

“KI-Systeme mit 'inakzeptablem Risiko', wie Social Scoring oder unbewusste Manipulation, sind in der EU strengstens verboten.

Diese Aussage teilen →

Kapitel

01
0:00
Intro
02
0:21
Begrüßung & Vorstellung des Themas: Die EU KI-Verordnung
03
1:11
Vorstellung des Gasts: Tobias Weigand
04
2:24
Was ist der EU AI Act und was sind seine Ziele?
05
4:37
Der risikobasierte Ansatz: Die vier Risikostufen der KI-Verordnung
06
6:35
Inakzeptables Risiko: Was die EU komplett verbietet (z.B. Social Scoring)
07
22:14
Hochrisiko-KI: Kritische Infrastruktur, HR und automatisierte Entscheidungen
08
34:44
Begrenztes Risiko: Transparenzpflichten für Chatbots und Deep Fakes
09
41:40
Minimales Risiko: Wo die EU kaum Gefahren sieht (z.B. Spamfilter)
10
42:22
Sonderkategorie: Regeln für General Purpose AI (LLMs wie ChatGPT)
11
50:44
Fazit und Ausblick auf die nächsten Folgen

Shownotes

In Episode 27 von Co-Intelligence begrüßen Moritz Heininger einen besonderen Gast: den Rechtsanwalt Tobias Weigand.

Heute tauchen wir tief in ein entscheidendes Thema ein: den EU AI Act, auch bekannt als die KI-Verordnung. Was bedeutet dieses Gesetz für Unternehmen in Europa? Wir entschlüsseln den risikobasierten Ansatz der EU, von inakzeptablen Risiken wie Social Scoring bis hin zu Hochrisiko-Anwendungen in kritischen Infrastrukturen und im HR-Bereich.

Erfahrt, warum auch der Einsatz von KI generierten Bildern und Chatbots klare Regeln erfordert und welche speziellen Pflichten für Anwendern und Anbietern von großen Sprachmodellen gelten. Dies ist die erste von drei Episoden zu rechtlichen KI-Themen – bleib dran, um zu verstehen, was jetzt auf dich zukommt.

**Gast:** * Tobias Weigand, Rechtsanwalt und Fachanwalt für gewerblichen Rechtsschutz https://www.weigandlegal.de/

**Timestamps:** 00:00 - Intro 00:21 - Begrüßung & Vorstellung des Themas: Die EU KI-Verordnung 01:11 - Vorstellung des Gasts: Tobias Weigand 02:24 - Was ist der EU AI Act und was sind seine Ziele? 04:37 - Der risikobasierte Ansatz: Die vier Risikostufen der KI-Verordnung 06:35 - Inakzeptables Risiko: Was die EU komplett verbietet (z.B. Social Scoring) 22:14 - Hochrisiko-KI: Kritische Infrastruktur, HR und automatisierte Entscheidungen 34:44 - Begrenztes Risiko: Transparenzpflichten für Chatbots und Deep Fakes 41:40 - Minimales Risiko: Wo die EU kaum Gefahren sieht (z.B. Spamfilter) 42:22 - Sonderkategorie: Regeln für General Purpose AI (LLMs wie ChatGPT) 50:44 - Fazit und Ausblick auf die nächsten Folgen

**Links** * EU AI Act (KI-Verordnung): https://digital-strategy.ec.europa.eu/de/policies/regulatory-framework-ai * Bundesnetzagentur: https://www.bundesnetzagentur.de/ * BaFin (Bundesanstalt für Finanzdienstleistungsaufsicht): https://www.bafin.de/

// Lerninhalte der Folge — was du mitnimmst

Erkenntnisse

4:29
Der EU AI Act verfolgt einen risikobasierten Ansatz, der KI-Systeme in Kategorien von inakzeptablen bis minimalen Risiken einteilt, um Bürger zu schützen und Innovation zu fördern.
5:09
Bestimmte KI-Anwendungen, wie solche, die unterbewusste Manipulation oder Social Scoring ermöglichen, sind als inakzeptables Risiko eingestuft und strengstens verboten.
5:34
Hochrisiko-KI-Systeme, etwa in kritischer Infrastruktur, im Gesundheitswesen oder im HR-Bereich, sind zwar erlaubt, unterliegen aber extrem hohen regulatorischen Hürden und administrativem Aufwand.
35:48
Ab August 2026 müssen Deep Fakes und KI-generierte Inhalte, die täuschend echt wirken, als solche gekennzeichnet werden, um Transparenz für den Nutzer zu gewährleisten.
21:47
Unternehmen müssen sich kontinuierlich mit dem EU AI Act auseinandersetzen, da sich die Definitionen und Kategorien von KI-Risiken sowie die nationalen Umsetzungsdetails ständig weiterentwickeln können.

// Wortwörtliche Stellen aus dem Gespräch

Zitate

„Haben nicht eine Aufsichtsbehörde über KI in Deutschland, sondern ich glaube letzter Stand waren 16 oder sowas."

0:11
„Die Definition von KI ist so denkbar breit im AI Act angelegt, dass man heute eigentlich davon ausgehen muss, dass fast jedes Software da drunter fällt."

11:04
„Sprechen wir bei dem Verbot von, von unbegrenzt, von einem zu hohen Risiko. Sprechen wir von bis zu 35 Millionen Euro Schaden. Den ein Unternehmen zahlen müsste, wenn es die KI einsetzt."

10:00
„Ich glaube, wichtig zu verstehen ist, dass wenn man rauszoomt, geht es darum, dass automatisierte Entscheidungen nicht von der KI getroffen werden sollen, einfach so, sondern wenn das passiert, dann müssen auf jeden Fall hohe Hürden genommen werden."

29:47
„Meine Hypothese ist, dass es in 5 Jahren ganz anders aussieht, sondern dass in 5 Jahren du was tagst, wenn es echt ist."

40:49

Zahlen

16 oder sowas

In Deutschland gibt es voraussichtlich 16 oder mehr Aufsichtsbehörden für KI, was die Komplexität der Überwachung erhöht.

▶ 0:11
35 Millionen Euro

Bei Verstößen gegen die Verbote des EU AI Act können Unternehmen mit Strafen von bis zu 35 Millionen Euro belegt werden.

▶ 10:00
August 2026

Die Kennzeichnungspflicht für Deep Fakes und KI-generierte Inhalte tritt ab August 2026 in Kraft.

▶ 35:48

Fragen

Was ist das Hauptziel des EU AI Act? ▾

Der EU AI Act zielt darauf ab, Bürger vor potenziell schädlichen KI-Systemen zu schützen und gleichzeitig Innovation innerhalb der EU zu fördern. Er etabliert einen risikobasierten Ansatz, um den Umgang mit KI-Technologien zu regulieren und klare Rahmenbedingungen für deren Einsatz zu schaffen.

Welche KI-Systeme fallen unter die Kategorie "inakzeptables Risiko"? ▾

Unter die Kategorie "inakzeptables Risiko" fallen KI-Systeme, die als zu gefährlich für die Gesellschaft eingestuft werden und daher strengstens verboten sind. Dazu gehören beispielsweise KI-Systeme zur unterbewussten Manipulation von Personen oder zur Einführung von Social Scoring durch den Staat.

Was bedeutet "Hochrisiko-KI" für Unternehmen? ▾

Hochrisiko-KI-Systeme sind zwar nicht verboten, unterliegen aber extrem hohen regulatorischen Hürden und erfordern einen erheblichen administrativen Aufwand. Beispiele sind KI in kritischer Infrastruktur, im Gesundheitswesen oder für automatisierte Entscheidungen im HR-Bereich, wie das Filtern von Bewerbungen.

Wann müssen Deep Fakes und KI-generierte Inhalte gekennzeichnet werden? ▾

Ab August 2026 müssen Deep Fakes und andere KI-generierte Inhalte, die so realistisch aussehen, dass der Betrachter sie für echt halten könnte, als mit KI generiert gekennzeichnet werden. Dies gilt für Ton-, Video- und Bildaufnahmen von Personen, Ereignissen oder Gegenständen.

Wie hoch sind die Strafen bei Verstößen gegen den EU AI Act? ▾

Bei Verstößen gegen die Verbote des EU AI Act, insbesondere im Bereich der inakzeptablen Risiken, können Unternehmen mit finanziellen Strafen von bis zu 35 Millionen Euro belegt werden. Dies unterstreicht die Notwendigkeit, die Regelungen genau zu beachten und einzuhalten.

Wer überwacht die Einhaltung des EU AI Act in Deutschland? ▾

In Deutschland gibt es keine einzelne zentrale Aufsichtsbehörde für KI. Stattdessen sind voraussichtlich mehrere Behörden zuständig, darunter die Bundesnetzagentur als allgemeine Aufsichtsbehörde, die BaFin für den Finanzbereich und Datenschutzbeauftragte für datenschutzrelevante Aspekte.

Weitere 5 Fragen aus dieser Folge ▾

Darf ich KI im Recruiting nutzen, um Lebensläufe vorzufiltern? ▾

Das ist möglich, fällt aber voraussichtlich in die Hochrisiko-Kategorie, wenn die KI automatisierte Entscheidungen trifft oder Filter setzt. Du darfst das tun, musst aber extrem viel administrativen Aufwand und hohe regulatorische Hürden einhalten.

Muss ich KI-generierte Bilder auf meiner Website kennzeichnen? ▾

Ja, ab August 2026 gibt es eine Kennzeichnungspflicht für sogenannte Deepfakes. Das betrifft Bilder, die so realistisch aussehen, dass Betrachter sie für echt halten könnten. Es ist ratsam, schon heute darauf hinzuweisen, dass Inhalte mit KI generiert wurden.

Werde ich rechtlich zum KI-Anbieter, wenn ich ein eigenes Frontend für ChatGPT baue? ▾

Ja, das ist ein großes Risiko. Wenn du eine KI unter deiner eigenen Marke anbietest, auch wenn im Hintergrund nur eine API wie OpenAI läuft, könntest du laut AI Act als Anbieter gelten. Damit müsstest du strenge Pflichten wie die Offenlegung der Trainingsdaten erfüllen.

Darf ich Tools wie ChatGPT oder Copilot im Unternehmen weiterhin nutzen? ▾

Ja, du darfst diese Tools nutzen, fällst aber als Anwender unter den risikobasierten Ansatz. Nutzt du sie nur zur Textgenerierung, gibt es kaum Vorgaben. Nutzt du sie aber für automatisierte Entscheidungen, rutschst du in den Hochrisikobereich.

Welche Strafen drohen, wenn mein Unternehmen gegen den EU AI Act verstößt? ▾

Bei Verstößen gegen die strengsten Vorgaben, wie dem Einsatz von KI mit inakzeptablem Risiko, drohen extrem hohe Strafen. Unternehmen können in solchen Fällen mit Bußgeldern in Millionenhöhe belegt werden.

Zum Teilen

// 9 share-worthy

Die stärksten Aussagen dieser Folge — als Text, Link oder fertige Bild-Card zum Posten.

// Erkenntnis
“KI-Systeme mit 'inakzeptablem Risiko', wie Social Scoring oder unbewusste Manipulation, sind in der EU strengstens verboten.
// Erkenntnis
“Bei Verstößen gegen verbotene KI-Praktiken drohen Unternehmen drastische Strafen von bis zu 35 Millionen Euro.
// Erkenntnis
“Die EU-KI-Verordnung verfolgt einen risikobasierten Ansatz, der KI-Systeme in eine Pyramide mit verschiedenen Gefahrenstufen einteilt.
// Erkenntnis
“Die Definition von KI im Gesetz ist so weit gefasst, dass selbst herkömmliche Software oder Algorithmen (wie z.B. von TikTok) darunter fallen könnten.
// Zitat
“haben nicht eine Aufsichtsbehörde über KI in Deutschland, sondern ich glaube letzter Stand waren 16 oder sowas.
// Zitat
“Die Definition von KI ist so denkbar breit im AI Act angelegt, dass man heute eigentlich davon ausgehen muss, dass fast jedes Software da drunter fällt.
// Zitat
“sprechen wir bei dem Verbot von, von unbegrenzt, von einem zu hohen Risiko. Sprechen wir von bis zu 35 Millionen Euro Schaden. Den ein Unternehmen zahlen müsste, wenn es die KI einsetzt.
// Zitat
“Ich glaube, wichtig zu verstehen ist, dass wenn man rauszoomt, geht es darum, dass automatisierte Entscheidungen nicht von der KI getroffen werden sollen, einfach so, sondern wenn das passiert, dann müssen auf jeden Fall hohe Hürden genommen werden.
// Zitat
“Meine Hypothese ist, dass es in 5 Jahren ganz anders aussieht, sondern dass in 5 Jahren du was tagst, wenn es echt ist.

Anleitungen

Vermeide verbotene KI-Praktiken in der EU

Erfahre, welche KI-Systeme die EU als "inakzeptables Risiko" einstuft und deren Einsatz in Europa strengstens untersagt ist, um hohe Strafen zu vermeiden.

01

Erkenne inakzeptable Risiken

Identifiziere KI-Systeme, die als so hohes Risiko eingestuft werden, dass sie unter keinen Umständen in Europa verwendet werden dürfen.

5:09
02

Meide Social Scoring

Setze keine KI-Systeme ein, die das Verhalten von Bürgern messen, wie es beispielsweise in China praktiziert wird.

6:57
03

Verzichte auf unbewusste Manipulation

Nutze keine KI, die Menschen unterbewusst beeinflusst oder manipuliert, auch wenn die Grenzen hier schwammig sein können.

8:36
04

Achte auf konkrete Formulierungen

Sei dir bewusst, dass die Definitionen im Gesetz schwammig sein können und auch scheinbar harmlose Individualisierungen darunter fallen könnten.

8:15

Schütze dein Unternehmen vor hohen KI-Strafen

Verstehe die finanziellen Risiken bei Verstößen gegen die EU-KI-Verordnung, um dein Unternehmen vor drastischen Strafen von bis zu 35 Millionen Euro zu bewahren.

01

Kenne das Strafmaß

Sei dir bewusst, dass Verstöße gegen verbotene KI-Praktiken zu Strafen von bis zu 35 Millionen Euro führen können.

10:00
02

Ziehe trennscharfe Grenzen

Investiere in eine klare Abgrenzung deiner KI-Anwendungen, um nicht versehentlich unter verbotene Kategorien zu fallen.

10:12
03

Prüfe den Einsatz vorab

Stelle sicher, dass jedes KI-Tool, das du einsetzt, mit dem AI Act konform ist, bevor du es langfristig implementierst.

20:21