Klarsicht
der AI Compliance Check
Prüfbericht · Human-in-the-Loop & EU AI Act
Gesamturteil: Teilweise menschliche Aufsicht
Die Bausteine sind da, aber nicht durchgängig erzwungen. Genau hier entstehen im Ernstfall Haftungslücken — mit klaren, umsetzbaren Schritten zu schließen.
- Unternehmen
- Mustermann Logistik GmbH (Beispiel)
- Datum der Diagnose
- 22.08.2026
- Fragenkatalog
- Version 1.2.0
- Rechtsgrundlage
- Verordnung (EU) 2024/1689
- Stand: Digital Omnibus (EU) 2026/1744
Executive Summary
Das Urteil in Kürze
Die Bausteine sind da, aber nicht durchgängig erzwungen. Genau hier entstehen im Ernstfall Haftungslücken — mit klaren, umsetzbaren Schritten zu schließen. Die kritischste Lücke liegt in der Dimension Schadensradius.
Der Radar zeigt die vier Dimensionen auf einen Blick: je weiter außen, desto belastbarer die Kontrolle. Grün liegt am Rand, Rot nahe der Mitte — die eingezogene Kante markiert Ihre kritischste Lücke.
| Dimension | Leitfrage | Ampel | Reifegrad |
|---|---|---|---|
| Autoritätskette | Wer entscheidet wirklich? | Gelb | Stufe 2 · Dokumentiert |
| Schadensradius | Wie weit trägt ein Fehler? | Rot | Stufe 1 · Theater |
| Reversibilität | Lässt sich der Schaden rückgängig machen? | Grün | Stufe 3 · Erzwungen |
| Eskalationslogik | Wann wird der Mensch wirklich eingebunden? | Rot | Stufe 1 · Theater |
Kritischste Lücke
Schadensradius: Ein Fehler kann sich ungebremst ausbreiten — das größte Einzelrisiko im System. Die Behebung beginnt in Kapitel 2.
Ihre Einordnung nach dem EU AI Act
- Fristenlage: Digital Omnibus. Die Digital-Omnibus-Verordnung (EU) 2026/1744 ist am 27.07.2026 in Kraft getreten und verschiebt die Hochrisiko-Pflichten der KI-Verordnung: auf den 02.12.2027 für Anhang-III-Systeme und den 02.08.2028 für Anhang-I-Systeme. Verschoben ist allein der Stichtag — was Art. 14 an wirksamer menschlicher Aufsicht verlangt, steht Wort für Wort unverändert im Gesetz. Unberührt bleiben die Verbote (Art. 5) und die KI-Kompetenz (Art. 4), beide seit 02.02.2025, sowie die Transparenzpflichten nach Art. 50 seit 02.08.2026.Art. 113 Abs. 3 · Verordnung (EU) 2026/1744
- Größeneinordnung: mittleres Unternehmen. Nach Mitarbeiterzahl sind Sie voraussichtlich KMU im Sinne der EU-Definition. Ihnen stehen vereinfachte technische Dokumentation, bevorzugter Zugang zu Reallaboren und ein milderer Bußgeldmaßstab offen.Art. 11 Abs. 1 · Art. 62 · Art. 99 Abs. 6 · Empfehlung 2003/361/EG
- Ihr Bußgeldrahmen. Bei Verstößen gegen Kernpflichten drohen bis zu 15 Mio. € oder 3 % des weltweiten Jahresumsatzes — bei Ihrem Umsatzband ein Rahmen im sechs- bis siebenstelligen Bereich.Art. 99 Abs. 4–6a, Verordnung (EU) 2024/1689
- Ihre Rolle: Betreiber. Für Sie gelten die Betreiberpflichten: Einsatz nach Herstellervorgaben, kompetente menschliche Aufsicht, Überwachung im Betrieb und Aufbewahrung der Protokolle. Beim Einsatz gegenüber Beschäftigten sind diese vorab zu informieren.Art. 26, insb. Abs. 1–7
- Risikoklasse Ihrer Einsatzfelder. Ihre angegebenen Einsatzfelder deuten nicht auf Hochrisiko-Systeme nach Anhang III hin. Die geprüften Kontrollprinzipien bleiben dennoch Ihr Haftungs- und Sorgfaltsmaßstab. Und anders als die verschobenen Hochrisiko-Pflichten gelten die Transparenzpflichten nach Art. 50 bereits seit dem 02.08.2026 — etwa bei Chatbots und generierten Inhalten; für Systeme, die schon vorher auf dem Markt waren, greift die Kennzeichnung ab dem 02.12.2026.Art. 6 · Art. 50 · Art. 111 Abs. 4
- KI-Kompetenz: im Kern erfüllt. Punktuelle Schulungen können Art. 4 in der Fassung des Digital Omnibus bereits genügen — verlangt sind angemessene Maßnahmen, kein garantiertes Kompetenzniveau. Belastbar wird das erst mit Dokumentation: wer wann wozu geschult wurde. Im Streitfall zählt der Nachweis, nicht die Absicht.Art. 4
Kapitel 1 von 4
Autoritätskette
Wer entscheidet wirklich?
Befund
Ansätze vorhanden, aber nicht durchgängig durchsetzbar — hier lohnt sich Nachschärfen.
- Wird jede Aktion eines KI-Systems einer konkreten Person zugeordnet, bevor sie ausgeführt wird?Ihre Antwort: „Ja, protokolliert vor Ausführung“
- Hat die zuständige Person tatsächlich die Befugnis, die Entscheidung zu verändern oder zu stoppen?Ihre Antwort: „Theoretisch ja, praktisch selten genutzt“
- Verfügt diese Person über genug Fachwissen und Zeit, die Entscheidung wirklich zu prüfen?Ihre Antwort: „Teilweise, oft unter Zeitdruck“
- Gibt es eine namentliche, manipulationssichere Aufzeichnung, wer wann welche Entscheidung autorisiert hat?Ihre Antwort: „Nein“
Risiko
Die Kette steht auf dem Papier, reißt aber unter Last: Nachträgliche Dokumentation und selten genutzte Eingriffsrechte halten einer Prüfung nur bedingt stand. Das größte Risiko ist weniger der Bußgeldbescheid als der fehlende Nachweis im Haftungsfall.
Behebung — priorisierte Maßnahmen
1Autorisierungen protokollieren: Wer wann welche Entscheidung freigegeben hat, gehört in eine Aufzeichnung, die nachträglich nicht änderbar ist.
Projekt · Wochen▸ Externe Prüfung empfohlen: Security-Dienstleister
2Eingriffe regelmäßig tatsächlich ausüben und dokumentieren — eine Befugnis, die nie genutzt wird, hält im Ernstfall nicht.
Quick Win · unter 1 Woche▸ Selbst umsetzbar
3Zeitdruck aus der Prüfung nehmen: Prüfvolumen begrenzen und auf risikoreiche Fälle konzentrieren, statt alles oberflächlich zu sichten.
Quick Win · unter 1 Woche▸ Selbst umsetzbar
Rechtsgrundlage mit Quellenangabe
- EU AI Act, Art. 14 Abs. 4 lit. a–e — wirksame menschliche AufsichtFundstelle: Verordnung (EU) 2024/1689 (EU AI Act) · https://eur-lex.europa.eu/eli/reg/2024/1689/oj/deu
- EU AI Act, Art. 12 Abs. 1–2 — automatische Aufzeichnung von EreignissenFundstelle: Verordnung (EU) 2024/1689 (EU AI Act) · https://eur-lex.europa.eu/eli/reg/2024/1689/oj/deu
- EU AI Act, Art. 26 Abs. 1–2 — Betreiberpflichten, kompetente AufsichtFundstelle: Verordnung (EU) 2024/1689 (EU AI Act) · https://eur-lex.europa.eu/eli/reg/2024/1689/oj/deu
Kapitel 2 von 4
Schadensradius
Wie weit trägt ein Fehler?
Befund
Ein Fehler kann sich ungebremst ausbreiten — das größte Einzelrisiko im System.
- Kann eine fehlerhafte KI-Aktion auf andere Systeme oder Daten übergreifen?Ihre Antwort: „Begrenzt, aber nicht vollständig isoliert“
- Gibt es klare Obergrenzen (Budget, Umfang, Berechtigungen) für das, was ein KI-Agent tun darf?Ihre Antwort: „Nein“
- Existiert ein funktionierender Not-Aus-Mechanismus, der sofort wirkt?Ihre Antwort: „Vorhanden, aber ungetestet“
- Wurde je ein Ernstfall realistisch simuliert (Table-Top-Test)?Ihre Antwort: „Nie“
Risiko
Ein einzelner Fehler kann sich ungebremst ausbreiten: fehlgeleitete Bestellungen, veränderte oder gelöschte Daten, in Mitleidenschaft gezogene Nachbarsysteme. Das ist ein Betriebsunterbrechungsrisiko, kein IT-Detail — und im Schadensfall die teuerste Lücke dieses Reports.
Behebung — priorisierte Maßnahmen
1Obergrenzen definieren und technisch erzwingen (Budget, Umfang, Berechtigungen): Berechtigungen des Agenten auf Leserechte reduzieren, Schreibrechte nur über Freigabe.
Projekt · Wochen▸ Externe Prüfung empfohlen: Security-Dienstleister
2Einen Ernstfall als Planübung durchspielen (Table-Top): ein fehlgeleiteter Agent, zwei Stunden, alle Beteiligten an einem Tisch.
Quick Win · unter 1 Woche▸ Selbst umsetzbar
3Verbleibende Übergriffspfade inventarisieren und schließen — beginnend bei Schreibzugriffen auf produktive Daten.
Projekt · Wochen▸ Externe Prüfung empfohlen: Security-Dienstleister
4Vorhandenen Not-Aus unter realen Bedingungen testen und den Test fest terminieren — wie eine Brandschutzübung.
Quick Win · unter 1 Woche▸ Selbst umsetzbar
Rechtsgrundlage mit Quellenangabe
- EU AI Act, Art. 15 Abs. 1 und 4 — Robustheit, Ausfallsicherheit, Schutz vor MissbrauchFundstelle: Verordnung (EU) 2024/1689 (EU AI Act) · https://eur-lex.europa.eu/eli/reg/2024/1689/oj/deu
- EU AI Act, Art. 9 Abs. 2 — Risikomanagement über den gesamten LebenszyklusFundstelle: Verordnung (EU) 2024/1689 (EU AI Act) · https://eur-lex.europa.eu/eli/reg/2024/1689/oj/deu
- DSGVO, Art. 32 — Sicherheit der Verarbeitung (soweit personenbezogene Daten berührt sind)Fundstelle: Verordnung (EU) 2016/679 (DSGVO) · https://eur-lex.europa.eu/eli/reg/2016/679/oj/deu
Kapitel 3 von 4
Reversibilität
Lässt sich der Schaden rückgängig machen?
Befund
Aktionen sind vor Wirkung stoppbar oder danach korrigierbar — echte Sicherheitsmarge.
- Kann eine Aktion gestoppt werden, bevor sie Wirkung entfaltet (z. B. Freigabe vor Ausführung)?Ihre Antwort: „Ja, standardmäßig“
- Können bereits ausgeführte Aktionen rückgängig gemacht oder korrigiert werden?Ihre Antwort: „Nur mit hohem manuellem Aufwand“
- Wird im System zwischen reversiblen und irreversiblen Aktionen unterschieden?Ihre Antwort: „Ja, explizit klassifiziert“
Risiko
Sie verfügen über eine echte Sicherheitsmarge. Das verbleibende Risiko: neue Aktionstypen, die unklassifiziert in den Betrieb gelangen.
Behebung — priorisierte Maßnahmen
1Korrekturwege vereinfachen und automatisieren, bis eine Rücknahme im Ernstfall Minuten statt Tage kostet.
Projekt · Wochen▸ Selbst umsetzbar
Rechtsgrundlage mit Quellenangabe
- EU AI Act, Art. 14 Abs. 4 lit. d–e — Eingreifen und Anhalten des SystemsFundstelle: Verordnung (EU) 2024/1689 (EU AI Act) · https://eur-lex.europa.eu/eli/reg/2024/1689/oj/deu
- EU AI Act, Art. 9 Abs. 5 — Risikominderung auf ein vertretbares MaßFundstelle: Verordnung (EU) 2024/1689 (EU AI Act) · https://eur-lex.europa.eu/eli/reg/2024/1689/oj/deu
Kapitel 4 von 4
Eskalationslogik
Wann wird der Mensch wirklich eingebunden?
Befund
Es gibt keine verlässliche Schwelle, ab der ein Mensch eingebunden wird.
- Gibt es klar definierte Schwellenwerte, ab denen ein Mensch zwingend einbezogen wird?Ihre Antwort: „Nur als Empfehlung“
- Wurde diese Eskalationsschwelle je unter realen Bedingungen ausgelöst und beobachtet?Ihre Antwort: „Nie“
- Bei mehreren KI-Agenten im Zusammenspiel: ist geregelt, wer wem Rechenschaft schuldet?Ihre Antwort: „Unklar, wird im Einzelfall entschieden“
Risiko
Ohne verlässliche Schwelle erfahren Sie von Problemen erst, wenn sie Kunden treffen — nicht vorher. Art. 26 verlangt vom Betreiber die Überwachung im Betrieb; eine Eskalation, die nur informell existiert, erfüllt das nicht.
Behebung — priorisierte Maßnahmen
1Die Eskalation einmal kontrolliert auslösen und beobachten: Kommt der Fall beim richtigen Menschen an — mit genug Kontext, um zu entscheiden?
Quick Win · unter 1 Woche▸ Selbst umsetzbar
2Empfohlene Schwellen in erzwungene Übergaben überführen — eine Empfehlung, die ein Agent ignorieren kann, ist keine Schwelle.
Projekt · Wochen▸ Selbst umsetzbar
3Einzelfallentscheidungen durch eine dokumentierte Zuständigkeitsmatrix ersetzen.
Quick Win · unter 1 Woche▸ Selbst umsetzbar
Rechtsgrundlage mit Quellenangabe
- EU AI Act, Art. 14 Abs. 4 lit. e — Entscheidung, das System nicht zu verwenden oder zu stoppenFundstelle: Verordnung (EU) 2024/1689 (EU AI Act) · https://eur-lex.europa.eu/eli/reg/2024/1689/oj/deu
- EU AI Act, Art. 26 Abs. 5 — Überwachung im Betrieb, Melde- und AussetzungspflichtenFundstelle: Verordnung (EU) 2024/1689 (EU AI Act) · https://eur-lex.europa.eu/eli/reg/2024/1689/oj/deu
Einordnung
Reifegradmodell: Theater → Erprobt
Vier Stufen, die Kontrolle messbar machen
- 1
Theater
Kontrolle existiert als Behauptung. Im Ernstfall hält weder Zuordnung noch Grenze — der Mensch in der Schleife ist Staffage.
- 2
Dokumentiert
Regeln und Zuständigkeiten stehen auf dem Papier. Ob sie halten, entscheidet der Einzelfall — nicht das System.
- 3
Erzwungen
Grenzen und Freigaben sind technisch durchgesetzt. Das System kann die Regel nicht umgehen, auch wenn es wollte.
- 4
Erprobt
Die Kontrolle wurde unter realen Bedingungen ausgelöst und hat funktioniert. Das ist belastbare menschliche Aufsicht — und nachweisbar.
| Dimension | 1 · Theater | 2 · Dokumentiert | 3 · Erzwungen | 4 · Erprobt |
|---|---|---|---|---|
| Autoritätskette | Ist | |||
| Schadensradius | Ist | |||
| Reversibilität | Ist | |||
| Eskalationslogik | Ist |
Ziel ist nicht überall Stufe 4 — Ziel ist, dass keine Dimension auf Stufe 1 steht und irreversible Aktionen mindestens Stufe 3 erreichen: erzwungen, nicht nur dokumentiert.
Anhang A
Antwortübersicht
Alle Prüfpunkte, Bewertung und Ihre Kommentare
Grundlage dieses Berichts: Ihre Angaben zu den 14 Prüfpunkten. Die Bewertung ist normiert — erfüllt, teilweise erfüllt, nicht erfüllt — und leitet sich fest aus der gewählten Antwort ab.
| Prüfpunkt | Bewertung | Kommentar |
|---|---|---|
| 1. Autoritätskette — Ampel Gelb · Reifegrad 2/4 | ||
| Wird jede Aktion eines KI-Systems einer konkreten Person zugeordnet, bevor sie ausgeführt wird?Antwort: Ja, protokolliert vor Ausführung | erfüllt | Freigaben laufen über das Ticketsystem, der Auslöser steht aber erst im Nachgang im Protokoll. |
| Hat die zuständige Person tatsächlich die Befugnis, die Entscheidung zu verändern oder zu stoppen?Antwort: Theoretisch ja, praktisch selten genutzt | teilweise erfüllt | — |
| Verfügt diese Person über genug Fachwissen und Zeit, die Entscheidung wirklich zu prüfen?Antwort: Teilweise, oft unter Zeitdruck | teilweise erfüllt | — |
| Gibt es eine namentliche, manipulationssichere Aufzeichnung, wer wann welche Entscheidung autorisiert hat?Antwort: Nein | nicht erfüllt | Protokolle liegen in der Anwendung selbst und sind durch Administratoren änderbar. |
| 2. Schadensradius — Ampel Rot · Reifegrad 1/4 | ||
| Kann eine fehlerhafte KI-Aktion auf andere Systeme oder Daten übergreifen?Antwort: Begrenzt, aber nicht vollständig isoliert | teilweise erfüllt | — |
| Gibt es klare Obergrenzen (Budget, Umfang, Berechtigungen) für das, was ein KI-Agent tun darf?Antwort: Nein | nicht erfüllt | Budgetgrenzen stehen in der internen Richtlinie, sind im System aber nicht hinterlegt. |
| Existiert ein funktionierender Not-Aus-Mechanismus, der sofort wirkt?Antwort: Vorhanden, aber ungetestet | teilweise erfüllt | — |
| Wurde je ein Ernstfall realistisch simuliert (Table-Top-Test)?Antwort: Nie | nicht erfüllt | Ein Störfall wurde bisher nicht durchgespielt; für Q4 ist eine erste Übung geplant. |
| 3. Reversibilität — Ampel Grün · Reifegrad 3/4 | ||
| Kann eine Aktion gestoppt werden, bevor sie Wirkung entfaltet (z. B. Freigabe vor Ausführung)?Antwort: Ja, standardmäßig | erfüllt | — |
| Können bereits ausgeführte Aktionen rückgängig gemacht oder korrigiert werden?Antwort: Nur mit hohem manuellem Aufwand | teilweise erfüllt | — |
| Wird im System zwischen reversiblen und irreversiblen Aktionen unterschieden?Antwort: Ja, explizit klassifiziert | erfüllt | — |
| 4. Eskalationslogik — Ampel Rot · Reifegrad 1/4 | ||
| Gibt es klar definierte Schwellenwerte, ab denen ein Mensch zwingend einbezogen wird?Antwort: Nur als Empfehlung | teilweise erfüllt | — |
| Wurde diese Eskalationsschwelle je unter realen Bedingungen ausgelöst und beobachtet?Antwort: Nie | nicht erfüllt | Die Schwelle wurde bisher nur im Abnahmetest ausgelöst, nicht im laufenden Betrieb. |
| Bei mehreren KI-Agenten im Zusammenspiel: ist geregelt, wer wem Rechenschaft schuldet?Antwort: Unklar, wird im Einzelfall entschieden | teilweise erfüllt | — |
Anhang B
Quellenverzeichnis
Verordnung (EU) 2024/1689 (EU AI Act)
https://eur-lex.europa.eu/eli/reg/2024/1689/oj/deu
- — Art. 4 — KI-Kompetenz
- — Art. 9 — Risikomanagementsystem
- — Art. 12 — Aufzeichnungspflichten
- — Art. 14 — Menschliche Aufsicht
- — Art. 15 — Genauigkeit, Robustheit und Cybersicherheit
- — Art. 16 — Pflichten der Anbieter von Hochrisiko-KI-Systemen
- — Art. 25 — Verantwortlichkeiten entlang der KI-Wertschöpfungskette
- — Art. 26 — Pflichten der Betreiber von Hochrisiko-KI-Systemen
- — Art. 99 — Sanktionen
- — Art. 113 — Inkrafttreten und Geltungsbeginn
- — Anhang III — Hochrisiko-KI-Systeme
Zitiert in der geltenden Fassung, also einschließlich der Änderungen durch die Digital-Omnibus-Verordnung (EU) 2026/1744.
Verordnung (EU) 2026/1744 (Digital Omnibus zur KI)
https://eur-lex.europa.eu/eli/reg/2026/1744/oj/deu
- — Art. 113 Abs. 3 Buchst. c — Hochrisiko-Pflichten ab 02.12.2027 (Anhang III) bzw. 02.08.2028 (Anhang I)
- — Art. 4 — KI-Kompetenz als Maßnahmenpflicht, kein garantiertes Kompetenzniveau
- — Art. 99 Abs. 6a — milderer Bußgeldmaßstab auch für kleine Midcap-Unternehmen
- — Art. 111 Abs. 4 — Kennzeichnung nach Art. 50 Abs. 2 für Bestandssysteme ab 02.12.2026
Ändert die KI-Verordnung, ersetzt sie nicht: Die Pflichten selbst bleiben im Wortlaut bestehen, verschoben sind die Stichtage.
Verordnung (EU) 2016/679 (DSGVO)
https://eur-lex.europa.eu/eli/reg/2016/679/oj/deu
- — Art. 5 — Grundsätze der Verarbeitung
- — Art. 32 — Sicherheit der Verarbeitung
Berührt, soweit KI-Systeme personenbezogene Daten verarbeiten.
Empfehlung 2003/361/EG (KMU-Definition)
https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX:32003H0361
- — Anhang, Art. 2 — Schwellenwerte für KMU
Grundlage der Größeneinordnung; hier vorläufig ohne Bilanzsumme angewendet.
ISO/IEC 42001:2023 — AI Management System
https://www.iso.org/standard/81230.html
- — Verweis als einschlägiger Managementsystem-Standard
Kein Rechtsakt, sondern freiwilliger Standard — als Zielbild für strukturelle Maßnahmen geeignet.
Methodik
Klarsicht ist eine strukturierte Selbstauskunft: 14 Prüffragen in vier Dimensionen, deterministisch bewertet (grün = 2, gelb = 1, rot = 0 Punkte; Ampel je Dimension aus dem Durchschnitt, Reifegrad aus definierten Markerfragen). Alle Texte dieses Reports sind redaktionell gepflegte Bausteine, zusammengesetzt aus Ihren Antworten — nichts ist maschinell generiert. Fragenkatalog Version 1.2.0; Änderungen sind im öffentlichen Changelog datiert. Die rechtliche Einordnung folgt Verordnung (EU) 2024/1689 in der Fassung der Digital-Omnibus-Verordnung (EU) 2026/1744, eingepflegt am 01.08.2026.
Haftungshinweis
Dieser Bericht beruht auf Ihren eigenen Angaben und ersetzt keine Rechtsberatung. Einordnungen zum EU AI Act erfolgen nach bestem redaktionellem Wissen, ohne Gewähr.
made by RB Design · Klarsicht22.08.2026 · Katalog v1.2.0