Startseite / Vorstandsfragen
BOARD BRIEFING REPORTEuropäisches Banking & FinanzmärkteManagement-Board-Frage · Zur Diskussion

Wo darf KI ohne menschliche Freigabe handeln?

ThemaAgentic AI & Entscheidungsrechte
ZielgruppeVorstand · Aufsichtsrat · Executive Committee
Lesezeit7 Minuten
ZielstatusGRÜN — wenn KI-Handlungsgrenzen definiert, belegt und widerrufbar sind

Auf einen Blick

Es geht nicht mehr nur um den Modell-Output.

Es geht um die Handlungsgrenze.

Board AskWo darf KI handeln?

Zur AntwortkalibrierungPDF herunterladen2.1 MB

Situation

KI bewegt sich von Empfehlung zu Handlung.

Es geht nicht mehr nur um den Modell-Output.

Es geht um die Handlungsgrenze.

Ein KI-gestützter Workflow erstellt nicht mehr nur Texte, Zusammenfassungen oder Empfehlungen. Er kann einen Prozessschritt auslösen, einen Datensatz aktualisieren, einen Alert eskalieren, eine Kundenkommunikation entwerfen, einen Fall priorisieren, eine Kontrollreaktion empfehlen oder eine Handlung zur Ausführung vorbereiten.

Management Summary

Agentic AI verändert die Governance-Frage. Klassische KI-Governance fragt, ob ein Modell akkurat, erklärbar, überwacht und kontrolliert ist. Agentic AI ergänzt eine weitere Frage: Was darf die KI tun?

Fähigkeit ist keine Erlaubnis. Ein Modell kann technisch in der Lage sein, autonom zu handeln. Das entscheidet aber nicht, wo es handeln darf. Erlaubnis muss sich nach Materialität, Reversibilität, Kundenauswirkung, rechtlicher Wirkung und Risikoappetit richten.

Human Oversight muss gestaltet werden. Eine starke Antwort lautet nicht: „Ein Mensch ist im Prozess." Eine starke Antwort zeigt, wo KI vorschlägt, wo KI nur nach Freigabe ausführt, wo begrenzte Autonomie erlaubt ist und wo autonome Handlung nicht zulässig ist.

Management-Report-Panel

Situation in One Sentence
Es geht um die Handlungsgrenze.
Key Issue
Klassische KI-Governance fragt, ob ein Modell akkurat, erklärbar, überwacht und kontrolliert ist. Agentic AI ergänzt eine weitere Frage: Was darf die KI tun?
Primary Risk
Ein Modell kann technisch in der Lage sein, autonom zu handeln. Das entscheidet aber nicht, wo es handeln darf. Erlaubnis muss sich nach Materialität, Reversibilität, Kundenauswirkung, rechtlicher Wirkung und Risikoappetit richten.
Board Ask
Wo darf KI handeln?
Target RAG
GRÜN ist eine belegte Kontrollgrenze.

Kalibrierung der Antwortqualität

GRÜN Entscheidungsfähig
GELB Teilweise belegt
ROT Nicht entscheidungsfähig
InventoryEin aktuelles KI-Handlungsinventar existiert.
InventoryKI-Use-Cases sind inventarisiert, aber Handlungsrechte sind nicht vollständig gemappt.
Inventory“It only recommends.”
Autonomy LevelJeder KI-gestützte Workflow hat ein definiertes Autonomieniveau.
Autonomy LevelHuman Review existiert, ist aber uneinheitlich belegt.
Autonomy Level“A human is somewhere in the loop.”
ApprovalMenschliche Freigabepunkte sind nach Rolle und Autorität gemappt.
ApprovalTechnische Berechtigungen existieren, sind aber nicht mit Business-Entscheidungsrechten verbunden.
Approval“The workflow is internal.”
PermissionsTool-Zugriff, API-Zugriff und Workflow-Berechtigungen sind kontrolliert.
PermissionsException Logs existieren, werden aber nicht auf Governance-Ebene überprüft.
Permissions“The user can override it.”
LoggingHandlungen werden mit Akteur, Autorisierung, Zeitstempel und Ergebnis geloggt.
LoggingBusiness Ownership existiert, aber nicht für Autonomiegrenzen.
Logging“The model has no final decision right.”
ExceptionsException-, Override- und Stop-Mechanismen werden überwacht.
ExceptionsStop-Mechanismen existieren im Design, wurden aber nicht getestet.
Exceptions“The vendor controls the permissions.”
Board ReportingBoard Reporting unterscheidet assistive, advisory und action-triggering AI.
Board Reporting—
Board Reporting“We will define human approval during rollout.”
Ownership—
Ownership—
Ownership“This is only a productivity tool.”

GRÜN ist kein Human-in-the-Loop-Label. GRÜN ist eine belegte Kontrollgrenze.

Die Autonomie-Leiter

KI-Autonomie ist kein binärer Schalter. Sie muss nach Materialität und Reversibilität kalibriert werden.

01
SUGGEST
KI schlägt vor. Ein Mensch entscheidet und handelt. Standard für materielle, irreversible oder rechtlich sensible Handlungen.
02
EXECUTE WITH APPROVAL
KI bereitet eine Handlung vor oder führt sie nur nach ausdrücklicher menschlicher Freigabe aus. Geeignet, wenn Automatisierung Effizienz schafft, die Entscheidung aber menschlich bleibt.
03
BOUNDED AUTONOMY
KI handelt eigenständig innerhalb eines engen, vordefinierten Handlungsspielraums. Geeignet für reversible, hochvolumige und eng überwachte Aktivitäten.
04
MONITORED AUTONOMY
KI handelt autonom, während Monitoring Exceptions, Anomalien und Grenzverletzungen erkennt. Nur geeignet für risikoarme, reversible und vollständig geloggte Kontexte mit getesteten Stop-Mechanismen.

Das Autonomieniveau folgt der Materialität und Reversibilität der Handlung. Es folgt nicht der Fähigkeit des Modells.

Wer antworten sollte

CIO / CTOBusiness OwnerCRO / Operational RiskCompliance / Legal / DPOCISO / Technology RiskCOOInternal Audit

Accountability-Hinweis:
Technology kann Autonomie ermöglichen.
Das Business verantwortet die Handlungswirkung.
Das Board muss die Grenze sehen.

Nachweise, die der Vorstand anfordern sollte

  1. 01AI Action Inventory
  2. 02Autonomy Level Classification
  3. 03Action Boundary Map
  4. 04Human Approval Matrix
  5. 05Tool / API Permission Register
  6. 06Decision Rights Map
  7. 07Exception and Override Log
  8. 08Client / Conduct Impact View
  9. 09Testing and Simulation Evidence
  10. 10Stop / Rollback Protocol

Warnsignale

  • “It only recommends.”
  • “A human is in the loop.”
  • “The workflow is internal.”
  • “The user can override it.”
  • “The model has no final decision right.”
  • “The vendor controls the permissions.”
  • “We will define human approval during rollout.”
  • “This is only a productivity tool.”

Keine dieser Aussagen ist notwendigerweise falsch. Sie sind nur keine ausreichende Evidenz für Board-Level Reliance.

Weg zu Grün

  • Handlungsrechte sichtbar
  • Autonomie klassifiziert
  • Menschliche Freigabe meaningful
  • Berechtigungen kontrolliert
  • Handlungen rekonstruierbar
  • Stop-Mechanismus getestet

GRÜN ist kein Human-in-the-Loop-Label.
GRÜN ist eine belegte Kontrollgrenze.

Empfohlene nächste Frage

Welcher KI-gestützte Workflow würde morgen das größte Accountability-Problem erzeugen, wenn er ohne ausdrückliche menschliche Freigabe handelt — und können wir die Grenze belegen, die das verhindert?

Ausgewählte Quellenbasis

  • EU AI Act, insbesondere Artikel 12, 14, 15, 19, 26 und Annex III.
  • GDPR, insbesondere Artikel 22 zu automatisierten Entscheidungen.
  • DORA, insbesondere ICT Governance, Logging, Detection und Continuity Requirements.
  • ESMA, Public Statement on AI and Investment Services, Mai 2024.
  • IOSCO, Supervisory Toolkit for AI Use in Capital Markets, 2026.
  • NIST AI Risk Management Framework and Generative AI Profile.

Verwandte Insights

← Alle Vorstandsfragen

Reza Monshizadeh
Reza Monshizadeh
Senior Technology Executive · Frankfurt

Zwei Jahrzehnte Transformation, Governance und Technologiestrategie in der EZB-beaufsichtigten europäischen Finanzwelt. Head of Governance & Strategy Europe bei der J.P. Morgan SE, zuvor Führungsrollen bei UBS Europe SE, Merz Pharma und Finanz Informatik.

Erfahrung ansehen →LinkedIn →Kontakt aufnehmen →