BOARD BRIEFING REPORTBanking européen & marchés financiersManagement Board Question · For Discussion

Où l'IA est-elle autorisée à agir sans approbation humaine?

SujetAgentic AI & droits de décision
AudienceManagement Board · Supervisory Board · Executive Committee
Temps de lecture7 minutes
Statut cibleGREEN — lorsque les frontières d'action de l'IA sont définies, démontrées et réversibles

En un coup d'œil

La question n'est plus seulement l'output du modèle.

La question est la frontière d'action.

Board AskOù l'IA est-elle autorisée à agir?

Situation

L'IA passe de la recommandation à l'action.

La question n'est plus seulement l'output du modèle.

La question est la frontière d'action.

Un workflow soutenu par l'IA ne produit plus seulement des textes, des résumés ou des recommandations. Il peut déclencher une étape de workflow, mettre à jour un enregistrement, escalader une alerte, rédiger une communication client, prioriser un cas, recommander une réponse de contrôle ou préparer une action pour exécution.

Management Summary

L'agentic AI change la question de gouvernance. La gouvernance traditionnelle de l'IA demande si un modèle est exact, explicable, monitoré et contrôlé. L'agentic AI ajoute une autre question: que l'IA est-elle autorisée à faire?

La capacité n'est pas une permission. Un modèle peut être techniquement capable d'agir de façon autonome. Cela ne décide pas où il est autorisé à agir. La permission doit être déterminée par la matérialité, la réversibilité, l'impact client, l'effet juridique et l'appétit au risque.

Le Human Oversight doit être conçu. Une réponse forte n'est pas "there is a human in the loop". Une réponse forte montre où l'IA propose, où elle exécute uniquement après approbation, où une autonomie bornée est permise et où l'action autonome n'est pas autorisée.

Management Report Panel

Situation in One Sentence
La question est la frontière d'action.
Key Issue
La gouvernance traditionnelle de l'IA demande si un modèle est exact, explicable, monitoré et contrôlé. L'agentic AI ajoute une autre question: que l'IA est-elle autorisée à faire?
Primary Risk
Un modèle peut être techniquement capable d'agir de façon autonome. Cela ne décide pas où il est autorisé à agir. La permission doit être déterminée par la matérialité, la réversibilité, l'impact client, l'effet juridique et l'appétit au risque.
Board Ask
Où l'IA est-elle autorisée à agir?
Target RAG
GREEN is an evidenced control boundary.

Calibration de la qualité de réponse

GREEN Décisionnel
AMBER Partiellement démontré
RED Non décisionnel
InventoryUn inventaire actuel des actions IA existe.
InventoryLes AI use cases sont inventoriés, mais les droits d'action ne sont pas entièrement mappés.
Inventory“It only recommends.”
Autonomy LevelChaque workflow soutenu par l'IA a un niveau d'autonomie défini.
Autonomy LevelLa human review existe, mais elle est documentée de manière inconsistante.
Autonomy Level“A human is somewhere in the loop.”
ApprovalLes points d'approbation humaine sont mappés par rôle et autorité.
ApprovalLes permissions techniques existent, mais ne sont pas reliées aux decision rights business.
Approval“The workflow is internal.”
PermissionsLes accès aux tools, APIs et permissions de workflow sont contrôlés.
PermissionsLes exception logs existent, mais ne sont pas revus au niveau gouvernance.
Permissions“The user can override it.”
LoggingLes actions sont loggées avec acteur, autorisation, horodatage et résultat.
LoggingLe business ownership existe, mais pas pour les frontières d'autonomie.
Logging“The model has no final decision right.”
ExceptionsLes mécanismes d'exception, d'override et d'arrêt sont monitorés.
ExceptionsLes mécanismes d'arrêt existent en design, mais n'ont pas été testés.
Exceptions“The vendor controls the permissions.”
Board ReportingLe board reporting distingue l'IA assistive, advisory et action-triggering.
Board Reporting
Board Reporting“We will define human approval during rollout.”
Ownership
Ownership
Ownership“This is only a productivity tool.”

GREEN is not a human-in-the-loop label. GREEN is an evidenced control boundary.

L’échelle d’autonomie

L'autonomie IA n'est pas un interrupteur binaire. Elle doit être calibrée selon la matérialité et la réversibilité.

01
SUGGEST
L'IA propose. Un humain décide et agit. Par défaut pour les actions matérielles, irréversibles ou juridiquement sensibles.
02
EXECUTE WITH APPROVAL
L'IA prépare ou exécute une action uniquement après approbation humaine explicite. Approprié lorsque l'automatisation crée de l'efficacité, mais que la décision reste humaine.
03
BOUNDED AUTONOMY
L'IA agit indépendamment dans un espace d'action étroit et prédéfini. Approprié pour des activités réversibles, à volume élevé et fortement monitorées.
04
MONITORED AUTONOMY
L'IA agit de façon autonome tandis que le monitoring détecte exceptions, anomalies et breaches de frontière. Uniquement approprié pour des contextes low-risk, réversibles et entièrement loggés avec mécanismes d'arrêt testés.

Le niveau d'autonomie suit la matérialité et la réversibilité de l'action. Il ne suit pas la capacité du modèle.

Qui doit répondre

CIO / CTOBusiness OwnerCRO / Operational RiskCompliance / Legal / DPOCISO / Technology RiskCOOInternal Audit

Note de responsabilité:
Technology peut permettre l'autonomie.
Le Business détient l'impact de l'action.
Le Board doit voir la frontière.

Preuves que le conseil devrait demander

  1. 01AI Action Inventory
  2. 02Autonomy Level Classification
  3. 03Action Boundary Map
  4. 04Human Approval Matrix
  5. 05Tool / API Permission Register
  6. 06Decision Rights Map
  7. 07Exception and Override Log
  8. 08Client / Conduct Impact View
  9. 09Testing and Simulation Evidence
  10. 10Stop / Rollback Protocol

Signaux d'alerte

  • “It only recommends.”
  • “A human is in the loop.”
  • “The workflow is internal.”
  • “The user can override it.”
  • “The model has no final decision right.”
  • “The vendor controls the permissions.”
  • “We will define human approval during rollout.”
  • “This is only a productivity tool.”

Aucune de ces déclarations n'est nécessairement fausse. Elles ne constituent simplement pas une evidence suffisante pour une board-level reliance.

Chemin vers le vert

  • Droits d'action visibles
  • Autonomie classifiée
  • Approbation humaine meaningful
  • Permissions contrôlées
  • Actions reconstructibles
  • Mécanisme d'arrêt testé

GREEN is not a human-in-the-loop label.
GREEN is an evidenced control boundary.

Prochaine question suggérée

Quel workflow soutenu par l'IA créerait demain le plus grand problème d'accountability s'il agissait sans approbation humaine explicite — et pouvons-nous démontrer la frontière qui l'empêche?

Base de sources sélectionnée

  • EU AI Act, notamment Articles 12, 14, 15, 19, 26 et Annex III.
  • GDPR, notamment Article 22 sur les décisions automatisées.
  • DORA, notamment exigences d'ICT governance, logging, detection et continuity.
  • ESMA, Public Statement on AI and Investment Services, mai 2024.
  • IOSCO, Supervisory Toolkit for AI Use in Capital Markets, 2026.
  • NIST AI Risk Management Framework and Generative AI Profile.

← Tous les briefings