Formalisation des contraintes pour l’évaluation et l’atténuation du risque agentique
Concevoir un modèle de gouvernance décentralisé pour atténuer les risques inhérents à l’IA agentique et encourager le déploiement d’une IA responsable au sein de l’industrie.
Alors que les agents d’IA sont de plus en plus présents dans les organisations de manière semi-autonome, leur utilisation suscite des inquiétudes quant aux risques qu’ils comportent. La titulaire de chaire en IA Canada-CIFAR Sheila McIlraith mettra au point des outils concrets en vue de trouver une solution technique en matière de sécurité. Pour ce faire, elle combinera des approches telles que l’évaluation contextualisée, la modélisation des récompenses et l’alignement. Ce projet se concentre sur le recours à des spécifications de comportement souhaitées, qui sont encodées dans des représentations, afin de dégager des règles interprétables par les humains – comme la conception d’un système capable d’extraire un ensemble de règles formelles. Au final, en mettant au point un modèle de gouvernance distribuée pour atténuer les risques liés à l’IA agentique, ce projet veut favoriser un déploiement responsable de l’IA au sein de l’industrie.
