Microsoft open source son framework d'évaluation d'IA pour les agents d'entreprise

MICROSOFT LANCE UN OUTIL OPEN SOURCE POUR ÉVALUER LES AGENTS D'IA
Microsoft a récemment rendu public un framework d'évaluation d'intelligence artificielle (IA) appelé ASSERT, qui permet de convertir les exigences en langage naturel en tests exécutables. Cet outil vise à aider les entreprises à valider le comportement de leurs agents d'IA avant de les déployer en production. Le framework génère des scénarios d'évaluation, des jeux de données, des métriques et des tableaux de bord à partir de spécifications écrites, de documents de gouvernance et d'exigences de produits.

Principe de fonctionnement
ASSERT utilise des modèles de langage pour évaluer les agents d'IA, avec un taux d'accord avec les évaluateurs humains de 80 à 90 %. Cela permet d'automatiser une grande partie des tests d'IA, mais il est important de noter que cet outil ne doit pas être utilisé comme mécanisme de gouvernance unique.

Avantages et limites
L'utilisation d'un framework d'évaluation d'IA comme ASSERT peut aider les entreprises à améliorer la qualité et la fiabilité de leurs agents d'IA. Cependant, il est important de noter que même avec un taux d'accord élevé avec les évaluateurs humains, il est nécessaire de maintenir une supervision humaine pour garantir que les agents d'IA fonctionnent de manière appropriée.

Perspectives et implications
La sortie d'ASSERT intervient à un moment où les entreprises sont de plus en plus nombreuses à déployer des agents d'IA, mais où les pratiques de validation et de vérification de ces agents restent souvent immatures. Les entreprises doivent adopter une approche de gouvernance plus robuste, en utilisant des outils comme ASSERT pour évaluer les agents d'IA, mais en conservant également une supervision humaine pour les scénarios à haut risque ou ambigus. Vous pouvez en apprendre plus sur les dernières avancées en intelligence artificielle et sur les meilleures pratiques de gouvernance IT.

---

Source : Microsoft open sources AI evaluation framework for enterprise agents | InfoWorld​