Microsoft publie des outils open-source pour la sécurité des agents IA

SECURISATION DES AGENTS INTELLIGENTS : LES NOUVELLES SOLUTIONS DE MICROSOFT

Microsoft a récemment publié deux outils open-source visant à améliorer la sécurité des agents IA. Ces outils, appelés Rampart et Clarity, sont conçus pour intégrer des vérifications de sécurité plus tôt dans le cycle de développement des agents. Cette initiative s'inscrit dans le cadre de l'effort de Microsoft pour rendre la sécurité des agents IA une discipline d'ingénierie continue, plutôt que périodique.

Présentation des outils
Les deux outils, Rampart et Clarity, sont désormais disponibles en tant que projets open-source sur GitHub. Rampart est positionné comme un outil opérationnel, conçu pour aider les développeurs à transformer les résultats des tests de sécurité en tests répétables qui peuvent s'exécuter en continu pendant les processus de développement et de déploiement. Clarity, quant à lui, se concentre sur l'examen et la validation des hypothèses sous-jacentes à la conception des agents IA.

Fonctionnalités de Rampart
Rampart est construit sur le framework PyRIT de Microsoft, qui est un framework d'automatisation open-source pour les tests de sécurité des systèmes d'IA génératifs. Rampart permet aux équipes d'exécuter des scénarios de test adverses et bénins contre les agents IA de manière structurée et automatisée. L'objectif est de passer des revues de sécurité ponctuelles à des vérifications continues intégrées directement dans les flux de travail de CI/CD. Rampart peut également aider les organisations à convertir les résultats des tests de sécurité en tests répétables automatisés, permettant ainsi aux ingénieurs de vérifier en continu les régressions des agents.

Fonctionnalités de Clarity
Clarity est conçu pour examiner et valider les hypothèses sous-jacentes à la conception des agents IA. Il s'exécute comme une application de bureau, une interface web ou peut être intégré directement dans un agent de codage. Clarity guide les ingénieurs à travers des conversations structurées qui couvrent la clarification des problèmes, l'exploration des solutions, l'analyse des défaillances et le suivi des décisions. Ces conversations sont enregistrées sous forme de fichiers markdown dans le répertoire ".clarity-protocol/" du référentiel, ce qui permet de les commettre, de les examiner dans les demandes de tirage et de les différencier comme du code source.

Conclusion et perspectives
La publication de Rampart et Clarity s'inscrit dans le cadre de l'effort de Microsoft pour rendre la sécurité des agents IA une discipline d'ingénierie continue. Ces outils sont conçus pour aider les développeurs à intégrer des vérifications de sécurité plus tôt dans le cycle de développement des agents, ce qui peut contribuer à réduire les risques associés aux agents IA. Pour en savoir plus sur les outils de sécurité pour les agents IA, vous pouvez consulter les billets de blog de sécurité de Microsoft ou visiter le référentiel GitHub de Microsoft. De plus, vous pouvez explorer les ressources de sécurité d'InfoWorld pour rester à jour sur les dernières tendances et les meilleures pratiques en matière de sécurité des agents IA.

---

Source : The sovereign cloud illusion | InfoWorld - Microsoft releases open-source tools to operationalize AI agent safety​