L'équipe rouge dédiée à l'IA de Google Forms pour sécuriser l'IA

Aug 02, 2023

Google a créé une équipe rouge spécialisée en IA pour relever les défis de sécurité uniques posés par les systèmes d'apprentissage automatique (ML). L’équipe rouge de l’IA se concentre sur l’analyse et l’exposition des vulnérabilités des technologies basées sur l’IA. Contrairement aux équipes rouges traditionnelles, l’équipe rouge IA nécessite une compréhension approfondie de la technologie d’apprentissage automatique. Il combine les compétences d’individus capables de pirater des systèmes et d’empoisonner des modèles. En associant ces compétences, l’équipe est en mesure de sécuriser efficacement les déploiements d’IA.

L’équipe rouge de l’IA suit de près les nouvelles recherches contradictoires dans le domaine et surveille où Google intègre l’IA dans ses produits. Ils donnent la priorité aux exercices qui simulent des attaques adverses avec des objectifs spécifiques en tête. Les résultats de ces exercices sont documentés et partagés avec les parties prenantes concernées, leur permettant d'aborder et de résoudre tous les problèmes découverts. L'équipe adopte une approche globale pour appliquer les leçons tirées de ces exercices afin d'améliorer la sécurité de tous les produits.

Pour cibler les déploiements d'IA, l'équipe rouge d'IA met en place des scénarios qui décrivent l'attaquant simulé, ses capacités et ses objectifs. Ils s’appuient sur les renseignements sur les menaces et leur compréhension de l’espace pour créer des scénarios d’attaque réalistes. À l’instar des équipes rouges de sécurité, atteindre les objectifs nécessite souvent plusieurs étapes.

La collaboration entre l’équipe rouge de l’IA et les experts en IA est cruciale pour créer des simulations contradictoires réalistes. L’équipe rouge d’IA peut travailler avec l’équipe rouge de sécurité pour obtenir un accès interne spécifique nécessaire à certains exercices. Par exemple, l’équipe rouge de sécurité peut compromettre un employé pour accéder aux systèmes internes, puis l’équipe rouge d’IA ciblera un modèle ML pour insérer une porte dérobée.

Répondre aux conclusions de l’équipe rouge peut être difficile, car certaines attaques peuvent ne pas avoir de solutions simples. Google donne la priorité à la sécurité et à la confidentialité de ses utilisateurs et ne lancera pas de nouvelle fonctionnalité si cela ne peut pas être fait en toute sécurité. L’équipe rouge de l’IA collabore étroitement avec les équipes de recherche internes pour développer de nouvelles approches permettant de résoudre les problèmes identifiés. Les mesures de sécurité classiques, telles que les restrictions d'accès et la validation des entrées/sorties, sont également efficaces pour réduire le risque. Les efforts de l’équipe rouge de l’IA contribuent à accroître la visibilité et les investissements dans la sécurité du ML.