Des chercheurs ont découvert environ 100 modèles d’apprentissage automatique potentiellement malveillants hébergés par la plateforme Hugging Face, mettant en évidence le besoin impératif de renforcer les mesures de sécurité pour faire face à ce risque grandissant.
La découverte de modèles malveillants par JFrog Security Research
Les experts de JFrog Security Research ont récemment publié un rapport détaillant leurs découvertes lors d’une étude approfondie de la manière dont les pirates informatiques peuvent utiliser des modèles d’apprentissage automatique (Machine Learning) pour compromettre les environnements des utilisateurs. Dans cette recherche, ils se sont intéressés à la plateforme Hugging Face, une entreprise spécialisée dans l’intelligence artificielle et l’apprentissage profond des langues naturelles. Ils ont ainsi identifié près de 100 modèles potentiellement malveillants mis en ligne dans cette bibliothèque.
L’analyse des charges utiles de Hugging Face
Leur étude a notamment révélé que certains modèles hébergés par la plateforme comportaient des charges utiles non sécurisées, ouvrant la voie à des injections de code malveillant. Un exemple frappant est celui d’un modèle PyTorch partagé par un utilisateur nommé baller423, compte désormais supprimé, qui permettait à des pirates de s’introduire dans un processus clé en injectant du code Python arbitraire. Contrairement aux charges utiles intégrées habituellement par les chercheurs pour démontrer des vulnérabilités et prouver des concepts sans causer de dommages, celle mise en place par baller423 établissait une connexion inverse (reverse shell) avec une adresse IP réelle, notamment 210.117.212.93. Cette action est nettement plus intrusive et malveillante, car elle suppose une connexion directe à un serveur extérieur, indiquant un potentiel danger pour la sécurité plutôt qu’une simple démonstration de vulnérabilité.
La source de cette adresse IP semble provenir d’un réseau à haute vitesse basé en Corée du Sud, appelé Kreonet, qui soutient des activités avancées de recherche et d’éducation. Il est donc supposable que des chercheurs ou des praticiens en intelligence artificielle soient à l’origine de ce modèle suspect.
L’ampleur des risques liés aux modèles d’IA empoisonnés
Les quelque 100 modèles potentiellement dangereux découverts illustrent bien la portée de cette menace pour la sécurité sur la plateforme Hugging Face. Une vigilance constante et des mesures de sécurité proactives sont requises pour y faire face. Plus particulièrement, lorsque les développeurs travaillent avec des modèles PyTorch formés à l’aide de la bibliothèque Transformers de Hugging Face, ils utilisent souvent cette méthode pour charger ces derniers sur leurs machines. Cependant, cela peut également leur permettre d’exposer leur environnement local aux attaques et compromettre gravement leurs données et leurs projets.
Comment mitiger les risques ?
La découverte réalisée par JFrog Security Research souligne l’importance d’adopter une approche plus rigoureuse et sécurisée pour gérer les modèles d’intelligence artificielle mis en ligne sur des plateformes telles que Hugging Face. Il est essentiel de renforcer la protection contre ces menaces potentielles, en étant systématiquement attentif à la qualité et à la sûreté des modèles téléchargés, et en s’assurant de leur provenance. Les chercheurs et les praticiens doivent également se tenir informés des développements dans le domaine de la cybersécurité autour de l’intelligence artificielle et veiller à appliquer les meilleures pratiques disponibles pour protéger leurs projets des attaques malveillantes.
En somme, cette découverte interpelle quant à la nécessité de prendre très au sérieux les risques liés aux modèles d’apprentissage automatique malveillants sur les plateformes dédiées à l’intelligence artificielle. Les chercheurs, les praticiens et les entreprises spécialisées dans ce secteur doivent donc développer et adapter régulièrement leurs méthodes pour faire face à cette menace grandissante et garantir la sécurité de leurs utilisateurs et de leurs travaux.
