Un nouveau ver ciblant les systèmes GenAI
Une récente publication met en lumière un ver informatique nommé “Morris II”, qui cible spécifiquement les écosystèmes GenAI. Ce virus utilise des déclencheurs auto-réplicateurs antagonistes pour infecter ces systèmes. En conséquence, cela conduit les modèles GenAI à envoyer des charges utiles à d’autres agents. Une fois disséminé, le ver est stocké dans la génération augmentée de récupération et se déplace “passivement” vers de nouvelles cibles sans qu’aucune autre action ne soit nécessaire de la part des attaquants – un processus décrit comme une “propagation en 0-clic“. Les applications RAG (Retrieval Augmented Generation) permettent aux modèles GenAI d’accéder à des données pertinentes provenant de sources supplémentaires, telles que des documents privés, pour répondre aux questions, aboutissant ainsi à des réponses plus précises.
Des chercheurs exposent les risques liés aux applications GenAI
Des chercheurs de l’Institut israélien de technologie, d’Intuit et de Cornell Tech ont souligné les menaces posées par les applications alimentées par GenAI en raison de la couche GenAI sous-jacente. Ils ont insisté sur le fait que ce risque doit être pris en compte lors de la conception des écosystèmes GenAI.
Les caractéristiques du ver Morris II
Le ver Morris II cible les systèmes GenAI en utilisant un logiciel malveillant basé sur des déclencheurs auto-réplicateurs antagonistes. Cela provoque la reproduction de l’entrée en sortie par les modèles GenAI et les conduit à mener des activités malveillantes. Pour ce faire, des conditions spécifiques doivent être remplies :
– La requête doit être récupérable par RAG lors de la réponse à de nouveaux messages.
– Elle doit subir une réplication lors d’une inférence effectuée par le modèle GenAI.
– Elle doit initier une activité malveillante prédéterminée par l’attaquant.
Ces déclencheurs peuvent être générés en utilisant des techniques de déverrouillage, tant au niveau des requêtes que des tokens, décrites dans des recherches antérieures et des sources en ligne.
Recommandations pour contrer le ver Morris II
Pour faire face à cette menace, plusieurs recommandations ont été émises :
– Réécrire entièrement les sorties des modèles GenAI pour garantir qu’ils ne contiennent pas de fragments similaires aux entrées ou ne produisent pas d’inférences semblables.
– Mettre en œuvre des contre-mesures contre les techniques de déverrouillage utilisées par les attaquants.
– Recourir à des méthodes développées pour détecter les schémas de propagation malveillants associés aux vers informatiques.
Protéger les écosystèmes GenAI contre ce type d’attaques
Afin de garantir la sécurité des systèmes et la protection des données, il est essentiel de prendre en compte ces problèmes lors de la création des diverses applications reposant sur la technologie GenAI. Les chercheurs suggèrent un certain nombre de mesures, notamment :
– La mise à jour régulière des systèmes pour éviter les failles de sécurité.
– L’évaluation continue des menaces potentielles et l’adaptation des méthodes de défense à ces menaces.
– La collaboration entre différentes organisations afin d’échanger des informations sur les vulnérabilités découvertes et partager des stratégies de protection efficaces.
En combinant ces approches, les concepteurs et utilisateurs d’applications GenAI peuvent réduire significativement les risques liés aux vers informatiques tels que Morris II.
Le ver informatique Morris II présente une menace croissante pour les écosystèmes GenAI en raison de sa méthode de propagation difficile à détecter et à combattre. Il est crucial pour les responsables de la conception de ces systèmes de considérer ces menaces lors de leur développement et de mettre en place des solutions préventives pour assurer une utilisation sûre et fiable des applications alimentées par GenAI.
