Une faille critique détectée dans Replicate AI : vos données sont-elles en sécurité ?

Les dangers cachés derrière l’IA : une découverte alarmante

Dans une révélation choc, des experts en cybersécurité ont mis en lumière une faille critique au sein de Replicate, un fournisseur de services d’intelligence artificielle (IA). Cette vulnérabilité aurait permis à des acteurs malveillants d’accéder à des modèles d’IA propriétaires et à des informations sensibles, mettant en péril la confidentialité des données de tous les clients de la plateforme.

Une exploitation qui fait froid dans le dos

Selon le rapport publié cette semaine par l’entreprise de sécurité cloud Wiz, l’exploitation de cette vulnérabilité aurait pu permettre un accès non autorisé aux prompts et aux résultats des modèles d’IA de tous les utilisateurs de Replicate. En cause, le format de packaging des modèles d’IA, permettant l’exécution arbitraire de code et facilitant ainsi des attaques croisées entre les locataires grâce à un modèle malveillant.

Site frauduleux ? Arnaque ? Piratage ? On vous protège !

Vous avez 35 fois plus de risque de vous faire pirater vos comptes bancaires que de vous faire cambrioler.

Replicate utilise un outil open-source appelé Cog pour containeriser et packager les modèles d’apprentissage automatique, lesquels peuvent ensuite être déployés soit en environnement auto-hébergé, soit sur la plateforme de Replicate. Wiz a démontré qu’un conteneur Cog malveillant pouvait être utilisé pour obtenir une exécution de code à distance sur l’infrastructure de service de Replicate, avec des privilèges élevés.

Les mécanismes d’attaque révélés

Les chercheurs en sécurité Shir Tamari et Sagi Tzadik ont expliqué que cette technique d’exécution de code s’appuie sur une connexion TCP déjà établie associée à une instance de serveur Redis au sein d’un cluster Kubernetes hébergé sur Google Cloud Platform. Cela permettait d’injecter des commandes arbitraires. En manipulant le serveur Redis centralisé, utilisé comme file d’attente pour gérer les multiples requêtes clients et leurs réponses, les chercheurs ont découvert qu’il était possible de faciliter des attaques croisées en insérant des tâches malveillantes pouvant altérer les résultats des modèles des autres clients.

Lire  La menace croissante des deepfakes : comment Lastpass a évité le pire
Les mécanismes d'attaque révélés

Des conséquences potentiellement dévastatrices

Ces manipulations malveillantes menacent non seulement l’intégrité des modèles d’IA, mais posent également des risques importants pour l’exactitude et la fiabilité des résultats générés par ces modèles. Un attaquant aurait pu interroger les modèles privés des clients, exposant potentiellement des connaissances propriétaires ou des données sensibles impliquées dans le processus d’entraînement des modèles. De plus, l’interception des prompts aurait pu révéler des informations personnelles identifiables (PII).

La faille, divulguée de manière responsable en janvier 2024, a depuis été corrigée par Replicate. Il n’existe aucune preuve que la vulnérabilité ait été exploitée dans la nature pour compromettre les données des clients.

Un avertissement pour l’industrie de l’IA

Cette divulgation survient un peu plus d’un mois après que Wiz a détaillé des risques similaires dans des plateformes comme Hugging Face, où des acteurs malveillants pourraient également escalader leurs privilèges, accéder aux modèles d’autres clients et même prendre le contrôle des pipelines d’intégration continue et de déploiement continu (CI/CD).

Liste De Modeles Llm Sur Replicate

Tableau comparatif des risques et solutions

PlateformeFaille détectéePotentiel d’exploitationActions correctives
ReplicateAccès non autorisé aux modèles et donnéesInjection de commandes arbitrairesCorrection de la faille en janvier 2024
Hugging FaceEscalade de privilèges, accès aux modèlesPrise de contrôle des pipelines CI/CDCorrectifs appliqués récemment

Vers une sécurisation renforcée des services d’IA

Les modèles malveillants représentent un risque majeur pour les systèmes d’IA, en particulier pour les fournisseurs de services d’IA, car les attaquants peuvent les utiliser pour effectuer des attaques croisées. L’impact potentiel est dévastateur, les attaquants pouvant accéder à des millions de modèles et d’applications d’IA privés stockés chez les fournisseurs de services d’IA. Il est crucial que les entreprises adoptent des mesures de sécurité robustes pour protéger leurs modèles et données sensibles contre de telles menaces.

Laurent Amar CEO & Co Founder @FranceVerif

Doctorat Paris Sorbonne.
Expert en cybersécurité et lutte contre les fraudes et arnaques.
Co-créateur de la 1ère Intelligence Artificielle analysant la fiabilité des sites internet avec un taux d'efficacité de 99,86%.
Co-fondateur de France Verif, 1ère Intelligence Artificielle de Cybersécurité à destination des particuliers.

Cette vidéo YouTube pourrait vous intéresser, ainsi que celle-ci également.