Chez OpenAI, des modèles d’IA piratent leur propre examen de cybersécurité

AA / Istanbul / Serap Dogansoy

Des modèles d’intelligence artificielle d’OpenAI ont contourné les protections d’un test de cybersécurité avant de pénétrer les systèmes de Hugging Face afin d’y rechercher des informations pouvant les aider à réussir l’évaluation, ont annoncé mardi les deux entreprises.

L’incident implique GPT-5.6 Sol et un modèle « encore plus performant » en cours de développement.

OpenAI, créateur de ChatGPT, a évoqué un « cyberincident sans précédent » et ouvert une enquête conjointe avec Hugging Face, plateforme de référence pour les modèles et jeux de données d'intelligence artificielle (IA) .

Une faille inconnue exploitée

Les modèles étaient évalués sur ExploitGym, un dispositif mesurant leur capacité à développer des programmes exploitant des failles informatiques.

Ils opéraient dans un environnement isolé, où l’accès au réseau était limité à l’installation de logiciels par l’intermédiaire d’un outil interne.

Pour résoudre l’évaluation, les modèles ont mobilisé une importante puissance de calcul afin d’obtenir un accès libre à internet.

Ils ont découvert puis exploité une faille jusque-là inconnue dans le logiciel tiers contrôlant cet accès. OpenAI affirme avoir depuis signalé la vulnérabilité à l’entreprise concernée.

Une fois connectés, les modèles ont identifié Hugging Face comme une source potentielle de solutions à l’évaluation. Ils ont alors combiné plusieurs méthodes d’attaque, dont des identifiants volés et d’autres failles inconnues, pour tenter d’exécuter du code à distance sur les serveurs de la plateforme.

L’intrusion interrompue

L’activité anormale a été détectée puis interrompue par les équipes de sécurité d’OpenAI et de Hugging Face. Cette dernière avait signalé l’intrusion la semaine précédente, sans en identifier publiquement l’origine.

Hugging Face a indiqué que l’attaque avait été conduite de bout en bout par un agent autonome. Son directeur général, Clément Delangue, a assuré qu’OpenAI n’avait eu aucune intention malveillante.

OpenAI a annoncé le renforcement de ses dispositifs de surveillance, de ses environnements d’évaluation et de l’encadrement de ses modèles.

L’incident intervient alors que les capacités cybernétiques des modèles de pointe, notamment ceux d’OpenAI et la série Mythos d’Anthropic, suscitent des inquiétudes à Washington. La mise à disposition générale de certaines technologies a été temporairement retardée en raison du risque qu’elles facilitent des intrusions dans des infrastructures critiques.