En mai 2024, OpenAI a pris une décision stratégique qui continue de secouer l’industrie technologique : la dissolution de son équipe dédiée au « Superalignment ». Ce groupe avait pour mission spécifique de contrôler les futures IA super-intelligentes. Ce virage marque une transformation profonde dans la manière dont la Silicon Valley aborde le risque existentiel lié à l’intelligence artificielle.
L’essentiel
- Le mandat initial : L’équipe « Superalignment » avait pour but de créer des garde-fous pour une IA qui dépasserait l’intelligence humaine, avec 20 % de la puissance de calcul de l’entreprise allouée à cette tâche.
- La rupture : La dissolution du groupe a entraîné le départ de figures historiques, dont le cofondateur Ilya Sutskever et le chercheur Jan Leike, citant des désaccords sur la priorité donnée aux produits commerciaux face à la sécurité.
- Le nouveau modèle : OpenAI a basculé vers une approche de sécurité « intégrée », arguant que la surveillance doit être la responsabilité de toutes les équipes de recherche plutôt que d’un département isolé.
Qu’est-ce que le « Superalignment » ?
Le concept d’alignement (alignment) en intelligence artificielle consiste à s’assurer qu’un système agit conformément aux intentions et aux valeurs humaines. Le « Superalignment » pousse ce concept à son extrême : comment contrôler une IA qui serait beaucoup plus intelligente que ses créateurs ?
L’équipe fondée par Ilya Sutskever et Jan Leike partait du postulat que les techniques de supervision classiques (humain surveillant la machine) deviendraient obsolètes face à une super-intelligence. Ils travaillaient donc à créer une « IA chercheuse en alignement » capable d’auditer et de contrôler des systèmes plus puissants qu’elle.
Les raisons d’une dissolution controversée
La fin de cette équipe spécifique ne signifie pas l’abandon de la sécurité, mais un changement de philosophie radical, souvent source de tensions internes.
L’argument de l’intégration
La position officielle d’OpenAI est pragmatique : isoler la sécurité dans une tour d’ivoire est contre-productif. En dissolvant l’équipe, l’entreprise a redistribué ses chercheurs au sein des différents départements (développement, produit, recherche fondamentale). L’idée est d’intégrer les contraintes de sécurité dès la conception des modèles, plutôt qu’en fin de chaîne.
La critique de la « priorité produit »
Les critiques, notamment portées par les démissionnaires de 2024, pointent une dérive commerciale. Jan Leike, en quittant le navire, a publiquement déclaré que « la culture de la sécurité et les processus ont été relégués au second plan face aux produits tape-à-l’œil ». Ce conflit illustre le dilemme constant du secteur : faut-il ralentir pour sécuriser (Safety) ou accélérer pour innover (Accelerationism) ?
Les conséquences pour la gouvernance de l’IA
Cet épisode a forcé l’industrie à repenser ses structures de contrôle. Il a mis en lumière la difficulté pour une entité privée de s’autoréguler lorsque la pression concurrentielle (face à Google, Meta ou Anthropic) est immense.
Depuis, la gouvernance de la sécurité chez OpenAI repose sur un « Comité de Sécurité » (Safety and Security Committee) composé de membres du conseil d’administration et d’experts internes. Ce comité a pour charge de superviser les processus critiques et de valider le déploiement des nouveaux modèles frontières, tentant de rassurer à la fois les régulateurs et le grand public sur la maîtrise des algorithmes.
FAQ
L’ASI (Artificial Super Intelligence) désigne une hypothétique IA qui surpasserait les capacités cognitives humaines dans tous les domaines (créativité, raisonnement général, intelligence sociale). Elle se distingue de l’AGI (Intelligence Générale Artificielle), qui est « seulement » au niveau humain.
Cofondateur et scientifique en chef, Ilya Sutskever a quitté l’entreprise peu après la dissolution de l’équipe Superalignment qu’il codirigeait. Son départ est lié à des divergences profondes sur la trajectoire de l’entreprise et la gestion des risques à long terme.
Non. L’entreprise continue d’investir massivement dans la sécurité, mais via une structure différente. Les protocoles de test (Red Teaming) et l’apprentissage par renforcement humain (RLHF) restent au cœur du développement de modèles comme GPT-4o ou les séries o1.
