Un responsable de la sécurité quitte OpenAI et alerte sur la culture du secteur
Rédacteur des rapports de sécurité chez OpenAI, David Robinson a quitté son poste cette semaine pour dénoncer publiquement les pratiques de l'industrie dans The Atlantic. Il appelle à imposer des exigences de sûreté comparables à celles du secteur nucléaire. Cette démission vient s'ajouter à une série de départs récents chez Anthropic et Google DeepMind.
Fil « Démission d'un responsable de la sécurité chez OpenAI »
Une culture du secteur qualifiée de cassée
David Robinson occupait un poste stratégique chez OpenAI : il était chargé de rédiger les rapports de sécurité accompagnant chaque lancement majeur de modèle d'IA (intelligence artificielle). Cette semaine, il a démissionné avant de s'exprimer dans le journal The Atlantic. Selon lui, la culture actuelle de la Silicon Valley est fondamentalement cassée. Il dénonce un fonctionnement basé sur une confiance extrême et des sprints (cycles de développement courts et intensifs) perpétuels, portés par un optimisme sans frein qui sous-estime les problèmes potentiels.
Des protocoles comparables au nucléaire
Pour l'ancien responsable, ajouter quelques règles superficielles lors de l'entraînement des modèles ne suffira pas à résoudre le problème. Il estime que les frontier labs (les laboratoires de pointe concevant les modèles d'IA les plus avancés) doivent faire preuve d'humilité et sortir de la logique traditionnelle du secteur du logiciel.
Les laboratoires de pointe doivent fonctionner comme des centrales nucléaires ou des aéroports très fréquentés, avec des couches de redondance et une planification minutieuse, pour qu'une erreur humaine inévitable n'ouvre pas la porte à un désastre.
Un exode massif chez les chercheurs en sécurité
David Robinson n'est pas un cas isolé, mais le dernier élément en date d'une vague de départs d'experts de la sûreté. Avant lui, Jacob Coxon a quitté Anthropic en affirmant publiquement que l'IA pourrait causer notre perte d'ici la fin de la décennie. D'autres chercheurs ont emboîté le pas : Robert O'Callahan, Bilal Chughtai et Josh Engels chez Google DeepMind, ainsi que Joe Benton chez Anthropic.
Des pressions réglementaires renforcées
Ces alertes internes interviennent alors que les régulateurs commencent à s'imposer. La FTC (Federal Trade Commission, l'autorité américaine de régulation du commerce) a ouvert une enquête ciblant directement OpenAI et Anthropic. Pour les développeurs qui intègrent ces technologies dans leurs applications, ces démissions en série soulignent l'écart grandissant entre le rythme de publication des modèles et la mise en place de gardes-fous éprouvés.