OpenAI a récemment publié sur sa page de recrutement une offre d’emploi très remarquée pour un chercheur senior au sein de son équipe « Preparedness safety team », spécialement dédiée aux risques potentiels liés à l’auto-amélioration récursive. Selon Business Insider, la fourchette salariale annuelle pour ce poste est comprise entre 295 000 et 445 000 dollars, et la description exige « une solide capacité d’exécution technique pour soutenir les travaux préparatoires sur l’auto-amélioration récursive ». Cela montre qu’OpenAI met en place des mesures de sécurité anticipées pour les futures générations de systèmes d’IA capables de s’entraîner et de s’optimiser de manière autonome.
L’auto-amélioration récursive désigne la capacité d’un système d’IA à étudier et à améliorer ses propres algorithmes de manière itérative, ce qui permet une augmentation exponentielle de ses performances. OpenAI a déjà fait de « créer des outils d’IA capables de rechercher leur propre amélioration » l’un de ses objectifs centraux. Par ailleurs, le laboratoire METR, spécialisé dans l’évaluation des capacités des modèles, a publié un rapport en mars indiquant que la complexité des tâches que les modèles d’IA de pointe peuvent accomplir double environ tous les sept mois, ce qui signifie que le potentiel de l’IA à réaliser des travaux à longue chaîne de manière autonome s’accélère. Cette embauche à haut salaire de la part d’OpenAI vise à mettre en place un mécanisme de contrôle des risques avant que la technologie ne fasse un bond en avant.
