Les chercheurs d’OpenAI travaillent sur les évolutions de l’IA, capable de surpasser l’humain. Un problème si ce développement se fait sans contrôle et sans éthique. « Actuellement, nous n'avons aucune solution pour diriger ou contrôler une IA potentiellement super intelligente et l'empêcher de se comporter de manière dévoyée », ont écrit Jan Leike, chercheur en machine learning, et Ilya Sutskever, cofondateur et scientifique en chef d'OpenAI dans un billet de blog de la société. Ils ont ajouté que, même si la probabilité de voir émerger une IA supérieurement intelligente peut sembler lointaine, certains experts pensent que cela pourrait arriver dans le courant de la décennie.

Parmi les techniques actuelles de bridage de l'IA Jan Leike et Ilya Sutskever citent l'apprentissage par renforcement à partir du feedback humain, méthode déjà utilisée dans le cadre du GPT. Mais, selon eux, à mesure que les systèmes d'IA deviennent plus pertinents que les humains, il n’est plus possible de compter sur ces derniers pour superviser la technologie. « Les techniques d'alignement actuelles ne permettront pas d'atteindre la super intelligence. Il faut de nouvelles percées scientifiques et techniques », ont-ils écrit.

Atténuer les dérives d’une super IA

Ilya Sutskever et Jan Leike codirigeront la nouvelle équipe en charge de l’alignement de l'OpenAI. Pour mener à bien sa mission, la division aura accès, au cours des quatre prochaines années, à 20 % de la capacité de traitement de l'entreprise afin de développer un « système automatisé capable d’aligner l’IA sur les capacités humaines », lequel pourra être étendu pour superviser la super intelligence. Pour être en adéquation avec l’éthique, les deux experts préconisent une approche en trois étapes : développer une méthode de formation évolutive, valider le modèle résultant et tester l'ensemble du pipeline d'alignement. « Il est certain que nos priorités de recherche vont évoluer de manière considérable à mesure de notre compréhension du problème et que nous orienterons nos recherches vers des domaines entièrement nouveaux », précisent-ils, ajoutant qu'ils prévoient de fournir plus de détails sur la feuille de route de la division.

Ce n'est pas la première fois qu’OpenAI reconnaît publiquement la nécessité d'atténuer les risques posés par une IA non régulée. En mai, dans une lettre ouverte, le CEO de l'entreprise, Sam Altman, a affirmé que le contrôle de la technologie devrait être une priorité mondiale absolue, car l'évolution de l'IA pourrait conduire à une forme d'extinction de l’humanité. « Ce risque d'extinction par l'IA devrait être une priorité mondiale au même titre que d'autres risques sociétaux comme les pandémies et les guerres nucléaires », peut-on lire dans cette lettre. Dans une section dédiée du site web d’OpenAI, le public peut accéder à des documents relatifs à ce que l'entreprise appelle le développement d'une « IA sûre et responsable », ainsi qu'à une charte décrivant les principes auxquels elle adhère pour mener à bien sa mission. Cependant, ces principes se rapportent essentiellement au concept d'intelligence artificielle générale (AGI), c'est-à-dire à des systèmes hautement autonomes qui surpassent les humains dans la plupart des tâches économiquement utiles. « Nous essaierons de construire des AGI d’emblée sûres et bénéfiques, mais nous considérerons aussi que notre mission est remplie si notre travail aide d'autres personnes à atteindre ce résultat », peut-on lire dans la charte publiée en 2018.