Les préoccupations concernant l’impact des puissants systèmes d’IA remontent aux débuts de l’informatique moderne :

Supposons maintenant, pour les besoins de l’argumentation, que [intelligent] les machines sont une réelle possibilité, et regardez les conséquences de leur construction… Il ne serait pas question de voir les machines mourir, et elles pourraient converser entre elles pour aiguiser leur esprit. Il faudra donc s’attendre à un moment donné à ce que les machines prennent le contrôle, de la manière évoquée dans Erewhon de Samuel Butler.
-Alan Turing, informaticien fondateur en 1951.

Aujourd’hui, de nombreux experts s’inquiètent du des risques qu’il pourrait éventuellement y avoir un système d’IA beaucoup plus performant que les humains avec des objectifs qui ne sont pas alignés sur ceux des humains. En poursuivant ses objectifs, un tel système pourrait provoquer l’extinction de l’humanité grâce à ses efforts pour acquérir des ressources ou survivre.

Contrairement aux scientifiques du projet Manhattan ou du Brookhaven National Laboratory, les chercheurs en IA ne disposent d’aucune méthode convenue pour calculer l’ampleur du risque d’extinction. La compréhension théorique de la nature de l’intelligence ne repose pas encore sur les bases solides que l’on retrouve dans des domaines tels que la physique nucléaire. Les données empiriques sont limitées car aucun être humain n’a jamais interagi avec une intelligence plus performante que tous les humains.

Les avis des experts varient considérablement sur le niveau de risque posé par les puissants systèmes d’IA :

• Théoricien de la décision Eliezer Youdkowsky soutient que, avec nos techniques actuelles, une IA puissante serait «à peu près vrai tuer tout le monde.

• Ancien chercheur OpenAI Paul Christiano Je pense que le risque total d’extinction dû à l’IA est 10-20%.

• Deux chercheurs qui se décrivent comme Optimistes de l’IA soutiennent qu’« une prise de contrôle catastrophique de l’IA est à peu près 1% probable.»

• Dans un enquête récente auprès des chercheurs en IAle chercheur médian a donné une 5 à 10 % de chances de conséquences catastrophiques telles que l’extinction de l’humanité.

Bien qu’il soit courant de voir des estimations du risque d’extinction dû à l’IA, il semble y avoir peu de tentatives pour fixer une limite supérieure acceptable pour ce risque. Informaticien théorique Scott Aaronson a écrit que sa limite « pourrait être aussi élevée que » 2% si l’avantage était que nous « apprenions les réponses à toutes les plus grandes questions de l’humanité ». Même sans tenir compte des vies futures, un risque d’extinction de 2 % équivaut à environ 160 millions de coïncidences dans l’attente, environ quatre fois la population du Canada. Il est difficile de dire si les avantages potentiels de systèmes d’IA puissants justifieraient de prendre un risque relativement élevé.

Citant l’incertitude scientifique quant aux résultats futurs du développement de l’IA, un lettre ouverte du début de cette année, a appelé à un moratoire sur le développement de l’IA à la frontière. La lettre a été signée par d’éminents experts, dont Yoshua Bengio, lauréat du prix Turing, et Stuart Russell, co-auteur du manuel standard « Intelligence artificielle : une approche moderne ». Au moment d’écrire ces lignes, aucun moratoire ne semble avoir eu lieu : il y a à peine deux semaines, Google annoncé la sortie de son « modèle d’IA le plus grand et le plus performant ».

Bien que les discussions sur les risques d’extinction dus à l’IA aient été historiquement rares en dehors d’une communauté de recherche relativement restreinte, de nombreux décideurs politiques, journalistes et membres du public se sont récemment impliqués davantage. Le mois dernier, le Sommet sur la sécurité de l’IA au Royaume-Uni a réuni des experts et des dirigeants mondiaux pour discuter des risques liés à l’IA et de la manière de les atténuer.

Pour trois cas, j’ai trouvé des exemples de scientifiques suggérant une limite acceptable pour le risque d’extinction :

• Un scientifique du projet Manhattan a fixé sa limite supérieure à 3×10^-6 (trois sur un million).

• Les scientifiques du CERN ont envisagé un 2×10^-8 (deux sur cent millions) risque d’être acceptable pour le RHIC, mais un autre physicien a soutenu qu’une limite plus appropriée serait de 10^-quinze (un sur un quadrillion) ou 10^-22 (un sur dix milliards de milliards).

• Un éminent informaticien pourrait accepter jusqu’à un 2×10^-2 (deux sur cent) chance d’extinction à cause d’une puissante IA.

Bien que ces limites supérieures varient considérablement, elles se situent toutes en dessous de la limite 5×10.^-2 (cinq sur cent) à 10^-1 L’année dernière, l’expert médian a donné une probabilité (une sur dix) d’extinction de l’IA, et généralement de plusieurs ordres de grandeur. Notamment, cela est vrai même en ce qui concerne la limite supérieure donnée par un scientifique qui croyait raisonnablement que l’arrêt de ses recherches pourrait conduire les nazis à gouverner le monde.

Dans chacun des trois cas où il n’y avait pas de consensus clair sur l’ampleur du risque, une partie de la communauté scientifique a appelé à un moratoire pour discuter de la question et recueillir davantage de preuves :

• Dans le cas de l’ADN recombinant, le moratoire a été respecté par l’ensemble de la communauté malgré les désaccords. Une conférence a établi des lignes directrices sûres pour certaines recherches et a interdit les types de recherche les plus dangereux. Au fil du temps, ces lignes directrices ont été assouplies, car il a été démontré que l’ADN recombinant était généralement sûr.

• Dans le cas d’Active SETI, les membres inquiets de la communauté qui réclamaient un moratoire et une conférence ont été initialement licenciés. Plus tard, des conférences ont eu lieu pour discuter de la question, mais la communauté n’a jamais convenu d’un ensemble de lignes directrices.

• Dans le cas des systèmes d’IA frontaliers, ce n’est qu’au cours des derniers mois qu’un moratoire a été sérieusement demandé. Aucun moratoire n’a encore été imposé, mais il y a un débat croissant parmi les chercheurs, les décideurs politiques et le public sur les risques potentiels et les politiques pour y faire face.

Les cinq cas contiennent un certain degré d’interaction entre la communauté scientifique et les décideurs politiques ou le public :

• Pendant le projet Manhattan, le public n’était pas au courant du risque d’inflammation atmosphérique, mais la situation impliquait une interaction entre les scientifiques et les représentants du gouvernement. L’un des scientifiques s’est plaint que le risque « s’est retrouvé d’une manière ou d’une autre dans un document envoyé à Washington. Ainsi, de temps en temps, par la suite, quelqu’un le remarquait, puis redescendait l’échelle, la question revenait, et la chose n’était jamais abandonnée.

• Lors de la conférence d’Asilomar sur l’ADN recombinant, 12 journalistes ont été invités, mais peut-être uniquement par crainte que les scientifiques ne soient autrement accusés de dissimulation.

• Les évaluations des risques liés aux expériences avec de grands collisionneurs d’ions ont été publiées seulement un an avant le début des opérations du RHIC, et apparemment uniquement en raison de l’attention inattendue des médias.

• Un membre concerné de la communauté SETI a envisagé de porter la question d’Active SETI aux journalistes, mais a déclaré qu’il préférait discuter de la question au sein de la communauté.

• Le débat sur les risques liés à l’IA s’est récemment développé parmi les décideurs politiques et le public. Auparavant, les risques étaient relativement peu discutés en dehors de la communauté des chercheurs.