Les pères de la révolution de l’apprentissage profond reçoivent le prix Turing de l’Association for Computing Machinery
Yoshua Bengio, Geoffrey Hinton et Yann LeCun font des découvertes majeures en intelligence artificielle
New York (État de New York), le 27 mars 2019 – L’Association for Computing Machinery (ACM) a nommé aujourd’hui Yoshua Bengio, Geoffrey Hinton et Yann LeCun lauréats du prix Turing 2018 de l’ACM pour leurs avancées en fondements conceptuels et en ingénierie qui ont fait des réseaux neuronaux profonds une composante essentielle de l’informatique. Yoshua Bengio est professeur à l’Université de Montréal et directeur scientifique à l’Institut québécois d’intelligence artificielle (MILA). Geoffrey Hinton est vice-président et ingénieur associé à Google ainsi que conseiller scientifique en chef au Vector Institute et professeur émérite à l’Université de Toronto. Yann LeCun est professeur à l’Université de New York ainsi que vice-président et directeur de la recherche en intelligence artificielle à Facebook.
En travaillant ensemble et de manière indépendante, les trois chercheurs ont bâti les fondements conceptuels de l’intelligence artificielle. Ils ont découvert des phénomènes surprenants en réalisant des expériences et ont contribué à des percées en ingénierie qui montrent les avantages pratiques des réseaux de neurones profonds. Ces dernières années, les méthodes d’apprentissage profond ont permis de réaliser des progrès remarquables en matière de vision par ordinateur, de reconnaissance vocale, de traitement du langage naturel et de robotique, entre autres applications.
Même si l’utilisation des réseaux neuronaux artificiels pour aider les ordinateurs à reconnaître les schémas et à simuler l’intelligence humaine a été introduite dans les années 80, au début des années 2000, Yoshua Bengio, Geoffrey Hinton et Yann LeCun faisaient partie d’un petit groupe de chercheurs qui préconisaient cette approche. Si leurs efforts pour raviver l’intérêt de la communauté de l’intelligence artificielle pour les réseaux neuronaux ont été accueillis avec scepticisme au départ, leurs idées ont récemment abouti à de grandes avancées technologiques et leur méthodologie est maintenant reconnue comme le principal paradigme de l’intelligence artificielle.
Le prix Turing de l’ACM, qu’on appelle aussi « prix Nobel de l’informatique », comprend des fonds d’un million de dollars ainsi que du soutien financier offerts par Google Inc. Ce prix a été créé en hommage à Alan M. Turing, le mathématicien britannique qui a posé les fondements et les limites mathématiques de l’informatique. Yoshua Bengio, Geoffrey Hinton et Yann LeCun recevront officiellement le prix Turing 2018 à l’occasion du banquet annuel de remise de prix de l’ACM le samedi 15 juin 2019 à San Francisco, en Californie.
« À l’heure actuelle, l’intelligence artificielle est l’un des domaines scientifiques qui connaît l’évolution la plus rapide et l’un des sujets les plus abordés dans la société, souligne Cherri M. Pancake, le président de l’ACM. La croissance de l’intelligence artificielle et l’intérêt qu’elle suscite viennent, en grande partie, des récentes avancées en apprentissage profond dont Yoshua Bengio, Geoffrey Hinton et Yann LeCun ont posé les fondements. Ces technologies sont utilisées par des milliards de personnes. Toute personne qui a un téléphone intelligent dans sa poche peut essayer concrètement des outils de traitement du langage naturel et de vision par ordinateur très perfectionnés qui n’existaient pas il y a à peine dix ans. En plus des produits que nous utilisons au quotidien, les nouveaux progrès en apprentissage profond ont donné aux scientifiques de nouveaux outils puissants dans des domaines allant de la médecine à l’astronomie et à la science des matériaux. »
« Les réseaux neuronaux profonds sont à l’origine de certaines avancées majeures dans les sciences informatiques modernes. Ils permettent de faire de grands progrès sur des problèmes de longue date en vision par ordinateur, en reconnaissance vocale et en compréhension du langage naturel, explique Jeff Dean, expert associé et vice-président principal de Google AI. Au cœur de ces progrès se trouvent des techniques fondamentales conçues il y a plus de 30 ans par les lauréats du prix Turing de cette année, qui sont Yoshua Bengio, Geoffrey Hinton et Yann LeCun. En améliorant considérablement la capacité des ordinateurs à donner un sens au monde qui les entoure, les réseaux neuronaux profonds révolutionnent non seulement l’informatique, mais presque tous les domaines de la science et de l’activité humaine. »
Apprentissage machine, réseaux neuronaux et apprentissage profond
En informatique traditionnelle, les programmes donnent à l’ordinateur des instructions précises à suivre étape par étape. En apprentissage profond, un sous-domaine de la recherche en intelligence artificielle, on ne dit pas explicitement à l’ordinateur comme résoudre une tâche donnée, par exemple comment classer des objets. On utilise plutôt un algorithme d’apprentissage pour extraire des schémas des données qui relient les données entrantes, comme les pixels d’une image, jusqu’à obtenir le résultat souhaité, comme des images sur lesquelles figure un « chat ». L’enjeu pour les chercheurs est de créer des algorithmes d’apprentissage efficaces, qui soient capables de modifier la pondération des connexions dans un réseau neuronal artificiel pour que cette pondération permette d’enregistrer les schémas pertinents dans les données.
Geoffrey Hinton, qui préconise une approche d’apprentissage machine pour l’intelligence artificielle depuis le début des années 80, a étudié le fonctionnement du cerveau humain pour trouver des manières de concevoir des systèmes d’apprentissage machine. En s’inspirant du cerveau humain, il a proposé, avec d’autres chercheurs, que les « réseaux neuronaux artificiels » soient la pierre angulaire de leurs recherches en apprentissage machine.
En science informatique, le terme « réseaux neuronaux » fait référence à des systèmes composés de couches d’éléments informatiques relativement simples appelés « neurones » qui sont simulés par ordinateur. Ces « neurones », qui ressemblent plus ou moins à ceux du cerveau humain, s’influencent les uns les autres grâce à des connexions pondérées. En modifiant la pondération des connexions, il est possible de modifier les calculs effectués par le réseau neuronal. Yoshua Bengio, Geoffrey Hinton et Yann LeCun reconnaissent qu’il est important de créer des réseaux profonds constitués de nombreuses couches, d’où l’utilisation du terme « apprentissage profond ».
Les avancées en fondements conceptuels et en ingénierie qu’ont réalisées Yoshua Bengio, Geoffrey Hinton et Yann LeCun sur plus de trente ans ont considérablement progressé grâce à la prédominance d’ordinateurs dotés de puissants processeurs graphiques et à l’accès à de gigantesques ensembles de données. Ces dernières années, ces outils et d’autres facteurs ont permis des progrès technologiques comme la vision par ordinateur, la reconnaissance vocale et la traduction automatique.
Les trois chercheurs travaillent ensemble et de manière indépendante. Par exemple, Yann LeCun a suivi ses études postdoctorales sous la supervision de Geoffrey Hinton et il a collaboré avec Yoshua Bengio aux débuts du Bell Labs dans les années 90. Même quand les chercheurs ne travaillaient pas ensemble, il y avait une synergie et des interconnexions dans leurs recherches. Ils se sont beaucoup influencés les uns les autres.
Yoshua Bengio, Geoffrey Hinton et Yann LeCun continuent d’explorer les croisements entre l’apprentissage machine, les neurosciences et les sciences cognitives, surtout en participant conjointement au programme Apprentissage automatique, apprentissage biologique du CIFAR (anciennement connu sous le nom d’Institut canadien de recherches avancées).
Avancées techniques récompensées
Voici certaines des avancées techniques réalisées par les lauréats de cette année, qui ont entraîné des progrès considérables dans les technologies d’intelligence artificielle :
Geoffrey Hinton
Rétropropagation : dans un article paru en 1986, Learning Internal Representations by Error Propagation, corédigé avec David Rumelhart et Ronald Williams, Geoffrey Hinton a démontré que l’algorithme de rétropropagation permettait aux réseaux neuronaux de découvrir leurs propres représentations internes de données, ce qui a permis d’utiliser les réseaux neuronaux pour résoudre des problèmes qu’on pensait insolvables auparavant. L’algorithme de rétropropagation est couramment utilisé dans la plupart des réseaux neuronaux actuels.
Machine de Boltzmann : en 1983, avec l’aide de Terrence Sejnowski, Geoffrey Hinton a inventé la machine de Boltzmann, l’un des premiers réseaux neuronaux capables d’apprendre les représentations internes de neurones qui ne faisaient pas partie des données entrantes ou sortantes.
Améliorations apportées aux réseaux neuronaux convolutifs : en 2012, avec ses étudiants Alex Krizhevsky et Ilya Sutskever, Geoffrey Hinton a amélioré les réseaux neuronaux convolutifs en utilisant des neurones linéaires corrigés et la méthode de régularisation par abandon. Dans le cadre de la réputée compétition ImageNet, ils ont presque réussi à diviser par deux le taux d’erreur lié à la reconnaissance d’objet et ont remanié la vision par ordinateur.
Yoshua Bengio
Modèles probabilistes de séquences: dans les années 90, Yoshua Bengio a combiné les réseaux neuronaux avec les modèles probabilistes de séquences, comme les modèles de Markov cachés. Son idée a été intégrée à un système utilisé par AT&T/NCR pour lire les chèques écrits à la main et considérée comme le summum de la recherche en réseau neuronal dans les années 90. Aujourd’hui, les systèmes de reconnaissance vocale en apprentissage profond élargissent ce concept.
Plongements de mots à grandes dimensions et mécanisme d’attention: en 2000, Yoshua Bengio a rédigé l’article décisif A Neural Probabilistic Language Model, qui présentait les plongements de mots à grandes dimensions comme une représentation de la signification des mots. Sa réflexion a eu des incidences majeures et durables sur les tâches de traitement du langage naturel, comme la traduction du langage, la réponse aux questions et la réponse aux questions visuelles. Son équipe a aussi introduit une forme de mécanisme d’attention qui a mené à des avancées en traduction automatique et a constitué une composante importante du traitement séquentiel pour l’apprentissage profond.
Réseaux antagonistes génératifs: depuis 2010, les articles de Yoshua Bengio sur l’apprentissage profond génératif et, en particulier, sur les réseaux antagonistes génératifs qu’il a conçus avec Ian Goodfellow, ont révolutionné la vision par ordinateur et l’infographie. Dans une application fascinante de son travail, l’ordinateur peut véritablement créer des images originales qui rappellent la créativité qu’on considère comme la marque de l’intelligence humaine.
Yann LeCun
Réseaux neuronaux convolutifs: dans les années 80, Yann LeCun a mis au point les réseaux neuronaux convolutifs, un principe fondateur de l’intelligence artificielle qui, entre autres avantages, a été essentiel pour accroître l’efficacité de l’apprentissage profond. À la fin des années 1980, tandis qu’il travaillait à l’Université de Toronto et au Bell Labs, Yann LeCun a été le premier à essayer un réseau neuronal convolutif sur des images de chiffres écrits à la main. Aujourd’hui, les réseaux neuronaux convolutifs sont la norme en matière de vision par ordinateur, de reconnaissance vocale, de synthèse vocale, de synthèse d’image et de traitement du langage naturel. Ils sont utilisés dans diverses applications, dont la conduite autonome, l’analyse d’images médicales, les assistants à activation vocale et le filtrage d’information.
Améliorer les algorithmes de rétropropagation: Yann LeCun a proposé une première version de l’algorithme de rétropropagation et lui a donné une dérivation claire fondée sur un principe variationnel. Son travail pour accélérer les algorithmes de rétropropagation comprend la description de deux méthodes simples permettant d’accélérer le temps d’apprentissage.
Élargir la vision des réseaux neuronaux: Yann LeCun est aussi connu pour avoir donné une vision plus large aux réseaux neuronaux, comme modèle informatique permettant de réaliser toutes sortes de tâches. Dès le début de ses recherches, il a introduit un certain nombre de concepts qui sont aujourd’hui devenus essentiels en intelligence artificielle. Par exemple, pour la reconnaissance d’images, il a étudié comment la représentation de caractéristiques de manière hiérarchique pouvait être apprise dans les réseaux neuronaux. Ce concept est maintenant couramment utilisé dans de nombreuses tâches de reconnaissance. Avec Léon Bottou, ils ont proposé que les systèmes d’apprentissage soient bâtis comme des réseaux de modules complexes pour lesquels la rétropropagation est réalisée par différentiation automatique. C’est cette méthode qui est aujourd’hui utilisée dans tous les logiciels d’apprentissage profond. Les deux scientifiques ont également proposé de créer des architectures d’apprentissage profond capables de manipuler des données structurées, comme des graphiques.
Biographies
Geoffrey Hinton
Geoffrey Hinton est vice-président et ingénieur associé à Google, conseiller scientifique en chef au Vector Institute et professeur émérite à l’Université de Toronto. Il possède un baccalauréat en psychologie expérimentale de l’Université de Cambridge et un doctorat en intelligence artificielle de l’Université d’Édimbourg. Il a créé et dirigé le programme Calcul neuronal et perception adaptative du CIFAR (appelé programme Apprentissage automatique, apprentissage biologique, par la suite).
Il a été nommé Compagnon de l’Ordre du Canada (la plus haute distinction honorifique du Canada), membre de la Société royale du Royaume-Uni et membre étranger de l’Académie nationale d’ingénierie des États-Unis. Il a reçu le prix d’excellence en recherches de l’International Joint Conference on Artificial Intelligence, la médaille d’or Gerhard Herzberg du Conseil de recherches en sciences naturelles et en génie du Canada et la médaille d’or James Clerk Maxwell de l’Institut des ingénieurs électriciens et électroniciens. Il a aussi figuré au classement du magazine Wired parmi les 100 personnalités les plus influentes dans le monde en 2016 ainsi qu’au classement Bloomberg parmi les 50 personnes qui ont révolutionné le commerce mondial en 2017.
Yoshua Bengio
Yoshua Bengio est professeur à l’Université de Montréal et détient une chaire en intelligence artificielle Canada-CIFAR. Il est directeur scientifique à la fois de l’Institut québécois d’intelligence artificielle (MILA) et de l’Institut de valorisation des données (IVADO). Il codirige avec Yann LeCun le programme Apprentissage automatique, apprentissage biologique du CIFAR. Il est titulaire d’un baccalauréat en ingénierie électrique, d’une maîtrise en sciences informatiques et d’un doctorat en sciences informatiques de l’Université McGill.
Il a été nommé officier de l’Ordre du Canada, membre de la Société royale du Canada et a reçu le prix Marie-Victorin. Son travail en tant que fondateur et que directeur scientifique de l’Institut québécois d’intelligence artificielle (MILA) est reconnu pour avoir grandement contribué au domaine de l’intelligence artificielle. MILA est un organisme indépendant sans but lucratif qui compte maintenant 300 chercheurs et 35 membres du corps enseignant. Il s’agit du plus grand centre universitaire axé sur la recherche en apprentissage profond dans le monde. MILA a contribué à faire connaître Montréal comme une ville dotée d’un écosystème d’intelligence artificielle dynamique avec des laboratoires de recherche de grandes entreprises et des jeunes entreprises en intelligence artificielle.
Yann LeCun
Yann LeCun est professeur émérite (distinction Silver) du Courant Institute of Mathematical Sciences à l’Université de New York ainsi que vice-président et scientifique en chef de l’intelligence artificielle à Facebook. Il possède un diplôme d’ingénieur de l’École supérieure d’ingénieurs en électrotechnique et électronique et un doctorat en sciences informatiques de l’Université Pierre et Marie Curie.
Il a été nommé membre de l’Académie nationale d’ingénierie des États-Unis (NAE) et a reçu un doctorates honoris causa de l’Institut polytechnique national (IPN) de Mexico et de l’École polytechnique fédérale de Lausanne (EPFL). Il s’est également vu décerner le prix Pender de l’Université de Pennsylvanie, la médaille Holst de l’Université de technologie d’Eindhoven et de Philips Labs, le prix Shannon Luminary de Nokia-Bell Labs, le prix PAMI de l’IEEE qui récompense un chercheur éminent et le prix Neural Network Pioneer de l’IEEE qui récompense un pionnier des réseaux neuronaux. Il a figuré dans plusieurs classements du magazine Wired : celui des 100 personnalités les plus influentes dans le monde en 2016 et celui des 25 génies qui créent le futur des affaires. Il est aussi directeur fondateur du Center of Data Science de l’Université de New York et il codirige avec Yann LeCun le programme Apprentissage automatique, apprentissage biologique du CIFAR. Enfin, il est cofondateur et ancien membre du conseil d’administration du Partnership on AI, un consortium d’entreprises et d’organismes sans but lucratif qui étudient les conséquences de l’intelligence artificielle sur la société.
À propos du prix Turing de l’ACM
Le prix Turing fut créé en hommage à Alan M. Turing, le mathématicien britannique qui posa les fondements et les limites mathématiques de l’informatique et qui contribua grandement à la création de la cryptanalyse d’Enigmap des Alliés pendant la Seconde Guerre mondiale. Depuis sa création en 1966, le prix Turing récompense des scientifiques et des ingénieurs en informatique qui ont su créer des systèmes et poser des fondements théoriques sous-jacents ayant permis de propulser l’industrie de la technologie de l’information.
À propos de l’ACM
L’Association for Computing Machinery ou ACM est le plus grand organisme mondial qui regroupe les corps d’enseignants et de scientifiques en informatique. Elle unit les professeurs, les chercheurs et les professionnels spécialisés en informatique pour susciter le dialogue, partager des ressources et résoudre les enjeux du domaine de l’informatique. L’ACM renforce la voix collective des professions de l’informatique en établissant un leadership fort, en faisant la promotion de normes strictes et en reconnaissant l’excellence technique. L’ACM soutient la croissance professionnelle de ses membres en leur offrant des occasions d’apprentissage permanent, de perfectionnement professionnel et de réseautage professionnel.
Personne-ressource:
Jim Ormond
212-626-0505
[email protected]