DLRL Summer School 2022 - Yoshua Bengio - Machine Learning for Scientific Discovery

Yoshua Bengio - Canada CIFAR AI Chair, Mila; CIFAR Learning in Machines & Brains Program Co-Director; Scientific Director, Mila & IVADO; Full Professor, Samsung AI Professor, Université de Montréal.

Machine learning research is expanding its reach, beyond the traditional realm of the tech industry and into the activities of other scientists, opening the door to truly transformative advances in these disciplines. In this lecture I will focus on two aspects, modeling and experimental design, that are intertwined in the theory-experiment-analysis active learning loop that constitutes a core element of the scientific methodology. Computers will be necessary to go beyond the currently purely manual research loop and take advantage of high-throughput experimental setups and large-scale experimental datasets. I will discuss methods related to active learning, reinforcement learning, generative modeling, Bayesian ML, amortized variational learning and causal discovery. I will discuss the notion of epistemic uncertainty and how to estimate it. I will motivate generative policies that can sample a diverse set of candidate solutions to a problem, be it for proposing new experiments or causal hypotheses. Finally, I will describe current research to help us with these questions based on a new deep learning probabilistic framework called GFlowNets and how we plan to apply these in areas of great societal need like the unmet challenge of antimicrobial resistance or the discovery of new materials to help fight climate change.

---
L’apprentissage automatique pour la découverte scientifique
Yoshua Bengio; Chaires en IA Canada-CIFAR, Mila; Coresponsable de programme- Apprentissage automatique, apprentissage biologique a CIFAR; Directeur Scientifique, Mila et IVADO; Professeur titulaire, Professeur Samsung AI, Université de Montréal.

La portée de la recherche sur l’apprentissage automatique dépasse le domaine habituel de l’industrie technologique et s’étend aux activités d’autres scientifiques, ouvrant la voie à des avancées véritablement transformatrices dans ces disciplines. Dans cette intervention, je me pencherai plus précisément sur la modélisation et la conception expérimentale, qui sont intimement liées à la boucle d’apprentissage actif théorie-expérience-analyse, élément central de la méthodologie scientifique. Les ordinateurs seront nécessaires pour faire évoluer la boucle de recherche, actuellement purement manuelle, et pour tirer parti des montages expérimentaux à haut débit et des ensembles de données expérimentales à grande échelle. Je présenterai des méthodes liées à l’apprentissage actif, à l’apprentissage par renforcement, à la modélisation générative, à la méthode bayésienne, à l’apprentissage variationnel amorti et à la découverte causale. Je discuterai de la notion d’incertitude épistémique et de la manière de l’estimer. Je justifierai les politiques génératives qui sont en mesure de dégager un ensemble diversifié de solutions potentielles à un problème, que ce soit pour proposer de nouvelles expériences ou des hypothèses causales. Enfin, je décrirai les recherches en cours pour nous aider à répondre à ces questions sur la base d’un nouveau cadre probabiliste d’apprentissage profond appelé GFlowNets et comment nous prévoyons les appliquer dans des domaines où les besoins sociétaux sont importants, comme les enjeux non résolus de la résistance antimicrobienne ou la découverte de nouveaux matériaux pour aider à lutter contre le changement climatique.








Canada CIFAR AI Chair

Learning in Machines & Brains Co-Director

Recognized worldwide as one of the leading experts in artificial intelligence, Yoshua Bengio is most known for his pioneering work in deep learning, earning him the 2018 A.M. Turing Award, “the Nobel Prize of Computing,” with Geoffrey Hinton and Yann LeCun. He is a Full Professor at Université de Montréal, and the Founder and Scientific Director of Mila – Quebec AI Institute. He co-directs the CIFAR Learning in Machines & Brains program as Senior Fellow and acts as Scientific Director of IVADO. In 2019, he was awarded the prestigious Killam Prize and in 2021, became the second most cited computer scientist in the world. He is a Fellow of both the Royal Society of London and Canada and Officer of the Order of Canada. Concerned about the social impact of AI and the objective that AI benefits all, he actively contributed to the Montreal Declaration for the Responsible Development of Artificial Intelligence. Yoshua is a Canada CIFAR AI Chair.