DLRL Summer School 2023 - Yoshua Bengio - Machine Learning for Scientific Discovery & AI Safety

Yoshua Bengio - Scientific Director, Mila & IVADO, Full Professor, Samsung AI Professor, Université de Montréal; Canada CIFAR AI Chair; CIFAR Learning in Machines & Brains Co-Director.

Machine learning research is expanding its reach, beyond the traditional realm of the tech industry and into the activities of other scientists, opening the door to truly transformative advances in these disciplines and raising concern about the potential catastrophic outcomes of very powerful AI systems. In this lecture I will propose the idea that an AI that is specialized to understand the world, for example in a scientific domain, rather than act in it can be very safe from the perspective of avoiding loss of control. After motivating the need for AI safety, I will focus on two aspects of AI-driven scientific research: modeling and experimental design. They are intertwined in the theory-experiment-analysis active learning loop that constitutes a core element of the scientific methodology. Computers will be necessary to go beyond the currently purely manual research loop and take advantage of high-throughput experimental setups and large-scale experimental datasets. I will discuss methods related to active learning, reinforcement learning, generative modeling, Bayesian ML, amortized variational learning and causal discovery. I will discuss the notion of epistemic uncertainty and how to estimate it. I will motivate generative policies that can sample a diverse set of candidate solutions to a problem, be it for proposing new experiments or causal hypotheses. Finally, I will describe current research to help us with these questions based on a new deep learning probabilistic framework called GFlowNets and how we plan to apply these in areas of great societal need like the unmet challenge of antimicrobial resistance or the discovery of new materials to help fight climate change.

---
Yoshua Bengio - Directeur Scientifique, Mila et IVADO; Professeur titulaire, Professeur Samsung AI, Université de Montréal; Titulaire de chaire en IA Canada-CIFAR; Coresponsable de programme- Apprentissage automatique, apprentissage biologique, CIFAR.

La portée de la recherche sur l’apprentissage automatique dépasse le domaine habituel de l’industrie technologique et s’étend aux activités d’autres scientifiques, ouvrant la voie à des avancées véritablement transformatrices dans ces disciplines. Dans cette intervention, je me pencherai plus précisément sur la modélisation et la conception expérimentale, qui sont intimement liées à la boucle d’apprentissage actif théorie-expérience-analyse, élément central de la méthodologie scientifique. Les ordinateurs seront nécessaires pour faire évoluer la boucle de recherche, actuellement purement manuelle, et pour tirer parti des montages expérimentaux à haut débit et des ensembles de données expérimentales à grande échelle. Je présenterai des méthodes liées à l’apprentissage actif, à l’apprentissage par renforcement, à la modélisation générative, à la méthode bayésienne, à l’apprentissage variationnel amorti et à la découverte causale. Je discuterai de la notion d’incertitude épistémique et de la manière de l’estimer. Je justifierai les politiques génératives qui sont en mesure de dégager un ensemble diversifié de solutions potentielles à un problème, que ce soit pour proposer de nouvelles expériences ou des hypothèses causales. Enfin, je décrirai les recherches en cours pour nous aider à répondre à ces questions sur la base d’un nouveau cadre probabiliste d’apprentissage profond appelé GFlowNets et comment nous prévoyons les appliquer dans des domaines où les besoins sociétaux sont importants, comme les enjeux non résolus de la résistance antimicrobienne ou la découverte de nouveaux matériaux pour aider à lutter contre le changement climatique.