DLRL Summer School 2022 - Adam White - Better Experiments in RL

Adam White, Canada CIFAR AI Chair, Amii; Assistant Professor, University of Alberta

"Running a good experiment is difficult in reinforcement learning. There are many decisions to be made, including: How long should you run your agent? Do we use rules of thumb to set hyper-parameters or some systematic search? How do we measure and aggregate performance? The answer to such questions can greatly impact the credibility and utility of the result ranging from insightful to down-right misleading. This lecture is designed to provide the uninitiated with a cookbook or how-to guide for running good experiments in RL."

Adam White is a Canada CIFAR AI Chair at Amii, an assistant professor in the University of Alberta’s Department of Computing Science and a Senior Research Scientist at DeepMind in Edmonton, Canada. At the University of Alberta, he is also a Principal Investigator in the Reinforcement Learning & Artificial Intelligence (RLAI) Lab. White’s research program focuses on replicating or simulating human-level intelligence in physical and simulated reinforcement learning agents interacting with unknown environments. He seeks to understand knowledge representation and intrinsic motivation. He is the founder of a language-independent communication protocol and evaluation framework for reinforcement learning experiments, RL-Glue. He is the co-author of the Horde architecture, a scalable real-time architecture for learning knowledge from unsupervised sensorimotor interaction.

----
Améliorer les expériences d’apprentissage par renforcement

Adam White, Chaires en IA Canada-CIFAR, Amii; professeur adjoint, Université de l’Alberta

« Il est difficile de mener une bonne expérience en apprentissage par renforcement. Il y a de nombreuses décisions à prendre, comme combien de temps devez-vous faire fonctionner votre agent logiciel ? Doit-on utiliser la méthode empirique pour définir les hyper-paramètres ou faire une recherche systématique ? Comment mesurer et cumuler les performances ? La réponse à ces questions peut avoir un impact considérable sur la crédibilité et l’utilité du résultat, allant de la plus grande précision à la méprise la plus complète. Cette conférence est conçue pour offrir aux non-initiés un livre de recettes ou un guide pratique pour réaliser de bonnes expériences en AR. »

Adam White est titulaire de la chaire en IA Canada-CIFAR à l’Amii, professeur adjoint au département d’informatique de l’Université de l’Alberta et chercheur principal chez DeepMind à Edmonton, au Canada. À l’Université de l’Alberta, il est également chercheur principal au Laboratoire d’apprentissage par renforcement et d’intelligence artificielle. Son programme de recherche vise à reproduire ou à simuler l’intelligence humaine dans des agents d’apprentissage par renforcement physiques et simulés qui interagissent avec des environnements inconnus. Il cherche à comprendre la représentation des connaissances et la motivation intrinsèque. Il est le fondateur d’un protocole de communication indépendant de tout langage et du cadre d’évaluation des expériences d’apprentissage par renforcement RL-Glue. Il est coauteur de « Horde architecture, a scalable real-time architecture for learning knowledge from unsupervised sensorimotor interaction », une approche permettant l’apprentissage de connaissances à partir d’interactions sensorimotrices non supervisées.