2nde Journée MAS-MODE 2022, INRIA Paris, France
Seconde journée MAS-MODE organisée le 7 mars 2022 à INRIA Paris (salle LJLL).
L'inscription est gratuite mais obligatoire : Formulaire d'inscription.
Les deux communautés autour des groupes thématiques MAS (Modélisation Aléatoire et Statistique) et MODE (Mathématiques de l’Optimisation et de la Décision) de la SMAI ont un nombre croissant d’intérêts scientifiques communs, tant du point de vue des concepts que des applications. Citons :
- l’analyse des données
- l’apprentissage et la classification
- l’optimisation convexe et la recherche opérationnelle en statistique
- l’optimisation stochastique
- les algorithmes stochastiques en optimisation
- le transport optimal et les probabilités
Programme de la journée :
09:00-09:30 Accueil09:30-10:15 Benjamin Guedj (UCL Centre for Artificial Intelligence, London) - On Generalisation and Learning: a primer on PAC-Bayesian learning *followed by* News from the PAC-Bayes frontline
Présentation ici
Résumé : PAC-Bayes is a generic and flexible framework to address generalisation abilities of machine learning algorithms. It leverages the power of Bayesian inference and allows to derive new learning strategies. I will briefly present the key concepts of PAC-Bayes and highlight a few recent contributions from my group.
References: https://bguedj.github.io/publications/#, and our ICML 2019 tutorial https://bguedj.github.io/icml2019/index.html
10:15-10h40 Pause-café
10:40-11:25 Gabriel Peyré (CNRS et ENS) - Optimisation lisse bi-niveau pour la régularisation parcimonieuse
Présentation ici
Résumé : La méthode "Iterated Re-weighted Least Squares" (IRLS) est une approche populaire pour résoudre les problèmes de régression parcimonieuse (du type Lasso) en statistique, machine learning et imagerie. Les méthode de l'état de l'art sont plus efficaces mais elles reposent généralement sur des schémas de selection du support et pruning complexes. Dans cet exposé, je montrerai comment une reparamétrisation étonnamment simple de l'IRLS, couplée à une résolution à deux niveaux (au lieu d'un schéma alternatif) est capable d'obtenir des performances au niveau de l'état de l'art sur plusieurs types de régularisations parcimonieuses (comme le Lasso, le group-Lasso et la trace norm), une large gamma de paramètre de régularisation (y compris pour des contraintes dures) et les matrices de design (allant de design corrélés à des opérateurs différentiels). À l'instar de l'IRLS, cette méthode repose uniquement sur la résolution de systèmes linéaires, mais par contre elle correspond à la minimisation d'une fonction lisse. Bien que cette fonction soit non convexe, nous montrons qu'il n'y a pas de minima locaux et que les points selles ne sont pas problématique, car il existe toujours une direction de descente. Nous préconisons donc l'utilisation d'une méthode de type quasi-Newton, qui rend notre approche simple, robuste et efficace. A la fin de l'exposé, je discuterai les flots gradient associés ainsi que la connexion avec la géométrie hessienne et la descente miroir. Il s'agit d'un travail en commun avec Clarice Poon (Bath Univ.). L'article correspondant est disponible : https://arxiv.org/abs/2106.01429. Un notebook python introduisant la méthode est disponible à cette adresse : https://nbviewer.org/github/gpeyre/numerical-tours/blob/master/python/optim_7_noncvx_pro.ipynb
11:25-12:10 Rémi Gribonval (INRIA Irisa) - Ivresse des profondeurs : les hauts et les bas de la parcimonie en contexte plus ou moins profond
Présentation ici
Résumé : Attempting to promote sparse connections in neural networks is natural to control their computational complexity. Besides, given its thoroughly documented role in inverse problems and variable selection, sparsity also has the potentiel to give rise to learning mechanisms endowed with certain interpretability guarantees. Through an overview of recent explorations around this theme, we will compare and contrast classical sparse regularization for inverse problems with multilayer sparse regularization. During our journey we will highlight the potential of an invariant path-embedding of the parameters of a deep network, both to learn the parameters and to analyze their identifiability from the function implemented by the network. In the process, we will be remembered that there is life beyond gradient descent, as illustrated by an algorithm that brings speedups of up to two orders of magnitude when learning certain fast transforms via multilayer sparse factorization.
12:10-13:50 Pause-déjeuner
13:50-14:35 Yohann De Castro (EC Lyon) - Sparse regularization on measures for Mixture Models
Présentation ici
Résumé : Inverse problems aims at estimating a high-dimensional target from few (linear) measurements. One may even look at infinite dimensional target (say a signed measure) from few random linear measurements. This is the topic of the so-called « off-the-grid » compressed sensing for instance. One may also look at « measurements » given by a sampling with respect to a probability distribution which depends linearly on some target signed measure. This might not be the simplest way to express it, but the Mixture Models are one example of this framework. In this talk, we will see how recent advances in « off-the-grid » compressed sensing can be used in the context of Mixture Models. This would be the opportunity to present the proof of the statistical error bounds when studying sparse regularization on the space of measure. These error bounds rely on the existence of the so-called « dual certificate ». One contribution is the existence of this dual certificat for a large class of measurement mechanisms.
14:35-15:20 Nicolas Juillet (UHA, Mulhouse) - Au sujet du problème de transport martingale
Présentation ici
Résumé : J'introduirai le problème de transport martingale en relation avec des questions qui le motivent. Nous verrons comment certains résultats classiques s’adaptent et comment des phénomènes nouveaux peuvent apparaître notamment sur le thème de stabilité. A ce sujet je présenterai un court article en collaboration avec Martin Brückerhoff de Münster.
15:20-15h45 Pause-café
15:45-16:30 Alessandro Rudi (INRIA et ENS) - PSD models for Non-convex optimization and beyond
Présentation ici
Résumé : In this talk we present a rather flexible and expressive model for non-negative functions. We will show direct applications in probability representation and non-convex optimization. In particular, the model allows to derive an algorithm for non-convex optimization that is adaptive to the degree of differentiability of the objective function and achieves optimal rates of convergence. Finally we show how to apply the same technique to other interesting problems in applied mathematics that can be easily expressed in terms of inequalities.
16:30-17:15 Marianne Akian (INRIA et CMAP, Ecole Polytechnique) - Jeux stochastiques à somme nulle: ergodicité, complexité et théorie de Perron-Frobenius non linéaire
Présentation ici
Résumé : On s'intéresse aux problèmes de jeu stochastiques à somme nulle, paiement moyen et nombre fini d'états. Un jeu est dit ergodique si sa valeur est indépendante de l'état initial quels que soient les paiements. L'équation de la programmation dynamique ou de Shapley permet alors de calculer cette valeur, ainsi que les politiques stationnaires optimales des deux joueurs. On s'interesse donc à l'existence et à l'unicité d'une solution de ce type d'équation ainsi qu'à son calcul. L'opérateur de Shapley étant un opérateur monotone additivement homogène sur $R^n$, ces études font appel à des outils de théorie de Perron-Frobenius non linéaire. Les résultats ainsi obtenus incluent: - une caractérisation de l'ergodicité d'un jeu à somme nulle au moyen de la notion de dominions, ou de celle d'hypergraphe; - des résultats de complexité au moyen d'un temps de premier passage maximal; - l'existence de la valeur et la complexité de jeux d'entropie. Je donnerai un tour d'horizon de ces méthodes.
Travaux communs avec Stéphane Gaubert, Antoine Hochart, Omar Saadi, Zheng Qu, Julien Grand Clément, Jérémie Guillaud.
17:15-17h30 Clôture