Contributions to stochastic bilevel optimization
Contributions à l'optimisation bi-niveaux stochastique
Résumé
Bilevel problems are a type of optimization problem characterized by a hierarchical structure. In these problems, one wants to minimize an outer function under the constraint that some variables minimize an inner function. These problems are gaining popularity in the machine learning community due to their wide range of applications, such as hyperparameter optimization.In this thesis, we explore approximate implicit differentiation-based algorithms to address bilevel problems where both the outer and inner functions are empirical means over potentially large sample sets. This empirical risk minimization framework is a classical approach in many machine learning tasks.First, we introduce a general algorithmic framework that allows any first-order stochastic solver, initially designed for single-level problems, to be adapted to bilevel problems. We provide and analyze two instantiations of this framework: an adaptation of the stochastic gradient descent and of the SAGA algorithm to bilevel problems. Our analysis demonstrates that these algorithms have complexities comparable to their single-level counterparts.Then, we interest ourselves in the complexity of bilevel optimization in the nonconvex-strongly convex setting. We propose an algorithm class that includes several stochastic approximate implicit differentiation-based methods and establish a lower bound on the number of oracle calls required to reach an approximate stationary point. Then, we propose an algorithm whose complexity matches this lower bound.The performances of the proposed methods are evaluated numerically by a benchmark comparing those methods to other bilevel algorithms on quadratic functions, hyperparameter selection problems, and the datacleaning task.
Les problèmes bi-niveaux sont un type de problème d'optimisation caractérisés par une structure hiérarchique. Dans ces problèmes, on cherche à minimiser une fonction externe sous la contrainte que certaines variables minimisent une fonction interne. Ces problèmes gagnent en popularité dans la communauté du machine learning en raison de leur large éventail d'applications, telles que l'optimisation des hyperparamètres.Dans cette thèse, nous explorons des algorithmes basés sur la différenciation implicite approximée pour aborder les problèmes bi-niveaux où les fonctions externes et internes sont des moyennes empiriques sur des ensembles d'échantillons potentiellement vastes. Ce cadre de minimisation du risque empirique est une approche classique dans de nombreuses tâches de d'apprentissage statistique.Tout d'abord, nous introduisons un cadre algorithmique général qui permet d'adapter n'importe quel solveur stochastique de premier ordre, initialement conçu pour des problèmes à un seul niveau, aux problèmes bi-niveaux. Nous fournissons et analysons deux instanciations de ce cadre : une adaptation de la descente de gradient stochastique et de l'algorithme SAGA aux problèmes bi-niveaux. Notre analyse démontre que ces algorithmes ont des complexités comparables à celles de leurs homologues à un seul niveau.Ensuite, nous nous intéressons à la complexité de l'optimisation bi-niveaux dans le cadre non convexe-fortement convexe. Nous proposons une classe d'algorithmes qui inclut plusieurs méthodes stochastiques basées sur la différenciation implicite approximée et établissons une borne inférieure sur le nombre d'appels aux oracles nécessaires pour atteindre un point stationnaire approché. Nous proposons ensuite un algorithme dont la complexité correspond à cette borne inférieure.Les performances des méthodes proposées sont évaluées numériquement par un benchmark comparant ces méthodes à d'autres algorithmes bi-niveaux sur des fonctions quadratiques, des problèmes de sélection d'hyperparamètres et la tâche de nettoyage de données.
Origine | Version validée par le jury (STAR) |
---|