G-2026-56
Complexity analysis of trust-region methods under \((\alpha,L_0,L_1)\)-smoothness
, , et
référence BibTeXLes hypothèses de régularité généralisée suscitent un intérêt
croissant depuis quelques années, notamment en raison de
problèmes d'apprentissage automatique dans lesquels le gradient de
la fonction objectif peut ne pas être lipschitzien. Parmi les plus en vue
figure l'hypothèse de \((\alpha, L_0, L_1)\)-régularité. Les méthodes existantes
qui atteignent les meilleures bornes de complexité connues exigent la
connaissance de \(\alpha\), \(L_0\) et \(L_1\), ou de bornes supérieures sur ces
paramètres. À l'inverse, les rares méthodes qui s'en passent (dites
agnostiques) n'atteignent pas ces bornes. Dans cet article, nous
montrons que les méthodes de région de confiance atteignent les
meilleures bornes connues pour les fonctions objectif \((\alpha, L_0, L_1)\)-régulières, sans connaître ces paramètres à l'avance. Pour établir ces
résultats, il faut de nouveaux outils d'analyse, qui vont au-delà de
ceux des analyses de complexité classiques des régions de
confiance. Nous montrons aussi que notre hypothèse sur le modèle
permet d'utiliser des approximations générales du hessien du
modèle, et en particulier des mises à jour quasi-Newton à mémoire
limitée. Enfin, nous montrons que notre borne de complexité est
optimale (atteinte) dans le cas non convexe.
Paru en septembre 2026 , 23 pages
Axe de recherche
Document
G2656.pdf (710 Ko)