Retour

G-2026-56

Complexity analysis of trust-region methods under \((\alpha,L_0,L_1)\)-smoothness

, , et

référence BibTeX

Les hypothèses de régularité généralisée suscitent un intérêt croissant depuis quelques années, notamment en raison de problèmes d'apprentissage automatique dans lesquels le gradient de la fonction objectif peut ne pas être lipschitzien. Parmi les plus en vue figure l'hypothèse de \((\alpha, L_0, L_1)\)-régularité. Les méthodes existantes qui atteignent les meilleures bornes de complexité connues exigent la connaissance de \(\alpha\), \(L_0\) et \(L_1\), ou de bornes supérieures sur ces paramètres. À l'inverse, les rares méthodes qui s'en passent (dites agnostiques) n'atteignent pas ces bornes. Dans cet article, nous montrons que les méthodes de région de confiance atteignent les meilleures bornes connues pour les fonctions objectif \((\alpha, L_0, L_1)\)-régulières, sans connaître ces paramètres à l'avance. Pour établir ces résultats, il faut de nouveaux outils d'analyse, qui vont au-delà de ceux des analyses de complexité classiques des régions de confiance. Nous montrons aussi que notre hypothèse sur le modèle permet d'utiliser des approximations générales du hessien du modèle, et en particulier des mises à jour quasi-Newton à mémoire limitée. Enfin, nous montrons que notre borne de complexité est optimale (atteinte) dans le cas non convexe.

, 23 pages

Axe de recherche

Document

G2656.pdf (710 Ko)