Retour

G-2023-65

Complexity of trust-region methods with potentially unbounded Hessian approximations for smooth and nonsmooth optimization

et

référence BibTeX

Nous présentons une analyse de la borne de complexité dans le pire des cas pour les méthodes de région de confiance en présence d'approximations du Hessien non bornées. Nous utilisons l'algorithme de Aravkin et al. (2022) comme modèle, qui, bien qu'étant conçu spécifiquement pour les problèmes non lisses régularisés, s'applique aussi dans le cas particulier des problèmes lisses non contraints. Notre analyse fait l'hypothèse que la croissance des approximations des Hessiens est contrôlée par le nombre d'itérations concluantes. Nous montrons que la borne de complexité bien connue \(\epsilon^{-2}\) se détériore en \(\epsilon^{-2/(1-p)}\), où \(0 \leq p < 1\) contrôlant la croissance des approximations des Hessiens. Plus les approximations des Hessiens augmentent, et plus la borne se dégrade. Nous construisons une fonction objectif satisfaisant toutes nos hypothèses pour laquelle la borne de complexité est atteinte, ce qui montre que notre borne est la plus petite possible. Au meilleur de notre connaissance, notre résultat de complexité est le premier à prendre en compte les hessiens potentiellement non-bornés et constitue un premier pas vers l’élucidation d’une conjecture de Powell (2010) disant que les méthodes de région de confiance pourraient requérir un nombre exponentiel d’itérations dans ce cas de figure. Nous présentons des résultats numériques cohérents avec notre analyse théorique.

, 18 pages

Ce cahier a été révisé en novembre 2025

Axe de recherche

Application de recherche

Document

G2365RRR.pdf (580 Ko)