Retour aux activités
Séminaire “Un(e) chercheur(-euse) du GERAD vous parle!”

Algorithme d'optimisation en multi-précision: réduction des coûts et maîtrise des erreurs de calcul

iCalendar

22 fév. 2023   11h00 — 12h00

Dominique Monnet Polytechnique Montréal, Canada

Dominique Monnet

Présentation sur YouTube.
La présentation sera donnée en anglais.

Dans le cadre de cette présentation, nous nous intéressons la recherche du minimum d'une fonction continue quelconque (a priori non-convexe). Ce cardre couvre de nombreuses applications, entre autre l'entraînement de réseaux de neurones profonds, pour lequel des architectures matérielles pour le calcul en basse précision ont été développées. Effectuer des calculs en basses précisions, c'est à dire avec des représentations machine des nombres sur peu de bits d'information, permet d'économiser de l'effort de calcul mais induit plus d'erreurs. Nous présenterons, dans le cas déterministe, un algorithme de descent de gradient avec pas adaptatif, l'algorithm de Régularisation Quadratique (R2), et comment il peut être étendu en une version Mutli-Précision (MPR2) pour tirer avantange de la disponibilité de plusieurs niveaux de précision de calcul. L'idée derrière MPR2 est d'adapter dynamiquement le niveau de précision des calculs afin d'économiser de l'effort de calcul, tout en maîtrisant les erreurs de calcul afin de garantir la convergence vers un minimum. Nous metterons en évidence quelques un des pièges liés à l'utilisation de la précision variable et comment l'implémentation de MPR2 les prends en comptes. Nous illustrerons finalement les résultats de MPR2 obtenus sur une banque de problèmes.

Charles Audet responsable
Dominique Orban responsable
Olivier Bahn responsable

Lieu

Activité hybride au GERAD
Zoom et salle 4488
Pavillon André-Aisenstadt
Campus de l'Université de Montréal
2920, chemin de la Tour

Montréal Québec H3T 1J4
Canada