En poursuivant votre navigation sur ce site, vous acceptez l'utilisation d'un simple cookie d'identification. Aucune autre exploitation n'est faite de ce cookie. OK
1

Non-convex SGD and Lojasiewicz-type conditions for deep learning

Sélection Signaler une erreur
Multi angle
Auteurs : Scaman, Kevin (Auteur de la conférence)
CIRM (Editeur )

Loading the player...

Résumé : First-order non-convex optimization is at the heart of neural networks training. Recent analyses showed that the Polyak-Lojasiewicz condition is particularly well-suited to analyze the convergence of the training error for these architectures. In this short presentation, I will propose extensions of this condition that allows for more flexibility and application scenarios, and show how stochastic gradient descent converges under these conditions. Then, I will show how to use these conditions to prove the convergence of the test error for simple deep learning architectures in an online setting.

Mots-Clés : deep learning; optimization; Lojasiewicz; non-convex; stochastic gradient descent

Codes MSC :
68T05 - Learning and adaptive systems

    Informations sur la Vidéo

    Réalisateur : Hennenfent, Guillaume
    Langue : Anglais
    Date de Publication : 10/11/2022
    Date de Captation : 04/10/2022
    Sous Collection : Research talks
    Catégorie arXiv : Machine Learning
    Domaine(s) : Informatique ; Théorie du Contrôle & Optimisation
    Format : MP4 (.mp4) - HD
    Durée : 00:47:22
    Audience : Chercheurs ; Etudiants Science Cycle 2 ; Doctoral Students, Post-Doctoral Students
    Download : https://videos.cirm-math.fr/2022-10-04_Scaman.mp4

Informations sur la Rencontre

Nom de la Rencontre : Learning and Optimization in Luminy - LOL2022 / Apprentissage et Optimisation à Luminy - LOL2022
Organisateurs de la Rencontre : Boyer, Claire ; d'Aspremont, Alexandre ; Dieuleveut, Aymeric ; Moreau, Thomas ; Villar, Soledad
Dates : 03/10/2022 - 07/10/2022
Année de la rencontre : 2022
URL de la Rencontre : https://conferences.cirm-math.fr/2551.html

Données de citation

DOI : 10.24350/CIRM.V.19965303
Citer cette vidéo: Scaman, Kevin (2022). Non-convex SGD and Lojasiewicz-type conditions for deep learning. CIRM. Audiovisual resource. doi:10.24350/CIRM.V.19965303
URI : http://dx.doi.org/10.24350/CIRM.V.19965303

Voir Aussi

Bibliographie

  • SCAMAN, Kevin, MALHERBE, Cédric, et DOS SANTOS, Ludovic. Convergence Rates of Non-Convex Stochastic Gradient Descent Under a Generic Lojasiewicz Condition and Local Smoothness. In : International Conference on Machine Learning. PMLR, 2022. p. 19310-19327. - https://proceedings.mlr.press/v162/scaman22a.html

  • ROBIN, David, SCAMAN, Kevin, LELARGE, Marc. Convergence beyond the over-parameterized regime using Rayleigh quotients. Poster. NeurIPS, 2022. -



Imagette Video

Sélection Signaler une erreur