[Conférence SML] Mystères mathématiques des réseaux de neurones profonds - Stéphane Mallat

Stéphane Mallat, Mathématicien à l'École normale supérieure (Paris), Professeur au Collège de France était l'invité d'une SML exceptionnelle organisée à l'occasion du Grand séminaire de la Fédération Informatique de Lyon, le 19 novembre 2018, à l'Université Lyon 1.

[@marcpremium7442]

Je m’étais intéressé au sujet dans les années 90 et je confirme qu’il y avait matière à ne pas y croire! Je suis très impressionné par les progrès réalisés et fasciné par les questions mathématiques sous-jacentes. Je ne serais pas étonné qu’à terme, les réponses à ces questions mènent à une interprétation beaucoup plus convaincante de la mécanique quantique que celle de Copenhague.
C’est une vidéo dense et très intéressante.

[@punkpendulums]

03:47 Changement de paradigme 05:15 IA, capacité de faire de la prediction 06:21 se retrouver dans un cadre, géométrique 06:54 un questionnaire, 30.000 personnes, deuxième cohorte, prédire les réponses 09:24 problématique

[@matardiop2276]

Merci !

[@fakhermokadem11]

Mais s'il vous plait, S'IL VOUS PLAiT, monsieur, faites un cours en ligne pour apprentissage. On veut plus de ces cours applicatifs qui n'osent pas toucher aux mathematiques. Ou peut-on trouver plus de ressources (conferences, livres, cours) de ce type?

[@MMIdeLyon]

Stéphane Mallat est professeur au Collège de France et y donne justement un cours sur le sujet, encore jusqu'au 20 mars. Ce cours est accessible en ligne à l'adresse suivante:
www.college-de-france.fr/site/stephane-mallat/_course.htm

[@fakhermokadem11]

Merci beaucoup@@MMIdeLyon

[@stephanestephane4291]

J'ai pas compris pourquoi l'existence de minima locaux, n'empêche pas la descente de gradient d'être efficace 🤔

[@junkbingo4482]

parce qu'on reste coince dans le minima local et que le gradient ( base sur les developpements limites) ne permet pas d'en sortir

[@christophecerisara8741]

Parce que des résultats récents montrent que dans les espaces de recherche concernés, qui sont de grandes dimensions, les optima locaux sont en fait aussi "bons" (en terme d'erreur commise par le réseau) que l'optimum global. Donc, on peut se contenter des optima locaux ! Pourquoi ? aucune certitude encore; en réalité, on ne comprend pas bien encore les propriétés de ces espaces de recherche: les optima formeraient des "surfaces" (manifold/variété) qui traversent l'espace; la proba d'avoir un vrai optimum local serait faible, car il y aurait souvent au moins une dimension avec un gradient qui va dans l'autre sens, etc, bref, encore beaucoup de choses à comprendre !