Gloire aux erreurs (dropout) | Intelligence artificielle 45
Vložit
- čas přidán 25. 07. 2024
- Dropout est une technique qui consiste à programmer artificiellement le dysfonctionnement des neurones en machine learning. Et ça améliore grandement les performances ! Surpris ? On en parle.
Facebook : / science4allorg
Twitter : / science__4__all
Tipeee : www.tipeee.com/science4all
La formule du savoir (mon livre) :
laboutique.edpsciences.fr/pro...
A Roadmap for the Value-Loading Problem
arxiv.org/abs/1809.01036
Moi en podcast avec Mr Phi :
Version CZcams : / @axiome7403
Version Audio : feeds.feedburner.com/Axiome
Sous-titres sur les autres vidéos : czcams.com/users/timedtext_cs_p... - Věda a technologie
C est très philosophique , l erreur comme certification de la robustesses d un résultat, et dire que ce sont les mathématiques qui nous le font comprendre ... Magnifique chaîne youtube , une vulgarisation si puissante ou l' on survole des Annapurnas de complexitées comme de simple carte en relief avec élégance et beaucoup d' intelligence ... merci encore !!!
Cette série est extraordinaire!
Merci beaucoup pour ton travail de très grande qualité!!
Pour le fond comme la forme, cette coupe te va à ravir ;-D et je me dis à chaque épisode que l'on a une chance folle d'accéder à ce que tu es et fais. Chance double que aies pu / voulu les partager !!
Super nice vidéo tu gères !
les neurones biologiques ne sont pas parcourus uniquement par des infos élec mais aussi chimiques, plus lentes. y a t il des recherches en IA allant dans ce sens (superposition de plusieurs système) ?
Les infos chimiques permette de passer une info elec d'une neurone à l'autre donc pour des neurones artificiels cela n'est pas nécessaire (rep très tardive sorry)
6:28, j'utilise très souvent ce type d'argument, je ne m'en rendais même pas compte jusqu'à ce que je regarde ta vidéo :)
Alors, à quand cette nouvelle série de vidéos sur le bayésiannisme ?!!! Toute la communauté des fans de youtubers scientifiques est scotchée et vous attend avec impatience. :-)
Un autre avantage de dropout est qu’il permet d’améliorer drastiquement la stabilité numérique du calcul du gradient.
Ce problème de stabilité numérique est appelé explosion du gradient (gradient explosion) est assez facile à comprendre :
Les réseaux de neurones n’utilisent pas des vrais nombres réels comme le suppose les modèles mathématiques mais une approximation finie des nombres réels, les nombres à virgules flottantes. Des erreurs d’arrondis sont donc nécessairement générées à chaque opération.
Lorsqu’un grand nombre d’opérations se combinent pour calculer le gradient ces erreurs s’amplifient jusqu’au point ou l’influence des erreurs d’arrondi devient plus importantes que l’influence problème à résoude.
Ce point est particulièrement problématique pour les réseaux de neurones profond car le nombre d’opérations combinées pour le calcul du gradient croit exponentiellement avec le nombre de couches du réseau.
En supprimant des neurones Dropout permet de diminuer drastiquement le nombre d’opérations nécessaire au calcul du gradient, et donc d’améliorer d’autant la stabilité numérique du calcul. Il faut réaliser qu’un dropout classique va supprimer de l’ordre de 50% des neurones de la couche et qu’un réseau de neurones profond a généralement plusieurs couches de Dropout.
Cependant puisque la suppression est aléatoire à chaque étape d’apprentissage, le système bénéficie bien de l’expressivité de l’ensemble des paramètres du réseau
Pour reformuler tout cela
Dropout permet d’avoir des réseaux de neurones avec un grand nombre de paramètres (donc potentiellement une grande entropie de Solomonov) en particulier avec un grand nombre de couches (donc un grande quantité de bidouille non linéaire automatisée imbriquées) tout en gardant un nombre raisonnable d’opérations pour le calcul du gradient et donc une bonne stabilité numérique du calcul.
Il y a pas mal d’autres techniques pour améliorer la stabilité numérique du calcul du gradient (discriminative learning rates, RELU, ..) mais j’imagine que ce sera le sujet d’une prochaine video
... et le prof rétorqua aussi sec : " je risque donc de mettre quelques erreurs dans le calcul de ta moyenne du second trimestre" ;)
Mais ça aide à l'apprentissage d'avoir une moyenne avec quelques erreurs !
Ben oui parce qu'il faut assurer un moyenne plus haute pour s'assurer que moyenne + erreur reste une bonne note :-)
Oui parce-que ton prof est humain donc rancunier, elle la machine de glace, te donnera ta moyenne exacte
Pour le recuit simulé ou Metropolis Hasting ou ...
Un des gros problèmes c'est l'échantillonnage parce que selon les cas un sample peut être couteux (exemple lorsque l'on fait du RL dans un environnement physique) on veut que chaque échantillons compte.
C'est pour ça que beaucoup de chercheur travaille juste sur la fonctionne de sampling genre ici:
arxiv.org/pdf/1408.1118.pdf
[6.2] ils montrent les résultats sur une fonction non convex (dans un context gradient free).
Sinon j'ai au moins un usecase où lorsque j'ai appliqué un trivial gibbs (+ Importance Sampling) pour sortir d'un minimum local d'une fonction de dimension 512² ça m'a aidé.
Sinon les heuristiques ce n'est pas ce qui manque quand tu as un gradient, tu peux mixer Sampling + GD etc.
Mais l'idée général réinforcement learning c'est pas du forcement SGD et ça converge (parfois), et les fonctions sont vraiment de haute dimension et vraiment chaotique (type controler un ragdoll), c'est pour ça que je ne comprend pas la remarque sur la recuit simulé, métropolis hasting.
Sur le sujet Uber à publié:
eng.uber.com/deep-neuroevolution/
eng.uber.com/wp-content/uploads/2017/12/deep-ga-arxiv.pdf
Pour l'exploration d'espace de grande dimension, j'ai quelques idées.
Pour situer, je n'ai pas vraiment d'expertise : je suis en deuxième année d'école d'ingénieur et je commence une session de cours sur le machine learning (je me suis donc remis à regarder tes vidéos), et j'ai tilté quand tu as parlé de Métropolis à la fin, car cet algorithme était mon sujet de TIPE en prépa.
- Concernant Metropolis, même si il est intéressant, il me semble que son intérêt est de pouvoir explorer des espaces de forme bizarre (genre pas hypercubique) en limitant le nombre de coup perdu, mais sinon dans l'idée c'est du Monte Carlo, donc je ne vois pas ce que ça apporte.
- En revanche, j'ai appris récemment qu'on pouvait améliorer la convergence en 1/sqrt(n) de MC (pour les intégrales... bon, osef) vers 1/n en utilisant des suites non pas aléatoires mais cherchant délibérément à "bien explorer" l'espace : les Low-Discrepancy Sequences. Si on veut faire des descentes depuis de multiples points aléatoires, je pense que ça serait une bonne idée de prendre des points bien espacés...
- D'ailleurs, comme c'est un peu coûteux de faire des descente depuis beaucoup de points aléatoires, on va juste prendre les points de départ de plus faible coût parmi ceux explorés, pas vrai ? Pourquoi ne pas utiliser de vieilles astuce probabilistes pour choisir quand est-ce qu'on s'arrête dans l'exploration ? J'entends : on explore N termes, on mémorise le minimum, et on s'arrête dès qu'on trouve un point de plus faible coût que ce min.
C'est des idées en vrac, mes cours reprennent à la rentrée et j'aurais donc l'occasion d'en causer avec des profs, mais je jette tout de même ça en vrac ici.
👍👍👍👍👍👍👍👍☝☝☝💙
C'est dingue !
Le premier systeme qui fonctionne mieux quand il disfonctionne !!!
Pas mal !
Même sans parler de réseau de neurones, on peut trouver des cas où les erreurs sont bénéfiques. Je me souviens que dans un cours de traitement du signal (quand j'étais jeune :D ), j'avais eu un exercice marrant : une chaîne d'appareils qui relaient un signal numérique (0 ou 1), et dont chaque élément peut faire une erreur avec la probabilité 1-p. Si la longueur de la chaîne tend vers l'infini, il n'est pas souhaitable que la probabilité p (transmission exacte) soit maximale. Car, hormis le cas où p est rigoureusement égale à 100% (cas singulier, qui n'arrive jamais), une valeur élevée de p implique certes que chaque élément a moins de risque de faire une erreur, mais elle implique aussi que chaque élément tend à relayer une valeur fausse, si une telle valeur survient sur un des éléments amont.
C'est vrai que ça à l'air d'être plutôt une bonne idée de faire quelques erreurs de temps en temps (pour un réseaux de neurones), mais du coup il doit bien il y avoir quelques problèmes si on en fait trop non ? et par conséquent il doit y avoir un "nombre d'erreur" qui maximise les effets recherché (qui doit varier selon les réseaux), donc comment les chercheurs font pour le trouver (si c'est possible) ou s'en approcher ?
Sinon c'est toujours aussi génial, même si j'attend toujours un petit épisode hardcore sur 2-3 petites techniques mathématiques sympatoche utilisées en IA.
Par rapport au "recuit-simulé" on fait aussi du "learning-rate schedulling" ou l'on prend des learning-rate qui augmente vite puis rédescent lentement pour "explorer puis se restabiliser" (2015 un vieux papier ! ... arxiv.org/abs/1506.01186)
Ok merci
Tu dis qu'il n'y a pas de méthode de sgd plus performante que les autres. C'est vrai mais l'optimizer Adam (adaptative momentum) se détache pas mal des autres quand même. Il présente un bon compromis entre recherche des min sans être "perdu dans le bruit" des données et par ailleurs un maintient (adaptatif) de l'inertie du gradiant (en promouvant l'inertie des composantes statiques du gradient et en réduisant l'inertie des composantes dynamiques). C'est souvent celui qui est utilisé par défaut à ma connaissance. Et c'est un peu l'aboutissement de tous les autres optimizers classiques (Nesterov momentum et RMS Prop par ex).
Et sinon excellente vidéo ;)
Merci pour cette vidéo très intéressante, je me questionnais cependant sur la différence entre Dropout et les algorithmes de Random Forest ? Hormis le fait qu'il s'agisse d'un côté de réseaux de neurones et de l'autre d'arbres de décision, cela semble aller vers la même conclusion qui est que la combinaison de plusieurs "faibles" modèles décorrélés permet de mieux généraliser. Peut-on aussi parler de Bagging dans le cas de Dropout ?
Oui tout à fait!
Une petite question:
J'ai du mal a me représenter la manière d'implémenté le dropout
Faut-il mettre en place un générateur de nombre (speudo?) aléatoire et faire dysfonctionner le neurone dans une certaine plage de ces valeurs?
Ou existe-t-il un manière plus propre le faire cela?
allons nous finir par conclure que nos biais cognitifs sont en fait une optimisation du fonctionnement de nos frêles esprits face aux grands ensemble de données et non des erreurs à éradiquer ?
Hop hop on fait un détour vers le cours de Stanislas de Haene au collège de France sur le cerveau bayésien !
merci pour de conseil, que je m'empresse de suivre (malgré le hophop ^^)
je commence par là :
czcams.com/video/N32crxM56wc/video.html
C'est cela. Il serait autodestructeur de vouloir faire disparaître nos biais cognitifs. Détruire nos chaînes n'engendre que de nouvelles chaînes.
Les "biais" seraient plutôt des "optimisations" dans l'énorme majorité des cas. Mais pour le peu de cas restants ca reste utile de savoir s'en protéger.
Le fait de voir facilement des visages partout par exemple (2 points + une ligne convexe = un visage souriant) est clairement une manière de sur-interpréter volontairement les données pour ne pas prendre le risque de rater de vrais visages dans le champ visuel. Même chose pour le fait d'analyser essentiellement les yeux et la bouche puisque c'est ce qui permet de déduire le niveau de danger le plus vite. On a clairement un avantage évolutif a bien savoir lire les émotions des autres.
Il faudrait songer à certifier ta chaîne ^^
Merci pour les vidéos. Question plus générale sur les réseaux de neurones : tu présentes systématique la résolution d'un problème par un réseau, mais ce ne serait-il pas préférable de résoudre des sous-problèmes par différents réseaux spécialisés ? Par exemple résoudre "est-ce que c'est une photo de chat" en cherchant d'abord à étudier la forme, le visage, etc., ce qui me semble plus instinctif.
C'est plus de travail de design. Car au lieu de devoir écrire un programme qui regarde une image et dit s'il y a un chat, tu dois maintenant écrire un programme qui dit s'il y a un visage ou reconnaît une forme, puis un second qui étudie ces éléments pour savoir si c'est un chat.
L'autre réponse, qui est très probablement la réponse la plus pertinente, est que les réseaux de neurones qui font de la reconnaissance d'image sont des réseaux multicouches. Les premières couches (celles qui reçoivent les données brutes) vont identifier des patterns de bas niveau (une ligne penchée à gauche, à droite, une courbe...), et plus on va avancer dans les couches de neurones et plus les neurones de la couche en question s'activent pour des concepts abstraits.
L'exemple classique donné est que la première couche identifie des formes simples, la seconde des formes complexes, la troisième associe ces formes et commence à reconnaître des bouts d'objets, et les dernières identifient l'objet en question.
Si l'on en croit cette seconde réponse, alors les réseaux multicouche (virtuellement tous les NN sont multicouches de nos jours) font déjà ce que tu proposes. et le plus beau, c'est que ce ne sont pas les programmeurs qui les ont programmé pour qu'ils fonctionnent de cette manière, il s'agit d'une propriété émergente de l'architecture des réseaux de neurones :)
L'efficacité du drop out rappelle l'efficacité des algorithmes génétiques, et des mutations génétiques dans le domaine biologique, non ? Une mutation est une erreur (de copie). La forêt des mutations (d'un grand nombre d'individus) fait évoluer l'espèce, i.e. améliore l'efficacité du système (de l'algorithme).
Il est faux de dire que les dropouts améliorent fortement la performance. Depuis au moins un an il est devenu de plus en plus rare de trouver des articles au top de l'état de l'art utilisant des Dropouts. La tendance actuelle est même de considérer qu'il est meilleur de les remplacer par des couches de normalisation, voire même par des simples Resnets.
Est-il probable que les réseaux de neurones aient un comportement chaotique ? (2 états initiaux quasi identiques, même training data mais après l'apprentissage, on obtient 2 réseaux complètement différents)
Merci :)
Si il sont initialisés de manière parfaitement identiques, ils donneront le même résultat. Sinon , ben on sait pas. Le terme "quasiment identique" est assez vague quand on parle de millions de paramètres qui composent les réseaux de neurones
si 2 etats initiaux identiques signifie les weights et bias identiques a l'époque 0, alors oui ils auront le même comportement puisque les algorithmes de learning tel que back prop ne prennent pas de variables aléatoires.
en d'autres termes, non un comportement chaotique est impossible.
Par rapport aux algorithmes d'optimisation, tu disais qu'il n'y avait pas à ta connaissance d'algorithme meilleur que d'autres dans toutes les circonstances. Je crois qu'ADAM est meilleur que la plupart des algos dans la plupart des situations, mais c'est plus une combinaison des techniques existantes qu'un concept réellement nouveau. Je ne suis pas totalement sûr de moi donc je mets le lien de l'article: arxiv.org/pdf/1412.6980.pdf
Je suis d'accord. En plus, ADAM nécessite qu'un seul paramètre (le 'learning rate'), alors que la méthode 'momentum' en demande deux.
ADAM a d'autre problèmes comme le fait qu'il n'a pas tendance à converger vers un minimum global mais vers une solution approximative. De plus cet algo est assez allergique à la "dégénérescence des poids".
Ainsi beaucoup des papier de recherche pour le traitement d'image utilisent encore SGD avec 'momentum'.
Quelques exemples:
arxiv.org/pdf/1605.07146.pdf
arxiv.org/pdf/1611.05431.pdf
arxiv.org/pdf/1805.04833.pdf
arxiv.org/pdf/1707.07012.pdf
Excellent, par contre l'analogie avec les neurones du cerveau n'est pas complète puisque les transmissions synaptiques se font par des protéines nanoscopiques dont le mouvement se décrit par une fonction d'onde, il devrait en être de même pour l'erreur imposée au reseau de l'IA: un biais probabiliste à chaque transmission et non une suppression aléatoire de quelques noeuds. Solution pour l'émergence d'un libre arbitre?
Le but des IA c'est qu'elles nous servent ;)
Un peut de physique quantique dans les réseaux de neurones ???
@@mathiasautexier je dirais même plus: beaucoup de physique quantique!
Tu penses qu'on peut pousser une analogie qui dirait que les révolutions scientifiques sont l'équivalent de la "sortie d'un lac - minimum local" ? :p
Oui!
"Ne dites pas à votre prof que vous avez mis des erreurs exprès dans votre copie..."
Juste au moment ou je notais cette astuce dans mon carnet :(
BRAVO L'ami, chaque vidéo je me sens un peu plus intelligent dans ce monde et moralement plus proche de l'humanité (j'espère). ^^
NB: Est-ce que ça expliquerait pourquoi les moutons électrique rêvent?
Perso, mes neurones s'endorment en te regardant parce que je ne pige pas 1/3 😉😘
Allezzzzz parle du LSTM et de l'article que j'ai coecriiiiit.
Non sans rire, les réseaux récurrents, le LSTM, et les archi de neurones GAN... C'est le principal point de ralentissement que j'ai eut quand j'ai eut à bosser sur les réseaux de neurones ces derniers mois.
Le plus compliqué est d'aller vers ton concept de forêt ou simplement d'interconnecter des modèles entre eux. Dernièrement j'ai du accrocher un réseau cGan à deux modèles à multi convulsions, et ajouter un r-CNN en amont. J'y ai passé 8 jours... Et ça marche même pas correctement. Je pense que les réseaux de neurones sont vraiment qu'à leur débuts. Je reste perplexe quand je sais qu'aucune règle n'arrive à expliquer combien de neurones et de couches cachées il faut pour être dans un modèle optimal. C'est dingue...
Et tu parles quand des tiennes d'erreurs ? Un petit tour de pass pass et c'est réglé^^
Ma question n'est pas forcément spécifique à cette vidéo, mais un peu plus générale à l'ensemble de tes vidéos.
Étant donné que les technologies actuelles d'IA ne sont que des approximations du fonctionnement d'un cerveau biologique, finalement assez éloignées, surtout si on écoute les biologistes. Quel est pour toi la probabilité qu'il existe un mur technologique, que l'on aurait pas encore identifié, qui empêcherait les IA actuelles de dépasser un être humain, et qui demanderait par conséquent de reprendre les recherches sur l'IA de zéro.
Je crois que ce mur existait avant la compréhension du fonctionnement des réseaux de neurones. Ca a vraiment débloqué la situation, et maintenant on court plus à optimiser, généraliser, et accroître le nombre de données et de ressources informatiques allouées. Ce qui pourrait être bloquant c'est qu'en pratique on ne vise pas du tout des intelligences complètes qui font rêver, mais plutot des intelligences très supérieures à l'homme sur des applications très précises et restreintes (y'a d'ailleurs débat sur le fait d'appeler ca de "l'intelligence", puisqu'on a tendance à définir ca plutôt comme la capacité à s'adapter / apprendre de manière plus "globale").
D'ailleurs un humain qui serait imbattable aux échecs par exemple tout en étant déficient dans tous les autres domaines ne serait pas jugé "intelligent". On dirait de lui qu'il a un don au mieux, une malédiction au pire ... ca sera considéré comme une maladie. On a tendance à parler d'intelligence pour des gens qui sont bons partout ou potentiellement bons partout (au moins dans les domaines dits "intellectuels", mais ca fait aussi débat bien entendu. Les définitions ...)
Les IA donnent l'impression d'être totalement rationnelles et calculatrices,mais en réalités celles qui font du deep learng font plus dans l'instinct expérimenté surpuissant avec des données nombreuses et une mémoire parfaite que dans la logique pure.
C'est incroyable à quel point, dans toute cette série de vidéos, l'IA et le machine learning utilisent rigoureusement les mêmes outils que les stats. Est-ce que l'IA et le machine learning n'ont fait qu'appliquer les outils déjà connus des stats ? Ou les ont-ils parfois redécouverts sans s'en rendre compte (car les outils sont les mêmes, mais les termes sont tous différents : exemple ici vous parlez de dropout et de bruit, en stats on parle de résidus, exemple aussi les labels et les features, alors qu'en stat on parle de variable mesurée et de variable expliquée, etc...).
Les frontières entre discipline sont souvent des artefacts historiques... Pour le bayésien extrémiste, tout n'est qu'approximation calculable de Bayes ou sophisme fallacieux...
Lol. Ca c'est une réponse de bayésien. L'historien des sciences dirait qu'on redécouvre les mêmes choses à différents endroits et à différents moments, sans le savoir, ou parfois en copiant sans le dire... Quand j'étais dans la recherche, ça m'a toujours frappé à quel point les chercheurs ne prenaient pas suffisamment le temps de lire toute la littérature (et pas seulement dans leur domaine restreint) et refaisaient sans le savoir des expérimentations déjà faites et refaites.
Tout à fait, et en même temps aujourd'hui qui peut se vanter de lire toute la littérature, tellement elle est pléthorique ?
Pour un humain en tout cas ...
C'est un énorme boulot. Sur un tout petit sujet, ça m'a pris trois ans quasi plein temps. Mais faut savoir ce qu'on veut. Je remarque qu'il y a quand même quelques "no-life" hyperactifs qui nous sauvent la vie. Et pour la même raison, Wikipedia, même avec ses quelques erreurs, c'est juste prodigieux comme porte d'entrée.
Le drop-out cela s'appelle aussi le libre marché( 20 paquets de biscuits "presque" identiques au lieu d'un seul), la concurrence, le roi qui laisse au seul rôle du fou le droit de le critiquer, dieu qui crée le diable pour rester au top. En clair, ne pas être seul. L'innovation est stimulée, l'innovation pour rester en avance sur les autres. Mais trop d'agressivité tuerait la survie, il faut bien pondérer. Ainsi les systèmes politiques et économiques mauvais sont tous basés sur le monopole, ou surinterprétation, ou suradaptation; si une population est trop proche génétiquement la moindre maladie va toute la faire tomber. La forêt devient le réseau de femmes et l'homme par son instabilité l'anomalie qui va soit améliorer le groupe soit le faire descendre. On juge donc une civilisation à la qualité de ses femmes et le niveau de compétition interne de ses hommes.
Et oui, la recherche en logique nous amène loin.
Sérieux le simulated annealing en français c'est traduit par "recuit simulé" ??
Purée comme c'est naze et pas intuitif : le mec qui a traduit ça, il se rend compte que personne hormis des ingénieurs ne sait ce que c'est qu'un "recuit" ?
"Refroidissement simulé", ouais, là on comprend. C'est quand même vraiment plouc parfois, le français ! :D
C'est gentil d'ecrire en couleur :) mais comme cette vulgarisation n'en est pas une , je zappe a la moitié. Ces sprint d'Ockam m'epuisent.
Raconter des leçons n'est pas de la science .
Et oui faut s'accrocher... C'est un type de vulgarisation particulière, un peu plus compliquée, mais c'est un choix de l'auteur, et je suis content qu'il existe une vulgarisation un peu plus poussée comme celle-ci !
Personnellement je préfère de la vulgarisation dans laquelle j'apprend des choses. La vugarisation-divertissement, j'en ai ma claque. Chacun son truc. Si tu n'aimes pas réfléchir pour comprendre une vidéo, effectivement le contenu de S4A n'est peut-être pas pour toi.
Et si, c'est bien de la vulgarisation. Si tu penses que ce n'en n'est pas, tu n'as aucune idée de la complexité réelle du sujet du machine learning.
Merci d'avoir commenté gentillement bbbbouli.
Je trouve juste un peu malvenue de se prévaloir d'un principe de raisonnement clairvoyant par la simplicité et la mesure ,
pour déclamer d'inattendues tirades chronométrées, inculquant des meandres d'une science contemporaine numerique, de maniere semi-accessibilisées, ne faisant ainsi aucune economie autre que la seule regrettable de demontrer, d'averer par la simplification.
Sinon jsuis abonné car j'aime cette chaine .