Comprendre les LSTM - Réseaux de neurones récurrents
Vložit
- čas přidán 5. 02. 2019
- Patreon : / membership
Dans cette vidéo, nous regardons comment fonctionnent les cellules LSTM (Long short time memory) et leur mémoire qui leur permettent de stocker uniquement l'information nécessaire utile à une prédiction.
#RNN #LSTM #DeepLearning
La vidéo sur les réseaux de neurones récurrents (RNN) :
• Comprendre les réseaux...
Discord de la communauté :
/ discord
[Chronique d'une IA]
Spotify : open.spotify.com/show/5yTTTKf...
Amazon music : music.amazon.fr/podcasts/5097...
Apple Podcasts: podcasts.apple.com/us/podcast...
[About me]
Visual Behavior : visualbehavior.ai
Perso : www.thibaultneveu.ai/
Github : github.com/thibo73800
Linkedin : / thibaultneveu
Twitter : / thiboneveu - Věda a technologie
Très clair merci, référencement en tête des vidéos LSTM mérité. Un petit complément sur la backpropagation dans les cellules LSTM aurait peut-être pu compléter le tout
Enfiiin je comprend les LSTM. Merci !
Une video sur les transformers serait aussi intéressante ^^
J'ai pas fini ta vidéo mais je tiens déjà à te remercier de ce que tu fais !! Tes explications sont simples et concises ! J'adore ca, merci bcp !
Quelle pédagogie ! C'est vraiment très bien expliqué. Bravo pour ce travail de qualité !
Slt , Merci Beaucoup pour cette très claire vulgarisation des LSTM, c'est vraiment très bien expliquer !
Merci encore pour tout ton travail, et la qualité d'information partagée.
Trés bonne explication, Merci beaucoup pour vos efforts et Bonne continuation.
Merci vous m'avez vraiment aidé à comprendre les bases du LSTM!
Vraiment excellent ce cours, merci beaucoup !
Bravo et mille merci, tres clair et tres bien explique.
Merci beaucoup. Cette notion est clairement plus difficile à saisir que les RNN mais grâce à tes explications très claires je pense avoir compris.
très bonne vidéo pédagogique ! un commentaire pour la mettre en lumière pour d'autres personnes en recherche de vidéos pédagogiques de qualité sur le sujet
Je viens de terminer la formation de andrew NG sur les LSTM j'avais quelque flou a propos de ça, en regardant ta vidéo j'ai pu combler mes lacunes a ce sujet. Bien joué.
C'est grandement instructif. Merci !
Franchement tu gères à fond merci beaucoup
Bravo ! C est trop bien expliqué :)
Excellente video sur les LSTM.
Bravo et félicitations Thibault, ne change rien ! En retour ce fan te conseille burning man ;)
Lerci beaucoup beaucoup mon frère tu expliques très bien
Très bien expliqué ! Merci
meilleur cours sur les LSTM Merci beaucoup
incroyable tes vidéos !
Merci pr la vidéo !
Merci, une vidéo tres claire.
Un mot a dire: excellent.
très bien expliqué. Merci
merci bcp, j'espère voir une vidéo sur les MNNs (Modular neural networks)
vraiment top comme video ! thanks :)
T'as mieux expliqué les LSTMs que Andrew Ng. Merci pour ton partage!
superbement explique
C'est excellent! Merci :D
C'est très clair, merci :)
tu es génie, merci encore
Super bien expliqué
Merci, bien explique
Tres Clair , merci
Merci bcp ❤
Bravo merci beaucoup je comprends vraiment 🙏 stp as-tu fais une vidéo sur le backpropagation?
Un grand bravo pour ta vidéo, avec des explications très claire. Penses-tu que dans un avenir proche il serait possible de faire une vidéo sur les Memory Network, qui est une version amélioré des LSTM ?
Encore un grand bravo pour ta vidéo et continue comme ça !
Je prend note, c'est vrai que les memory network sont super intéressant!
Excellent vidéo. Cependant j'ai du mal à voir comment les gains de toutes ces matrices sont entrainés comparés à un réseau feedforward. Un prochain vidéo :) ?
Merci pour ta vidéo, qu'est ce que représentent les 5 valeurs du vecteur Ct ?
GéNIAL !!
Salut thibaut, merci pour la video. STP comment je peux utiliser un graphe qui figure sur la video, biensur que en te citant dans mon etude
merci!!
tres simple explicaion
Merci bcq pour la vidéo, c‘est très utile. A 4min22, est ce que la matrice de poids W pourrait avoir une taille 4X3 ou obligatoirement 3X4.
Bonjour et merci pour la clarté de ce cours. Je voudrai si possible savoir si on peut avec cette technique LSTM créer un système d'enregistrement, d'identification et de gestion de terminaux mobiles à l'aide de deux catégories de codes et d'une valeur fixe? Si oui, existe-t-il un survey sur cette préoccupation?
Top :)
Pourriez-vous me dire svp quel logiciel utilisez vous pour la représentation graphique/schéma des réseaux ?
Merci
1) Les matrices pour l'étape d'oublie, d'ajout et de sortie sont donc toutes des matrices (9,5) mais pour chacune on attribue des valeurs aléatoires différentes ?
2) quant à C lors de la partie sortie il s'agit de l'addition de la mémoire obtenue dans l'étape oublie + celle dans l'étape ajout ?
3) dernière question comment fonctionne le t0 ? avec C-1 = vecteur nulle ?
En tous cas merci d'expliquer avec tant d'explication ça rend le sujet vraiment abordable
Très instructif et très pédagogique (la qualité des slides aide énormément ^^)
Par contre, j'anticipe peut-être le sujet d'une prochaine vidéo, mais comment fait-on pour paramètrer ce genre de cellules ?
Merci encore pour ce travail pédagogique qui arrive à enlever la "magie" derrière les technologies à la base de l'intelligence artificielle.
En utilisant de la backpropagation, chaque matrice W et les bias b montré vont être modifié pour converger vers une solution. J'en parle dans ma série sur le deep learning.
@@ThibaultNeveu Une retro-propagation classique fonctionne donc ... ça doit pas être simple à mettre en œuvre à la main mais certain framework doivent faire ça je suppose ?
Il faut donc avoir plusieurs, un pour chaque pas de temps ?
Non, un seul en réalité, car le calcul réalisé à t+10 par exemple dépend de t+9 qui dépend de t+8 qui dépend de ..... t. Donc par la rétropopagation un seul optimizer suffit pour optimiser la même céllule qui est utilisé sur toute les steps, et ainsi faire en sorte que à chaque step la céllule est bien une représentation et une série d'opération (foget gate, input gate, output gate) qui lui permette de faire la bonne prédiction.
Excellent travail, comme toujours :). Est-ce la prochaine video traitera de l'apprentissage de telles cellules ?
Ça va venir oui, il y a un gros programme que je prépare pour le mois prochain :)
@@ThibaultNeveu un gros programme? J'ai hate :)
est ce possible davoir une video sur le modèle transformer du papier "attention is all you need". Merci a toi bon courage!
Merci c'est bien expliqué. mais j'arrive pas saisir la relation entre la mémoire et le vanashing/exploding gradient.
merci
Thibault, si tu lis encore les commentaires : merci pour cette vidéo qui m'a aidé à comprendre les LSTM. Deux remarques bienveillantes et constructives toutefois : pense à rappeler que tu parles de la multiplication numpy de vecteurs (ie membre à membre) et non d'une multiplication mathématique de vecteurs qui n'existe pas ! Par ailleurs mais c'est plus anecdotique j'en conviens, je pense que ce serait plus clair si tu évitais oralement certains termes anglais ou abréviations (exemple : biais et non "bias" avec une prononciation pas intuitive, tangente hyperbolique et non "tanh"). Bravo pour le reste 🙂
Top
Super vidéo on comprend facilement grâce aux illustrations !
Je me demandais seulement : est-ce que la taille du vecteur de mémoire de la cellule doit être égale à la taille du vecteur de sortie ?
Je réponds à cette question pour les prochains lecteurs mais je ne pense pas que la mémoire soit de même taille que l’output. Pour n’avoir par exemple qu’un output avec une matrice de 5 valeurs, on pourrait implémenter à la fin une couche pour relier chaque valeur de la mémoire à la sortie. Reprenez moi si j’ai faux. ;)
@@mmdrlolfr2612 Alors, 3 ans de PyTorch plus tard je peux répondre à moi-même du passé : ce qu'on fait en pratique c'est qu'on ramène le hidden_state de la dernière couche LSTM à la dimension souhaitée grâce à une projection linéaire.
Merci beaucoup pour vos explications. Mais est-ce possible d'avoir une ou des vidéos sur les GAN ?
C'est dans la roadmap!
OK
merci beaucoup pour cette explication , une petite erreur (min 13:26)la matrice Wf doit être de taille (5,9) et non pas de (9,5)
Bonjour,
Quelqu'un peut me dire comment on set le nombres de cells d'un LSTM?
Merci
MERCI DE M'ENVOYEZ VOTRE E-MAIL
merciii beaucoup pour cette vidéo vous explique bien ! avez vous un email . je suis en train de faire ma mémoire de recherche qui s' intérésse sur le deep learnig pour prédir la tendance du prix d'un indice bourcier avec analyse numérique(prix de l'action ) et une analyse textuelle (analyse de sentiment) . je suis dans la phase de modéliser le modele avec le logiciel Matlab .Si je trouve un probléme ou une tache pas claire je peut vous contacter par email ?
Salut, as-tu rejoins le discord pour parler de ton projet ?
merci beaucoup pour cette explication est ce que tu peut me donne le diapo de présentation s'il possible et mrc
docs.google.com/presentation/d/126o9uafLcWUP6UHvffmrUxgmbIdoWXcj31ALDHK8baQ/edit?usp=sharing
@@ThibaultNeveu merci beaucoup
J'allais écrire, .... un système centralisé, ...
L3zzzz Biiik Awld Mimty 3ajbny Lah Yj3l Rby y7n 3lk alfrda
Il oublie peu à peu son français : un biais, une couche, un produit scalaire, tangente hyperbolique, une sortie etc...