Comprendre les Transformers et les mécanismes d'attention
Vložit
- čas přidán 9. 07. 2024
- Patreon : / membership
Les transformers et les mécanisme d'attention sont les architectures de réseaux de neurones ayant révolutionné des domaines tels que le traitement naturel du langage (NLP) et sont entrain de s'étendre a de nombreux autre domaine tel que la vision. Dans cette vidéo nous nous penchons sur le papier : Attention is all you need proposant la première architecture Transformer basé seulement sur des systèmes d'attention pour effectuer de la traduction automatique. Comprendre ce papier c'est aussi commencer à comprendre des architectures telles que Bert, GPT ou encore des travaux récents telles que Dall-e.
Pour aider à aborder les notions de cette vidéo :
Comment passer le test de Turing ? Traitement automatique du langage (NLP) • Comment passer le test...
Comprendre les réseaux de neurones récurrents (RNN) • Comprendre les réseaux...
Comprendre les LSTM - Réseaux de neurones récurrents
• Comprendre les LSTM - ...
00:00 Intro
03:10 RNN
05:00 Encoder Decoder
12:00 Encoder Decoder with Attention
13:20 Scaled dot product Attention
22:40 Overview Attention is all you need
27:00 Self Attention
28:26 Multi-Head Attention
35:20 Other encoder layers
37:40 Masked multi head attention
40:30 Positional encoding
Slides: docs.google.com/presentation/...
Attention is all you need: arxiv.org/abs/1706.03762
[Chronique d'une IA]
Spotify : open.spotify.com/show/5yTTTKf...
Amazon music : music.amazon.fr/podcasts/5097...
Apple Podcasts: podcasts.apple.com/us/podcast...
[About me]
Visual Behavior : visualbehavior.ai
Perso : www.thibaultneveu.ai/
Github : github.com/thibo73800
Linkedin : / thibaultneveu
Twitter : / thiboneveu - Věda a technologie
Quel plaisir de revoir une vidéo de ta part sur CZcams !
En espérant que ce soit le début d'une longue série de vidéo :D.
En manque bq tes vedio machine learnia
nous aimerions aussi que tu fasses une video sur le sujet, ta pedagogie et tes animations sont vraiment utile Machine Learnia. Merci
Bon retour Thibault.
merci. J'attendais une vidéo sur le sujet en français depuis longtemps et je suis d'autant plus heureux que ce soit toi qui la traite, car tu es un excellent pédagogue.
Cette vidéo et le live coding que tu as fais sont de grande qualité et m'ont permis de comprendre cette architecture et la façon dont on peut coder ce genre de choses ! Merci beaucoup :)
Excellent Thibault !
You deserve more views and more subscribers, I am in love with your channel !!
Merci pour cette vidéo 🙏. C’est super bien expliqué.
Content de revoir des vidéos ... et le son est super bon.
Content de te revoir !!
c'est si clair, bien dans les détails en expliquant bien des notions complexes, gg
I'm learning french and deep learning at the same time with you :D Thank you very much, well explained.
Merci Monsieur pour tout ce que vous rendez accessible
Ce que tu fais est supe, continue c'est tres bien detaillé
Super vidéo, sujet très intéressant !
BRAVO ! Vidéo TOP !
Super vidéo et bien expliquée , merci pour ce tuto , on attend le TP
Sujet très intéressant , super vidéo
13:17 : ASMR pour penser à nous hydrater ; merci 🥰
Très bien expliqué !
Amazing video, thanks for the explanation
Merci pour ces explications
Merci pour cette vidéo
Très bon travail !! Effectivement un TP pratique serait le bienvenu =)
Heureux de te revoir TN 😏
Merci beaucoup pour ces explications claires 👏 Les propositions d’une séance de live coding ou une autre vidéo qui rentrerait dans les détails d’autres applications sont aussi intéressantes l’une que l’autre donc l’idéal serait de faire les 2 😬😇😷
Parfait 😍😍 merci bq
Hello, merci pour cette video. Un exemple avec keras (ou Pytorch) serait top :-)
Bonjour,
Merci pour la qualité de la présentation et de clarté dans vos explications. Est -ce que le transformer peut être utilisé pour enregistrer et distribuer des données (codes imei et imsi)?
Pourrai-je si possible avoir ce papier?
merci pour cette videos tres instructive bro !
Oui l'application des transformers serait très intéressant
Merci infiniment😍😍😍
merci beaucoup vraiment 🤍🤍🤍
Superbe vidéo d'introduction aux transfomers. Je suis très intéressé pas le live coding d'un transfomers en keras. Et aussi très intéressé par l'explication d'application de transformer a d'autres domaines
salut Thibault , est-ce que tu aurais un schéma où on retrouve en terme simplifié cette suite d'opérations : prompt - token - vecteur - tête d'attention - décodeur ?
Merci ..
Merci
Salut ! Tes vidéos sont super ! Merci beaucoup
Dis moi est ce que le mécanisme d’attention peut être utilisé non pas pour le traitement de language mais pour prédire des variables numériques continue comme par exemple pour prédire le kwh d’un compteur électrique qui change toutes les 10s
excellent
J'adore le premier Transformers. Michael Bay is all you need.
Je ne comprends pas un truc. A quoi sert réellement le FFN dans l'encoder et le decoder ? Chaque token va passer dans un réseau de neurones mais je ne vois pas ce que ça apporte au modèle. Quel impact ces réseaux ont sur l'information?
nice
Je comprends pas pourquoi on a 8 têtes d'attention à 32:35 ?
Merci pour la vidéo
une question qui me hante : la masked self attention ne devrait intervenir UNIQUEMENT que lors de l'entrainement, car on place en input de decoder une séquence contenant la réponse (les tokens futurs). donc, en quoi la masked self attention intervient durant un processus de génération (une fois le modèle entrainé), puisque les tokens encore non générés n'existent tout simplement pas ? Merci de tout éclairage !
En effet, seulement utile a l'entrainement
@@ThibaultNeveu merci je me sens moins seul maintenant 🤣
Et aussi il faut L'implémentation svp
il a donné toutes les informations pour coder. Pas besoin de plus.
rien compris
Affreux melange du français et de l'anglais !
Les documents d'origine sont en anglais et ce sont des concepts relativement nouveaux. Que voulez-vous qu'il fasse? Commencer par faire du boulot de traduction avant celui d'explication?
On aurait bien aimé que les papers d'origine soit en français.
Pour l'heure, souffrons de ce mélange.
Merci