C'est faux, c'est pas pour le concour de teub que GTP à des trillion de paramètres, mais bien parce que le NLP est un problème qui est trop "complexe" (ou peut être on a la mauvaise archi) , et juste quand on rajoute des paramètres et des exemples, le modèle performe mieux. Monsieur défend intelligence y'a du monde pour faire du name droping et pour nuancer politiquement le propos... par contre pour l'exactitude technique on repassera. (mais je comprend on est pas la pour la passion) Même sur le propos politique, libéral capitaliste d'un coté , open source de l'autre. Souverainisme pour les entreprises et pas l'état, par contre facebook qui stocke des données, pas bien ? j'ai pas compris D'autre propos intéressants des deux cotés, Thibault au top, lisez donc des papiers faites des trucs ou il n'existe pas de librairie ! A la fin vous parlez justement d'un papier, mais j'ai pas compris on parle d'un réseau de neurone qui apprend à faire du sql ? ou alors c'est un moteur de recommandation aussi, non ? On est bien dans la réponse à une requète avec des contenus. Est ce qu'on peut avoir le lien vers le papier ?
"Our final paper builds on the foundations of Gopher and our taxonomy of ethical and social risk by proposing an improved language model architecture that reduces the energy cost of training and makes it easier to trace model outputs to sources within the training corpus. The Retrieval-Enhanced Transformer (RETRO) is pre-trained with an Internet-scale retrieval mechanism. Inspired by how the brain relies on dedicated memory mechanisms when learning, RETRO efficiently queries for passages of text to improve its predictions. By comparing generated texts to the passages RETRO relied upon for generation, we can interpret why the model makes certain predictions and where they came from. We also see how the model obtains comparable performance to a regular Transformer with an order of magnitude fewer parameters, and obtains state-of-the-art performance on several language modeling benchmarks." arxiv.org/pdf/1603.01417.pdf
J'adore le ton de cette discussion décontracté, ou tu fais suivre un fil sans qu'on ne s'en rende compte. Bravo à toi.
Dommage le problème de son :/
Sujet très intéressant.
Merci pour ce podcast !
Bjr comment fonctionne la librairie d Open cv avez vous une piste ? Merci
Il a dit qu'il a fait l'analyse d'images satellites je suis intéressé
pourriez vous, nous faire une video sur l'architecture BERT
Tu l'as déjà sur sa chaîne 😉 bert se base sur une architecture transformers
@@14Tyrion je n'arrive pas à comprendre BERT svp vous pouver me guider sur une video en francais?
@@hervemata4242 czcams.com/video/LALTmQhVkfU/video.html
C'est faux, c'est pas pour le concour de teub que GTP à des trillion de paramètres, mais bien parce que le NLP est un problème qui est trop "complexe" (ou peut être on a la mauvaise archi) , et juste quand on rajoute des paramètres et des exemples, le modèle performe mieux.
Monsieur défend intelligence y'a du monde pour faire du name droping et pour nuancer politiquement le propos... par contre pour l'exactitude technique on repassera. (mais je comprend on est pas la pour la passion)
Même sur le propos politique, libéral capitaliste d'un coté , open source de l'autre. Souverainisme pour les entreprises et pas l'état, par contre facebook qui stocke des données, pas bien ? j'ai pas compris
D'autre propos intéressants des deux cotés,
Thibault au top, lisez donc des papiers faites des trucs ou il n'existe pas de librairie !
A la fin vous parlez justement d'un papier, mais j'ai pas compris on parle d'un réseau de neurone qui apprend à faire du sql ? ou alors c'est un moteur de recommandation aussi, non ? On est bien dans la réponse à une requète avec des contenus.
Est ce qu'on peut avoir le lien vers le papier ?
"Our final paper builds on the foundations of Gopher and our taxonomy of ethical and social risk by proposing an improved language model architecture that reduces the energy cost of training and makes it easier to trace model outputs to sources within the training corpus.
The Retrieval-Enhanced Transformer (RETRO) is pre-trained with an Internet-scale retrieval mechanism. Inspired by how the brain relies on dedicated memory mechanisms when learning, RETRO efficiently queries for passages of text to improve its predictions. By comparing generated texts to the passages RETRO relied upon for generation, we can interpret why the model makes certain predictions and where they came from. We also see how the model obtains comparable performance to a regular Transformer with an order of magnitude fewer parameters, and obtains state-of-the-art performance on several language modeling benchmarks." arxiv.org/pdf/1603.01417.pdf