Transfer Learning, Fine-Tuning, Modèle Pré-Entraîné - Guide Pratique en Python

Transfer Learning, Fine-Tuning, Modèle Pré-Entraîné - Guide Pratique en Python
Dans cette vidéo du jour 20 du challenge #30daysgenerativeai, découvrez comment réaliser le fine-tuning des large language model.
0:00 - Introduction
2:07 - Qu'est-ce que le transfer learning
5:20 - Qu'est-ce que le fine-tuning
6:04 - Les types de fine-tuning
8:05 - Les approches pour réaliser le fine-tuning
10:09 - Les étapes pour réaliser le fine-tuning
10:51 - Cas pratique en python - importation des données
13:20 - Fine-tuning complet
20:23 - Layer Freezing fine-tuning
23:11 - Parameter Efficient Finetuning (PeFT) - LoRA
27:45 - Conclusion et Quizz
#30daysgenerativeai #gpt #ai #datascience
Lien vers l'article: arxiv.org/pdf/2106.09685.pdf
Lien vers la base de données: www.kaggle.com/datasets/laksh...
Lien vers le notebook:github.com/LeCoinStat/30DaysG...
---------------------------------------
🚨 Liens pertinents 🚨
Ma newsletters: natacha-njongwa-yepnga.ck.pag...
CZcams : czcams.com/channels/oin.html...
Discord: / discord
Linkedin: / natacha-njongwa-yepnga
TikTok: vm.tiktok.com/ZMLEgAhku/
Instagram : / lecoin_stat
Facebook : / lecoinstat

[@LeCoinStat]

Les codes de la videos sont disponibles ici : github.com/LeCoinStat/30DaysGenerativeAI/blob/main/Jour20/Jour20_Finetuning.ipynb

[@sylvaindehayem1364]

bonjour merci beaucoup pour la video.s'ils vous plait pouvez vous me donner les capacités de la machine que vous utilisez pour l'entrainement de votre model?
Le model prends environ 5min pour 1/375 chez moi

[@Thierry-xu2qv]

Salut ,beaucoup de courage et merci bien pour votre partage intellectuelle.
mon souci est que j'arrive pas a exécuter ce code dans ma machine ,vous pouvais aider?

[@yaminaatmaoui2245]

Merci ❤

[@LeCoinStat]

Avec plaisir

[@premier2254]

Three approaches of fine tuning : Fine tuning complete. Partial fine tuning or layer freezing and parameter efficient fine tuning.

[@theophilesoninhekpon4077]

Est-il possible d'adapter un modèle pré-entraîné pour des tâches pour lesquelles il n'a pas été initialement conçu ?

[@theophilesoninhekpon4077]

Lors du fine tuning, comment reconnaitre les paramètres à geler ou à modifier??

[@theophilesoninhekpon4077]

Quels sont les cas où il est recommandé de créer un modèle à partir de zéro plutôt que d'utiliser le Transfer Learning ?

[@theophilesoninhekpon4077]

Pour faire le fine tuning dun model de langage comme llama2 ou mistral qui soit pointure sur une thématique quel peut être le format de la dataset

[@LeCoinStat]

Tout va dépendre la tâche que vous souhaitez réaliser en preparant la vidéo j'ai suivi cette vidéo qui réalise un finetuning du modèle llama: learn.deeplearning.ai/finetuning-large-language-models/lesson/5/data-preparation

[@LeCoinStat]

Je ferai aussi une vidéo sur llama, tu peux suivre la vidéo sur deeplearning.ai disponible ici: learn.deeplearning.ai/finetuning-large-language-models/lesson/6/training-process

[@theophilesoninhekpon4077]

Comment gère-t-on les problèmes de surajustement (overfitting) lors du Fine-Tuning ?

[@LeCoinStat]

Pour éviter le surajustement, on peut utiliser l'early stopping, qui arrête l'entraînement du modèle dès que la performance sur les données de validation cesse de s'améliorer. Une autre stratégie est d'intégrer des couches de dropout, qui désactivent aléatoirement certains neurones durant l'entraînement pour renforcer la capacité de généralisation du modèle.

[@theophilesoninhekpon4077]

Comment choisit-on le bon modèle pré-entraîné pour une tâche spécifique ?

[@LeCoinStat]

Il faut lire la documentation sur Hugging Face, où il y a plusieurs modèles pré-entraînés en fonction des tâches. J'en ai parlé dans cette vidéo. czcams.com/video/UrTPmpnsd1Q/video.html
Tu peux trouver l'ensemble des modèles classés en fonction de leur utilité.

[@LeCoinStat]

Les modèles de Hugging Face sont ici: huggingface.co/models

[@LeCoinStat]

Il y a ce repo github avec tous les transformers: github.com/huggingface/transformers

[@theophilesoninhekpon4077]

Peut-on combiner plusieurs modèles pré-entraînés pour améliorer les performances d'un modèle pour une tâche spécifique ?

[@LeCoinStat]

Si, par exemple, je veux créer un modèle qui, à partir d'une image, raconte une histoire, je peux utiliser un modèle qui va donner une description de l'image (image-to-text). Ensuite, à partir du texte généré, j'utilise un autre modèle qui, partant de cette description, va générer un résumé (text-to-text). Mais pour faire du text-to-text, je ne suis pas certaine que ce soit bénéfique d'utiliser deux modèles préentrainés. Je vais me documenter sur le sujet