MÉTRIQUES de RÉGRESSIONS en DATA SCIENCE (Coefficient de Détermination, Erreur Quadratique, etc... )
Vložit
- čas přidán 8. 12. 2019
- Ce tutoriel français Machine Learning / Data Science explique en détail l'origine de l'erreur quadratique moyenne, de l'erreur absolue moyenne, et du coefficient de détermination R2.
En Data Science et en statistiques, ces métriques sont utilisées pour évaluer la qualité d'un estimateurs de régression.
Tout commence par le calcul de l'erreur résiduelle, définie par la différence entre les prédictions de l'estimateurs (y_pred) et les valeurs attendues (y_vrai)
- L'erreur absolue moyenne calcule ainsi la valeur absolue de ces erreurs, pour en faire la moyenne. En anglais, on l'appelle "Mean Absolute Error" (MAE)
- De son coté, l'erreur quadratique moyenne calcule le carré des erreurs résiduelles, pour en faire la moyenne. En anglais, on l'appelle "Mean Squared Error" (MSE)
Ainsi, si un estimateur de distance de freinage effectue 2 prédictions qui donnent lieu a une erreur de 4 metres, et une erreur de 0 metre, la MAE calcule une erreur moyenne de 2 metres (ce qui est logique), tandis que la RMSE calcule une erreur moyenne de 2.8 metres (ce qui peut sembler étrange)
Ce qui explique cette différence, c'est que la MSE accorde une importance exponentielle aux erreurs d'un estimateur.
Ainsi, il est conseillé d'utiliser la MAE (erreur absolue moyenne) pour obtenir une moyenne représentative des erreurs de votre estimateur.
En revanche, il est conseillé d'utiliser la MSE (erreur quadratique moyenne) quand vous voulez sélectionner un parmi plusieurs estimateurs, retenant l'estimateurs qui ne fait pas "trop" de grandes erreurs.
D'une maniere générale, il est conseillé d'utiliser plusieurs métriques pour évaluer un estimateur, vous récoltez ainsi plus d'information sur vos erreurs :
Calculer l'erreur moyenne, la médiane, les quantiles, et pourquoi pas l'histogramme de vos erreurs afin de déterminer la loi de distribution suivie.
Le coefficient de Determination R2 est très connu, et implémenté de base dans la méthode score des estimateurs de régression. Il mesure le rapport des erreurs quadratiques avec la variance des données.
Si par exemple, un modèle effectue des erreurs de l'ordre de 1000 euros pour prédire un prix d'appartement, mais que les prix du marché varient eux-mêmes de plus de 100,000 euros, alors il existe un rapport de 0.01. Le coefficient de détermination est donc R2 = 0.99
Strings pour les metrics :
scikit-learn.org/stable/modul...
► Merci de me soutenir sur Tipeee (et recevez des bonus !)
fr.tipeee.com/machine-learnia
► MON SITE INTERNET EN COMPLÉMENT DE CETTE VIDÉO:
machinelearnia.com/
► REJOINS NOTRE COMMUNAUTÉ DISCORD
/ discord
► Recevez gratuitement mon Livre:
APPRENDRE LE MACHINE LEARNING EN UNE SEMAINE
CLIQUEZ ICI:
machinelearnia.com/apprendre-...
► Télécharger gratuitement mes codes sur github:
github.com/MachineLearnia
► Abonnez-vous : / @machinelearnia
► Pour En Savoir plus : Visitez Machine Learnia : machinelearnia.com/
► Qui suis-je ?
Je m’appelle Guillaume Saint-Cirgue et je suis Data Scientist au Royaume Uni. Après avoir suivi un parcours classique maths sup maths spé et avoir intégré une bonne école d’ingénieur, je me suis tourné vers l’intelligence artificielle de ma propre initiative et j’ai commencé à apprendre tout seul le machine learning et le deep learning en suivant des formations payantes, en lisant des articles scientifiques, en suivant les cours du MIT et de Stanford et en passant des week end entier à développer mes propres codes.
Aujourd’hui, je veux vous offrir ce que j’ai appris gratuitement car le monde a urgemment besoin de se former en Intelligence Artificielle.
Que vous souhaitiez changer de vie, de carrière, ou bien développer vos compétences à résoudre des problèmes, ma chaîne vous y aidera.
C’est votre tour de passer à l’action !
► Une question ? Contactez-moi: contact@machinelearnia.com
![[ML] Fonctions de perte - Erreur Quadratique Moyenne (L2Loss, MSE)](http://i.ytimg.com/vi/sBdAU6sLpfM/mqdefault.jpg)
au vu de l 'anneé 2019 je te déclare meilleur enseignant de data science respect respect respect
C'est trop d'honneur merci ! :)
C'est vrai il a un DON naturel de bien expliquer les choses avec simpicit'e , ce qui n' est facile §a acquérir .
J' ai rarement besoin de revoir ses vidéo tellement c' est bien fait. Un grand bravo pour ce jeune. Mais il faut qu il pense §a agrandir son domaine d' action et passer au LIVE avec des quizz interactif live aussi. ce qui pourra cr§eer une bonne communit'e. DATAscience .
@@MachineLearnia
je rejoins moussa bamba.
j'ai beaucoup facilement apprit, et j y trouve du plaisir!
j’exerce le métier d’enseignant et je sais apprécier un bon.
merci guillaume
Waouh ! QUELLE CHAÎNE ! QUEL DON !
J'ai programmé et exécuté une boucle infinie du mot '' J'AIME " devant ta porte.
Dieu est fier de ta mission sur la planète terre !
Qu'en serait t-il de nous tes fans ?
Guillaume, le facilitateur, reçoit mes sincères remerciements.
QUE DIEU TE CONDAMNE AU BONHEUR !
Merci beaucoup pour votre commentaire très touchant, c'est un plaisir de partager mes connaissances avec des gens aussi bienveillants que vous ! :)
Respect, je passe ma soutenance et tu me sauves la vie!! J’ai suivi beaucoup de cours mais avec toi c’est hyper clair!!!
Merci infiniment, vos vidéos sont simples, courtes et très efficaces
Bonne continuation ...
Merci beaucoup ! C'est le but.
A bientôt !
J'ai découvert ta chaîne y a pas longtemps elle m'aide énormément pour mes cours merci beaucoup !
Merci Anis, je suis content de pouvoir t'aider ! :)
Merci pour cette vidéo et félicitations pour les 4000 abonnés !
Merci beaucoup ^^
grand merci pour tout ce que vous faites pour nous qui ne comprenons pas l'anglais. je vous souhaite beaucoup de pleine choses, allez de l'avant.
Merci beaucoup, c'est un plaisir de vous aider.
Merci pour cette nouvelle vidéo ! C'est hyper agréable de se rendre compte que des objets aussi théoriques que les métriques peuvent devenir intuitifs! Le genre de vidéo à regarder de temps à autres pour se faire une petite piqûre de rappel!
(Mention spéciale pour l'explication de la formule du Coefficient de Détermination: Tu as rendu la formule logique et intelligible. Je t'en suis extrêmement reconnaissant! )
Erratum: Point qui m'est venu un peu en retard: Ce que je trouve vraiment remarquable dans cette vidéo, au delà de l'aspect des explications mathématiques des métriques, c'est de nous guider dans leur l’interprétation.Et c'est super car ill y a tellement de nombre, de pourcentage ...... possible en ML que c'est facile de s'en construire une interprétation naïve. Donc a nouveau merci, car il me semble aussi capital de comprendre les maths derrières les métriques que de savoir correctement les interpréter
Merci beaucoup pour ton commentaire très constructif Julien ! Oui tu as raison les métriques sont très importantes en Machine Learning / Data Sciences. Je compte faire une vidéo dans le même genre pour expliquer les métriques de Classification et de clustering.
Merci c'est très informatif pour moi de comprendre vos demandes et tu l'as très bien formulée ici.
A bientôt ! :)
Vraiment ses explications sont très pratiques 😊
Merci pour tes vidéos. Encore une fois, c'est très clair et vraiment bien détaillé ;)
Merci beaucoup
merci beaucoup à vous. vous enseigner hyper bien et je suis très heureux de tomber sur votre cours
Merci Yves. Bon visionnage des vidéos :)
depuis que j'apprends la data science personne n'avais pu bien m 'expliquer la différence entre le MAE ET le MSE grâce à toi je l'ai absolument compris c'est clean merci merci
Je suis heureux de savoir que j'ai pu vous aider !
Bonjour Guillaume, C'est Abdel je suis aussi inscrit sur le discord de
Machine Learnia.
Je viens de finir cette série de vidéo.
Mille merci à toi, il y a à peine 3 mois j'y comprenais rien au data science ou tout au moins je connaissais juste les titres.
Maintenant, j'y comprend beaucoup plus grâce à toi. Franchement, tu fais aimer la data science.
Que dieu te benisse.
Merci beaucoup pour ton message Abdel, il me fait vraiment très plaisir. Je te souhaite une grande réussite dans ta carriere et tes projets et j'espere qu'on continuera a se parler sur discord et sur les vidéos youtube. Tu es toujours le bienvenue ! :)
Salut. Je trouve ton contenu incroyable. En grand merci et bonne continuation.
Merci a vous !
Meilleur Enseignant de la data science en PERSONNE!
I'm a beginner datascience student , Je reviens tjr à vos videos quand je me trouve perdu dans les lignes xD
Respect!
so excited about the coming Deeplearning series!
Merci beaucoup ! :)
I don't understand your language but I understand what you give knowledge thank you alot
comment vous facilitez les techniques ! j'admire sans cesse votre méthode d'explication car tout simplement vous avez la meilleure chaîne CZcams pour ML MERCI INFINIMENT
merci a vous pour ce compliment !
Je me considerais chanceuse, depuis le jour que j'ai tombée sur votre chaine.
Vous m'avez beaucoup aidée.
Bonne continuation.
Merci beaucoup ca me fait très plaisir de pouvoir vous aider ! :)
Excellente vidéo 👍👍👍 un grand merci à vous
Merci beaucoup :)
Merci pour cette vidéo et pour tes explications très claires ! 😉 C'est vrai qu'en statistiques, il est toujours préférable de voir la distribution des résidus via plusieurs métriques et statistiques de base pour bien mesurer la qualité du modèle construit. ;)
Tu as tout a fait raison Jeremy ! merci pour ton commentaire :)
Merci pour cette vidéo, votre chaîne est très agréable avec des vidéos excellentes et très ciblées, pouvez vous nous faire des vidéos concernant le Deep Q-Learning. Merci par avance.
Merci beaucoup. Je prévois de faire une série sur ce sujet a l'avenir en effet !
Une video au top encore merci
Merci beaucoup ! :)
Bonjour, merci pour ce beau travail.
Je suis étudiant en Master d'économétrie et statistique appliquée et j'ai suivi
votre formation python spécial Machine learning qui m'a beaucoup bluffée de
part vos explications simples , concises, un un mot pédagoges.
Je viens de m'inscrire pour recevoir votre livre de 100 pages dédié au
Machine learning et je me régale d'avanve.
Vous démocratisez le machine learning et c'est très intéreesant pour nous novices
Merci beaucoup, votre commentaire me fait très plaisir :)
Bonjour ! Je souhaitais te remercier pour tes vidéos, je suis jeune développeur dans le sud de la France et je réalise actuellement un mémoire théorique sur les systèmes de recommandations (suggestions Netflix, CZcams). Il se trouve qu'étant un peu rouillé en mathématiques, j'ai eu beaucoup de mal à appréhender les différentes solutions théoriques qui ont été publiées... Tes vidéos m'ont beaucoup aidé à me remettre aux mathématiques et à mieux comprendre leurs utilisations pour le Machine Learning et le Deep Learning ! D'ailleurs, je pense que les systèmes de recommandations peuvent être un bon exemple pour illustrer une de tes prochaines vidéos, notamment si tu comptes faire une vidéo sur les réseaux de neurones ! Encore merci et bonne chance pour la suite de ta carrière !
Merci beaucoup. Je compte faire une série de vidéos sur les systèmes de recommandation, j’espère que tu pourras la voir dans ce cas. Bon courage dans tes projets et a bientôt ! :)
Merci infiniment pour vos vidéos,
Contenus très riches, vous être le meilleur des formateurs sur CZcams.
Bonne continuation
Merci beaucoup !!! :)
au vu de l 'anneé 2020 je te déclare meilleur enseignant de data science respect respect respect
bah tu gagnes encore ce titre ^^
Yeaaaah !!! Merci beaucoup ! :)
Vraiment un grand merci pour tes efforts et le partage des connaissances. Tu nous aide énormément. Je partage toutes les vidéos avec les amis DS
Merci beaucoup ! C'est un plaisir de vous aider ! Vous le méritez vraiment je pense car vous êtes tous très motivés ! :)
@@MachineLearnia tu ne sais pas l'ampleur de ton travail. Ta chaîne sera une des plus connu. Ça va bientôt exploser en abonnement car ça vient à son heure.
J'espère que tu abordera une regression logistique avec un exemple (normal avec les labels 0 ou 1) et un autre sans les labels. J'ai fait un exercice très intéressant sans les labels hier et j'aimerai bien partager aussi. Tu es mieux placé que moi pour le faire.
Bonsoir à tout le monde. Je conforte ta pensée Mr Mbodj. Il est en train de partager des choses formidables.
@@ndongodiouf6646 merci
Super vidéo comme depuis le début merci. je regarde la vidéo en 2023 et il n'y a plus les données de boston directement dans load_boston, mais on peut télécharger autrement ou même utiliser d'autres datasets. Pas mal de petite chose change avec les versions de Python, mais heureusement on peut adapter facilement.
Bonjour! Merci pour tes vidéos!!! Pourrais-tu donner des exemples d utilisation de la médiane et du MAE?( avec les intervalles de Confiance?) Merci beaucoup !!!!
Toujours aussi instructive en 2021 :)
Oui, c'est du contenu qui restera a jour encore durant de nombreuses années vous pouvez en être sur !
merci pour ces 23 vidéos, très bien expliqués et dans un rythme soutenu. J'attends avec impatience le reste des 30 vidéos. Ces vidéos m'aident énormément dans mon désir de devenir Data Scientist. Alors encore bravo pour cet excellent contenu !!!
Merci beaucoup et bon courage pour tes projets ! Les vidéos suivantes arriveront bientot !
Je viens de communiquer votre page CZcams à une personne rencontré par hazard! Elle a pris le soins de noter votre page, je l’espère bientôt dans notre communauté.
Merci pour le partage :)
Génial !👏
Merci ;)
Meilleurs chaîne ❤️
Merci beaucoup !
Merci pour cette vidéo ! Enfaîte en ce qui concerne le signe des erreurs, à mon avis la principale raison est le grand biais que ça introduirait dans le modèle. En effet on pourrait obtenir un modèle juste 'en moyenne' mais dans lequel il y aurait localement de grands écarts avec la réalité car la somme des erreurs pourrait alors ce compenser sans que toutes les erreurs soient faibles en valeur absolue.
Merci beaucoup :)
En fait on met toutes les erreurs au meme signe, sinon les erreurs peuvent s'annuler : Exemple : une erreur de -2000 et une erreur de +2000 donne une erreur moyenne de 0... on peut donc penser que le modele ne fait pas d'erreurs mais en fait il fait une erreur moyenne absolue de 2000.
Encore une excellente vidéo. Perso je suis plutôt MSE mais c'est pas habitude !
Merci beaucoup :)
merci pour la vidéo trop cool!!
Merci beaucoup pour ton commentaire Fabrice ! :)
Merci beaucoup...
Bonjour Guillaume !
Tes vidéos sont excellentes, étant en formation data science, on y voit beaucoup plus clair avec tes explications et ta pédagogie (lente, calme et posée). C'est un bonheur de t'écouter, les exemples que tu apportes illustrent parfaitement bien chaque module !
J'ai essayé de trouver quelques explications sur les régularisations de régressions (Lasso et Ridge) mais n'y ai rien trouvé ! Je suis actuellement sur un projet où je dois, après mon GridSearch, utiliser un modèle mais ne sait pas lequel serait le mieux entre L1 et L2 et pour quelles raisons plus l'une que l'autre ...
Tu as une vidéo dessus ? 🙄😁
Continue comme ça, je t'ai recommandé à plusieurs contacts qui veulent y comprendre un peu plus sur la data science ! 🤙🏽
Je vais faire des vidéos sur Ridge et Lasso, et bientot elle seront sur mon Site Internet (dans des pages algorithmes)
Merci bcp
merci pour ce vedio
merci la video je suis vraiment interese par machine learning
Merci beaucoup ! Bravo pour votre intérêt pour le Machine Learning ! Nous sommes la pour vous aider !
je commente rarement mais c'est les explications les plus clairs d'internet. Bravo !
Merveilleux ! Je suis tres heureux d'avoir pu vous aider !
@@MachineLearnia à quand une vidéo sur les réseaux de neurones ?
C'est le theme de la prochaine playlist, donc aussitot que celle-ci sera terminée (dans quelques semaines a peine)
très bonne explication. faite également des séries d'exercices s'il vous plait. sa m'aide beaucoup vos cours !!!
Merci beaucoup ! Oui je pense faire une série d'exercices / réponse pour vous aider.
@@MachineLearnia merci d'avance !!
Wa www, je viens de tomber sur ta chaine, de là, j'ai compris le pourquoi d'apprendre la statistique et leur vrai importance . bravo a toi. est ce qu'on peut devenir Data science, si on se concentre sur l'ensemble de tes cours.
félicitation
Merci a toi ! Je pense que mon cours ne suffit pas a l'heure actuelle car je n'ai pas eu le temps de produire toutes les vidéos qui couvrent la théorie et la pratique. Mais pour etre honnete avec toi, j'ai pour objectif qu'a l'avenir la réponse soit oui !
Cependant, il faut toujours accompagner ce que tu apprends dans des vidéos ou des livres par de la pratique, je te conseille donc de pratiquer le plus possible sur des sites comme Kaggle. C'est en pratiquant la data science que tu deviendras un Data Scientist. Good luck et si tu as besoin d'aide je serai toujours la ! :)
Bonjour Prof! merci pour la vidéo. svp! pouvez-vous m'aider à comprendre la prédiction des trafics routiers basée sur les réseaux de neurones profonds?
Merci pour ces videos de qualité. Avez vous une video sur les métriques de la classification en particulier la courbe ROC (comment est calculée et pour quel usage)
Je n'en ai pas encore fait une, mais je parle des métriques de classifications dans le projet a la fin de cette série !
Super vidéo, et pour MMRE ; BRE mean magnitude of relative error ; Balance relative error merci beaucoup
Merci beaucoup !
trooooop bien ce que vous faites, comment vous rencontrer pour vous donner une petite motivation d'encouragement ? Car vous le mérité bien👌
Et dites nous svp, les vidéos sont déjà au complet ou alors vous aller en ajouter 7 autres ?
Merci
Merci beaucoup ! Je suis en cours de production des vidéos complémentaires qui sortiront des le début de la nouvelle année !
C'est très gentil a vous de vouloir m'encourager le faites déjà avec vos commentaires, ce qui me motive :)
Si vous voulez me soutenir, il y a une page tipeee (dans la description de la vidéo) avec plusieurs bonus dessus !
Dans quelle video vous avez parlé de F-mesure, precision, recall
merci beaucoup pour les explications, je suis en ce moment un bootcamp en data science et j'ai tapé presque une journée à lire sans vraiment comprendre ce que vous vous avez réussi avec des exemples et une méthodologie impeccable à me faire comprendre les metrques , bravo , pour la repose a votre question :
Lorsque l'on réalise une somme d'écarts si les écarts sont de signes différents (écart positif ou négatif), ces écarts peuvent s'annuler entre eux. Chaque écart est donc mis au carré pour ne pas être confronté à ce problème.
Tout a fait correct, bien vu ! Bon courage dans votre formation !
@@MachineLearnia pour quelle raison ces écarts s'annullent?
Génial
Merci :)
Merci, c'est super cette idée d'utiliser un histogramme pour évaluer un modèle car en biologie je suis toujours étonné qu'on me présente un simple nombre R² qui est supposé me dire que mon modèle est bon ou mauvais
Oui c'est une erreur de se fier qu'a une mesure de performance. Moi je conseille toujours R2 + MAE + Histogramme, et meme utiliser un filtre pour mettre en relief les données qui causent les plus grandes erreurs (par exemple un boolean indexing Numpy pour afficher ces données en graphique)
Comme d'habitude, une vidéo claire et limpide.
Bon, je vais me risquer à répondre à la question de Guillaume au sujet des erreurs positives et négatives :
1) Tant que l'on reste dans le monde des suites finies de nombres quelconques, on peut faire ce que l'on veut (je veux dire par là que l'on peut additionner les termes comme on veut - l'addition étant commutative (3+5 = 5+3 = 8) : on peut permuter les termes sans problème.
2) Si l'on considère maintenant une suite infinie (dénombrable) de nombres quelconques, il en va tout autrement. Supposons que l'on puisse permuter les termes "comme on veut", on peut démontrer que la somme des termes de la suite peut prendre une valeur quelconque voire même infinie, tout dépend de la façon dont on permute les termes (Théorème de réarrangement de Riemann - en.wikipedia.org/wiki/Riemann_series_theorem et fr.wikipedia.org/wiki/Famille_sommable la démonstration en anglais est un peu technique...).
3) Si l'on considère maintenant une suite infinie (dénombrable) de nombres positifs (ou nuls) : si on additionne deux nombres positifs, on obtient un nombre positif : il n'y a pas de risque d'oscillation ; la somme des termes ne fait qu'augmenter. Pour peu que les termes de la suite tendent vers zéro suffisamment vite, la somme des termes peut être finie (et cette limite est unique).
Voilà pourquoi on prend la valeur absolue des erreurs.
On me rétorquera que dans le monde de l'informatique : tout est fini, et que cette ennuyeuse explication n'a pas lieu d’être, puisque l'on est toujours dans le cas 1).
Le cas 3) permet de définir la notion de série, qui permet de définir la notion d'intégrale, qui permet de définir la notion de probabilité, qui est un des fondements de l'apprentissage automatique...
Salut Philippe ! Merci pour ton commentaire très intéressant ! Tes propositions sont bonnes et ton analyse est judicieuse, ça m'a beaucoup fait réfléchir. Pour te donner ma réponse (beaucoup plus simple) : Si on fait une somme ou une moyenne sur une série de nombres positifs ou négatifs, les erreurs se compensent les unes aux autres. Par exemple : une erreur de 3 et une erreur de -5 donne une moyenne de 1, ce qui n'est pas judicieux.
Pour pousser l'explication un peu plus loin : les résidus suivants une distribution normale centrée en zéro, la moyenne de nos erreurs est proche de zéro.
Est-ce-que mon explication est claire ?
@@MachineLearnia J'aime bien la première partie de ton explication, elle est simple et intuitive (peut-être trop). La deuxième est liée aux propriétés de la loi normale et de la régression linéaire, et mériterait d’être explicitée plus profondément. D'ailleurs je suis à la recherche de bouquins sur le fondement mathématique du machine learning, si tu as quelques références, je suis preneur.
Non je ne connais pas vraiment de livre francais qui explore en les bases mathématiques pour le machine learning, car en fait la plupart des ouvrages de statistiques offrent cette base, si tu vois ce que je veux dire.
La deuxieme partie de mon explication est une généralisation de la première partie. En statistique, et donc en ML, DL, etc.. les erreurs résiduelle d'un modèle de régression (c'est a dire y - y_pred) suivent souvent une distribution normale centrée en zéro. Donc, plus il y a d'erreurs, plus on a de chance de tendre vers une somme des erreurs égales a zéro :
On aura autant de résidus négatifs que de résidus positifs -> donc en faisant la somme on tend vers une erreur globale =0
Pour les bases statistiques et mathématiques, je compte moi-meme produire un tel contenu sur le site internet machinelearnia en 2020 (et pourquoi pas faire un Ebook dédié au sujet !)
Merci
Merci beaucoup
MSE, MAE, Médianne... ? Pour répondre à ta question, depuis que j'ai vu ta vidéo : JE LES VEUX TOUTES. ;)
PS : Encore une très bonne vidéo, explicite et pratique. Merci encore.
Ahah tu as raison ! Toutes les métriques sont importantes (tu as retenus le plus important de la vidéo du coup)
Merci encore :)
Merci pour la vidéo. Par contre j'ai une petite question, est ce possible de coder un modèle knn_regression avec python. Merci.
bonjour a vous, cette vidéo est vraiment inintéressante.
svp est ce que vous allez faire une vidéo sur la reconnaissance d'objet dans les images?
Bonjour merci beaucoup. Je compte faire cela oui !
@@MachineLearnia je reste accrocher à vos publications et merci d'avance
Assez concis et clair. Un Gd Merci.
Pour le gs=GridsearchCV (....)
gs.score_ c' est bien du MSE !
eh bien si vous avez définit une MSE comme métrique de votre Grille, alors oui, mais par défaut il va s'agir du coefficient R2.
super
Super vidéo encore une fois ! Merci !
(PS : vilaine faute à 9:30 : "que chaque mesure ait" ;))
Oui les petites fautes de frappes ahah !
Merci infiniment pour cette vidéo, très bien expliqué, juste une petite question à la 6:50 min vous avez calculé la RMSE pour les 2 modèles A et B et ne pas la MAE c bien ça.
Merci ! J'ai calculé la RMSE (pas la MSE) et la MAE sur les 2 modeles, afin de les comparer, oui.
Salut, bravo pour tes superbes vidéos, j'ai commencé à apprendre le machine learning grâce à toi, merci!
J'ai une question : à 10:30 comment se fait-il que les prédictions de la machine ne suivent pas une droite alors que tu as créé un modèle de régression linéaire?
Salut ! Je suis content d'avoir pu t'aider dans tes débuts :)
Si nous n'obtenons pas une droite c'est simplement parce que nous développons un modele linéaire sur plusieurs dimensions. Le résultat est linéaire, mais sur plusieurs dimensions a la fois !
Par exemple, si tu fais une régression linéaire x/y avec une seule variable (x) alors le résultat est une droite.
Si tu fais une régression linéaire avec 2 variables (x1, x2) alors le résultat est un plan (et un plan est linéaire dans un espace 2D)
Etc. etc.
C'est une bonne question que tu t'es posé ! Car beaucoup de gens pensent qu'un modele linéaire ca nous donne une "droite". Mais dans la pratique on ne travaille presque jamais avec une variables, mais des dixaines, voire des milliers, et les modeles linéaires fonctionnent tres bien !
Bravo encore pour ce tutoriel toujours aussi clair. Pour celles et ceux qui sont intéressés, j'ai trouvé sur medium un article très intéressant sur les moyennes (arithmétique, géométrique, harmonique...) qui peut éclairer cette vidéo de manière pertinente. Le lien ci-dessous. J'attends l'accord de son auteur pour le traduire pour ceux qui maitrisent mal l'anglais car évidemment il est en anglais !
medium.com/swlh/visualizing-the-geometric-and-harmonic-means-e8b9c5a818ae
Merci beaucoup ! je vais jetter un oeil a cet article ! (attention je crois que CZcams n'aime pas trop les liens)
@@MachineLearnia oupsss !
Super vidéo ✨🌹! Sa fais bientôt 4 fois que je la tourne pour mieux comprendre les concepts 😅😅! MSE est sans doute la meilleure métrique pour des problèmes de régression! Mais un truc que je me demande est que si le fait que à la fin de l’estimation des paramètres de notre modèle les erreurs obtenues ne suivent pas nécessairement une distribution normale n’est-ce pas un soucie étant donné que les hypothèses de la régression linéaire suppose que les erreurs suivent une distribution normale !
Ulrich, si tu fais références a l'histogramme que j'ai tracé ici : c'est parce que j'ai calculé l'erreur absolue ! Si tu traces l'histogramme de y-y_pred, alors tu obtiendras une jolie distribution Normale ! ^^
err_hist = y - y_pred
plt.hist(err_hist, bins=50) # distribution normale ! (en principe :D)
@@MachineLearnia Ah d'accord j'avais pas fait attention. Merci !
@@ulrichkarlodjo1457 pas de problème :)
bonjour tres bonne video encore une fois . mais si je devais utiliser ces metric dans un gridsearrchcv , devrais je ecrire tous ces metrics dans le param_grid ou ? comment je devrai m'y prendre
Non, dans GridsearchCV il faut utiliser une seule metrique.
Que pour le R2 adj ?
Bonjour bonjour!, comme d'habitude, tu es une référence en data scientist au moins pour moi, mille merci pour tous ces vidéos aussi claires et extremement interessantes!! J'ai deux questions svp,:
1. Est-ce que le calcul de score ou coefficient de détermination (tel que tu as fait) est le même si on écrit: metrics.r2_score(y_test, y_pred)?
2. Y a t'il une métrique d'évaluation pour calculer le temps d'exécution du modèle?
Merci!!
1. Oui
2. oui il y en a, mais pas dans sklearn, c'est a vous de le coder.
Si on a des erreurs de signes opposés on peut se retrouver dans le cas où celle-ci se compensent quelle que soient leur tailles.Ainsi aucun modèle ne pourrait mieux faire....
Tout a fait juste, c'est pourquoi on mesure le carré des erreurs ou bien leur valeurs absolue.
Merci pour toutes tes explications Guillaume c'est vraiment cool. J'aurais cependant une question concernant le coefficient de détermination. J'aimerais savoir si lorsque le coefficient de détermination est égal à 1 on peut conclure que notre modèle fait de l'overfitting ?
C'est fort probable en effet. Mais pour en etre sur, il faut visualiser les courbes de train et de test.
@@MachineLearnia Thanks for your answer.
Bonjour, c'est géniale merci pour les explications et les exemples.
J'ai une petite question à propos du type d'erreur "Confidence interval ou Prediction Interval" qu'on retrouve souvent dans les models qui font du forecasting, on la représente comme un nuage de points autour de la courbe de forecasting dans les "times series".
Ma question en fait comment on fait le calcul des ce type d'erreur et comment on la présente (plot) avec la courbe du forecasting dans le cas du SVR par exemple?
Merci d'avance.
Il existe différentes méthodes pour la calculer. La plus simple c'est de prendre l'ecart type autours de la prédiction. Et pour l'afficher, c'est avec un plt.fill_between.
@@MachineLearnia Merci bien pour la réponse j'ai fait quelques recherches et j'utilise à présent la fonction stats.t.interval dans scipy et plt.fill_between pour le graphique
8:13 Je ne connaissais pas cette métrique.
Je suis content d'avoir pu vous apprendre quelque chose alors :)
il y'a un probleme de la dataset load_boston
Quelles sont les metriques utilisées pour les modéles de classification
Principalement : Accuracy, Precision, Recall, et F1_score. Je vais faire une vidéo a ce sujet apres ma série sur le deep learning.
Bonjour,
Pourrais-tu m'indiquer avec quel outil conçois tu les schémas de la vidéo ?
Merci. ;)
Power point tout simplement :)
on a besoin de base pour suivre et comprendre ? Et sinon va tu faire des tutos machine learning unity/unreal engine ?
Salut ! Non comme souvent j'essaie de rendre la vidéo compréhensible pour tout public, tout en rentrant dans les mathématiques au fur et a mesure !
Pourquoi pas ? ca pourrait etre sympa de faire des tuto unity :)
Merci encore une fois pour tous ce contenue et savoir riche, mon seul regrée est de ne pas avoir connu ta chaîne bien avant ça, hhhhhhhhhhhh.
En fait, donc dans les dernières vidéos quand on a fait scoring = 'accuancy' cela veut dire que c'est une metric aussi , j'aimerais bien savoir comment elle fonctionne cette métrique SVP si ça ne vous dérange pas ou n'est pas longue à expliquer, merci bien.
Et aussi apparemment cela sont les évaluations les plus utilisées et les plus explicatives, donc on choisit par exemple MAE, MSE, R2, Mediane etc... pas la peine d'avoir plusieurs erreurs, limite on peut indirectement considérer que la manière de calculer l'erreur est en sorte un mini hyper-paramètre ?.
Pour finir et ç'a c'est une question que je me pose depuis longtemps, est ce que il y a eu une fois de votre vie professionnelle où vous avez eu un problème de régression et que pour le résoudre vous avez utilisez une "simple" régression linéaire et ça donné de bons résultats et votre client a été ravis et donc vous avez programmé un algo de Machine Learning en 5 minutes hhhhhhhhhhh.
Encore une fois merci infiniment pour tous vos efforts et explications et partage de connaissance.
Bonne continuation et bon courage.
Désolé je joins ce message au précédent, j'ai juste oublié de vous poser une toute petite question:
j'ai pas bien compris la phrase "le modèle décrit 74% des variations du prix de l'immobilier" cela veut dire que si je fais des prédictions selon certaines features et que j’obtiens un prix qui vaut 'y' donc cela veut dire que il y a 74% de chance que mon y soit le bon prix ou c'est autre chose ?.
Merci encore une fois.
Cordialement.
Merci beaucoup. Accuracy retourne le pourcentage de bonne réponse sur toutes les prédictions)
Concernant ta question sur les erreurs et le coté "hyper-paramètre", je ne suis pas sur d'avoir bien compris, mais une mesure de performance ne peut pas etre considérée comme un hyper-parametre. En fait, pour mener a terme un projet de Data Science, on commence par définir une méthode de mesure de performance et on y touche plus ! (ainsi on peut tester nos idées d'algorithmes et de parametres)
Oui j'ai déja pu résoudre des problèmes assez difficiles avec un modèle de régression linéaire. Cela ne rend cependant pas le job plus rapide (5 minutes) car il faut faire beaucoup de pre-processing pour créer les variables utiles a un tel modèle (puis les selectionner les nettoyer, etc)
Tres bonne question. Malheureusement, ca ne veut pas dire que votre y a 74% de chance d'etre correct. Ca signifie plutot que votre modele est proche de l'Ensemble des points a 74%. (c'est difficile a interpreter pour prédire la validité d'une future prédiction, voila pourquoi on utilise plutot la MAE ou MSE pour exprimer l'incertitude d'une future prédiction
@@MachineLearnia Merci beaucoup
merci bcp pour le video. j'ai demandé votre livre à travers le lien partagé mais je l'ai pas reçu jusqu'à moment
Pensez a regarder dans vos dossiers "promotions" et "updates"
Thank for these vidoes
Can you please make a video explaining how to make different virtual environment for your projects in python.
Hi, I may do this later yes :)
Thank you
👍
Cette vidéo n'en parle pas mais lors du Projet COVID tu utilises le métrique F1_score.
A quoi correspond ce métrique : courbe ROC ou autre ?
Quand l'utiliser : lors de problèmes de classification uniquement ou autre ?
Merci pour ton éclairage.
A+ ;)
Oui je vais faire des vidéos sur les métriques de classification a l'avenir. F1 et courbe ROC sont différent, mais je vais bientot l'expliquer.
@@MachineLearnia On garde le suspens. A suivre alors...
Je viens d'entamer l'étape machine learning après avoir presque fait le tour du code python. Je crois que je dois passer par le module des statistiques en amant pour être en situation confortable vis à vis les notions spécifiques au machine learning.
D'après vous, où est ce que je peux étudier tout ça ? Sur internet biensur
Merci pour vos tutos très éducatifs
Oui c'est important d'avoir une bonne base en statistique pour etre a l'aise en Machine Learning. Je vous conseille de revoir les lois de probabilités, le thm central limite, les différences entre variables continues, discretes, etc.
@@MachineLearnia D'accord, merci énormément pour votre réponse rapide, tenez vous bien Mr
Peut on utiliser la distance infinie (max_i ( | x_i -y_i | ) ) dans un contexte de machine learning?
Bien sur ! Comme je le dis dans la vidéo, une mesure de performance représente une information. Plus vous avez d'information sur la performance de votre modèle, plus vous serez apte a prendre des décisions.
@@MachineLearnia merci pour vous réponses rapides.
Done
autour de 6:55, en plus de la MAE, ce n'est pas plutôt la RMSE qui est calculée (et non la MSE) ?
Correct ! Petite faute de frappe passée inaperçue au montage ! Merci de l'avoir notée :)
@@MachineLearnia Merci à toi !
merci pour la vidéo c'est vraiment fascinant ,une petite question en ce qui concerne la MAE a la minute 6:14,je crois la MAE=10 pour le modèle A puis MAE=1 du modele B,puis on fait la somme des deux (10+1)/2 ce qui donne la MAE des deux modèles qui égale a 5.5 ,juste en appliquant la formue,n'est ce pas??
Il n'y a pas d'erreur = 1 dans l'exemple que j'ai cité, du coup je ne vois pas trop de quoi vous voulez parler.
@@MachineLearnia comment vous avez calculer le MAE des deux modèles ?
9:35 Oh la belle faute !
Et oui ca m'arrive ahah ! Quand on doit produire des videos rapidement pour faire plaisir a la communauté, parfois des fautes s'y glissent ! Mais bon le plus important c'est la valeur que j'apporte aux gens, tant pis si après on dit de moi que je suis illettré ^^
@@MachineLearnia t'as bien raison !
Bonsoir, pouvez vous me dire quelle est la dif entre rmse en temps que metrique dans la fonction compile et rmse en temps que loss d'une autre metrique comme par exp accuracy
exp1 : SA_model.compile(optimizer = opt, loss = 'mae',
metrics=[tf.keras.metrics.RootMeanSquaredError()])
exp2 :
from keras.losses import mean_squared_error
from keras import backend as K
def root_mean_squared_error(y_true, y_pred):
return np.abs(K.sqrt(mean_squared_error(y_true, y_pred)))
SA_model.compile(optimizer = opt, loss = 'root_mean_squared_error',
metrics =['accuracy'])
En sachant que je veux évaluer mon modèle avec la métrique RMSE mais je ne sais pas vers quelle methode me tourner (l'utiliser en temps que métrique ou en temps que loss dans la fonct compile)
PS: la val de rmse augmente dans exp1 alors qu'elle est sensé diminuée apres chaque epochs
et avec exp2 j'ai parfois dans nan pour loss (mon dataset ne contient pourtant aucune valeurs nan)
Merci d'avance pour votre aide, bonne soirée
Bonsoir, voici la distinction en simple :
- Loss : ce que l'algorithme d'apprentissage doit minimiser (c'est la fonction objectif)
- Métrique : un moyen d'évaluer le modele de maniere intelligible.
Il arrive parfois que l'on travaille avec des Loss qui sont peu intelligible (comme le Log_Loss ou bien la cross_entropy) mais ces loss sont tres efficaces car elles permettent de converger facilement vers un minimum.
La métrique en revanche, c'est la performance que votre client vous demande d'atteindre.
En général, on n'utilise pas la RMSE en tant que Loss (cela peut en effet vous donner des NaN comme dans le cas 2)
pour votre cas 1, c'est le loss qui est sensé diminuer a chaque Epoch, donc la MAE. la RMSE quant a elle peut augmenter ou diminuer avec la MAE dans votre cas.
@@MachineLearnia Je vous remercie infiniment pour votre aide ! puisse dieu vous le rendre
merci tuto trés interessant. là je bosse sur un large dataset. mon objectif est de prédire le revenu des clients de ma boite. et j'ai un mae de 5000 avant j'en avais 8000 mais grâce aux hyper paramètres et aux features engineering je suis arrivé à cette moyenne (5000).
j'aimerais savoir s'il y'aura pas une possibilité de réduire cette erreur d'avantage sachant qu'il signifie qu'en moyenne que mon modelé à une erreur de 5000 fr cfa .
MAE:5000
R2_SCORE:0.76
RMSE: 8409.
mon test.shape est de 700000
le train.shape est de 1200000
Le projet est super cool ! Well done ! Pour savoir comment améliorer encore plus la performance de ton modele, je te conseille de tracer la learning curve pour le train_set et val_set (cela te permettra de comprendre s'il te faut plus de données, ou bien de la régularisation ou bien s'il te faut un modele plus complexe) c'est l'objet de la vidéo "model selection"
As-tu fais de la régularisation ? quel est le modèle que tu as mis en place ? Un réseau de neurones ?
@@MachineLearnia ouii ouii effectivement, jai normalisé mon dataset, enlever les outliers etc
Jai utilisé plusieurs algorithmes tels que la régression linear,random forest regressor, xgboost etc
Néanmoins j'ai pas utilisé les reseaux de neuronnes
@@chamsedineaidara3959 Ok c'est un très bon début dans ce cas il faut vraiment tracer les learning curves pour tenter de comprendre si le modèle actuel est en underfitting ou bien en overfitting
@@MachineLearnia jai fais une comparaison entre mon train et le test. Et il ya pas d'overfitting.
Mon souci est comment faire pour diminuer mon mae
MSE, meilleure optimisation 😉
Ahah Enorme respect aux gens qui commentent avant même de visionner la vidéo ! Toi, tu as tout compris a la vignette de la vidéo, bravo ! :D
Belle astuce je valide !!
MSE ! :)
On est d'accord ! :D
sommes nous obliger de faire une école d'ingé ? je suis en réorientation a Bac+1 donc les prépa c'est compliqué. J'adorree les maths et ce genre de métier qui mélange maths/info sont hyper cool
Pas du tout ! Il y a des Data Scientists de notre communauté qui on fait un IUT, d'autre une licence ou un master en mathématique, l'école d’ingénieur / d'informatique n'est pas indispensable !
Quels sont tes plans ? :)
@@MachineLearnia C'est super encourageant ! j'ai mis des prépas sur parcoursup (on sait jamais) le cas échéant je me tourne vers une licence puis un master ! tes vidéos sont super !
@@flavienmarco8477 Le plus important c'est ta motivation et ta capacité a apprendre en auto-didacte, car une partie des compétences des techniques de Machine Learning et de Deep Learning ne sont pas apprises durant les études supérieures (meme dans les meilleures instituts) car les techniques sont trop récentes (par exemple il peut y avoir une nouvelle technique qui voit le jour en 2020 et forcément elle ne sera pas enseignée dans les écoles) -> C'est la que j'essaie de rentrer en jeu, pour aider ceux qui veulent apprendre plus de choses que ce qu'on apprend a l'école.
Bon couage a toi et tient moi au courant pour tes études. Tu y arriveras !!! :D
Une discipline en plein essor cest très encourageant ! Je vous remercie et e tâcherai de vous prévenir, bonne soirée
Bon soir mon frère j ai un projet scientifique j utilise un capture data va construire instantanément
Je veux que mon appriel va predictl le valeur avec meilleur régression (pol au linere ou expo )
Esq il y un technique pour le faire ?
Bonjour,
oui vous pouvez trouver la meilleure régression avec un algorithme de gridsearchCV dans lequel vous essayé différentes valeurs de PolynimalFeatures (je vous invite a regarder les vidéos suivantes car c'est exactement ce que je fais dedans et cela répondra a votre question)
Je dis probablement n'importe quoi mais je pense qu'on peut pas travailler avec des erreurs positives et négatives car parfois le résultat est 0. Pouvez-vous nous expliquer la raison svp?
Je ne suis pas du tout spécialiste mais si on garde les signes, certaines erreurs vont d'annuler.
Pour répondre à la question de la vidéo sur le problème des erreurs positives et négatives :
A mon avis, pour un modèle et dans ce cas, la somme des erreurs a tendance à tendre vers une valeur bien moindre que le delta sur chacune des erreurs.
En fait, le résultat obtenu ne reflète pas la qualité des résultats.
Alors ? Cela vous convient-il Docteur ou faut-il chercher ailleurs ?
En fait, si on fait la moyenne des erreurs, alors les erreurs positives compensent les erreurs négatives (c'est tout simple)
@@MachineLearnia C'est ce que j'ai indiqué mais en plus compliqué. ;)
Demain je g1gne au loto , je te paye 100 000euros par jour, pour avoir des cours h24
Trop génial tes videos
J’espère vraiment que tu vas gagner au loto alors... (j'ai un tipeee si tu désires me soutenir, merci !) ^^
NRMSE et NMSE
Oui je n'ai pas parlé des versions normalisées dans cette vidéo. Voulez-vous dire quelque chose en particulier ? :)
@@MachineLearnia Non, j'utilise ces metriques avec la normalisation.
@@abdallahchennoufi6315 Parfait :)
from sklearn.metrics import * - qu'est ce que ca veut dire?