TRAITER LES VALEURS ABERRANTES
Vložit
- čas přidán 7. 02. 2022
- TRAITER LES VALEURS ABERRANTES OU OUTLIERS [ preparation de donnees, diagramme de boite a moustaches ou boxplot, detection de valeurs aberrantes, détection des anomalies, suppression de valeurs aberrantes, nettoyage de données ], PARTIE II (DATA PRE-PROCESSING, NETTOYAGE DES DONNEES ), JE VOUS MONTRE POURQUOI, COMMENT ET QUANT IL FAUT TRAITER LES VALEURS ABERRANTES(OUTLIERS), C'EST A DIRE DETECTER, REMPLACER, SUPPRIMER OU RECUPERER LES VALEURS ABERRANTES DANS UN SOUS DATASET LES VALEURS ABERRANTES OU OUTLIERS. JE VOUS MONTRE TOUTES LES TECHNIQUES ET ASTUCES POUR TRAITER DE FACON CORRECTE LES VALEURS EXTREMES.
#datapreparation #openclass4all #datacleaning
REJOINDRE LA COMMUNAUTÉ: / @openclass4all
MON PROFIL LINKEDIN: / ousman-hamit-hassani
PLAYLISTS(FORMATIONS) A REGARDER ET COMMENTER ABSOLUMENT:
1. ANALYSEEXPLORATION DE DONNEES
• Visualisation de donnees
2. DATA PRE-PROCESSING:
• TRAITER LES VALEURS AB...
3. MODELE DE MACHINE LEARNING:
• REGRESSION LINEAIRE - ...
4. VIDEOS TUTORIELLE(PRISE EN MAIN DE JUPYTER NOTE BOOK):
• Maitriser les raccourc...
*REJOINDRE LA COMMUNAUTE OPENCLASS4ALL 👉**czcams.com/channels/E-613S-bsuLukwHDhnRxIA.html*
Merci, j'ai pu résoudre mon problème grace à votre video
Je suis vraiment ravi que ca vous a aide, merci beaucoup 👍
Merci @Ousman, cette video m'a permis de resoudre plusieurs de mes problemes.
Ravi d'apprendre que ca vous a aide, merci de la partager avec tes amis 👍
Vraiment une excellente vidéo pour traiter les valeurs aberrantes, j'ai pas trouvé meilleure que celle-ci.
Merci beaucoup.
Je suis vraiment contient que ca vous aide, merci de votre commentaire
J'ai egalement d'autres videos a cette URL czcams.com/video/E3HbvAH9W0A/video.html si vous etes interesses
Merci pour cette belle vidéo le grand professeur. Ça va beaucoup nous aider sur les problèmes que nous rencontrons chaque jour dans le prétraitement de nos donnés. Merci 🙏.
Merci pour votre commentaire, c'est extrement encourageant 👍
Plus riche que les formations payantes que j'ai achetes.
Merci, C'EST TOUT CE QUE JE VOULAIS ENTENDRE 😄
Bonne continuation frère
Merci Serigne, on va aller plus loin insha ALLAH.
j'ai reçu votre message, c'est la cellule 5 , à 17:37. Merci à vous.
OK, JE REGARDE ET JE VOUS REVIENS TOUT DE SUITE
VOUS AVEZ SUREMENT MAL NOTE QUELQUE CHOSE DANS LE CODE SUIVANT ==>
def drop_outliers(df, feature):
Q1 = np.percentile(df[feature], 25)
Q3 = np.percentile(df[feature], 75)
limit = 1.5*(Q3 - Q1)
df.drop(df[df[feature] > limit + Q3].index, inplace = True)
df.drop(df[df[feature] < Q1 - limit].index, inplace = True)
VERIFIER QUE TOUT EST BIEN ECRIT COMME CECI 👆
N'OUBLIEZ PAS AUSSI LES INDENTATIONS
POUR LA BOUCLE FOR 👇, N'OUBLIEZ PAS QUE LE df NE PAS DE VALEURS ABERRANTES(IL A ETE COMPLETEMENT NETTOYE DANS LES QUESTIONS PRECEDENTES), UTILISER *cp* 👈👈👈
for feature in features:
drop_outliers(cp, feature)
Merci beaucoup 🙏
Avec plaisir
Merci à vous
Merci beaucoup pour vos cours. De la part d'un étudiant de MSDA Université Iba Der THIAM. Sinon on aimerait également des tutos sur le Data Engineering genre Spark, Hadoop. Merci d'avance 🤲
Merci THIAM pour votre commentaire.
J'ai pris note de votre demande, car les deux formations(Analyse exploratoire des données et Data Pre-processing déjà disponibles sur cette chaîne ne sont pas encore achevées), même si ça va prendre un peu du temps, il y aura du contenu sur SPARK.
Super on sera la inchallah pour les suivre et merci beaucoup pour tout.
BONJOUR j'aime beaucoup le contenu de tes tutoriels. je travail sur un projet de prediction des matchs de football et je dispose d'un api qui me fourni toutes les statistique complet equivalent au statistiques des bookmakers. peux tu faire des tutoriel sur orange data mining qui est aussi basé sur python avec plusieurs algorythme.
Bonjour, merci beaucoup pour le commentaire, l'outil orange data mining je sais de quoi il s'agit mais je ne l'ai jamais utilise dans un projet, c'est assez difficile pour moi de vous proposer des tutos, car cela necessite un temps considerable
merci
Merci a vous de l'avoir suivie
*SI CA VOUS INTÉRESSE J'AI UNE PLAYLIST ENTIEREMENT DÉDIÉE AU DATA PREPROCESSING* 👉 czcams.com/video/SJNw_kxcnpE/video.html
Merci pour l'effort.
J'ai un problème que je vous ai expliqué en privé sur Facebook messenger.
merci infiniment
Merci, je vais lire votre message
Merci beaucoup beaucoup pour l'explication.
Avec plaisir
the best :)
Thanks a lot
Bravo pour la pédagogie : ce cours est claire et complet. Merci.
Merci beaucoup pour votre appréciation, ça nous encourage à proposer toujours plus de contenu.
*SI CA VOUS INTÉRESSE J'AI UNE PLAYLIST ENTIEREMENT DÉDIÉE AU DATA PREPROCESSING* 👉👉 czcams.com/video/SJNw_kxcnpE/video.html
Bjr, J'ai besoin du drop mais "df.drop(df[df[feature]>limit+Q3].index, inplace = True)" ne fonctionne pas, car df[feature] n'existe pas. Merci de me répondre. Cdlt.
@@brigitterabarijaona3872 Bonjour
@@brigitterabarijaona3872 Vous pouvez telecharger le notebook a cette URL => github.com/OusmanHamit/JUPYTER-NOTEBOOK/blob/master/OUTLIERS(PARTIE%20II).ipynb
Merci beaucoup ! Pour les vidéos et les notebook sur la gestion des outliers. C'est hyper clair et très apprécié :)
Merci pour votre appréciation, vos commentaires m'aident beaucoup a améliorer le contenu de prochaines vidéos.
D'autres vidéos dans le mème ordre d’idée sont également disponible a cette 👉 URL : czcams.com/video/nJ0olHCZgZI/video.html
Si vous trouvez que c'est intéressant, merci de les partager avec vos amis qui seraient intéressés, ça aide énormément la chaîne à s’agrandir.
Vidéo encore une fois instructive. Merci
Merci a toi de l'avoir regarde 👍
Si ca vous interesse, j'ai une video encore plus interessante a cette URL 👉 czcams.com/video/t7ZoE9XrF1M/video.html
Super intéressant et très claire ! Merci beaucoup !
Merci @Dalila Derdar pour votre appreciation
Si vous êtes intéressés voici toute la playlist dédiée au DATA PRE-PROCESSING ICI 👉 czcams.com/video/SJNw_kxcnpE/video.html
Ok!!!! ça marche ! vous m'avez aidée. Je suis en formation, c'est votre cours qui m'explique TOUT ! J'ai compris votre cours sur régression linéaire, on attaque l'ACP, multivariée, est-ce que vous traiter tous cela ? Comment payer vos cours par mois, ma formation va durer encore 6 mois, au moins. j'aimerais payer par western union, si possible, en début du mois. Merci de me répondre. Cdlt
Merci, ravi que le problème soit réglé, je n'ai pas encore de formation payante disponible immédiatement(ça sera l’année prochaine 2023), je ferai également une formation gratuite sur l'ACP, des que j'ai un peu du temps disponible.
Est-ce vous avez regarde toute les playlist de ma chaine 👉 czcams.com/users/openclass4allplaylists
@@openclass4all Bonjour, non, je n'ai appris vu que celui-là: je vais m'y mettre dès demain. Merci de m'informer pour la suite. Bien cordialement à vous.
@@brigitterabarijaona3872 Il suffit d'activer la cloche de notification pour être automatiquement informée des je publie du nouveau contenu.
Très intéressantes
Merci beaucou pour votre commentaire 👍
👉 github.com/ousmanhamit
Bonjour, veuillez m'excuser de vous rappeler que je souhaite intégrer votre groupe de discussion si c'est possible: comment faire ? Merci d'avance. cdlt
Merci pour l’intérêt que portez au contenu que nous proposons, vous pouvez me contactez via le formulaire de contact à cette URL 👉 ousmanhamithassani.herokuapp.com/ afin que je puisse vous recontacter des que tout le processus d'organisation qui tourne autour de nos formations est achevé.
features = ['energy_100g','proteins_100g', 'salt_100g','sodium_100g','sugars_100g','fat_100g','carbohydrates_100g','saturated-fat_100g','nutrition-score-fr_100g']
SI VOUS AVEZ UN GITHUB, DEPOSEZ VOTRE NOTEBOOK LABAS, DE CETTE FACON, JE PREND VOTRE NOTEBOOK, JE LE CORRIGE PUIS VOUS L'ENVOYER.
Bonsoir Mr
J'ai travaillé sur une dataset sujet du changement climatique en Afrique mais quelque codes ne fonctionnent pas comme vous le signalé
cordialement
Merci de me décrire en détail ton problème à cette URL 👉 ousmanhamit.com/contact/
Je vais être disponible demain soir
Bonjour prof merci pour votre vidéo j'ai une question après avoir créer un subdataset pour les valeurs aberrantes est ce qu'on va après les supprimer de notre base data initiale ou bien?
Non, en fait il y a 3 possibilites:
1. Vous les supprimez comme je vous ai montre dans la video.
2. Vous les recuperez dans un subdataset pour les analyser a part les autres donnees
3. Vous les remplacer
J'ai traite les 3 cas, parce que ca depend de ce que vous voulez faire
Merci pour la question et dites-moi si vous avez compris ou pas ?
@@openclass4all Moi pour mon travail je les récupérez dans un subdataset mais le problème en ai que quand j'exécute la distribution des variables qui se trouve dans ma base data j'ai toujours les valeurs aberrantes je sais pas ou se trouve le problème.
Une fois recuperee, vous les SUPPRIMER DE VOTRE DATASET INITIAL, CAR VOUS N'AVEZ PLUS BESOIN,
la boucle parcourt bien les features, mais c'est "df = df.drop(df[df.feature >limit + Q3].index, inplace = True)" , le df.feature ne comprend pas les éléments de features.
Vous m'avez pas encore précisé quelle fonction, ni a quelle minute de la video mais feature(sans s) contient LA COLONNE COURANTE DANS LA BOUCLE FOR pour parcourir l'objet FEATURES(avec s a la fin)
*VOUS NE DEVEZ PAS NOTER df.feature MAIS IL FAUT ECRIRE df[feature] 👈 SANS LES APOSTROPHES A L'INTERIEUR DES CROCHETS*
Merci, le problème: 1°) " df = df.drop(df[df.feature >limit + Q3].index, inplace = True)" , 2°) "AttributeError: 'DataFrame' object has no attribute 'feature', "
A quelle minute(Preciser) exactement de la video ?
def impute_outliers(outliers_100g, features):
q1 = np.percentile(outliers_100g[feature], 25)
q3 = np.percentile(outliers_100g[feature], 75)
iqr = q3 - q1
lower_bound= q1 - 1.5*iqr
upper_bound= q3 - 1.5*iqr
outliers_100g.loc[outliers_100g[feature] < lower_bound,feature] = lower_bound
outliers_100g.loc[outliers_100g[feature] < upper_bound,feature] = upper_bound
for feature in features:
impute_outliers(data, feature)
ce code envoie une erreur
TypeError: '
Que contient ta variable features ?
Le code est parfaitement correct, regarde seulement la liste de tes variables *features* ou bien ton df que tu as nomme *data*
Si malgre tout vous avez une erreur, coppier/coller l'erreur en commentaitre, je vais la voir
@@openclass4all features= ['code','product_name','quantity','categories','energy-kj_100g','energy-kcal_100g']
le drop marche bien si j'exécute pour une variable précise, sans paramètre feature ni features. Je vous rappelle: je n'ai pas réussi : "from jupyterthemes.stylefx import set_nb_theme
set_nb_theme('grade3') ". C'est peut-être la raison pour laquelle "df.feature" ne fonctionne pas ?
VOUS N'AVEZ PAS BESOIN DE CES from jupyterthemes.stylefx import set_nb_theme
set_nb_theme('grade3') CA C'EST JUSTE POUR CHANGER LE THEME, VOUS LES SUPPRIMEZ OU ALORS VOUS INSTALLEZ
!pip install jupyterthemes