La réduction de la dimensionalité (ACP et SVD) | Intelligence Artificielle 20
Vložit
- čas přidán 22. 04. 2018
- Les données brutes sont souvent de très grande dimension, ce qui pause toutes sortes de problèmes (dont la sur-interprétation). Pour combattre la malédiction de la dimensionalité, les chercheurs en IA ont introduit des méthodes comme l'analyse par composante principale (ACP ou PCA) et la singular value decomposition (SVD) pour extraire la sémantique de données brutes.
Facebook : / science4allorg
Twitter : / science__4__all
Tipeee : www.tipeee.com/science4all
Moi en podcast avec Mr Phi :
Version CZcams : / @axiome7403
Version Audio : feeds.feedburner.com/Axiome
Sous-titres sur les autres vidéos : czcams.com/users/timedtext_cs_p...
Vulgarizators 2018 : / vulga2015
Algèbre linéaire | Wandida (playlist)
• Algèbre linéaire | Lê ...
Principal Component Analysis (PCA) | Wandida
• Principal Component An...
Intuitions and Applications of Singular Value Decomposition (SVD) | Wandida
• Intuition and Applicat...
Deux (deux ?) minutes pour l'éléphant de Fermi & Neumann | El Jj
• Deux (deux ?) minutes ...
L'hypersphère : la sphère en quatre dimensions | Alain Bernard
• L'hypersphère : la sph...
Deux (deux ?) minutes pour... le IIIe problème de Hilbert | El Jj
• Deux (deux ?) minutes ...
The Netflix Prize (ft. Anne-Marie Kermarrec) | ZettaBytes
• The Netflix Prize (ft....
When Pi is not 3.14 | PBS Infinite Series
• When Pi is Not 3.14 | ...
Eigenvectors and eigenvalues | Linear Algebra 10 | 3Blue1Brown
• Eigenvectors and eigen... - Věda a technologie
On te sens bien plus à l'aise au fil de tes vidéos, ça fait plaisir de te voir prendre des petits riques de-ci de-là mais ce que je préfère dans tes vidéos c'est l'enthousiasme à propos de sujets qui te bottent ainsi que le plaisir coupable de nous faire partager ton exitation pour les maths.
J'aime beaucoup ce que tu fais, j'attend les autres vidéos avec impatience !
Super intéressant... et compréhensible! Ça permet de faire le lien entre géométrie et IA, ce qui est assez inattendu!
Oui trés impressionnant, les espaces de grande dimensions , les beautés géométriques de nos aïeux , explosent aujourd'hui ....en IA et machine learning, Que de trésor encore enfouis et imaginons la recherche mathématiques d'aujourd'hui donnera peut être des solutions à des questions que l'on n à pas encore seulement imaginer ....
Oui, le machine learning c'est beaucoup de géométrie !
J'ai tellement la nostalgie de la chaîne Science4all avec ces vidéos techniques & objectives sniff ... j'vais me les remater un de ces quatre
Arriver à expliquer en quelques minutes le principe de l'ACP, ce n''est pas évident et très réussi... Bravo et félicitations pour cette série.
Tu pourrais refaire une vidéo avec el jj stp?, je trouve que les dessins sont plus facile à comprendre et vous êtes mes 2 CZcamsur préfère
Merci pour cette fascinante vidéo, je n'aurais pas du tout présenté l'ACP et la SVD de cette façon ! Très cool que tu aies illustré la SVD avec un exemple concret ! Comme certains autres commentaires, je me demande à quel point ça peut être compréhensible par des non-initiés, mais tu as le mérite de donner énormément de pointeurs utiles pour ça ;)
Personnellement j'ai mieux compris l'ACP avec une "histoire" différente, celle d'un modèle génératif. Imaginons qu'on ait un processus de mesure qui échantillonne des points sur un sous-espace (disons un s-e.v) mais qu'on a un bruit de mesure, qu'on suppose orthogonal. Alors les points, qui auraient du vivre exactement à la surface de ce sous-espace, sont légèrement dispersés autour. L'ACP consiste exactement à retrouver le sous-espace (enfin, une paramétrisation) le plus probable étant donné les observations. D'ailleurs, on peut généraliser en permettant au sous-espace de ne pas être euclidien, mais une variété quelconque. Mais alors, en trouver une paramétrisation est beaucoup plus dur (pour ceux que ça intéresse, ça s'appelle le manifold learning).
Cette formulation du problème permet de rendre explicite certaines hypothèses que l'on fait ; on comprend notamment que l'existence d'axes de sémantique était postulée dès le départ (le fameux s-e.v qu'on cherche)
Comme par hasard le sujet de Centrale 2018 tombe sur ce sujet (lemme de Johnson-Lindenstrauss). Merci pour cette vidéo bien réalisée ! J’espère que tu nous expliqueras aussi bien le sujet des Mines ! :D
Oui ça a fait bien plaisir !
Merci , tu a clarifié quelques truc que j’avais pas forcément bien compris dans un projet👌🏻👌🏻👌🏻
Pour contourner le problème de la comparabilité des dimensions, on peut centrer-réduire les variables. En fait je pensais qu'on le faisait toujours dans une ACP mais non.Sinon j'avais un collègue très adroit en analyse de données, et pourtant il était aveugle. Comme quoi on peut aborder cette matière autrement que par la visualisation en dimension 2 (ça me semble dingue)
Génial ! C'est étonnamment simple et propre comme principe (par rapport aux fameux réseaux de neurones). Même si j'imagine qu'en pratique ils introduisent des non-linéarités quelque part parce que ça marche mieux (mais après c'est sale).
(Science4all, aka la chaîne où une vidéo de 21minutes est en fait 10 minutes de vidéo normale puis 11 minutes de parenthèses et réponses aux commentaires xD)
J'en suis a ma 5e vidéo sur l'ACP et je viens enfin de comprendre. Merci pour cette vulgarisation limpide .
Merci, ça aide à résumer un peu mieux ce que j'ai compris (On a eu un travail à rendre sur la décorrélation avec transformation affine des vecteurs aléatoires sans avoir aucun cours sur les probabilités en plusieurs dimensions. Dans le travail j'ai utiliser PCA sans vraiment savoir que c'était ça)
tu es un géni...j'ai dû regarder ta vidéo 4 fois. ( mes connaissances d'algèbre linéaire datent de 2011) Thanks a lot
j ai suivi la quasi intégralité de tes vidéos.. mais cette série là c 'est déjà plus difficile à suivre... moi je n’ai que bac+2.. et mon bac c 'est 1988.. et le +2 date de 1993... wouah c 'est balaise le niveau de cette série IA. Mais !...merci bravo et encore ! même si je ne capte pas tout, c 'est toujours intéressant !
Hello, pas sur de comprendre l'objectif ou la these ici ? utiliser l'ACP va accomplir quoi exactement de pertinent dans notre cas ?
Vous êtes infiniment intéressant.Vous êtes inspirant!🌼🌸🐢🎶
Marrant, je viens tout juste d'apprendre le produit scalaire en maths et je vois que ça sert à calculer les notes potentielles des utilisateurs sur des films de Netflix. On en apprend tous les jours :D
L' Acp elle-même est problématique en grande dimension d'après la théorie des matrices aléatoires (elle n'est pas consistante : les vecteurs propres des matrices de covariances empiriques et théoriques forment un angle droit dont la valeur est fonction du rapport d/n), donc je suis pas sûr qu'on puisse dire que ça résout le fléau de la dimension. Même si ça réduit la dimension, on est toujours dans des situations de grande dimension. Il paraît aussi que la théorie des matrices aléatoires a trouvé des moyens de corriger les biais sur les valeurs propres : par exemple pour calculer correctement les inerties projetées, mais je n'ai jamais réussi à trouver ces méthodes. Avis aux personnes qui connaîtraient ?! un grand merci pour tes videos (juste un peu dommage que tu n'aies pas présenté l'acp comme un type de Svd, une svd tronquée, il y aurait peut-être quelque chose à fouiller de ce côté pour la vulgarisation !?)
Très claire cette vidéo 😊 de la bonne vulgarisation 😜
C'est très intéressant même si je n'ai pas tout intégré consciemment, mais cette le fait qu'on parle de plus en plus d'intuition me met mal à l'aise quand il s'agit d'intelligence programmé. Il faudrait peut-être faire un épisode spécialement là-dessus, car on essaye de s'en approcher au niveau de l'AI et vu qu'on veut essayer de comprendre les mécanisme complexe d'interprétation et de compréhension du monde qui entoure un esprit intelligent ce serait pas mal d'en expliquer le mot et savoir si c'est vraiment une question importante dans le domaine de la recherche en AI.
Surtout que j'ai l'impression qu'on est face à un paradoxe où le but c'est de développer une intelligence artificiel bien plus performante que nous, mais que de l'autre on fait tout pour réduire toute la complexité du monde, le nombre de donnée, de dimension etc... afin d'avoir un niveau d'interprétation équivalent à celui de notre cerveau à travers l'intuition et l'irrationalité qui va avec.
J'ai l'impression qu'on arrive à la même complexité de l'homme avec les mêmes défauts, à savoir celui de se débarrasser des infos résiduel et négligeable afin de généraliser un concept, une idée et de simplifier à son niveau de compréhension afin d'en faire un théorème.
Toute cette recherche n'oublie t-elle pas l'importance de la théorie du chaos, qu'un infime changement ou donné peut provoquer des résultats très important ayant un effet très éloigné de la donnée initiale de base?
On est d'accord que les AI de facebook, Netflix, ou google arrive à connaitre nos gouts à un instant 't' grâce à de nombreuses données, mais arriveront-ils vraiment à pouvoir anticiper nos gouts dans le future?
Car chaque interaction social devra être prit en compte, et le moindre petit lien avec quelqu'un ou affect devra être calculé, car par une hasardeuse rencontre on peut passer à aimer les films comique à les détester et adorer les films d'horreur par simple découverte et interaction avec une autre personne.
Du coup vous me direz que l'AI fera des erreurs comme nous, mais dans ce cas là ça ne sera plus une AI mais bien une intelligence vivante qui n'aura rien d'extra-ordinaire et rien de spécial de plus qu'un humain... Du coup, ça servira vraiment à quelque chose tout ce foin sur les AI? Je me dis autant continuer de faire naître des enfants naturellement en essayant d'un côté de les élever et de l'autre de laisser faire l'évolution, elle s'en est bien sorti jusque-là ^^.
Une IA aura toujours un avantage par rapport à l'humain : elle travaille vite, et pour un prix ridicule.
Ici le problème n'est pas de négliger les données ou d'ignorer la théorie du chaos, mais de faire les meilleures prédictions à partir d'un jeu de données, et si une donnée ne semble pas avoir d'impact significatif, il vaut mieux accepter que l'on ne comprend son impact pour prédire le mieux possible, plutôt que d'essayer et d'overfit.
Pour l'évolution, je pense personellement que si on était capable de créer des lances pour se nourrir, des maisons pour mieux vivre et des ordinateurs pour accelerer le travail, il n'y a aucune raison pour que l'on ne développe pas des outils mathématiques permettant une montée en puissance de l'humain. J'irais même jusqu'à trouver que ça en fait parti.
Super vidéo qui tombe bien haha ! Je fais mon stage sur ce sujet !
D'ailleurs t'aurais une réf de papier montrant les nouvelles techniques de reduction de dimension ?
Énorme la digression sur les normes, et c'est sympa de souligner que la norme 2/euclidienne est la seule qui soit invariante par rotations. Ceci dit d'après moi tu as raté là une bonne occasion de parler de nouveau du théorème de Pythagore pour expliquer pourquoi cette norme 2 est bien la notion de distance habituelle!
Le théo de Pythagore... et le fait qu'on se soit accordé sur la norme des vecteurs avec une seule composante non-nulle (toutes les vraies normes que tu as cité s'accordent d'ailleurs sur ce point).
excellente vidéo merci
Bonjour, merci pour la vidéo!
Comment savoir quel est la dimension du sous-espace sur lequel tu projettes ?
Merci beaucoup ☺️
Comme d hab, trop bonne video 😂😂😂
Super! En fait ces normes c'est facile! ça aurait été mieux au début de l'épisode 18 ;)
En parlant de sémansique utiliser je terme "inception", pour définur une mise en abîme est un bonne exemple de glissement sémantique.
(Retirant un peu plus à l'inception son sens premier, qui est l'implentation d'idée)
2 algo pas si simples très bien vulgarisés, bravo !!
(dans la vidéo, il y a deux cut un peu violents :s)
Merci encore pour cette série de vidéo, tu mets le point sur ce qu'il me reste à apprendre en maths pour parvenir à enfin coder en IA ='/ #Whydidileaveschool
Tu peux aussi utiliser t-SNE (t-Distributed Stochastic Neighbor Embedding) pour la reduction de dimensionalite. Et les auto-encoders aussi je pense, mais a mon avis si tu fou un vecteur de dim = 1M ca risque d'etre long :P
L'algorithme t-SNE est surtout utilisé pour la visualisation de données. Et oui, les auto-encoders sont très pratiques pour ça mais effectivement mieux vaut choisir une dimension d'espace latent plus petite que la dimension d'origine :p
Bonjour, quand on projette x sur un espace F de dimension p inférieure strictement à la dimension de E (=n) , cela ne veut pas dire qu'on va réduire la dimension, car on va se trouver avec un vecteur dans F, mais F est engendré par des vecteurs de E qui sont de dimension n.
Bonjour et merci pour ta vidéo.
J'ai une question concernant ACP:
Quels sont les propriétés que doivent respecter les données pour pouvoir fortement réduire la dimensionnalité ?
Si par exemple les données brutes n'ont pas de lien entre elles (comme de l'aléatoire ou des données faiblement corrélées) j'ai l'impression qu'il y aura peu de chance de pouvoir trouver une projection de dimension fortement inférieure.
Merci
Bonsoir Valérian,
Pour pouvoir réduire fortement la dimensionnalité de vos données à l'aide d'une ACP classique, il faut qu'il existe un fort lien linéaire entre plusieurs de vos variables. Supposons que vous ayez d variables et que k de ces variables sont parfaitement liées linéairement, alors vous pouvez résumer parfaitement ces k variables à l'aide d'une composante principale et donc la dimensionnalité du problème passe de d variables à d - k + 1.
Kledou L merci pour ces explications très claires. Lê répond également à cette question sur sa vidéo suivante en expliquant l'impact des échelles/unités de mesures
Merci
Si j'ai bien compris, la note d'un utilisateur est le produit scalaire entre la projection de l'utilisateur et celle du film. Mais qu'en est il si un film ou un utilisateur a une projection nulle sur l'espace de sémantique? Est ce possible déjà?
Oui. Si un film est un vecteur nul, alors tout le monde le trouve nul ;)
Bonjour Lê,
Je suis désolé mais cela fait longtemps déjà que je voulais te poser cette question qui n'a rien à voir avec le sujet de cette vidéo : Quand j'arrive à une station de métro, et que je vais sortir prendre un bus juste devant la bouche de métro, si je ne suis pas du tout renseigné sur les horaires de celui ci, est ce qu'il est intéressant de courir du métro jusqu'à l'arrêt de bus ?
Merci beaucoup pour ton attention
Comment choisir la "direction" de l'hyperplan de sémantique film-utilisateur ? Car ce choix influence l'image de la projection orthogonale et donc le produit scalaire entre un film et le vecteur unitaire projeté d'un utilisateur ou je me trompe ?
Oui, en effet. L'idée est de prendre le sous-espace dans lequel les films sont les plus étalés.
Bonjour, L'ACP travaille sur la matrice des corrélations et donc sur des variables centrées réduites. Les unités ne jouent aucun rôle et on peut mélanger des paramètres de natures très différentes.
Question: est-ce que si on inverse le sens des données, i.e. qu'on met en input/dimension les films ou séries, et qu'on place dessus le ranking des utilisateurs, on peut arriver à produire les même prédictions? Parce que là on a un système simple, où il faut simplement matcher utilisateur et produit favoris, mais comment on fait dans des cas sérieusement plus complexes où on doit traiter des nombreuses variables différentes, par exemple âge, sexe, niveau d'étude, profession des parents, revenu annuel, et, par exemple, opinions politiques? En quelque sorte, on a une hyper-dimensionnalité, bien plus emmerdante qu'une dimensionnalité qui n'est qu'une modélisation particulière d'un set de données de nature en fait extrêmement "simple" (peu diverse).
Parce que, si j'ai bien compris, les données à traiter dans le cas du "Netflix challenge", en fait elles tiennent sur un tableau à double entrée: utilisateur sur un axe, film/série sur un autre, et à l'intersection on trouve le ranking. Données simples mais dont ne se détache aucun sens a priori. On traite ensuite ces données brutes pour créer un espace nouveau, dans lequel on ne sait pas a priori ce que les axes veulent dire (mais on peut le deviner par la suite, puisque ces axes construits sont en fait des catégories de film: aventure, action, SF, romance, etc), mais qui permet de ranger films et utilisateurs comme des données de même nature, ou homologues si on veut, mises en relation par un simple rapport de ranking. Je suppose que c'est cette transformation qui est appelée "rotation"?
Sinon, tout celà me fait penser à un important article de Bourdieu, qui date de 1976, "Anatomie du goût", où il propose justement la mise en place d'une sorte de double espace de représentation (espace des positions sociales, et espace des styles de vie) exactement de cette nature, associant à chaque agent des types de plats, des professions types, des goûts artistiques, des carrières professionnelles, des moyens d'information de prédilection, et même des opinions politiques, en fonction du capital total (au sein de sa théorie des formes de capital) et de la composition du capital (rapport entre capital économique et capital culturel):
www.persee.fr/doc/arss_0335-5322_1976_num_2_5_3471
Un jour, on redécouvrira Bourdieu, et à quel point les outils qu'il a imaginé, la profondeur de sa réflexion méthodologique, étaient tellement en avance sur leur temps que tout le monde est passé à côté. Netflix, Amazon, CZcams, Cambridge Analytica bricolent leurs algorithmes par pur intérêt, sans contribuer aux progrès de l'anthropologie, alors qu'un petit effort permettrait de récupérer ces bricolages au sein d'un modèle sociologique puissant, méthodologiquement et épistémologiquement extrêmement élaboré, scientifique, qui pourrait révolutionner les sciences humaines de manière fondamentale.
Les grandes dimensions ne sont pas toujours une malédiction ! L’espace tend à être de plus en plus ultramétrique avec l’accroissement du nombre de dimensions. On peut alors exploiter cette ultramétricité avec des algorithmes très simples de type UPGMA pour obtenir des hiérarchies au sens mathématique du terme, ce qui en fait des classifications très naturelles ou en tout cas intuitives.
Allez voir du Jos Leys pour visualiser (et construire en dimension 5 puis n)
J'adore
"les espaces de très grande dimension sont - hyper bizarre - " x) effectivement
Petite astuce pour visualiser en dimension 4 (ou 5 ou 6 etc). Perso je visualise en dimension n et après je prends n = 4.
5:41 * quelqu'un me contredit si j'annonce que cet * n'a aucun sens ? à partir de 'on suppose .. '
Damn je viens juste de voir l'acp dans mon cours de proba/stats
très intéressant mais qu'est-ce qui permet de dire que la reduction des axes où la variation est faible est pertinante sur le plan sémentique ? Pour reprendre ton exemple de l'assiette, en fait, peu importe la forme qu'elle a en dimention 2. Elle peut très bien être ronde, carré ou autre... Ll'important, ce qui en fait une assiette et pas un simple disque, c'est justement qu'elle soit légèrement creuse au centre. donc la dimention "négligeable" ;)
pour une assiette infiniment fine, même si ce n'est pas un disque, un point du plan correspond à un unique point de l'assiette, du coup, la transformation se fait sans aucune perte d'information. donc , travailler avec les coordonnées réduites est équivalent à travailler avec les coordonnées non réduites.
et si l'assiette n'est pas infiniment fine, mais que son épaisseur reste très inférieure à son diamètre, alors il y a une perte d'information, mais petite par rapport à la taille de l'assiette.
Oui, mais je ne parlais pas de son épaisseur. Je parlais de l'importance de la concavité dans ce qui définit sémantiquement une assiette. Selon toi, un simple disque serait une assiette ? En gros, qu'est-ce qui permet de dire que réduire à rien les dimensions faibles n'est pas justement négliger un point sémantiquement essentiel ?
j'ai négligé son épaisseur mais pas sa concavité, ce que je dis , c'est qu' il existe une bijection entre les points d'une assiette fine mais pas plate, et un disque. donc utiliser le disque pour entraîner l'ia plutot que l assiette n entraine pas de perte d information.
ok, la nuance est subtile. il y a bien bijection entre la surface de l'assiette et la surface du disque. On peut effectivement négliger l'épaisseur. Mais ce que je voulais dire était que perdre complètement la 3eme dimension dans la description de l'assiette sous le seul prétexte qu'elle a peu de variance, conduit à l'assimiler à un morceau de plan. Or cette approximation n'est pas seulement réductrice, elle constitue une perte d'information essentielle. Car une assiette, c'est une forme fermée, et fine, certes, mais aussi avec des bords relevés (plus ou moins mais toujours un peu). et ce dernier point est très signifiant.
Vivement la "vulgarisation artificielle"!!!
Pour le mouton noir, le cygne noir et le corbeau noir, est-ce que tu as bien vérifié qu'il n'ont pas qu'un seul côté noir ? :)
Bonjour. Je ne suis pas forcément d'accord sur une remarque: le fait que l'on doive avoir des échelles comparables. Si on normalise les échelles et si tant est que l'on mesure des variables quantitatives, ça passe (je fais cette remarque pour nos amis du marketing qui considèrent allègrement qu'une échelle de Likert à 5 modalités est quantitative). Après on a des contraintes de normalité que certains zappent totalement.
Pour la SVD je suis un petit peu embêté par votre présentation car on a l'impression que vous opposez PCA et SVD: la PCA représente aussi les variables dans l'espace des individus (puisque fondamentalement ce sont les mêmes données, on travaille sur Xt). En projetant on voit que l'espace des individus et celui des variables conduisent à la même base... et tant mieux sinon on ne pourrait pas représenter les variables et les individus en même temps (oui, je sais qu'on ne devrait pas mais bon :)). Pour moi le SVD est presque mathématiquement équivalent (car XX⊤=UΣ2U⊤ si j'ose dire) à la PCA mais on approche le problème différemment en bidouillant à l'aide des valeurs singulières
Monsieur Lê, je me demande si vous (les gens du machine learning, moi je viens de l'économétrie) transformez vos données pour vérifier la normalité ou si vous projetez directement? Et que prenez vous comme tripatouillage? Box-Cox? Johnson?
Bon, désolé il est presque minuit et je ne dois pas être très clair. Eclairez ma lanterne!
edit: 8.15..... forcément c'est mieux :)
Moi qui suis justement en train d'étudier les espaces préhilbertiens et euclidien =).
j'ai pas tellement compris comment on passe de dimensions par utilisateurs à des utilisateur dans l'espace sémantique fabriqué par la suite
Salut, j'ai pas fini de regarder la vidéo mais une question me taraude l'esprit concernant l'ACP
Tu dis qu'il faut que toutes les dimensions aient toutes la même unité, mais dans ce cas là on ne peut pas faire une espèce de normalisation selon les différentes composantes?
Si j'ai une dimension en mètre et une autre en secondes, je divise en l'ordre de grandeur qu'on a pour ces données en règle général et ça donne des dimensions sans unités: l'ACP devient donc applicable
en pratique, c'est ce qu'on fait, on applique une normalisation pour que toutes les grandeurs soient dans la même échelle adimensionnelle.
Introduire l'ACP avec des dimension signifiantes permet de bien apréhender l'intuition de la réduction de dimension, mais je trouve qu'introduire le terme « sémantique » à ce stade est un peu rapide. Cela est possiblement valable si les dimensions originales de l'espace ont elles-mêmes un sens (cas des critères Netfilx par exemple) mais ce n'est pas toujours le cas. Si on considère des images de 1M pixel par exemple, les vecteurs propres vont être difficiles à interpréter « sémantiquement » (idem pour du son).
De plus, introduire l'ACP comme une technique de sémantisation des données dans le cadre du le deep learning est un peu paradoxal, vu que le deep vise à aller au delà de la projection linéaire des données brutes produite par l'ACP. En particulier, l'un des articles de Hinton ayant permis le renouveau des réseaux de neurones en 2006 compare justement la visualisation obtenue par ACP avec celle d'un autoencoder (obtenu par stacking de RBMs) qui est beaucoup plus éclairante:
Hinton et Salakhutdinov (2006) Reducing the Dimensionality of Data with Neural Networks, Science 313.
Ceci dit, l'ACP reste effectivement utile pour beaucoup de choses. Mais étant non supervisé, la "sémantisation" des données brutes ne pourra résulter que de l'existence de labels (sémantique, donc) par ailleurs, associés aux dimensions (cas Netflix) ou aux donnée elle-mêmes (classification supervisée en deep learning par exemple).
Avec un produit scalaire, on peut donc déterminer le film à regarder pour deux utilisateurs distincts mais qui va "moyennement" leur plaire à tous les deux !
Hello, tu pourras transmettre tes vidéos wandida aux profs de SIE !
J'ai fait ma 4A la bas et un prof a essayé d'expliquer l'ACP, c'etait vraiment la honte. Il a réussi a dire, en substance, qu'on arrivait avec des combinaisons linéaires de vecteurs en dimension p a obtenir un espace de dimension supérieure a p. Enfin je cite "ca arrive pas souvent mais ca m'est déjà arrivé" ....
Charles Dutertre peut être n'était-ce pas une ACP mais un modèle overcomplete? Avec un autoencodeur de base par exemple, on a une ACP sur la couche interne. Mais si on régularise (noisy ou sparse autoencodeur) la couche interne peut être de dimension plus grande que les données...
500 likes
0 dislike
Bravo !!
Haha! C'est l'avantage d'un titre et d'une vignette anti-putaclic ^^
512+1 ;)
@@le_science4all Mdr
Je trouve que dans cette video on voit pas trop la diff entre PCA et SVD. Quand tu parles de SVD on a l'impression que tu dis la meme chose que PCA (trouver les dimension avec la variance max, projeter les points dans cette espace, etc...). Mais bon boulot sinon :)
SVD et PCA sont complètement liés car les valeurs singulières issues de svd, sont les données projetées dans la base des vecteurs principaux issus de PCA.
Mais les valeurs singulieres de SVD viennent aussi avec des vecteurs propre non ? Les meme que PCA ?
Les valeurs singulières de la matrice de covariance sont identifiées seules. Ensuite les vecteurs principaux associés aux valeurs singulières sont calculées à partir des valeurs singulières.
Ok la conférence est sur le contre intuitif de la contraposée :D
oui
(je crois)
Entre autres ! Quoique ça me donne aussi envie de parler de pourquoi la contraposée est une bêtise de logicien.... J'en parlerais une autre fois sans doute #teaser
Quand tu parles de Netflix et que tu utilises la méthode SVD, tu parles de notes que certains « pourraient » mettre, est ce que ces résultats peuvent être utilisé pour nous conseiller des séries/film ¿
? ou peut être suis-je complètement à la ramasse.
Peut etre en proposant des films maximisant le produit scalaire vecteur utilisateur par le vecteur film ?
Oui carrément ! Les algorithmes de recommendations reposent souvent sur SVD (ou des variantes de SVD)
Réduit-on les dimensions par des transformations linéaires ?
Si oui, la transformation serait une matrice au déterminant nul
Le cygne noir de Nassim Talheb ?
la encore suffit de simuler la vue en relief pour simplifier
t'as pas parlé de la t-SNE 😔
Je n'ai toujours pas trouvé la solution du paradoxe de Simpson mais je regarde quand même, histoire de prendre la mesure de mon ignorance.
Courage !
(le paradoxe de Simpson n'est pas du tout relié aux vidéos qui suivent...)
Merci Lê, je m'accroche !
bonjour belle vidéo, explications fluide. Je peux avoir ton adresse e-mail?
0 dislikes ! cas hyper rare, d autant que si il est peut êre satisfaisant d avoir 0 dislikes, il est encore plus satisfaisant de mettre le premier dislike.
Tiens au fait question... : as -tu visionné la série faite par la chaine Mr Sam et sa série Versus avec Jean-Pierre Petit ? si oui que pourrais-tu en dire ? (même si c 'est clairement plus de la physique que des maths pures) .. voici le lien czcams.com/video/zCVW7W8oEKg/video.html
Sponsorisé par les profs de prépa cette vidéo non ?😉
Hannibal Ateam 'à quoi sert la réduction' applications stylés
mais en faite avec ce truc on va savoir comment je vais noter un film ... mais si je le sais je vais peut-être pas donné la me note ... du coup il faudrait rajouter une dimension en plus de moi ... moi qui connait ... mais si je sais que que cette dimension existe je vais peu-être encore changer ma note ... du coup sa rajoute à la malédiction des dimentions
J'ai l'impression que Lê explique des trucs connus au lycée par contre manipule un vocabulaire inconnu pour un lycéen normal comme si c'était ultra connu, après ptet qu'en Belgique la matière est pas la même
Je n'ai pas compris la différence entre ces deux approches... J'ai manqué quoi ?
C'est une bonne chose ! Il n'y a pas énormément de différence fondamentale ^^
C'est juste qu'algébriquement, les deux problèmes sont posés un peu différemment, et qu'après coup, on les interprète habituellement aussi un peu différemment...
Okay super merci, merci pour tes vidéos :)
C'est rigolo cette projection, c'est le même processus qu'une scène vidéo 3D qu'on rend en 2D pour l'écran, c'est un programme qui fût très ludique.
en trois mots .. espace semantique .. utilisateurs
Mais juste merci quoi
Ça pique vachement et pourtant je mange beaucoup d'harissa
Non! la PCA n'est pas un outil pour éviter la sur-interprétation(over-fitting)! C'est une grave erreur que beaucoup d'analiste commettent!
Je ne suis pas d'accord avec ce que vous dites concernant l'intuition géométrique.
Tout d'abord, pour faire des mathématiques, et ce, quelque soit le domaine, il FAUT avoir une intuition. Si on veut démontrer un théorème de façon bête et méchante, on se trouve très très vite confronté à une explosion combinatoire des preuves possibles. Et la seule méthode pour éviter cette explosion, c'est d'avoir de bonnes heuristiques pour trouver la preuve qui nous intéresse. Pour moi, ce genre d'heuristique, c'est exactement ce qu'on nomme intuition mathématique.
Ensuite, certaines personnes ont une très bonne intuition algébrique et calculatoire. D'autres ont une intuition plus géométrique. Et on peut très bien étudier les espaces de grande dimension avec un point de vue purement algébrique.
Pas forcément d'accord. Je trouve que par exemple l'idée de la démonstration de la projection sur un convexe complet se visualise très bien géométriquement mais analytiquement on n'a aucune idée.
Et je dis ça bien qu'étant très mauvais géomètre. Je ne sais même pas faire la différence entre un espace affine et un espace vectoriel :D
y a une question que tu n aborde jamais . C est quoi ta baleine blanche mathématique a toi jeune capitaine ?😁
je suppose que si en 3eme années de maths-info, je ne suis pas capable de comprendre l'idée général du 1er coup, pas grand monde vat y arriver. (la 1ere partie, c'est bon, mais pas la 2eme)
je re-regarderait.
Ben y'a un peu de régression linéaire cachée dedans. Mais eu lieu de faire ça avec une droite on fait ça avec des sous-ev
Une sup suffie, avec une spé dans les pattes tout est claire: c'est qu'une question de projection orthogonale, de minimisation de norme (Il parle même de groupe orthogonal !
le problème n'est pas là.
à 5:20 : pourquoi placer les filmes dans l'espace utilisateur permet de tiré des informations intéressantes malgré que l'on ai pas d'information pour la plus part des dimensions de cette espace ; pourquoi l'ACP fonctionne quand-mème ?
Paul Amblard On cherche une "corrélation" entre les differents avis des utilisateurs afin qu'avec peu d'avis on puisse prédire des avis manquants.
Cette corrélation c'est un sous espace vectoriel (qui minimise la distance des films à celui ci): quand tu place dans l'espace un utilisateur (avec quelques avis) alors la projection (produit scalaire) de cet utilisateur sur l'espace de projection (ca c'est la reduction de la dimension) pourra (et si il y a corrélation c'est le cas) être elle même projetée sur la droite vectorielle de chaque filme: ainsi on connaît l avi probables de l'utilisateur sur des films sur lesquels il a pas donné d'avi
Je voudrais pas dire mais -- venant d'un expert y avait déjà de quoi se méfier d'ailleurs -- le nom de la chaîne est de plus en plus usurpé, et ça devient flagrant
Ce que tu fais dans cette série n'est tout bonnement pas de la vulgarisation
Je veux dire: cette réduction, par exemple (mais ce n'est pas la première fois) est un aspect technique, professionnel, profond des ia, non? Pour vulgariser, il faut (c'est la moindre des choses) résumer très brièvement ces aspects et remettre en perspective leur intérêt en permanence, avec un vocabulaire ultra-profane. Ou alors accepter qu'on a un public initié aux sciences et aller au fond des choses (faire un cours quoi), comme sur wandida. Là, en voulant en contenter beaucoup (voire tout le monde), tu ne fais ni l'un, ni l'autre. C'est très étrange à regarder. Je trouve.
Au contraire, je trouve que c'est une des explications les plus simples et éclairantes d'un sujet compliqué. Il vulgarise juste assez pour ne pas dire des choses fausses.
" juste assez pour ne pas dire des choses fausses "
Bah il est là le problème, si on ne peut pas vulgariser (on ne vulgarise pas plus ou moins, on n'est pas plus ou moins non initié, on est plus ou moins initiés mais ça ne marche pas dans l'autre sens à mon sens) alors on ne dit pas... c'est tout...
Pour ma part, dans cette vidéo, je me mets dans la peau d'une personne lambda curieuse du sujet des ia et je me dis: "je pige rien, sûrement parce qu'il n'y a rien à piger, mais du coup où sont les ia ? "
Et puis franchement, sans vouloir t'offenser:
" juste assez pour ne pas dire des choses fausses "
C'est un commentaire très pédant, typique des initiés qui ne se mettent pas à la place des autres. Je trouve.
(Amicalement)
Vivement la "vulgarisation artificielle"!!!
Je m'excuse du niveau trop élevé. Mais je fais vraiment ce que je peux pour rendre ces sujets aussi abordables que possible, et je suis conscient que tout n'est pas compréhensible par tous.
Je sais aussi que le nom de la chaîne est inapproprié. Mais c'est surtout un vestige du passé. Science4All existe depuis 2012, avec une volonté d'être très grand public. Mais depuis, d'autres excellentes chaînes ont conquis ce public, notamment l'excellent Mickaël Launay.
Je pense (peut-être à tort) avoir davantage d'utilité avec des vidéos d'un niveau un peu plus élevé, mais qui du coup abordent des questions que je trouve beaucoup plus fascinantes.
(et pour tout dire, il y a aussi beaucoup d'égoïsme de ma part, parce qu'il s'agit des sujets dont j'ai le plus envie de parler)
Science4All c'est marrant, parce qu'au début de cette série et dans la série précédente, des gens se plaignaient que ce n'était pas assez "scientifique", "mathématique", "rigoureux"... lol. pour ma part j'adore !
Rien qu'avec le titre de la vidéo, tu m'as déjà perdu...
Merci, c'était plus pour plaisanter qu'autre chose à vrai dire ;)