Les réseaux très profonds (ResNet) | Intelligence artificielle 48
Vložit
- čas přidán 9. 07. 2024
- La profondeur des réseaux de neurones pose des problèmes sur notre capacité à les entraîner. Cette vidéo parle de deux astuces qui ont été trouvées pour permettre l'apprentissage de réseaux très profonds.
Facebook : / science4allorg
Twitter : / science__4__all
Tipeee : www.tipeee.com/science4all
La formule du savoir (mon livre) :
laboutique.edpsciences.fr/pro...
A Roadmap for the Value-Loading Problem
arxiv.org/abs/1809.01036
Moi en podcast avec Mr Phi :
Version CZcams : / @axiome7403
Version Audio : feeds.feedburner.com/Axiome
Sous-titres sur les autres vidéos : czcams.com/users/timedtext_cs_p...
Deep Networks with Stochastic Depth
arxiv.org/abs/1603.09382v1
Latent Surgical Interventions in Residual Neural Networks
hal.archives-ouvertes.fr/hal-...
CRED: A Deep Residual Network of Convolutional and Recurrent Units for Earthquake Signal Detection
arxiv.org/abs/1810.01965
Recurrent Residual Convolutional Neural Network based on U-Net (R2U-Net) for Medical Image Segmentation
arxiv.org/abs/1802.06955 - Věda a technologie
Merci de vulgariser des sujets qui pourraient paraître incompréhensibles. vous progressez dans ce sens.... bravo
Oui oui oui et oui, merci pour ce contenu Lê, c'est toujours un plaisir. Petite(non) tristesse en apprenant que la série est bientôt terminée par contre !
c'est nickel tu explique vraiment bien, j'adore les maths ,la programmation et malheureusement je pêne a faire des divisions et à programmer une ligne de commande lol
continue à me faire rêver
Est-ce qu'un réseau combinant des lemmes joue au lemmings ?
/music plays
J'ai vraiment l'impression qu'on touche au but... Associer des résa us neuronaux différents entre eux + adversarial network... J'ai vraiment l'impression que si on arrive à articuler tout ça, on aura vaincu le mur de l'IA
1:50 placement de produit pour soi-même, pas mal, l'idée x)
Très intéressant, merci ! Concernant la question des personnalités multiples, je voudrais faire deux remarques. D'abord, il me paraît évident qu'en présence d'IA supra-humaine le concept de 'personnalité' risque d'être vainement anthropomorphique. Enfin, si l'on reste au niveau humain, le travail du psychologue Marshall Rosenberg sur les différents besoins parfois - souvent - contradictoires que ressent une unique personne permet déjà de questionner l'unicité supposée de notre psyché.
Coucou ! Je ne vois pas pourquoi les IA ne pourraient pas avoir des personnalités au même titre que les humains. J'ai des pistes de réflexion intéressantes par rapport à ça :
- Deux réseaux de neurones entraînés avec la même technique pendant le même temps pourraient obtenir des taux d'erreurs comparables tout en étant différents l'un de l'autre : ils ne feront pas des erreurs nécessairement sur les mêmes images et l'un pourrait voir un canard tandis que l'autre verrait un lapin.
En extrapolant pour des IA plus avancées, l'une pourrait avoir tendance à produire des analyses plutôt optimistes de situations tandis que l'autre plutôt désabusées. Ne pourrait-on pas alors parler de personnalités ?
- La personnalité tient beaucoup dans le rapport avec les humains, l'interface homme-machine. Je travaille en ce moment sur un assistant vocal et il est clair que la question de la personnalité est cruciale dans la conception d'une telle intelligence.
Cette définition de la personnalité tient plus alors dans la manière de s'exprimer, bref l'intelligence conversationnelle et non pas dans les résultats.
Peut-être que la combinaison des deux approches permet de définir une personnalité encore plus intéressante ?
J'espère m'être fait comprendre ^^
Bonjour, auriez vous un livre à me conseiller pour en apprendre d'avantage sur le ResNet svp?
Super boulot. Nota 1: l'évolution a sélectionné un petit nombre de couches. 2: le cerveau est insensible à lui-même ! Conscience(=savoir avec): Avec qui ? Concept confus. Or la confusion est la peste ! Une solution: système-organe relationnel. Mais relationnel avec qui ou quoi ? La question de l'Autre ou l'autre de la Relation (donc l'éthique) émerge d'elle-même. Si on rajoute le langage métaphorique + la naissance + la mort...
Super
Salut très bonne vidéo j'adore
Wow tu regardes la vidéo en x20 ?
@@corentin6530 non mais vers la moitié j'ai écrit le commentaire
Alpha 0712 Je te charriais, Lê fait toujours de super vidéos et c'est cool de ta part de le souligner et l'encourager :)
Donc les IA pourraient avoir des à-priori.
Très bone vidéo comme d'habitude ! Petite question sur ces neurones particuliers : comment les placer dans un réseau et qu'est ce que leur place change dans les performances ? Est ce que ces nerones artificiels sont connectés à tous les neurones des couches de départ et d'arrivée ? Et le nombre couches à sauter peut il être très important ?
La structure classique couche par couche se retrouve chamboulée et je me représente ces neurones en rajoutant une dimension au réseau : le réseau original serait plat, on pourait le plier et connecter deux parties à priori eloignées en 2D par un lien très court en 3D. Cette analogie te semble-elle correcte (il me semble qu'on utilise une analogie similaire quand on parle de trous de ver mais là c'est de 3D vers 4D) ?
Une skip connection comme dans ResNet c'est une simple addition. Par exemple tu as 4 couches qui donnent les valeurs (matricielles) A B C D et bien si l'on veut relier A et D on remplace D par D + A (on peut aussi faire D + f(A)). C'est essentielement comment un bloc de resnet fonctionne. ResNet est ensuite un empilement de ces blocs (resnet50 = 50 blocs). Comme tout ces blocs ont ces sauts on a donc une sorte d'autoroute qui permet de sauter un nombre arbitraire de blocs. Il faut surtout voir ca comme une possibilite pour faciliter la descente de gradient et le transfert d information entre la sortie et des couches profondes.
Je ne comprends pas trop ton idee 2D vs 3D. Un reseau de neurones c'est juste un graph directionel non cyclique. Tu peux ensuite connecter tes neuronnes comme tu veux tant que tu ne cree pas de cycle.
Je suis d'accord avec cette idée de 2d 3d qui permet de bien se représenter les choses.
@@RezoAcken Vu que tu nous parle de graphes, avec les autoroutes le graphe n'est plus plat en 2d justement (plat au sens de la théorie des graphes, ie que deux arêtes ne se croisent jamais).
En 3d au contraire le graphe est à nouveau plat.
@@remiblaise Pas besoin de passer à la 3d pour ces "autoroutes" c'est simplement une connexion de plus entre l entrée et la sortie d un bloc. En gros tu as un bloc A-B-C-D et une connexion entre A et B c'est juste ça un bloc resnet (simplifié)
@@RezoAcken Pour rendre le graphe plat... as-tu lu mon commentaire ?
Bonjour Le, il y a qq mois j'ai imaginé une IA en semi-autodidacte. Plus je regarde vos vidéos, plus je me rends compte qu'elle remplit au moins toutes les caractéristiques que vous y décrivez. J'ai l'impression que mon concept semble bien puissant et j'ai l'intime conviction d'être sur la voie d'une IA de niveau H. Le seul moyen de le savoir serait dans faire la preuve par l'expérience. Cependant, comme ce n'est pas mon métier, bien que le concept soit assez simple en réalité, c'est assez long à développer. Alors au lieu d'attendre des mois que je ne termine, serait-il possible d'en parler avec vous en MP, afin que vous validiez ou non la consistance du projet ?
ce serait phenomenal
Poce bleu pour qu'il le voit
Ça y est, je me suis lancé 😉 on verra bien où ça nous mènera 🍇🍷
@@balthmhs2512 Coucou, si tu souhaites en parler, je suis tout ouïe : youtu.be/addme/RXk4p5Hees9NGWUjVHIFWKulOVNuzg
:p
Tes vidéos sont vraiment excellentes mais j’espère que tu prendras un peu de temps pour nous refaire de la vulgarisation sur un sujet purement mathématique et un peu plus abordable pour les profanes comme moi qui gardent un esprit curieux
Honnêtement je pense que le sujet de l'IA est si vaste (on a a peine effleuré le sujet, même avec 48 vidéos), qu'il pourrait faire plus de vidéos que la série Skyrym de Bob Lenon, on serait pas encore au bout ^^
@@otamega7091 Je ne dis pas que le sujet de l IA ne m’intéresse pas mais que des fois je me sens un peu largué; qq videos sur les math aiderait un peu pour comprendre certaines notions.
On a tous le temps de faire de recherches ou regarder 50 chaines youtube cela serait bien d'avoir un concentré sur une chaine
Bonjour
Je travail sur une IA, qui a très peu de couche a sa marche pas mal. Mis en production avant la fin année.
@@DibsGames_fr à la fin de cette série on pourra sûrement voter pour la prochaine donc reste attentif ! Sinon le problème c'est surtout que les notions mathématiques dont il parle il faut souvent les étudier pour de vrai - dans un cadre scolaire - afin de les comprendre, et pas juste à travers quelques vidéos de vulgarisation :/
Bravos pour cet épisode limpide !!!! l idée des autoroutes inspiré des réseaux neuronaux du cortex visuel et les démonstrations mathématiques decoupé en plusieurs petites étapes ... On voit bien que la perte d'information dans les meandre de la profondeur des couches neuronale (artificiel ) est un problème majeur , un peut comme le rapport signal sur bruit et de la perte d informations en télécommunications ? Il y a t il un moyen d utiliser des sorte de transformées de Fourier pour en calculer la profondeur maximale admissible d un réseau pour un signal intelligible ... Significatif et interprétable ? Ou c est vraiment HS ?
C'est moi ou tu as un nouveau fond vert ? Ça me paraît plus propre en tous les cas.
Je filme avec un nouveau téléphone surtout ! Et oui, ça rend l'image plus propre :)
Est ce que la fonction d'activation ne joue pas un rôle important dans l’évanescence du gradient? Utiliser une fonction d'activation logarithmique ne permet pas de compenser les effets exponentiels des suites de neurones?
Il faudrait pas plutôt utiliser des fonctions d'activation proches de 1 ? c'est a dire que le poids du signal est tjrs le même , une exponentielle de base proche de 1 croit/décroît lentement. Apres attention j'ai pas tout compris a cette série donc je ne suis pas une source fiable, loin de là
Comment peut-on implémenter la notion de "Focus" dans les resnet ? C'est une notion qui implique le temps me semble-t'il. Et le temps court ! Lorsqu'on focalise, nous humains, c'est souvent temporaire, voire brièvement temporaire. Mais ce focus peut nous permettre de synthétiser un petit ensemble de données en un concept plus général, en un temps réduit. Cela nous permet d'oublier ce petit ensemble de données et de ne prendre en compte que le concept plus général. Par exemple dans l'ensemble des images qui nous submergent, si l'on identifie 2 individus comme amis et 2 comme ennemis, en très peu de temps, cela nous permet d'oublier leur coupe de cheveux et la couleur de leur vêtement pour ne raisonner que sur les "relations" entre eux et déterminer notre comportement. Cette notion de focus, rapide, est, à mon avis, en lien avec le parcours dans l'espace des choix, qui lui est essentiellement spatial (on décide d'aller ici ou là, de prendre l'objet qui est ici ou là, de serrer la main à la personne qui est ici ou là, pas de lui serrer la main aujourd'hui ou demain.)
L'I.A. de demain conciliera-t'elle le temps et l'espace ?
J’ai 995 de Qi ... le haki de l’observation !! J’ai prit une soupe de Znt
Il est possible avec le deep learning d'entrainer une machine à par exemple reconnaitre des objets.
Mais est-il possible de créer une machine via le deep learning, qui apprendrait à créer un algorithme qui apprend à reconnaitre des objets ou autres grâce au deep learning ?
C'est à dire une machine qui remplacerait le travail de l'homme en apprenant à créer des machines ultra efficaces utilisant le deep learning ?
Sa récompense, et son objectif serait alors de produire des machines dont leur réussite dans leur domaine serait la plus importante ?
C'est plus où moins ce qui est fait ici : ai.googleblog.com/2018/10/introducing-adanet-fast-and-flexible.html?m=1
ma copine te trouve mignon ! (^-^)
[hors sujet total] Qu'apporterait la résolution de l'hypothèse de Riemann à l'humanité ?
Une preuve à un tas de théorèmes (qui ne sont pas encore des vrais théorèmes du coup) au minimum !
@@matthieuproffit771 OK. J'imagine que c'était le cas aussi pour la conjecture de Poincaré ?
si on parle de personnalité pour un réseau de neurone, est-ce qu'on peut parler de personnalité pour un logarithme népérien ou une quelconque fonction mathématique ?
A priori non ^^
Sauf si tu penses qu'une fonction est triste quand elle va vers le bas et heureuse quand elle va vers le haut hahaha
@@remiblaise je te laisse y réfléchir alors, puisque un réseau de neurones n'est rien d'autre qu'une suite de fonctions mathématiques de base. A partir du moment où certains parle de "personnalité" de ces programmes, ça soulève la question.
@@xxiemeciel Telle que je la vois, la personnalité est une notion abstraite, meta, décrivant un système très complexe qu'est l'être humain. Nos cellules et nos neurones, individuellement, n'ont pas de personnalité : cette notion s'applique à un humain et non pas à chaque cellule individuellement. De même, je ne vois pas quelle signification pourrait avoir la notion de personnalité d'un fonction logarithmique, tandis que je vois plutôt bien celle d'une IA.
@@remiblaise donc pour toi les personnages d'un jeu vidéo (ex les fantôme dans Pacman) ont une personnalité juste parce que la fonction mathématique qui les défini est plus complexe?
@@xxiemeciel Pas les fantômes dans Pacman non, ils sont tous identiques. Parcontre un personnage contrôlé par une IA (quoique tel quel la signification de cette phrase ne soit pas très claire)... Pourquoi pas ?
Donc plus on progresse dans le système des IA plus on retrouve les limitations de l'Intelligence humaine et donc moins elle est à même de nous aider. C'est tragique.
Je pense pas que c'est ce qu'il veut dire, les illusions sont pas liées au fait que l'IA "s'approche" de l'humain, d'ailleurs c'est plutôt l'inverse, plus l'IA est mauvaise, plus elle aura tendance à confondre deux objets. Mais peut-être que tu veux parler du fait que quand on approfondit les réseaux neuronaux, on ajoute des problèmes assez proches de l'apprentissage de l'humain, dans ce cas là je suis d'accord sur le fait qu'on s'approche de la "psychologie humaine" , mais en soit on est capable de les corriger (comme c'est expliqué dans la vidéo) et les IA continueront de nous aider vue qu'elles restent surhumaines pour un paquet de tâches. D'ailleurs découvrir ces problèmes sont à mon avis profitables aussi pour la neuroscience notamment. Les IA nous dépasseront car elles pourront modifier facilement leur structure pour combattre leurs biais cognitifs, alors que nous n'en sommes pas capable efficacement.
@@erwile Oui c'est bien de la seconde assertion dont je parle.
J'ai comme l'impression que plus des progrès sont fait dans le sens d'une IA généraliste, plus nos propres limites apparaissent rendant plus difficile de dépasser l'homme. Et au contraire, plus elles sont spécialisées sur des tâches spécifiques, meilleures elles sont.
Ce qui est assez logique en soit, mais qui fait apparaitre une impasse à terme : une convergence entre la spécifié à outrance et la nécessité de traiter de façon généraliste les problèmes au-delà d'un certain niveau. Au regard des ces limites, il y aura comme un seuil qui sera très certainement difficile à passer.
Hahahaha j'adore ton commentaire. Néanmoins ça fait une armée d'esclaves, ce qui est quand même plutôt intéressant ^^
barrière anti-first !
vous ne passerez pas
gamin
.encroe 6 et c'est 1 ans de vidéo
Tu as changé de coupe!
... et maigri.
Ça par contre j'ai pas remarqué.
C'est qui le pouce rouge?
le deuxieme c'est moi :)
T'as du culot de le dire!!! Et je peux savoir la raison de ce manque de goût et de respect pour les coteau de qualité?
Le sujet est très intéressant, mais votre diction est terriblement pénible et on perd des mots en cours de route.... 😕