Les réseaux récurrents (RNN) | Intelligence artificielle 46
Vložit
- čas přidán 21. 10. 2018
- Les réseaux récurrents sont des réseaux capables de penser et repenser aux données qu'ils étudient. Voilà qui est particulièrement utile pour analyser des données séquentielles, où le passé est utile pour comprendre le présent.
Facebook : / science4allorg
Twitter : / science__4__all
Tipeee : www.tipeee.com/science4all
La formule du savoir (mon livre) :
laboutique.edpsciences.fr/pro...
A Roadmap for the Value-Loading Problem
arxiv.org/abs/1809.01036
Moi en podcast avec Mr Phi :
Version CZcams : / @axiome7403
Version Audio : feeds.feedburner.com/Axiome
Sous-titres sur les autres vidéos : czcams.com/users/timedtext_cs_p...
Long-Short Term Memory | Hochreiter and Schmidhuber (1997)
www.mitpressjournals.org/doi/... - Věda a technologie
16:20 lire un texte à différente vitesses, c'est exactement ce que je fais pour mes cours (je suis master de maths),
je les lis une première fois très vite, pairfois des dizaines de pages en une heure pour avoir une vue d'ensemble des thèmes traités, puis une seconde fois un peu plus vite pour voir l'aspect des raisonnements, en évitant de passer trop de temps sur une preuve complexe, puis une lecture lente et détaillée… et je dois dire que ça marche plutôt bien!
T'es le meilleur.
J'apprécie aussi ton sens de l'humour où tu ramènes souvent ton discours à "Science4All"😂
Merci pour le Taf
Merci d'avoir répondu à ma question. Je suis très satisfait de ta réponse.
PS: J'ai lu ton livre et je comprend tout à fait ton raisonnement.
Un grand merci pour toute cette série de vidéos. J'en avais déjà regardé certaines quand elles étaient sorties, mais en ce moment je les écume pour mon stage (les attaques par side-channel sur l'aes grâce aux réseaux de neurones) et elles me sont très utiles.
C'est clair que l'attention n'y est pas toujours, malgré le contenu incroyable. Je t'écoute en bossant.
C'est insane comme une branche de l'informatique nous donne des informations sur nous-mêmes et notre manière de penser...
Axys Ch c'est vrais, parceque on s'inspire de notre cerveau et de nos neurones pour y parvenir. On peut même expliquer grossièrement la conscience de soi avec. (Pour info, j'ai fait un commentaire qui expliquerait grossièrement comment on pourrai avoir une conscience de tope forte)
Aujourd'hui, c'est devenue même une obligation car la machine avance et pour évité de perdre contrôle il faut la connaître et donc connaître nous même.
C'est même le cas depuis les débuts de l'informatique ! cf par exemple comment la théorie des langages de programmation (via le problème du parsing syntaxique) a influencé certains linguistes, notamment Noam Chomsky
fr.wikipedia.org/wiki/Linguistique_informatique
C'est plutôt Chomsky qui a influencé la théorie du langage ! :)
Attention, la théorie DES langages [formels, si on ne précise pas] a un but bien moins général que s'intéresser au concept général de langage, qui est le champ d'étude de la linguistique.
Quant à qui a influencé qui, je pense qu'il est difficile d'affirmer qui de Chomsky ou des "informaticiens" a influencé l'autre, surtout que les influences sont presque toujours réciproques (sauf s'il existe des documents historiographiques qui attestent du contraire). Ce n'est probablement pas par hasard si les idées de Chomsky ont vu le jour à l'époque où on avait justement besoin de comprendre les langages informatiques
Excellente vidéo comme d'habitude. Malgré tout, il y a un mur technologique que tu ne décèles pas a priori. Tu penses combinatoires et inférence en négligeant la conformation spatiale des éléments (par exemple en chimie). L'amplitude et le moment cinétique de epsilon est probabiliste à une fréquence de 1/10000 dans une configuration Gaussienne. Va demander aux chercheurs ingénieurs de chez Google. Il tournent encore en boucle la-dessus. La clé, c'est la filtration par la température du système. Bon boulot, continue.
Les variations du taux d'apprentissage en cours de descente, ça existe. Adadelta, rmsprop ou plus simplement le momentum. Voir aussi les travaux de Leslie Smith plus récemment
j'ai suivis une partie dr ton intervention sur France culture !
Il y un trou sur l explication de LSTM (on voit que tu supposes une donnée du papier). Tu veux dire que l algo utilise une version avec boucles sur des sous cluster puis reset ? D abord sans boucle puis avec ?
Ou comment apprendre sur le fonctionnement de notre cerveau (mémoire) en étudiant les IA.
Très profond et intéressant. Merci!
6:17 J'ai essayé de regarder la vidéo en vitesse x2 et x0.25 ça a pas donné grand chose... ;)
essayes en x4 tu verras (si, c'est possible avec une extension)
On veut le T-shirt ;)
En quelques mots, pouvez vous expliquer l'impact des "synapses" additionnels de récurrence sur la rétro-propagation de l'erreur à travers le réseau ?
Tu parles de mur technologique à la fin, concernant la pensée humaine: le calcul des conséquences
Lorsqu'on un humain calculs ses choix, le plus souvent c'est basé sur son état d'esprit (émotionnel) et sa mémoire. C'est pas uniquement basé sur les conséquences de ses actes.
NB: il va faire référence à des évènements précédents pour juger des possibilités les plus adéquates (ce qui implique aussi une certaine imagination pour maxer ces scénarios et en produire de nouveaux)
Etrangement, beaucoup de gens fonctionnent à la vengeance, alors que globalement, c'est un très mauvais calcul des conséquences, c'est peut-être ça qui va manquer aux machines.
(les émotions, pas la vengeance. XD)
Je sens qu'on va avoir droit aux réseaux de neurones convolutifs à la prochaine vidéo ! #YOLOv3
Existe-t-il une structure neuronale dit "Chaotique" où les signaux passé, présent et futur sont mêlée pour donner à certains neurone un resultat ? ( une forme de RNN mais en bien moins structurée restant néanmoins stable)
Ca vient d'où, le texte sur la mémoire que tu montres à 1:15 ? De ton bouquin ? (je suis en train de le lire mais j'ai pas encore atteint ce passage, si c'est le cas)
Pourquoi ne pas utiliser le laplacien à la place du gradient pour guider l'IA dans son évolution ?
À propos de la dernière question relative aux limites technologiques pour qu'une IA atteigne l'intelligence humaine, je pense qu'on fera plutôt face à un moment donné (le plus tard possible pour nous permettre de régler le "petit" problème de la morale) à une limite biologique au delà de laquelle l'Homme, même le/la plus doué(e), ne sera plus capable de comprendre, sans l'aide d'une IA, le raisonnement d'une IA
C'est très probable, mais cela dépendra de si elle nous "expliquera" sont raisonnement
Déjà si Einstein avait juste balancé M = E/c² personne l'aurait compris xD
Bref, si elle peut convertir son raisonnement en une explication plus complete et partant de plus "basique", et ce plusieurs fois si nécessaire, la seule limite pour que l'on comprenne esr le temps que nous, et l'IA voudrons bien consacrer à essayer de se comprendre
Pour rebondir sur la question des neurotransmetteurs, il faut aussi souligner qu'il y en a plusieurs, relatifs à plusieurs ressentis subjectifs, est ce qu'il ne serait pas intéressant d'introduire un coefficient complexe dans la sommation des poids des neurones pour "simuler" deux types de neurotransmetteurs du style dopamine / sérotonine et après de prendre quelque chose comme la norme ... Ca pourrait doubler le nombre d'explications par transmission, et donc de faire une mini-forêt pour chaque liaison
C'est peut être complètement aberrant mais je me dis qu'il doit y avoir un intérêt dans l'apprentissage à avoir plusieurs neurotransmetteurs, si quelqu'un en sait plus sur ça, je suis preneur
HB BTW !
Perso il me semblait que les neurontransmetteurs étaient un outil de "poids" activateur (>0) ou inhibiteur (
Par rapport aux neurones biologiques, regarde les SNN, spiking neural network. C'est des modèles biologiques qui tentent d'être réalistes. Pour l'instant ils ne sont pas très efficaces, mais consomment moins d'énergie que les autres types de réseaux neuronaux.
Salut, je me demandais si ton site en français était encore accessible car j'ai un message d'erreur " error establishing a data base connection" lorsque j'essaye d'y aller. D'ailleurs si n'importe qui a une réponse je suis preneur. Merci d'avance.
Je ne suis pas trop d'accord avec le théorème de la vidéo : comment borner le dépliage ? Si on sait qu'on a dix entrées, ok, on peut déplier 10 fois, mais en pratique on ne sait pas...
En fait, on peut faire le même raisonnement avec les automates finis : si on déplie les boucles à l'infini, on n'a effectivement plus de boucle, mais on n'a plus non plus un automate fini. Or on sait que les automates finis ne sont pas équivalents aux automates infinis.
C'est d'ailleurs une grosse limite des réseaux de neurones selon moi : ils sont pour l'instant équivalents aux dictionnaires, le niveau le plus bas de la hiérarchie de Chomsky. Sans boucle ni mémoire (d'exécution, pas d'apprentissage), je ne vois pas comment on peut espérer résoudre des problèmes algorithmiques plus complexes...
Le gradient évanescent c'est pas très bayésien ça? Le fait de faire disparaitre rapidement des influences qui sont pas majoritaires
Penses-tu que la recherche en IA et particulièrement sur les réseaux de neurones permettront de percer le mystère de la nature de l'esprit ?
Ça veux dire qu'il faut augmenter la vitesse de lecture dans youtube?
Existe-t'il un lien entre l'intelligence artificielle et la notion de "conscience artificielle" ? Suffit-il d'augmenter la quantité d'intelligence artifcielle (capacité de calcul) et / ou la complexité du réseau de neurones pour voir émerger une forme de conscience artificielle ?
Pour savoir si il existe une conscience artificielle, il faudrait déjà pouvoir définir ce qu'est la conscience, or cette dernière, de par son inhérente subjectivité, échappe a toutes nos tentatives d'explication scientifiques.
Il existe cependant des théories philosophiques qui "suggèrent" une réponse a ta question, par exemple le matérialisme suggère que la conscience humaine est ce qui émerge du traitement par par le cerveau des informations entrantes.
Le fonctionnalisme (auquel j'adhère) pousse un peu plus loin en disant que c'est la fonction que réalise le cerveau lorsqu'il traite des données qui génère la conscience. Et que n'importe quel système capable de réaliser la même fonction (comme au hasard, une intelligence artificielle via des réseaux de neurones) aura de facto aussi une conscience.
Je te conseille la vidéo de la chaine "science étonnante" avec monsieur phi qui parle justement du sujet de la conscience, et qui explique en mieux ce que je viens de résumer.
oui, donc
Seulement si le fonctionnalisme a raison. Sinon c'est non.
En théorie oui mais, elle est faible. Parceque les bases de la conscience serait que tu soit capable de voir le passé le présent et deviner l'avenir pour changer ton comportement.(hors les IA d'aujourd'hui le font déjà). Sa serai l'équivalent d'un subconscien. Donc, les deux vont de paire.
Pour une conscience de tipe forte, il faudrait faire le même manège mais a la place de mettre des enchainement d'algorithmes, il faudrai le faire avec des IA de plus en plus grosse( des IA qui créer une IA plus grande a force de coopérer pourrai avoir une plus grande connaissance de soit)
En tout cas, c'est vrais que cet flou la conscience.
C'est sans doute la question la plus difficile. Aussi pcq on pas la moindre idée de ce que c'est vraiment la conscience ^^
C'est forcément quelque chose de naturel et qui émerge de ce qu'il y a dans nos caboches, mais comment exactement ?
Autant le lien entre CNN et cellules simples du cortex visuel est connu, autant je me demandais d'où venait le lien entre LSTM et cerveau humain que tu évoques. Source précise ou "réflexion personnelle"?
Alors du coup il y a un truc que je n'ai pas du comprendre. Quand la question parle des messages chimiques, qui inhibent ou facilitent les signaux électriques, pourquoi ce n'est pas comparable au biais associé à chaque neurone ?
Le biais correspond plutôt aux propriétés intrinsèques du neurone (min et max firing rate). Les effets des neurotransmetteurs sur les récepteurs synaptiques s'apparentent plutôt aux poids des neurones artificiels.
Good news everyone! Our robot overlords will love music.
Si le cerveau humain est si bon pour l'apprentissage séquentiel (probablement par adaptation pour le langage), ça peut expliquer pourquoi on aime tant la musique. Et si on conçoit des IA orientées vers le langage, on va peut-être avoir des IA mélomanes :)
Pour les réseaux récurrents moins triviaux, comment se fait la propagation ? Faut t-il implémenter une notion de temps (discrète), et à chaque unité de temps chaque neurone envoie son information à ses neurones de sortie ?
salut, tu as posé cette question pour les memes raisons que j’ai en tete ou pas ? j’espère que tu répondras 3 ans après ton commentaire en espérant que t’aie reussi ton projet 👀
@@Hokto__salut, à l'époque je ne savais pas comment propager l'information de l'entrée vers la sortie dans un réseau récurrent
en effet pour un réseau classique on propage cette information directement, en traversant toutes les couches du réseau jusqu'à arriver à la sortie, et ça à chaque fois qu'on utilise le réseau
par contre pour un réseau qui n'est pas constitué de couches mais qui est un simple graph qui peut contenir des cycles (si il y a des cycles c'est un réseau récurrent) alors c'est impossible de faire ça
la technique qui est utilisée pour ce type de réseau récurrent généralisé c'est: à chaque fois qu'on soumet une nouvelle entrée au réseau, on propage l'information d'un cran (des noeuds parents vers les noeuds enfant), donc il faut soumettre plusieurs entrées au réseau pour enfin commencer à avoir une sortie, ce qui engendre de la latence
désolé si c'était pas clair
Et nous, quelle est notre fonction objectif ?
Et peut on imaginer une IA dont la fonction objectif serait modifier par le réseau de neurones ?
Il existe déjà des fonctions objectif qui sont en quelque sorte modulées par un autre réseau de neurones (par exemple les GAN, ou les architectures teacher/student)
On pourrait peut être carrément prédire la fonction objectif (ce pourrait être utile pour un réseau chargé de résoudre des tâches générales), mais l'obstacle majeur est selon moi : comment paramétrer - de façon différentiable - cette fonction ? S'il s'agit uniquement de prédire le poids de régularisation, l'intérêt semble limité...
Idée intéressante en tout cas !
Pourquoi ne pas "normaliser" les signaux récurrents par l'ensemble des poids qui les affectent quand ils traversent le réseau ? cela eviterait l'explosion exponentielle.
Tu as des papiers où les learning rates sont aussi optimisés en ligne pour chaque minibatchs avec des termes régulations supplémentaires dans la fonction coût. Comme tu le dis... le Deep se résume comme dans les années 90 à du tuning de la topologie et des techniques de régulations.... D'un point de vue de recherche pure et dure .... c'est assez chiant ... car c'est avant tout un travail ingénierie.
Pas si chiant tant les possibilités d'architecture sont vastes ! Après c'est sûr il faut aimer.
C'est pas de la recherche mais l’ingénierie ...
Puisque l'intelligence artificielle depassera l'intellegience humaine, penses tu que cela dotera la machine d'une conscience?
est ce que une ia peut actuellemt creee une blague que personne connait
Programmer des fonctions récursives en informatique c'est assimilable à de la drogue pour son cerveau. C'est comme penser l'infini à chaque fois qu'on tape un terme, oh que c'est bon. Faire de la recherche en IA, créer des pneus qui vont durer 1000000 kms de route ou être spécialiste en constitution( politique) ou être écolo, c'est penser durabilité, soutenabilité. Et là est la vraie différence entre l'humain et la machine nous on se multiplie et on s'adapte, elle, elle rouille et tombe en morceaux.
l'IA du futur aura tout interet à penser à sont avenir aussi ^^
Juste un doute, je comprend bien que quand on parle d'une IA de capacité humain, on parle d'une IA qui excellerai mieux que tout les experts humains dans leur domaines respectif. Mais j'ai l'impression qu'on ne parle la que de tache "intellectuelles"?
Mémoire à pas trop court terme XD
Ça commence à devenir un peu complexe pour moi !
Je pense qu'il faut faire attention a pas trop faire de biomimetisme ici. Essayer de repliquer le systeme neuronale humain est pas forcement la bonne chose a faire (en reference a la question de jch desaintivy). Notre cerveau est compose de milliards de neurone, alors que les reseaux artificiel n'en n'ont que quelque un. Imaginez la complexite d'entrainer un systeme compose de milliards de neurones. A l'heure actuelle et pour un bon moment je pense, c'est infaisable. Et il ne faut pas oublier que le systeme humain est quand meme tres faillible (surtout au niveau de la memoire, mais aussi par ex au niveau des illusions d'optique, etc...).
Et je suis moyennement d'accord avec la backpropagation. Je ne trouve pas que ca soit un modele particulierement efficace. C'est a peu pres le seul qu'on est pour l'instant, mais c'est juste du tatonnement et pas mal de bidouillage (avec les ReLU, leaky ReLU, etc...), et qui requiert beaucoup d'iterations, avec pas mal de probleme de minima locaux, de dimensionality curse, etc...
Ce dont tu nous parles avec les IA c'est de la capacité de réaliser des prédictions à partir de données comme en stratégie ou en reconnaisse d'image. Mais tu ne nous parle pas de notre aptitude à savoir ce que nous pensons, faisons, voulons; bref à être conscient. Et c'est pourtant la base de la promesse des IA, parvenir à simuler un conscience. Y a t-il des réflexions pour déterminer comment fabriquer une IA consciente ou estime t'on juste qu'il suffit d'augmenter leurs performances?
Ce n'est pas l'objectif du machine learning de créer une conscience.
Nous de savons pas ce qu'est la conscience, il est donc impossible de savoir quand/si nous en créerons une.
Si ça se trouve n'importe quelle machine capable de faire croire qu'elle est consciente est consciente de facto.
Ca se trouve ton ordinateur possède déjà une forme de conscience.
On en sait strictement rien.
"Nous ne savons pas ce qu'est la conscience"
Il me semble au contraire que ce mot désigne une idée qu'il sert à nommer. Quand je réfléchit à ce que je vais écrire je sais que je réfléchit à ce que je vais écrire, c'est donc que je suis conscient de ma réflexion et de mon intention. Si au contraire il se déroule un évènement que j'ignore ici ou là, je ne suis pas conscient de cette évènement. Et si je suis inconscient j'ignore jusqu’à ma propre existence. Être conscient c'est savoir que l'on sait et que l'on fait. Autrement dit être conscient c'est observer sa propre activité mental (l'ensemble des informations dont on dispose dans l'instant).
Je me suis peut être un peu mal exprimé.
Nous savons certes reconnaitre la conscience car nous l'expérimentons a tout instant durant notre vie.
Mais il y a selon moi une grande différence entre savoir reconnaitre la conscience, et savoir ce qu'elle est, au sens, de quoi est elle constituée ? Est elle indépendante de la matière (Dualisme) ? Ou liée a elle (Matérialisme)? Est-elle propre a la matière biologique ? Ou bien dépend elle de la fonction que réalise l'organe qui pense ? (Fonctionnalisme)
Et cela, nous n'en savons rien. Nous ne pouvons que deviner. Pour moi le fonctionnalisme semble être la solution la plus pragmatique, mais ça reste une simple conjecture.
Aussi en français le sens de conscience est très axé sur la conscience de soi même, c'est ce que tu dis toi même. Quand j'ai étudié les bases des sciences cognitives, j'ai appris qu'on pouvait donner un sens un peu plus large de la conscience, dans le sens, conscience de son environnement : être capable de "ressentir" et s'adapter a son environnement.
Si on prend comme base cette définition, alors les plantes, mais aussi tout ce qui possède des capteurs qui permette d'influencer le fonctionnement du système dans lesquels ils sont peuvent être considérés comme possédant une conscience.
Une voiture autonome aurait ainsi "conscience" de sa position dans l'espace, et réagirait en accord avec cette conscience. Si il y a un obstacle devant elle, ses algorithmes vont faire réagir la voiture a ces informations pour éviter l'obstacle.
Bien sur la voiture n'a pas de capacité de réflexion, ni de conscience d'elle même, elle "sait" juste ou elle est et réagit en conséquence.
Ce que j'entends par conscience c'est d'observer sa propre activité mental c'est à l'ensemble des informations auquel on accède. Pour qu'une voitures autonomes soient considéré comme consciente il fadrait qu'elle sache qu'elle sait où elle situe. Je n'ai pas réduit cette définition à la conscience de soi au contraire je l'applique d'abord à l'aptitude d'être conscient de son environnement. C'est plutôt la contrainte du langage qui m'impose à parler d'un soi.
Puis concernant notre ignorance de ce qu'est la conscience, j'aurais justement aimé que l'on s'interroge sur l'émergence de se phénomène pour le faire nous même émerger. En ce basant sur l'hypothèse du fonctionnalisme on devrait s'interroger la disposition nécessaire pour cela. Il n'y a pas de résultat garantie mais se serait déjà ça.
Mais comment peut-on s'assurer qu'un individu (au sens large) est conscient ? Suffit-il qu'il nous dise "je suis conscient" pour que l'on soit satisfait ?
Tout le problème est là...
LSTM encodé dans le cerveau humain, ça va vite en besogne ici ! J'avais étudié cette architecture, et elle est particulièrement moche : je n'adhérerais pas à cette thèse rien que par parcimonie... mais plus encore, tu sembles justifier ton argument par le fait que LSTM est très performant, or il me semble que LSTM a été dépassé par une nouvelle architecture récurrente. Est-ce qu'on ne devrait pas plutôt supposer que cette nouvelle architecture est encodée dans le cerveau humain ? :p
*Relance la vidéo en x2*
Lire à plusieurs vitesses ....
merci pour ton travail. par contre, je pense qu'il faut que tu arrêtes de dire que, parce que ton algo ressemble pour toi à ce qui se passe en bio, cela justifie l'intérêt dudit algo, comme à partir de 8:11. En effet, ça ne s'appuie sur aucun argument scientifique et n'est pas rigoureux, malgré un -ambitieux- "je pense qu'il est très probable". Tu dois dans ce cas fournir les sources de ton affirmation. Pour être jeune chercheur dans le domaine, c'est un peu énervant. On est encore très loin de comprendre ce qu'il se passe au niveau cellulaire et tissulaire, donc dire que "le LSDM est encodé par le cerveau humain" en prenant pour argument une interprétation de la vie de tous les jours, puis continuer sur un "suggère que", est au mieux extrêmement naïf. Tu fais souvent ce type de raisonnement et je trouve qu'il est dommageable à la qualité scientifique de ton propos qui est par ailleurs élevée.
Prums?
Non
*Désolé, mais celle-ci, je ne la regarde pas tout de suite : j'ai reçu aujourd'hui "La Formule du savoir" :-)*