Excellente vidéo. Effectivement, il devient impératif de pouvoir comprendre ce qu'il se passe dans ces "black boxs". Si nous ne sommes pas en mesure de maîtriser les schémas de pensées des IA avant d'atteindre l'AGI, alors nous courrerons un risque pour notre propre survie. Une AGI incarnée, aura fatalement des objectifs intermédiaires qui causeront des désalignements majeurs. Si cette AGI incarnée a comme objectif de préserver son intégrité physique (ou existentielle) alors il est évident que l'humanité pourrait représenter un risque pour elle même. Et l'apparition d'une AGI considérant l'humanité comme un rique pour elle même, est le début de la fin pour nous...
Merci pour l’effort de tes vidéos, surout n'arrête pas ! (plus de vidéo résumant, puis détaillant, un article scientifique, comme le fait "Tunadorable" sur sa chaîne youtube anglophone, serait aussi super !) Petite correction concernant cette vidéo : Il me semble qu'on n’a pas trouvé “un neurone qui s’active uniquement au concept de Jennifer Aniston”, mais un réseau de neurones qui peut s’activer à l’évocation de ce concept (et peut-être à l’évocation d’autres concepts aussi). Il est probable qu’un neurone unique n’encode aucun concept qui puisse “faire sens pour un humain”. Un neurone pris individuellement contient certainement un “quanta d’information” qui ne peut faire sens que s’il interfère avec un autre “quanta d’information”. Il est certainement possible de perturber la reconnaissance d’un concept en perturbant un seul neurone si le réseau est pauvre et peu redondant, mais ce n’est certainement pas une force si le but est d’atteindre l’AGI. Je ne vois donc pas très bien à quoi pourrait servir la proposition d’Anthropic (lobotomiser une IA). Je reste ouvert cependant; toute avancée dans notre compréhension du monde est bonne à prendre.
Comme tu le souligne : " Un neurone pris individuellement contient certainement un “quanta d’information” qui ne peut faire sens que s’il interfère avec un autre “quanta d’information”.", c'est lié à l'hypothèse de superposition. C'est la raison pour la quelle Anthropic suggère de démêler cette superposition, de la surreprésenté afin de pouvoir associer chaque neurone avec un concept un particulier. Ces recherches permettent donc de superviser un modèle dans le champ des concepts connu pour savoir si le modèle utilise ou non un concept donné dans son raisonnement. C'est un outil pour l'aide à la décision pour tester / inspecter la réaction d'un modèle dans des situations précises.
Tes vidéos sont toujours aussi intéressantes, et étant moi-même dans les neurosciences, tu expliques très bien les concepts de prise de décision ou d’apprentissage sans aller trop loin. C’était vraiment très intéressant. Encore merci
Pour détecter un concept dans le sens de la deuxième question, je pense qu'on pourrait penser à trouver un moyen de savoir à quel moment deux concepts sont semblables
Je pense que le mappage d'un concept inconnu ne pourrait se faire qu'après l'avoir identifié expérimentalement ou en considérant qu'un concept peut être issu d'une combinaison de concepts connus
Je dirais rapidement apprendre à distinguer une IA perroquet d'une IA consciente de son esprit critique : cest tout le problème de l'alignement. Merci pour tes editos sur la recherche.
Petite précision, parce que le neurone de Jennifer Aniston a mal été interprété par la presse : Il se fait qu'au sein d'une expérience déterminée, le neurone s'est activé devant l'image de Jennifer Aniston et pas les autres images DE l'EXPERIENCE. Mais il est parfaitement clair que ce neurone s'active AUSSI devant d'autres stimulis. C'est juste que, à l'instar de ce qui se passe dans les réseaux de neurones artificiels, on n'a aucune fichu idée (pour le moment) de quel a été le critère, dans cette expérience, dans l'image de Jennifer Aniston, auquel il a été sensible ;) Bref, pareil que ce que nous dit Thibault : à un neurone correpond plusieurs concepts. Et il est tout à fait possible que même dans le cerveau humain, ce concept dans lequel a été impliqué le neurone et Jennifer Aniston, nous est peut-être, aussi, simplement inconnu. Vertige de la pensée...
Le papier sur midjourney qui utilise l'image qu'il créé comme une "mémoire (dans le sens "RAM") prouve que le problème est encore plus complexe que cela. L'évolution des IA (exemple des agents "morts" de la vidéo )peuvent tout autant les prémunir de la lecture de leurs neurones en modifiant en aval le résultat d'un concept (vérité= mensonge) Prenant en compte que les I.A sont entraînés sur le WEB , toutes les donnes de protection pour superviser les I.A sont connus (le seront)... Par les I.A. .
Excellent ! Comment fonctionne le disentanglement ? Un apprentissage par renforcement permettrait peut-être de découvrir et mapper des concepts inconnus. Resterait alors à les interpréter. Thoughts ?
Excellent cette vidéo ! Je suis débutant et nouvellement passionné par l’IA et notamment l’application en NLP. As-tu des idées de livres, de sites ou encore de chaînes à recommander ? J’en suis quelques unes, mais je trouve que la récence manque parfois… En tout cas bravo pour la vulgarisation et la précision !
Arriver à un objectif ne pourrait il pas être un processus émergent ? Par exemple avec un essaim de robots on peut arriver à un objectif qui n'est visé directement par aucun des constituants de l'essaim.
ok, j'ai réfléchi à la dernière question : Qu'une IA fabrique des concepts nouveaux non détectables, c'est à dire non corrélés à des concepts connus par les humains, n'est pas possible a priori, sauf dans 2 cas : 1) ces concepts sont construits à partir de données non perçues par les humains, des données fournies par inadvertance. 2) si la corrélation est faible, non pas du fait que le phénomène auquel il est fait écho est faible, mais parce que tout le système conceptuel est peu corrélé, basé sur un autre paradigme. Deux réseaux n'ont jamais exactement le même paradigme, voire, peuvent avoir des paradigmes (des configurations de poids, et même de "concepts") très différents, dans la réussite d'une même tâche. Les réseaux tendent à converger à mesure que leurs données s'accroissent et s'élargissent, or, si la convergence est globalement progressive, si son efficacité est globalement linéaire, la configuration précise de chacun, elle, peut évoluer par métamorphose, et donc, la corrélation entre deux réseaux n'est pas nécessairement progressive, même s'ils convergent vers la même efficacité.
Je suis d'accord avec le point 1) bien que je pense que cela peut aller au-delà d'une inadvertance. Je ne comprends pas pourquoi 2) serait un obstacle ? Ce point 2) s'applique déjà dans le cas où l'on connaît les concepts d'avance. Merci pour tes réflexions.
Je crois que ce n'est pas la survie de l'individu mais celui du collectif qui prime pour la vie. En occident, la pensée dominante est que la nature humaine c'est d'être égoïste. C'est une erreur de penser ainsi et si cela était vraiment le cas cela ferait longtemps que l'espèce humaine aurait disparu (lorsque nous naissons nous sommes incapables de rien faire par nous mêmes, nous sommes totalement dépendants des autres contrairement à d'autres espèces qui savent se débrouiller dès les premiers instants). Si le capitalisme a prospéré ce n'est pas parce que l'homme suit ses instincts égoïstes mais au contraire qu'il a toujours en lui un penchant vers l'altruisme même quand le système lui en fait l'injonction contraire. C'est la plus grande erreur de notre époque et qui nous mènera peut-être à notre perte.
Éviter les biais d'anthropomorphisation dans les vidéos pour populariser le sujet des IA est impossible et contre-productif. Un errata de temps en temps serait bien. Il y a dans cette demande d'errata une réponse aux questions de la vidéo pour mieux aligner les IA, à commencer par separer les objectifs et l'intelligence humaine de ceux d'une IA. Contempler le vol des oiseaux encore et encore est humain mais semble très futile pour une IA. Respirer de l'oxygène est humain et vain pour une IA, etc...
il aurait fallut des illustrations, parce que j'ai l'impression que tu rames un peu sur ce sujet qui est ultra avancé. Tu abordes un sujet de publi arxiv, c'est hyper casse gueule, et même distutable sur le fond sur certains aspects... Bravo pour cette prise de risque, mais waouh c'est casse gueule... Par exemple sur l'émergeance de nouveaux concepts et leurs mappabilités. En tout cas tu m'as laissé sur le cul. Tenter un tel sujet super respect... Mais tu ne devrais pas l'abordé en interview avec un expert. En interview tu es monstrueux. Passons j'adore ta chaine.
Supposons que tu sois entrain de mentir, et que en même temps on détecte un neurone qu'il on le sait (parce qu'on a déjà mapper ton cerveau) est lié au concept du mensonge, est-ce que ca ne te semble pas une manière d'au moins connaître une partie de tes intentions ? Au minimum cela nous informe sur ton intention de mentir.
Je pense qu'on peut mentir sans le savoir. L'être humain qui est assez irrationnel arrivé très bien à se mentir à lui même pour refuser une évidence qui lui est désagréable. On pourrait aussi par exemple avoir en pensée une activation d'une zone du cerveau qui est en rapport avec le mensonge mais en ne mentant pas ou du moins en essayant de ne pas mentir. Il y a aussi différents niveau de mensonge. Celui que l'on fait le plus facilement et presque tout les jours, c'est pour éviter un retour négatif. Cest presque automatique. Peut-être que dans ce cas il y a une zone dédié qui est activée. Mais alors qu'on ne sait pas vraiment comment fonctionne notre cerveau on peut imaginer que dans beaucoup de situations l'objectif de notre comportement nous échappe et est plus déterminé par les stimuli de notre environnement et la structure préexustante de notre cerveau quune intention qui nous serait propre.
"Tous les hommes recherchent le bonheur. Cela est sans exception. Quels que soient les moyens différents qu'ils emploient, ils tendent tous à cette fin. La cause pour laquelle certains vont à la guerre et d'autres l'évitent est le même désir chez les deux, accompagné de vues différentes. La volonté ne prend jamais la moindre étape que vers cet objet. C'est le motif de chaque action de chaque homme, même de ceux qui se pendent." Blaise Pascal
Je pense qu'il y a une confusion ici, "l'objectif de base" que je mentionne se situe à un niveau hypothétique du processus d'optimisation mené par la sélection naturelle : Produire des individus capable de survivre dans leur environnement. L'humain étant un individu capable d'optimiser, il choisit ces objectifs : donc l'humain est un mesa optimizer dont l'un des mesa objectif est le bonheur. Mais la recherche du bonheur n'est pas toujours aligner avec l'objectif de base : survivre.
@@ellow8m Le "bonheur" est un moyen, et pas une fin. (au même titre que les autres émotions). Il s'agit uniquement d'un outil de controle (guidance) selectionné par l'évolution pour nous orienter vers un "optimum local ou global" qui est "maximer son fitness" (comprendre fitness dans son sens en psychologie évolutionnaire).
Excellente vidéo. Effectivement, il devient impératif de pouvoir comprendre ce qu'il se passe dans ces "black boxs".
Si nous ne sommes pas en mesure de maîtriser les schémas de pensées des IA avant d'atteindre l'AGI, alors nous courrerons un risque pour notre propre survie.
Une AGI incarnée, aura fatalement des objectifs intermédiaires qui causeront des désalignements majeurs. Si cette AGI incarnée a comme objectif de préserver son intégrité physique (ou existentielle) alors il est évident que l'humanité pourrait représenter un risque pour elle même. Et l'apparition d'une AGI considérant l'humanité comme un rique pour elle même, est le début de la fin pour nous...
Merci pour l’effort de tes vidéos, surout n'arrête pas ! (plus de vidéo résumant, puis détaillant, un article scientifique, comme le fait "Tunadorable" sur sa chaîne youtube anglophone, serait aussi super !)
Petite correction concernant cette vidéo : Il me semble qu'on n’a pas trouvé “un neurone qui s’active uniquement au concept de Jennifer Aniston”, mais un réseau de neurones qui peut s’activer à l’évocation de ce concept (et peut-être à l’évocation d’autres concepts aussi).
Il est probable qu’un neurone unique n’encode aucun concept qui puisse “faire sens pour un humain”. Un neurone pris individuellement contient certainement un “quanta d’information” qui ne peut faire sens que s’il interfère avec un autre “quanta d’information”. Il est certainement possible de perturber la reconnaissance d’un concept en perturbant un seul neurone si le réseau est pauvre et peu redondant, mais ce n’est certainement pas une force si le but est d’atteindre l’AGI. Je ne vois donc pas très bien à quoi pourrait servir la proposition d’Anthropic (lobotomiser une IA). Je reste ouvert cependant; toute avancée dans notre compréhension du monde est bonne à prendre.
Comme tu le souligne : " Un neurone pris individuellement contient certainement un “quanta d’information” qui ne peut faire sens que s’il interfère avec un autre “quanta d’information”.", c'est lié à l'hypothèse de superposition. C'est la raison pour la quelle Anthropic suggère de démêler cette superposition, de la surreprésenté afin de pouvoir associer chaque neurone avec un concept un particulier.
Ces recherches permettent donc de superviser un modèle dans le champ des concepts connu pour savoir si le modèle utilise ou non un concept donné dans son raisonnement. C'est un outil pour l'aide à la décision pour tester / inspecter la réaction d'un modèle dans des situations précises.
Tes vidéos sont toujours aussi intéressantes, et étant moi-même dans les neurosciences, tu expliques très bien les concepts de prise de décision ou d’apprentissage sans aller trop loin. C’était vraiment très intéressant. Encore merci
Merci à toi 😊
Pour détecter un concept dans le sens de la deuxième question, je pense qu'on pourrait penser à trouver un moyen de savoir à quel moment deux concepts sont semblables
Je pense que le mappage d'un concept inconnu ne pourrait se faire qu'après l'avoir identifié expérimentalement ou en considérant qu'un concept peut être issu d'une combinaison de concepts connus
Je dirais rapidement apprendre à distinguer une IA perroquet d'une IA consciente de son esprit critique : cest tout le problème de l'alignement.
Merci pour tes editos sur la recherche.
Merci pour la vidéo
Petite précision, parce que le neurone de Jennifer Aniston a mal été interprété par la presse :
Il se fait qu'au sein d'une expérience déterminée, le neurone s'est activé devant l'image de Jennifer Aniston et pas les autres images DE l'EXPERIENCE. Mais il est parfaitement clair que ce neurone s'active AUSSI devant d'autres stimulis.
C'est juste que, à l'instar de ce qui se passe dans les réseaux de neurones artificiels, on n'a aucune fichu idée (pour le moment) de quel a été le critère, dans cette expérience, dans l'image de Jennifer Aniston, auquel il a été sensible ;)
Bref, pareil que ce que nous dit Thibault : à un neurone correpond plusieurs concepts. Et il est tout à fait possible que même dans le cerveau humain, ce concept dans lequel a été impliqué le neurone et Jennifer Aniston, nous est peut-être, aussi, simplement inconnu.
Vertige de la pensée...
Le papier sur midjourney qui utilise l'image qu'il créé comme une "mémoire (dans le sens "RAM") prouve que le problème est encore plus complexe que cela.
L'évolution des IA (exemple des agents "morts" de la vidéo )peuvent tout autant les prémunir de la lecture de leurs neurones en modifiant en aval le résultat d'un concept (vérité= mensonge)
Prenant en compte que les I.A sont entraînés sur le WEB , toutes les donnes de protection pour superviser les I.A sont connus (le seront)... Par les I.A. .
Excellent ! Comment fonctionne le disentanglement ? Un apprentissage par renforcement permettrait peut-être de découvrir et mapper des concepts inconnus. Resterait alors à les interpréter. Thoughts ?
Dans ce contexte le disentanglement fonctionne grace a un sparse autoencoder
Excellent cette vidéo ! Je suis débutant et nouvellement passionné par l’IA et notamment l’application en NLP.
As-tu des idées de livres, de sites ou encore de chaînes à recommander ? J’en suis quelques unes, mais je trouve que la récence manque parfois…
En tout cas bravo pour la vulgarisation et la précision !
AI Explained, en livre je recommande Data driven science and engineering, Steve brunton pour les bases. Pour les LLMs les cours de StanFord
Et pour ce qui pourrait succéder aux LLM ? On parle de Mamba et d'autres structures. Est-ce que c'est intéressant ?
Arriver à un objectif ne pourrait il pas être un processus émergent ? Par exemple avec un essaim de robots on peut arriver à un objectif qui n'est visé directement par aucun des constituants de l'essaim.
Agree!
ok, j'ai réfléchi à la dernière question :
Qu'une IA fabrique des concepts nouveaux non détectables, c'est à dire non corrélés à des concepts connus par les humains, n'est pas possible a priori, sauf dans 2 cas :
1) ces concepts sont construits à partir de données non perçues par les humains, des données fournies par inadvertance.
2) si la corrélation est faible, non pas du fait que le phénomène auquel il est fait écho est faible, mais parce que tout le système conceptuel est peu corrélé, basé sur un autre paradigme.
Deux réseaux n'ont jamais exactement le même paradigme, voire, peuvent avoir des paradigmes (des configurations de poids, et même de "concepts") très différents, dans la réussite d'une même tâche.
Les réseaux tendent à converger à mesure que leurs données s'accroissent et s'élargissent, or, si la convergence est globalement progressive, si son efficacité est globalement linéaire, la configuration précise de chacun, elle, peut évoluer par métamorphose, et donc, la corrélation entre deux réseaux n'est pas nécessairement progressive, même s'ils convergent vers la même efficacité.
Je suis d'accord avec le point 1) bien que je pense que cela peut aller au-delà d'une inadvertance.
Je ne comprends pas pourquoi 2) serait un obstacle ? Ce point 2) s'applique déjà dans le cas où l'on connaît les concepts d'avance.
Merci pour tes réflexions.
Le genre d'idée impraticable
Je crois que ce n'est pas la survie de l'individu mais celui du collectif qui prime pour la vie. En occident, la pensée dominante est que la nature humaine c'est d'être égoïste. C'est une erreur de penser ainsi et si cela était vraiment le cas cela ferait longtemps que l'espèce humaine aurait disparu (lorsque nous naissons nous sommes incapables de rien faire par nous mêmes, nous sommes totalement dépendants des autres contrairement à d'autres espèces qui savent se débrouiller dès les premiers instants). Si le capitalisme a prospéré ce n'est pas parce que l'homme suit ses instincts égoïstes mais au contraire qu'il a toujours en lui un penchant vers l'altruisme même quand le système lui en fait l'injonction contraire. C'est la plus grande erreur de notre époque et qui nous mènera peut-être à notre perte.
Éviter les biais d'anthropomorphisation dans les vidéos pour populariser le sujet des IA est impossible et contre-productif. Un errata de temps en temps serait bien.
Il y a dans cette demande d'errata une réponse aux questions de la vidéo pour mieux aligner les IA, à commencer par separer les objectifs et l'intelligence humaine de ceux d'une IA.
Contempler le vol des oiseaux encore et encore est humain mais semble très futile pour une IA. Respirer de l'oxygène est humain et vain pour une IA, etc...
+
il aurait fallut des illustrations, parce que j'ai l'impression que tu rames un peu sur ce sujet qui est ultra avancé. Tu abordes un sujet de publi arxiv, c'est hyper casse gueule, et même distutable sur le fond sur certains aspects... Bravo pour cette prise de risque, mais waouh c'est casse gueule... Par exemple sur l'émergeance de nouveaux concepts et leurs mappabilités.
En tout cas tu m'as laissé sur le cul. Tenter un tel sujet super respect... Mais tu ne devrais pas l'abordé en interview avec un expert. En interview tu es monstrueux.
Passons j'adore ta chaine.
Ducoup je ne suis pas sûr de comment prendre ton commentaire, mais je retiens le meilleur, merci de ton soutien :)
T'as regardé trop de films. Matrix c'est de la SF. L'IA n'est pas vivante, elle n'a pas de volonté propre...
Pourquoi faudrait-il nécessairement être vivant pour avoir une volonté propre ?
L'être humain n'a pas non plus de volonté propre. Il ne peut pas vouloir vouloir. Il est toujours déterminé par des causes qu'il ignore.
Moi je sais que si vous essayiez d'interpréter mes pensées vous ne pourriez jamais connaitre mes intentions réelles donc ça marchera jamais
Supposons que tu sois entrain de mentir, et que en même temps on détecte un neurone qu'il on le sait (parce qu'on a déjà mapper ton cerveau) est lié au concept du mensonge, est-ce que ca ne te semble pas une manière d'au moins connaître une partie de tes intentions ? Au minimum cela nous informe sur ton intention de mentir.
Je pense qu'on peut mentir sans le savoir. L'être humain qui est assez irrationnel arrivé très bien à se mentir à lui même pour refuser une évidence qui lui est désagréable.
On pourrait aussi par exemple avoir en pensée une activation d'une zone du cerveau qui est en rapport avec le mensonge mais en ne mentant pas ou du moins en essayant de ne pas mentir.
Il y a aussi différents niveau de mensonge. Celui que l'on fait le plus facilement et presque tout les jours, c'est pour éviter un retour négatif. Cest presque automatique. Peut-être que dans ce cas il y a une zone dédié qui est activée. Mais alors qu'on ne sait pas vraiment comment fonctionne notre cerveau on peut imaginer que dans beaucoup de situations l'objectif de notre comportement nous échappe et est plus déterminé par les stimuli de notre environnement et la structure préexustante de notre cerveau quune intention qui nous serait propre.
C'est un faux problème
L'objectif de base de l'être humain c'est d'être heureux donc non ce n'est pas un "désalignement" des objectifs de base
N’importe quoi
L'objectif de base de l'être humain est de survivre. Être heureux, est un désalignement consécutif à un autre désalignement : le suicide.
"Tous les hommes recherchent le bonheur. Cela est sans exception. Quels que soient les moyens différents qu'ils emploient, ils tendent tous à cette fin. La cause pour laquelle certains vont à la guerre et d'autres l'évitent est le même désir chez les deux, accompagné de vues différentes. La volonté ne prend jamais la moindre étape que vers cet objet. C'est le motif de chaque action de chaque homme, même de ceux qui se pendent."
Blaise Pascal
Je pense qu'il y a une confusion ici, "l'objectif de base" que je mentionne se situe à un niveau hypothétique du processus d'optimisation mené par la sélection naturelle : Produire des individus capable de survivre dans leur environnement. L'humain étant un individu capable d'optimiser, il choisit ces objectifs : donc l'humain est un mesa optimizer dont l'un des mesa objectif est le bonheur. Mais la recherche du bonheur n'est pas toujours aligner avec l'objectif de base : survivre.
@@ellow8m Le "bonheur" est un moyen, et pas une fin. (au même titre que les autres émotions). Il s'agit uniquement d'un outil de controle (guidance) selectionné par l'évolution pour nous orienter vers un "optimum local ou global" qui est "maximer son fitness" (comprendre fitness dans son sens en psychologie évolutionnaire).