Voici pourquoi GPT-5 n'est pas encore arrivé - The Bitter Lesson, Chinchilla, Chronique d'une IA #2
Vložit
- čas přidán 22. 08. 2024
- #ia #inteligenceartificielle #podcast
Patreon : / membership
Dans cet épisode de la Chroniques d'une IA, nous explorons l'une des limites des approches actuelles : Pourquoi a-t-on pas déjà un GPT-5 ? Un nouvel hiver de l'IA est-il en train de se mettre en place ? Un plafond de verre semble avoir été atteint. Mais ce plafond est-il vraiment infranchissable ?
[Chronique d'une IA]
Spotify : open.spotify.c...
Amazon music : music.amazon.f...
Apple Podcasts: podcasts.apple...
[About me]
Visual Behavior : visualbehavior.ai
Perso : www.thibaultne...
Github : github.com/thi...
Linkedin : / thibaultneveu
Twitter : / thiboneveu
Du coup l'approche de Yahn Lecun avec Objective-Driven AI serait elle en mesure de briser ce fameux plafond de verre ?
Ca peut faire l'objet d'un épisode !
Excellent comme d’habitude !
Je serai intéressé par une petite chronique sur les liquid neural network, ce que tu en penses, et pourquoi ça n'a jamais percé ? est ce que ça peut servir un jour ?
Après un second visionnage je pense avoir compris le parallèle entre AlphaGo et les GPTs. L'idée si je comprend bien est que les GPT sont entraînés à reproduire les comportements humains, comme le faisait AlphaGo, au lieu d'être entraîné à poursuivre un objectif dans un environnement simulé comme pour AlphaGo Zero. Le soucis étant qu'on ne peut pas facilement créer un environnement simulé accompagné d'un objectif pour les GPTs.
Pour moi la solution est la création de jeux de données algorithmiques, ce seraient tout un ensemble de fonctions qui créent des problèmes à résoudre de façon procédurale. De façon assez cruciale, il faudrait que ces problèmes soient conçu par des humains, et non d'autres IAs, au moins en majorité. Par contre, il devrait être possible de faire intervenir plusieurs IAs (ou plusieurs instances d'une même IA) dans certains problèmes. Par exemple un problème pourrait consister à donner des information partielles mais complémentaires à plusieurs agents, et les forcer à communiquer pour se partager l'information et ainsi résoudre le problème. D'autres problèmes procéduraux pourraient être spécialisés dans le codage ou bien l'utilisation de logiciels.
Pour moi il faut vraiment que les masses de données de texte en provenance d'internet soient utilisées uniquement pour fournir des information de sens commun et de culture générale, ça ne doit pas être le moteur principal de nos IAs.
Un autre verrou important est celui de l'apprentissage en continu, on fait déjà beaucoup avec les données qui sont stockées et facilement disponible, mais on a une quantité de donnée plusieurs ordre de grandeurs plus grande qui est produite sous forme de flux et perdue à jamais, il faudrait pouvoir exploiter ça pour passer au stade encore supérieur.
Je partage ton point de vue, merci pour tes réflexions !
Merci de ce premier podcast. Le format est très chouette, pas trop long qui permet d'avoir l'information essentielle.
Ce qui serait intéressant c'est de mettre peut être quelques liens annexes pour ceux qui souhaitent creuser un peu plus sur le sujet. (exemple sur AlphaGo - AlphaGo 0, sur les différentes lois qui ont été mentionnées, ...)
J'ai apprécié l'approche business à la fin sur pourquoi les principaux acteurs préfèrent monétiser ce qui a été déjà fait plutot que de continuer à investir lourdement sur la recherche. (ceci dit c'est déjà un game changer pour beaucoup d'entreprises donc ce n'est pas bizarre de voir ça)
Dans les retours sur le format, la musique de fond au début que j'ai trouvé un peu forte par rapport à ta voix.
Merci pour tes retours !
Bonjour. La programmation par contraintes, avec la physique, la chimie... comme contraintes est la réponse à votre question.
Merci.
Pour la modélisation de système oui, mais toutes les modalités ne sont pas modélisables par contraintes
@@ThibaultNeveu le world model passe par l'intégration dans les machines
Top
Hello Thibault. Merci pour tes vidéos. C'est vraiment super intéressant. Bravo pour ce travail de veille et de vulgarisation. J'ose une petite question... Est-ce qu voudrais bien nous faire les vidéos en anglais, comme ça en plus d'avoir un contenu de qualité... On bosserait notre Anglais 😅😅😅
Tu peux faire une vidéo où tu expliques comment les aveugles de naissance peuvent etre intelligent alors qu'ils n'ont jamais vu le monde et n'ont pas pu "construire un world model"
La solution est dans l'architecture.
Des données sous formes verbales sont parfaitement suffisantes, une fois que la capacité à comprendre le langage commun est acquise, mais à condition évidemment d'apporter des métadonnées de base, celles qui concernent la provenance de ces données. Il faut que des données soient intégrées dans un modèle avec les informations sur la provenance de ces données, en permettant au modèle d'identifier par lui-même le registre dans lequel ces données verbales ont été produites, exemple : l'honnêteté, le niveau de connaissance, de nominalisme ou de formalisme, de sophisme, d'esthétique ...etc...
Evidemment on peut penser à la robotique qui viendrait expérimenter le monde physique, mais pourquoi ? parce que les données seraient sûres ? parce que le robot lié à l'IA serait garant de leur véracité ?
Mais rien n'empêche de donner cette garantie dès maintenant !
En discutant avec Claude, on peut déjà améliorer son fonctionnement en injectant de la suspicion sur les sources, dans les analyses qu'on lui demande. On peut déjà l'inciter à utiliser notre capacité d'estimation lorsqu'elle est meilleure que la sienne.
Il ne faut jamais oublier que les LLM sont des démonstrations parfaitement réussies de la tâche qui avait été reconnue comme la plus difficile : parler comme un humain.
En 2019, Lecun publiait un livre dans lequel il disait qu'on en était encore loin !!!!
Je parle bien de Yann Lecun.
Bref, le plafond de verre sera dépassé lorsque les modèles utiliseront leur capacité à comprendre le langage naturel pour demander à ces robots sensibles que NOUS sommes, les informations qui leur manquent pour leur entrainement.
Tu penses quoi du papier Textbooks are all you need? J'ai l'impression que ça pointe vers pas de plafond de verre
Ca me semble plus illustrer le concept de "garbage in, garbage out"
Pour moi le plus gros problème c'est que nous ne savons pas ce qu'est l’intelligence. Avec des modèles énormes comme GPT4, on est capable d’imiter de manière convaincante l'intelligence mais ce n'est qu'un simulacre. Prédire le prochain mot n'est pas de intelligence. Être capable d’interagir avec le monde pour en déduire une représentation latente complexe (et complète) semble être plus proche du but en effet. Néanmoins, quand on regarde la "sample efficiency" d'un bébé vs n'importe quel algorithme d'IA, on est vite découragé.
Ha ça c'est un bon sujet pour la chronique ! Est-ce que prédire le prochain mot peut-être considéré comme de l'intelligence ?
Je pense que tu devrais faire un feat. Avec Beff Jezos aka Guillaume Verdon et la technologie thermodynamique ,photonic chips ect.... plus fiable que le quantum computing pour l'heure.