¿Cómo entrenar embeddings desde cero?
Vložit
- čas přidán 29. 08. 2024
- Video previo embeddings:
• ¿Qué son Word EMBEDDIN...
En un video anterior, expliqué qué son los embeddings y su relevancia en el procesamiento de lenguaje natural. En este video, damos un paso más allá: explico cómo programar nuestros propios embeddings desde cero utilizando PyTorch. Comprender a fondo los embeddings no solo es interesante como ejercicio académico, sino también crucial para avanzar en nuestro estudio de los transformers y los Large Language Models (LLMs). Estos modelos avanzados no solo utilizan, sino que perfeccionan sus propios vectores de embeddings a lo largo de su entrenamiento, lo que es esencial para su capacidad de entender y generar lenguaje de manera efectiva.
Hola Pepe.. desde Argentina...yo se que el algoritmo de CZcams no te va a ayudar mucho por el tema de la cantidad de vistas y comentarios...pero por favor no dejes de hacer estos videos...son oro en un CZcams lleno de mierda en estos días..estoy seguro de la gente te ve valora muchísimo tu esfuerzo....muchas gracias
Muchísimas gracias por tu comentario, de verdad me ha hecho el día! Por supuesto, con estos videos, pienso que es una forma en la puedo contrubuir y devolver un poquito al mundo, lo afortunado que he sido en aspectos académicos. Por mi trabajo de día, no puedo publicar tan seguido como me gustaría, pero espero poder tener un verano eficiente y al menos terminar mi serie de transformers. De nuevo, muchas gracias por tu comentario y muchos saludos!
Es hermoso, al fin yt me recomendó algo relevante.
Hace un mes no tenía ni idea de que estaba detrás de la inteligencia artificial y ahora parece un mundo verdaderamente hermoso por descubrir. Muchas Gracias!!!
Imagina todo lo que estás por descubrir en los próximos meses! Muchas gracias por tu comentario! Saludos
solo falta tratamiento de sonido con ia en este canal y soy feliz 😍😍
Muchas gracias por el video y la explicación. Me encuentro haciendo haciendo un modelo con transformers y no tenia idea de que eran estas capas de Embedding.
Veré cada video de esa serie de transformers
Muchas gracias, Jonas! Agradezco muchísimo tu apoyo al canal desde el inicio, verdad lo aprecio. Se que tu también traes proyectos muy interesantes y de verdad espero tengas mucho éxito en todo lo que emprendes. Mientras YT siga, mi intención es seguir publicando estos videos, aunque con el trabajo de día no puedo publicar tan seguido como me gustaría, espero terminar la serie de transformers duratne el verano. De nueno muchas gracias y muchos saludos.
Muy buen contenido Pepe! Como comentario: estaria cool que agregaras una liga a un notebook en collab para poder partir del codigo que tienes
Saludos!
Muchas gracias Pepe por compartir tu conocimiento. No tendrás un curso donde guíes de una forma continua y con acompañamiento?. Además, que bibliografía recomendarías.
Me ha encantado tu vídeo, ha sido revelador. Con éste y el anterior por fin los he entendido como quería.
Tienes el código subido en algún sitio? Quiero hacer mi propio cálculo de embedings y me gustaría aprovechar para el codigo.
Un saludo, gracias por el canal y tu tiempo.
😊
Muchas gracias. 😀
Muchas gracias
Muchas gracias, Pepe y como siempre es una excelente clase. Y una consulta al ser red full conected, se puede usar RElu y BatchNormalization? muchas gracias.
😊 ¿ porqué skipgram y no c-bow? Solo es una inquietud @Pepe
si no seria mucha molestia que pasaras el código, porfa
execelente
Una consulta cuales otras técnicas de creación de embeddings recomendarías estudiar?
Utilice la función del más similar con una distancia del coseno > 0.25 para la palabra "natural" y me encontró "procesamiento, pytorch, herramienta, lenguaje, rama, subcategoría"
Qué gusto Leonardo! Muchas gracias por tu comentario, depende del dataset de entrenamiento pero es muy interesante que muestra las relaciones de natural con procesamiento de lenguaje. Muchos saludos