Aprende a pasar DOCUMENTOS a LLAMA 2 para responder sobre LO QUE QUIERAS! - RAG
Vložit
- čas přidán 10. 12. 2023
- En este video, te voy a hablar del RAG con llms, una técnica innovadora para mejorar la generación de lenguaje natural. RAG significa Retrieval-Augmented Generation, que en español se podría traducir como Generación Aumentada por Recuperación. ¿Qué quiere decir esto? Pues que, en lugar de confiar solo en la memoria interna de los modelos de lenguaje grandes (llms), estos pueden consultar fuentes externas de conocimiento para complementar su información y generar respuestas más precisas y fiables.
Si quieres aprender como funciona el mundo de la CIENCIA DE DATOS o simplemente quieres estar al tanto de las NOVEDADES relacionadas con la INTELIGENCIA ARTIFICIAL bienvenido a este canal 🤖
Twitter: / alexfocus8
Videos relacionados:
🎯 Por que NO deberías ser un CIENTÍFICO DE DATOS en 2023 • Por que NO deberías se...
🎯 Qué es REALMENTE la Ciencia de Datos en 2023? Contado por un Data Scientist👨🏻💻 • Qué es REALMENTE la Ci...
🎯 Cómo APRENDERÍA CIENCIA de DATOS en 2023 (si tuviera que EMPEZAR de cero📘) • Cómo APRENDERÍA CIENCI...
Código: github.com/alexFocus92/youtub... - Věda a technologie
Hola felicitaciones por el/los videos, voy a probar este funcionamiento. Gracias.
esta super este tema
Gracias
Gracias Alex por los videos, estuve viendo varios tutoriales y al final me quedo con los de tus canales.
¡Muchas gracias por tu apoyo! Me alegra saber que encuentras útiles mis vídeos.
No me entero de la mitad... :P Ojalá alguien haga un video titulado "Cómo crear una IA con tus propios datos, para super novatos idiotas, explicado pasito a pasito". Tengo mucha información en vídeo, texto y audio sobre un proceso judicial muy complejo, y sería fabuloso poder crear una propia IA con estos datos y poder preguntarle cosas, en vez de perder horas y horas buscando la información entre miles de documentos de todo tipo. Pero el nivel de este video es demasiado alto, da por supuesto algunos conocimientos y se salta demasiados pasos, aun así de momento es EL MEJOR de todos los que he visto hasta ahora desde hace mucho tiempo y el que más se aproxima a lo que necesito.
Es buen proyecto el que tienes (2 modelos necesitas) uno para el procesamiento de texto y otro para el audio, integrarlos seria una novedad ya que no existe. Creo que tomare tu idea en estas vacaciones y ver si logro darte algo con lo que puedas comenzar. Lo mas dificil sera el audio. mmm ya me pusiste a pensar..
Lo más difícil es adaptar estos ejemplos a casos reales de uso, y hay empresas que cobran bastante por esto, te diría de seguir investigando y probando hasta conseguir que funcione, aprenderás mucho por el camino 😉
y como te fue en tu búsqueda bro. Tuviste éxito?
Genial el video Alex!. En el caso quiera utilizar RAG para summary text, se sigue el mismo procedimiento? gracias
Muy interesante! gracias por el video y la explicación. Cuando dices GPU, que modelo es mínimo para poder correrlo en local?
Muchas gracias!! Pues el mas pequeño de llama es el de 7b, sin una gpu te ira muy lento, pero si tienes una aunque sea pequeña puede funcionar 👍
Muy clara la explicación, una consulta, cual seria la forma en la que se debería transformar los archivos pdf, para pasarlos como los datos de entrenamiento
Hay librerias como pypdf o pyplumber que son faciles de usar y no van mal, y si el pdf es muy complicado algun OCR, gracias por el comentario!!
Cual llm hay en español que me permita crear los embeddings ?
Ante todo gracias y felicitaciones por el vídeo, es muy útil toda la información. ¿Es posible reemplazar Pinecone por una vector db open source como Milvus o ChromaDB? ¿Tienes algún vídeo que permita adaptar una implementación con alternativas open source para la vector db?
Muchas gracias por el comentario! Si, yo he probado ChromaDB y va muy bien tambien, lo unico que es un poco mas difícil de montar y no queria saturar demasiado el video. Mirare si puedo montar algo para enseñar como va 👍
No me quedo claro, como bajas el código para integrarlo a lo que ya tienes
Una duda ¿la informacion que tu cargas permanece confidencial? o se comparte dr algun modo
Hola master!! Soy nuevo suscriptor.. saludos desde Argentina. Vos sabés que viendo este tipo de contenido, me surgen algunas ideas y nuevas interrogantes que de momento no termino de despejar de dudas. Por ejemplo, personalmente me gustaría tener un programa o asistente personal , en lo que respecta a programación. La pregunta es, como tendría que hacer o que pasos debería, para tener todo un paquete o programa para uso personal que haga lo siguiente: le cargó un PDF por ejemplo de programación en mql5 y que me responda en base a ese contenido ? . Si le digo "como hacer tal indicador técnico" será que puede auxiliarme al respecto el algoritmo? O cuáles serían sus limitaciones? Y otra cosa, como se llega al punto en que tengo a mí asistente en producción pero sin tener que usar colab ? Alguna idea? Saludos! Y éxitos..
Hola! Muchas gracias por el comentario!! Para hacer eso lo mas parecido que hay sin programar son los GPTs de open.ai (pero es de pago), el lunes que viene subiré un video de algo parecido y gratis.
Para desplegar un modelo necesitaras un servidor, una vez lo tengas puedes bajarte el codigo de este video en .py y desplegarlo ahi. De modelos de programación hay uno nuevo (llamacode 70b) que iria perfecto para eso 👍
Gracias, muy buen video. Tengo la duda, pero me parece que el volumen de tus videos es algo bajo.
Muchas gracias! Si, es porque actualmente trabajo como Data Scientist y esto es mas un hobby y me lleva tiempo hacer videos con la calidad suficiente, por ahora uno a la semana es lo mas que puedo 😅
Hola, me gustaría saber si es posible crear una interfaz de usuario personalizada después de conseguir que todo funciones, es decir algo en html con estilos y gráficos decorativos para las cajas de texto y de interacción con el bot
Te recomiendo usar gradio, hay integraciones con langchain con las que es fácil montar este tipo de interfaces, otra opción sería usar streamlit 👍
Excelente video Alex, tienes un suscriptor nuevo. Puedes hacer un video sobre que modelo y como crear un asistente para programar? Muchas gracias.
¡Gracias por tu apoyo y bienvenido al canal! Un asistente para programar sería un proyecto increíble para explorar. Te recomiendo el video que subí de los asistentes GPTs de huggingface que ahí enseño como crear uno de forma facil.
este modelo permite hacer traducciones de texto? por ejemplo si le digo que me traduzca un texto al ingles o del ingles al español?
He hecho algunas pruebas y aunque no va mal diría que no supera el traductor de google por ejemplo, hay modelos especialistas en Huggingface para traducir que pueden irte mejor
como paso los archivos de github a colab?
si lo uso en mi laptop y utilizo la memoria RAM de la laptop, ¿tendría capacidad de procesamiento para pruebas con la versión más sencilla?
Si no tienes GPU te ira muy lento y tienes que adaptar el codigo, y si tienes una GPU con unos 8 gb de ram yo he llegado a probar llama 7b y me ha funcionado.
Hola, muchas gracias por el video. Es posible pasarle datos de una base de datos, incluyendo el esquema para poder hacerle preguntas sobre ella. Básicamente, serían como consultas pero en lenguaje natural. No veo la forma de pasarle datos estructurados.
Podrias hacer un bucle que recorra la tabla y con cada registro haga una frase: columna 1 valor, columna 2 valor… y puede que hasta añadir alguna explicacion de lo que es en la frase. Investigare si hay una forma mejor 👍
@@alexFocus8 Muchas gracias por responder, muy buenos los videos, la verdad.
hola alex,como estas? queria consultarte si te podria escribir por alguna red social o por algun espacio para hablar contigo sobre tu profesion,vi bastantes videos tuyos y la verdad que me vuelve loco la idea de algun dia ser un cientifico de datos,pero me quedan dudas con algunas cosas,asi que si tienes tiempo para responderme me encantaria preguntarte un par de cosas al respecto :3
Me alegro que te gusten los videos 😁, puedes escribirme en X (twitter) soy alexFocus8
Hola! dijiste que en español tambien funcionaría pero resulta que a mi me responde siempre en inglés. Porque?
El problema es que langchain mete cosas en ingles y el modelo se lia, cuando le pongo responde en español, o eres un asistente que solo responde en castellano y la pregunta suele ir bien. Si aun asi te sigue respondiendo en ingles quita langchain
ESE MODELO SE AJUSTA A PROMPTS¡?
claro 😁
Me perdi completamente, como meto mi pdf? que pasa si ya tengo en mi disco duro los modelos?, donde esta la parte donde le enseñas lo que tu deseas? de todas formas gracias por el video.
Gracias por el comentario! al final esto es un ejemplo de como usarlo y adaptarlo a los distintos casos de uso lleva tiempo, en google colab puedes conectar el drive (por ejemplo) y subir ahí los PDFs para usarlos.
el codigo no funciona ya es deprecabido la forma es como llamar el token del servicio pinecone
tengo el mismo problema, lo pudiste resolver?
No es claro el vídeo