Cómo CHATEAR Con Tus DOCUMENTOS Con Inteligencia Artificial 🤖 | Crear RAG Básico #3
Vložit
- čas přidán 25. 07. 2024
- 🚀 Agenda una Consultoría GRATUITA para poder analizar tu negocio y conocer como potenciarlo con ayuda de la IA: basdonax.com/
En este video vamos a ver Cómo CHATEAR Con Tus DOCUMENTOS Con Inteligencia Artificial , todo esto gracias a poder chatear con documentos IA y a la tecnología RAG.
Página de Ollama: ollama.com/
Todos los modelos LLM que hay en Ollama: ollama.com/library
Link al código del video: colab.research.google.com/dri...
Comandos hechos en el vídeo:
* ollama pull llama3
* ollama pull phi3
💻 Videos que te pueden interesar:
✅ El CHATBOT Que Me Consiguió Una DEMO Con NIKE: • Este CHATBOT De IA Me ...
⌨️ Como DESTRUÍ A Las SECRETARIAS Con Inteligencia Artificial: • DESTRUÍ A Las SECRETAR...
🤖 Empezar en IA desde CERO: • Como APRENDER Intelige...
🚀 Encontrame en:
Instagram: / facundocorengia
LinkedIn: / facundo-corengia
Web personal: www.facundocorengia.com/
Basdonax AI Web: www.basdonax.com/
Partes del vídeo:
00:00 Inicio
00:29 Explicación
02:17 Qué vamos a ver hoy
03:38 Paso a paso RAG versión paga (OpenAI)
16:18 Paso a paso RAG versión gratuita
19:08 Instalar tu propio LLM en local
24:52 Consultas a tu propio documento con LLM gratis
28:16 Spoiler del próximo capítulo
29:19 Resumen y lo que vamos a ver en próximos capítulos
30:54 Cómo implementar el sistema RAG en tu empresa
Sobre mí 👇:
Hola, me llamo Facundo Corengia y soy desarrollador y empresario de Inteligencia Artificial (también trabajo en Data Science), soy fundador de Basdonax IA. En este canal de CZcams ayudo a otras personas dando a conocer este modelo de negocio, para que así puedan crear su propio negocio de IA en forma de Agencia de Automatización de IA y también tenemos vídeos de mindset y desarrollo personal para que todos puedan conseguir ser su mejor version.
Mi historia completa: • Como Pase de INUTIL a ...
🚀 Agenda una Consultoría GRATUITA para poder analizar tu negocio y conocer como potenciarlo con ayuda de la IA: basdonax.com/
Página de Ollama: ollama.com/
Todos los modelos LLM que hay en Ollama: ollama.com/library
Link al código del video: colab.research.google.com/drive/1730KEuK7Nu9HhPOzDiuJ6_Qm4w-LgD0n?usp=sharing
Comandos hechos en el vídeo:
* ollama pull llama3
* ollama pull phi3
🚀 Encontrame en:
Instagram: instagram.com/facundocorengia/
Web personal: www.facundocorengia.com/
Basdonax AI Web: www.basdonax.com/
cada capitulo lo espero como si fuese un capitulo de un serie de Netflix , muy bueno
+1 esperando el capitulo 4 (por favor, que traiga instrucciones para agregar otro tipo de documentos a la base de datos). Muy buen contenido!
hace montón que andaba buscando esta información e incluyendo todo y no todo x separado… mil gracias por el gran aporte y espero que te siga yendo bn 👍🏽💪🏽
Sencillamente lo que estaba buscando genial. Tienes otro sub
Excelente la forma como enseñas, quedo a la espera del próximo capítulo, gracias por compartir tus habilidades.
Excelente información Facundo, gracias. Justo estaba buscando una solución así para un problema similar. Espero impaciente el siguiente video.
Buenisimo. Me encanta esta serie. Sigue asi grande!!
Exelente Facundo... gracias por gran apoyo
Excelente. Saludos desde PANAMA.
Genial la serie, está god!
Gracias por tu dedicación
Gracias, gracias gracias y más gracias jaja.
Muy buena 🎉
Facu excelente serie, fijate q Claude te da de regalo 5usd, estaria bueno algun video para combinar claude con creacion contendio aunq sea para post twitter o instagram aprovechado lo gratis y sus ventajas, saludos
Para cuándo el capítulo cuatro?
Estoy esperando 🎉
Esta genial los capitulos, al final me gustaria saaber como integrarlo a un Whatsapp Bussines. Asumiendo que es un ecommerce. Podriamos tener un caso de uso parecido para un ejemplo.
gracias! en esta serie vamos a implementarlo en una plataforma personalizada que vamos a crear de cero, no vamos a implementarlo en whatsapp debido a que para eso ya te valdria la pena un chatbot y esto si bien puede llegar a ser similar en algunos aspectos no se utiliza para lo mismo
¡Excelente! Llegué hasta aquí y todo marchó bien. Estuve probando varios embeddings y también varios LLM. Lamentablemente, no cuento con tarjeta gráfica o GPUs, así que los resultados no son los mejores en este punto, pero confío en que afinando un poco el prompt se pueden mejorar, como dices. ¿Alguna idea rápida para mejorar los resultados en preguntas de opción múltiple (preguntas con alternativas)?
gracias! supongo que de opcion multiple te referis con respecto a que le preguntas varias cosas en una sola pregunta, para eso te recomiendo seguir viendo los cursos que vamos a tener que modificar la cantidad de similitudes que agarramos de toda la vectordb para poder tener mas contexto, ahora para hacer algo rapido mientras esperas podes tener muy en cuenta que documentos le subis, el llm que usas y tambien la prompt, eso es super clave
Hola, es muy interesante y la verdad se le pude sacar mucho provecho para diferentes temáticas.
Quiero saber si se requiere en el tema de equipo alguna especificación mínima, para montar un laboratorio de prueba a nivel personal.
Gracias.
buenas! depende mucho de si vas a usar la version gratis o la paga, si usas openai con cualquier pc que tengas te va a andar, si usas la version gratis vas a necesitar una tarjeta grafica nvidia rtx 2060 en adelante, seguramente haga un video sobre eso explicandolo a detalle, pero todo depende de la forma en la cual lo vayas a hacer
Excelente Facu! Consulta...pq no puedo usar la db de chroma creada con la opcion paga con el llm de la version gratis? O viceversa.
gracias! sisi con el llm gratis o pago no vas a tener problema con ningun vectordb que quieras
Hola, muy buen tutorial. En la prueba con el modelo gratuito, las diferencias son bastante grandes, al menos en mí equipo. 7 minutos con llama y 9 minutos con gemma para responder a la pregunta que les hice :) Mientras que open ia unos pocos segundos. La pregunta sería, si implementamos un rag en una empresa y quieren un modelo gratuito, cual sería el hardware mínimo que lo soporte?
buenas! gracias, todo depende del modelo que quieras usar, si queres usar llama3 8b, con que tengas una 4070ti/4080 o mas deberias andar bien para una empresa, pero si queres otro ya ahi se pone mas cara la cosa, te vas a graficas mas de servidores de nvidia (a100, etc)
Hola, ¿podrías convertir documentos PDF complejos (con gráficos y tablas) en un formato de texto fácilmente legible, como Markdown? El archivo de entrada sería un PDF y el de salida un archivo de texto (.txt). ¿Tienes alguna idea de cómo hacerlo?
buenas! si se podria, se tiene que utilizar otro metodo para extraer el texto del pdf porque es complejo (el de llama index o de ultima gpt4o) y ahi te lo retorna/envia para donde quieras
Lo estoy siguiendo al dedillo y muy bien explicado. El poder crear un artículo a partir de información real de un documento es genial. ¿Existe la posibilidad de crear el mismo flujo de VSC en Flowise?
buenas! flowise si no recuerdo mal es como langflow que es para crear todo como si fuese no code, no se decirte en flowise pero en lagflow si, seguramente en algun momento haga video de eso!
pero si, en langflow se puede, si flowise tiene lo mismo de langchain tambien se podria
¡Genial Facundo! Tengo la siguiente pregunta... ¿Si se ejecuta N veces Chroma.from_documents se duplica N veces los vectores en Chroma? Gracias
buenas! sisi, asi que cuidado con eso
Facundo una pregunta, tiempo que no hablamos, en tu video de la demo de nike, estas embebiendo las imagenes? Saludos
buenas! sisi, las paso como bytes porque estan en la base de datos como un url de imagen
@@facundocorengia genial, pero tengo una duda, cuando haces la búsqueda, el texto se compara con otro texto o se compara con la imagen usando CLIP de openAI?
Exelente video facu... como se puede obtener la fuente (nombre de los archivos) que tomó como referencia para crear la respuesta?
gracias! te queda todo en la variable "response" que vimos en el video, te muestra las 4 partes mas reelevantes a lo que le preguntaste y te dice la pagina y todo
Hola facundo una consulta, tengo una pregunta, la api ajuro hay que hacerla con openai aun usando llama3? por lo de los embedding? porque si es local igual dependeria de internet y no seria 100% local, donde quiero llegar es, si no se puede hacer sin tener que usar openai y sea totalmanete libre de usar sus servidores!
buenas! todo depende de la pc que tengas, pero si tu pc te corre llama3/phi3 no necesitas openai para nada porque los embeddings y el llm son gratis. de esta forma si seria local porque tenes todo en tu propia pc y ya con tener instalado el llm y los embeddings ya podrias trabajar y no dependerias de nadie ni de tener internet
@@facundocorengia Ahh excelente entonces, tenia entendido que la tecnologia embedding era de openai y por ello habia que usar los import de ellos, pero siendo asi, seria bueno . gracias por la respuesta!!
Se puede ejecutar en Windows con vscode y sin tarjeta gráfica?
Tengo un Core i7 de octava con UHD graphics
buenas! podes probar con phi3 o gemma2
Hola Facundo, como cargo el llama en google colab para aprovechar la GPU de colab?
buenas! no lo he probado la verdad pero se que se puede, te dan una grafica buena en el colab, me lo anoto para un prox video!
Será muy caro el utilizar OpenAI para un chat de clientes con mucha concurrencia?
Cuánto será el costo a pagar a OpenAI al mes, ademas de los 5 dólares iniciales?
buenas! depende mucho del numero de consultas, no te podria decir un numero exacto, pero si son muchos mensajes mas de 5 usd vas a usar seguro
para la base de datos que se hace mension "Croma" es necesario instalar algo?
nono, con lo del video ya esta todo instalado
Ojo con el embedding en el modo gratis, no es lo mismo llama3 que phi3, hay que hacer otra db, porque no son compatibles entre ellos ni entre versiones
buenas! no es lo mismo embeddings que llm, ahi estas mencionando phi3/llama3 y esos serian los llm. podes usar cualquier llm para cualquier tipo de embeddings, no vas a tener problema
@@facundocorengia Yo decía que los vectores que genera phi3, no son los mismos que genera llama3, por lo tanto no son compatibles si se mezclan los modelos. incluso entre modelos del mismo tipo, los vectores son diferentes (ej. llama3:7b y llama3:70b )