Manos a la obra - Chatea con tus documentos de forma 100% local y privada usando GPT4ALL
Vložit
- čas přidán 9. 12. 2023
- En este video os voy a guiar paso a paso para configurar el sistema GPT4ALL que permite realizar consultas desde un LLM tipo GPT a tus propios documentos almacenados en el equipo de forma local.
- Věda a technologie
Tremendamente bien explicado!
Lo instalé en mi computadora con Fedora Linux y funcionar sin problemas. Elegí Llama 3 y responde muy bien en español.
Gracias Ricardo por compartir tu experiencia!
Pensaba que sería más complicado, pero con tus tutoriales es todo muy fácil ;)
Gracias por la info. Me moló el soporte analógico para la explicación, jeje
De las ocho opciones que he probado esta semana, esta ha resultado ser la más sencilla y compatible multiplataforma. Ahora bien, también es la que ofrece menor flexibilidad en cuanto a los modelos disponibles, las integraciones y la flexibilidad de configuración. Eso sí, es un ¡muy buen primer paso!
Muchas gracias por el vídeo, aportando mucho valor como siempre
Magnífico tutorial. La instalación ha sido sencillísima. La recomendación en relación con el idioma va a ser muy útil. Pienso agrupar carpetas en local no solo por tema, sino por idioma; de este modo podré refinar las preguntas. Muchas gracias.
Hola Fernando! Gracias por compartir tu experiencia, será interestante para mucha más gente en el canal.
Muchas Gracias por las explicaciones
Sumamente util y didactico. Muchas gracias!
¡Cojonudo! Muchas gracias.
Muchas gracias. Una explicación de 10.
Que manera extradidactica de explicar, MUCHAS GRACIAS!!!!!
Eres genial, muchas gracias por este consejo, va a ser muy util
Muchas gracias por darte el tiempo de explicar, quedo clarisimo
Gracias también a ti Pedro por comentar y compartir tu experiencia.
Como todos los videos de esta serie es excelente! Seria genial si pudieras hacer un video explicando los conceptos principales de como crear o entrenar un modelo.
Gracias por la sugerencia Walter, tengo previsto abordar este tema para principios del año que viene, una vez veamos los conceptos de generación de imágenes usando IA generativa.
Brutal! Ya tienes un fan
Bienvenido Paco!
Maravilla de vídeo! Gracias por claridad!
Gracias por comentar
cargue un documento pdf, pero pensé que podría extraer info de el, pero no lo hace. Necesita de un tema generalizado. Gracias por el video
muy buena introducción
Gracias Pedro el comentario!
Gracias muy claro
Me alegro que te guste! Gracias por comentar!
gracias maestro, lo utilizaré para revisar bibliografías mas rápido para mi tesis
Gracias por tu comentario. Espero que te resulte muy útil para la revisión bibliográfica. Eso sí, acuérdate de revisar bien las fuentes, que ya sabes que estos sistemas pueden introducir alucinaciones y devolver contenidos que no se adecúan del todo a lo esperado.
Magnífico vídeo. Una duda sería posible activar el api server y que "el barril" estuviese siempre habilitado y no habilitarlo cada vez que se quiera hacer la pregunta? Es decir desde un frontend chatear con los localdocs de gpt4all. Un saludo
Me fui a probarlo en cuanto vi que le usabas el orca, bueno use una version mini para probar, y es una gozada como evita contestar en español, como cocinar un huevo duro...
Quizás tengas más suerte con modelos como Mistral o Flor. Gracias por compartir tu experiencia respecto al uso de Orca.
Muy bueno, y es posible activar mediante la API los localdocs? Para ejecutarlo en local pero desde python o cualquier lenguaje?? Gracias por tu contenido ❤
Una duda, hay posibilidad de limitar el conocimiento a SOLO lo que subimos en documentos? Porque no soy capaz de hacerlo modificando el prompt que le llega al modelo. Muchas gracias!
Buenosdias. Muchas gracias por comparit su tiempo y conocimiento. Me gustaría preguntarle cuantos archivos PDF puede tener la carpeta local de donde se esta realizando la consulta, quiero saber cuantos archivos a ña vez puede analizar, muchas gracias.
Muy buen vídeo! Sólo tengo una duda, admite documentos con un formato distinto a PDF? Saludos!
Como me gustaría que existiera una IA local que hiciera la función de utilizar enlaces web y los analizara directamente, como lo hace la pagina Groq.
Hola César! En primer lugar darte las gracias por el vídeo. Excelente como siempre! Una pregunta, cuando hago la generación de embeddings tarda bastante GPT4 en obtenerlos de los documentos. Entiendo que es porque usa CPU en vez de GPU. Es posible configurar el programa para que use GPU como se podía hacer an LMStudio?. Muchas gracias! Daniel
Muchas gracias por el comentario! El tema de los embeddings en GPT4All va bien para documentos que no son super extensos (o que no son un número muy elevado). Cuando está creando los embeddings por defecto utiliza efectivamente la CPU. El programa está pensado para funcionar en cualquier equipo, aunque no lo haga excesivamente rápido.
La semana pasada en CES Nvidia anunción Chat with RTX, para hacer un RAG local acelerado con NVidia RTX. Ahí todo debería ir rápidisimo (aunque estoy en lista de espera para el anuncio de la descarga). Más actualizaciones en breve!
excelente felicitaciones y gracias. Me podrias guiar con un duda?, como se puede implementar un servicio que publique una api que via una apikey permita ser consumida por una app de usuarios cerrados y pueda consultar los documentos?
Dale un vistazo a este vídeo sobre el montaje de este tipo de servicios en modo intranet con varios usuarios: Servidor IA para tu Intranet 100% local usando Ollama y Open WebUI
czcams.com/video/vY-28djh334/video.html
Muchas gracias por tus magníficos vídeos. Estoy intentado hacerlo con mi MacBook con M2 Pro y no me funciona con un documento de 2,8 MB ¿Puede que no funcione en Mac o que el documento sea demasiado grande?
Me auto respondo. Parece que me equivocaba al no ponerle un nombre a la colección
Gracias Paco, me extrañaba que no funcionara con un solo documento de pequeño tamaño. Me alegro de que hayas conseguido solucionarlo!
De todos modos no consigo que responda acertadamente. Por ejemplo, Le pido que me diga algo sobre un término que aparece en el texto como es la palabra "bursitis", muchas veces no la encuentra o la referencia a puntos que nada tiene que ver, o nombra puntos de acupuntura mal con información errónea. ¿puede tener que ver con falta de organización de datos en el pdf tal como lo necesita la ia? ¿cual es la mejor forma de darle datos? ¿CSV, Json? Gracias @@LaHoraMaker
Hola, muchas gracias por la información, pienso instalarlo, pero antes, me pregunto ¿si le puedo poner a cada chat una base de conocimientos propia, es decir, su propia carpeta? O ¿cada vez que quiera preguntar a un grupo de documentos debo cambiar la carpeta?
Si se puede. Para ello tienes que etiquetar los documentos por grupos en plan trabajo, notas, podcasts y luego cuando vayas quieras usarlo solo tienes que poner /podcasts o /trabajo y usará esos documentos
una cosa, el otro dia analice gpt4all con un antivirus de confianza y habia sospechas de virus. Como lo ves? Crees que tiene virus
Excelente video, muchas felicidades, tengo la duda, una vez hecho esto, como puedo compartir para consultar desde otro dispositivo propio, ósea, si tengo mi máquina de escritorio en casa, me puedo conectar desde mi celular o laptop de cualquier parte a este modelo??, saludos dede México, **nuevo suscriptor
Hola! Justo hemos compartido esta semana un video sobre cómo montar algo similar para dar servicio a una intranet o red personal. Dale un ojo y para cualquier duda ¡aquí estamos!
@@LaHoraMaker Muchas gracias, justo me acaba de llegar el aviso de ese video, saludos
Excelente. Ahora, se podra conectar a una base de datos mysql o postgres, y hacerles consultas? O estoy pidiendo demasiado ????? Saludos
Justo esta semana pasada acaba de salir un plugin para Semantic Kernel (un framework de IA open source de Microsoft) para conectar con PostgreSQL. Exploraremos esta posibilidad a futuro. Gracias por comentar!
@@LaHoraMakeresperando el video
Pero ni el buenos dias responde. Algo que si funcione?
genialll!!! quiero generar un gestor de consultas de las normas iram de dibujo tecnico (argentina), para mis alumnos en la escuela, me podrías dar una mano? gracias por leer!
Hola Ricardo, ¿tienes un enlace a los documentos con las normas que te gustaría utilizar? Me gustaría darles un vistazo
¡Hola! ¿Hay alguna forma de trabajarlo en colab?
Hola María, dale un vistazo a este repo! github.com/Luxadevi/Ollama-Colab-Integration
Hola. Tu tutorial es muy bueno. Me estoy encontrando con el problema de que cuando hago un prompt a ficheros locales con sbert en la linea de la contestacion el texto sale asi ¿como solucionarlo? !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
pero las fuestes por lo menos son legibles...
1. By Pedro Amorim Lopes. Date: 2024, January 26. In T-2022_Implementação de metodologias BIM em departamento de projeto aplicação a um caso de estudo_Pedro Amorim Lopes.pdf. Page 54. Context
2. By João Antunes. Date: 2024, January 30. In T-2013-Interoperacionalidade em sistemas de informação-João Manuel Pimentel Antunes.pdf. Page 89. Context
3. "Microsoft Word - PG38880_ TAÍS-CORREÇÃO-JUN22". By WB. Date: 2023, October 12. In t-2022-BIM caracterização da evolução da oferta curricular e da produção científica, em Portugal Tais Sales Wanderley.pdf. Page 24. Context
¿Te pasa lo mismo con todos los modelos?
lo he reinstalado. Tengo el modelo sbert cargado para trabajar con documentos locales pero cuando voy a cargar el modelo no me aparece en el listado
Los otros modelos funcionan pero mi objetivo era de trabajar con documentos locales. No veo otro modelo que permita eso en el listado. ¿tienes alguna sugerencia? Gracias
A mí me pasa lo mismo, pero con Sbert. He probado GPT4all Falcon y ese si que ,e lo deja escoger. Si niro en la carpeta donde bajo los modelos, veo que para Sbert ha bajado:
all-MiniLM-L6-v2-f16.gguf
embeddings_v0.dat localdocs_v1.db
No entiendo qué passa. Uso Linux Mint (basado en Ubuntu)
Mil gracias!!
@@user-uw3zk2yc2w
performa mejor que el hermes?
Gracias por la pregunta @noctis-uv8gv! GPT4All soporta múltiples modelos por defecto. Entre los modelos disponibles está nous-hermes-llama2-13b.Q4_0.gguf. Hay versiones más recientes como openhermes-2.5 que tampoco no están incluidos, pero que seguramente se ofrezcan también en breve.
Gracias por responder, era ese mismo al que me refería, perdón la falta de contexto, esperando con ansias el openhermes 2.5 :D ! feliz día @@LaHoraMaker
No me funciona, el combo de arriba no me sale por lo q no puedo elegir el modelo que quiero. Alguno más le pasa???
A mi me pasa lo mismo
Hola Rodrigo, esto puede ocurrir si no has descargado ningun modelo. Para resolverlo, dentro de las opciones de configuración tienes que seleccionar modelos y allí descargar alguno de los que aparecen disponibles. Una vez tengas el modelo descargado debería aparecerte en el desplegable.
Como se instala en Ubuntu
Dale un vistazo a esta guía paso a paso en castellano:
www.solvetic.com/tutoriales/article/13045-instalar-gpt4all-ubuntu/?ampmode=1
Pero y la seguridad en la informacion
Gracias Javier por el comentario. ¿Cual es el aspecto de la seguridad de la información al que te refieres?
Lo he probado y no me funciona
Excelente video, me ha gustado el contenido. exitos!
Gracias por tu mensaje Dario!
Los resumenes que dan son muy recortos digamos que solamente da ideas principales con respecto a un resumen del dcto