DESTRUÍ A Las SECRETARIAS Con Inteligencia Artificial | RAG Con Llama 3/Phi 3
Vložit
- čas přidán 5. 07. 2024
- ✅ Como EMPEZAR tu NEGOCIO de IA En 2024: • Como EMPEZAR Tu NEGOCI...
Link al repositorio: github.com/fcori47/basdonax-a...
En este vídeo vamos a hablar sobre el Como DESTRUÍ A Las SECRETARIAS Con Inteligencia Artificial, utilizando una herramienta de Inteligencia Artificial llamada RAG (o Retrieval Augmented Generation) que permite que puedas chatear con tus documentos de la forma más fácil posible. Es tu propia secretaria en tu propia pc que funciona de forma gratuita y con cualquier modelo LLM Open Source.
Video sobre las prompt de Liam Ottley: • why you suck at prompt...
🚀 Agenda una Consultoría GRATUITA para poder analizar tu negocio y conocer como potenciarlo con ayuda de la IA: calendly.com/basdonaxai
🤖✅ Videos que te pueden interesar:
✅ Como CREAR tu Agencia de Automatización de IA: • Guía COMPLETA para CRE...
🦾 Servicios Más EXITOSOS de una Agencia de automatización de IA: • 8 Servicios Mas Exitos...
📑 Como CREAR las Mejores PROMPTS para tu Agencia de Automatización de IA:
• El MEJOR PROMPT para t...
💻 Mejor PLATAFORMA Para CREAR Agentes de IA: • Esta NUEVA Plataforma ...
🤖 El CHATBOT Que Me Consiguió Una DEMO Con NIKE: • Este CHATBOT De IA Me ...
✅ Encontrame en:
Instagram: / facundocorengia
LinkedIn: / facundo-corengia
Basdonax AI Instagram: / basdonax.ai
Spotify: open.spotify.com/show/7ipV57n...
Google Podcast: podcasts.google.com/feed/aHR0...
Partes del vídeo:
00:00 Inicio
01:03 Explicación del funcionamiento
06:39 Instalación
18:02 Demo/Funcionamiento del RAG
25:10 Como ejecutar la plataforma con un click
27:24 Final/Resumen
Sobre mí 👇:
Hola, me llamo Facundo Corengia y soy desarrollador y empresario de Inteligencia Artificial (también trabajo en Data Science), soy fundador de mi propia agencia de automatizacion de IA. En este canal de CZcams ayudo a otras personas dando a conocer este modelo de negocio, para que así puedan crear su propio negocio de IA en forma de Agencia de Automatización de IA y también tenemos vídeos de mindset y desarrollo personal para que todos puedan conseguir ser su mejor version.
Video de mi historia completa: • Como Pase de INUTIL a ...
Mi rutina: • La MEJOR RUTINA Para e...
🚀 Agenda una Consultoría GRATUITA para poder analizar tu negocio y conocer como potenciarlo con ayuda de la IA: calendly.com/basdonaxai
🤖Link al repositorio: github.com/fcori47/basdonax-ai-rag
Instagram: instagram.com/facundocorengia/
LinkedIn: www.linkedin.com/in/facundo-corengia/
✅ Como CREAR tu Agencia de Automatización de IA: czcams.com/video/1SatruA3XbI/video.html
🦾 Servicios Más EXITOSOS de una Agencia de automatización de IA: czcams.com/video/b_j9di0Axn8/video.html&t
📑 Como CREAR las Mejores PROMPTS para tu Agencia de Automatización de IA:
czcams.com/video/amHXcLxUJ4E/video.html
💻 Mejor PLATAFORMA Para CREAR Agentes de IA: czcams.com/video/18qUUNXMKz0/video.html
🤖 El CHATBOT Que Me Consiguió Una DEMO Con NIKE: czcams.com/video/Ix5vl0dgP7A/video.html
Facundo como estas? a mi me interesa empezar armar algo asi pero desconectado de la red, que pensas? hay charnce o si o si es necesario que sea con doker online?
buenas! si usas docker de esta forma esta 100% en local osea no va ninguna info a internet
ponele si desconectas el internet de tu pc teniendolo instalado y prendes el rag te va a andar
La plaga actual...que forma de pensar tan extraña. Te sientes orgullo de destruir el trabajo de la gente amiguito?
@@CampoTraviesa2.0 que destruir trabajo?, si con esto puedo trabajar más rápido, has intentado leerte un pdf para aprender a usar After effects o Clip Studio Paint.... (La cantidad de páginas que tieen) imagina poder transcribir directos con merlin, pasarlos a un word y meterlos en el asistente, tendrías la info que subió algún profesor a youtube, directamente en tu pc, para hacer consultas..... esta gente no valora los avances.
La ia no puede acostarse con el jefe. Es una gran desventaja. 😂
hey, por ahora
JAJAJA
Estaré esperando la versión 2. Que sea como un chat. 😊 Exelente video amigo.
me encanta la miniatura es como:
destruí los empleos de un grupo de personas,
*procedo a sonríe de oreja a oreja* ajjasjass
Excelente, la 2da parte para que lo conectemos y conteste a los clientes de whatsapp, así tendríamos una secretaria personal para nuestros clientes ❤❤
Si sustituimos a todos los funcionarios y gobernantes corruptos, nos ahorraríamos trillones de dólares y de tomas de decisión decididas por conveniencia de los corruptos y no de las Constituciones de cada nación.
te cojen las empresas y lobbys bro
Los gobernantes son corruptos pero la gente común es peor
Eso ya lo hace china hace mas de una decada, pero seguro pensas que son socialistas y que trabajan en minas de carbon con niños jajajaa. Se te huele lo libertario a kilometros. Termina la secundaria pibe!
Todos somos corruptos . El programador de la IA también se va corromper cuando tenga la necesidad y la oportunidad.
porque las empresas y los lobbys y el narcotrafico no estan metidos en politica o sobornando politicos jajajaja
Enhorabuena por tu vídeo, quedó muy clara la explicación. Me gustó que dieras todo tipo de explicaciones y paso a paso para que no tengas que decir aquello de: "en local me funcionaba" o "pues a mi me iba". Sigue así :D
Pero la secretaria hace cosas que la IA no...😌
sieres nerd si la sustituyes... 😅
literalmente no
Ah no?
Creo que lo están viendo desde el punto de vista "nerd" desde el otro punto de vista entenderías el comentario
Es que si eres demasiado "nerd" no entiendes lo que es sarcasmo y se toman todo literal sin el dulce doble sentido...@@cristianfranco5903
Muchas gracias Facundo, eres un crack y además muy generoso. Estaré muy atento a tus videos. Me ha ayudado mucho esta genial y muy clara explicación
A qui estaremos al pendiente broo :)
Buenisimo Facundo, gracias por compartir, es algo muy bueno y útil. Voy a probarlo y te comento
Excelente Facundo, te felicito Explicacion y ejemplo 10.
Gracias por este aporte a la comunidad.
Muchas gracias bro, estaba interesado en hacer algo asi con IA, pero no sabia por donde empezar, ya con esto puedo realizar un proyecto para mi area en la empresa.
muchas gracias! aprecio mucho la gente que comparte sus conocimientos, me motivan a seguir siendo asi tambien, soy encargado de todo lo que es IA en la empresa en la que trabajo y seguramente implemente esto, saludos!
excelente! me alegro que te haya ayudado!!
Excelente Facu, subscribiendome y esperando más contenido como este...
Excelente aporte, nuevo seguidor😊
Buenazo bro... vamos por mas ...
Jajaja volví al video para ver cómo iba y pegado. Muy bien facu
Gran trabajo. Me sirvio para aprender. Aunque el modelo no funciona bien, ya que las respuestas las imprime en el command prmpt (debes tener un print) pero no las muestra en la interfaz web. Tampoco busca correctamente en los pdf. Detalles para la 2.0 😊
Muy buen contenido, ojala sigas compartiendo.
Espero con ansias las novedades
Gracias! sisis obvio no voy a parar, esto recien empieza 😎
Buen video y buena explicación! Voy a probarlo y te daré un feedback. Gracias x compartir! Saludos
Buen proyecto! De cara a siguientes versiones sería interesante que se lean todos los ficheros que hay en una directorio.
Periódicamente puede comprobar si hay nuevos ficheros o si se han modificado los que ya existían para seguir añadiendo el conocimiento propio.
Además crear una pipeline que procese y entrene el modelo con la información de otras aplicaciones como Google docs, notion, Evernote... Parece que hay interfaces para cada una de setas aplicaciones en ollama
Buen vídeo!!
gracias! muy buena idea para la próxima versión!
PUES pides un sistema completo, no hay LLM que cumpla esos requerimientos , lo que puedes hacer es crear un json con las url de tu directorio y ese se lo pasas a la api del llm que uses y asi recoja el conenido que uses, el lio es que llama3 tiene poco contexto entonces los pdf no deben ser muy extensos o bien ir cambiando de archivo, quizás en gemini api, podrias, con su millon de contexto, pero sería caro por el momento, y local pues con las url como lo menciono arriba.
gracias por compartir el metodo, me va servir de mucho
Seria interesante que este modelo pudieras conversar con el, y mas aun usando phi-3
Buenísimo el proyecto....muchas gracias por compartir, sólo tuve que hacer alguna adaptación para utilizar los modelos que ya tenía en LMStudio en lugar de Ollama, y sustituir algun puerto que tenía ya ocupado.
Buen aporte gracias!
Muy buen video, te agradezco la data!! Me gustaría implementarlo voy a ver que sale...
Llegado el momento te contactaré.
Un abrazo desde Uruguay!
eres un crack , nuevo seguidor , sigue así chaval
muchas gracias Facundo, te felicito!
gracias! me alegro que te haya servido!!
Muchas gracias !!
Muchas gracias, está genial.
Por favor crea la versión que mantenga un chat continuo.
Muchas gracias, de nuevo, por lo simplificado de la instalación que propones para este RAG.
Echo en falta algo que puede ser necesario en muchos casos de uso como los enlaces a los documentos originales que ha utilizado el Llm para mostrar la respuesta.
He intentado realizarlo por mi cuenta pero se me hace muy difícil hacer el debug de cualquier nueva función o código. Esto es debido a que no he trabajado nunca con docker y las instrucciones para hacerlo con el IDE SPYDER no me quedan nada claras.
Espero que en alguna nueva versión de RAG integres esta parte de metadatos para pasarlos también al Llm.
gracias! me lo anoto para la proxima version!
buen canal bro, bien ahi +1 sub
Hola, felicitaciones por el desarrollo, esta espectacular, al respecto tengo una consulta, ¿la version con tarjeta grafica solo funciona con nvidia o tambien puede usarse si se tiene una radeon?, ¿y si tambien funciona con radeon, desde que serie hay que tener instalada en la pc, rx 5000, rx 6000, etc?
gracias! la version del video que es con gpu solo funciona con nvidia (deberia haber una forma para que ande con radeon pero habria que cambiar el codigo), la version que usa solo cpu te tiene que andar si o si
Gracias por el video Facu! Te hago una consulta, correr esto en una Macbook Pro M1 decis que va?
Buenas! No lo probé pero debería funcionar porque ollama (que es la herramienta que se usa para descargar los modelos) tiene soporte para mac, además el usar Docker debería permitir que funcione en todos los sistemas operativos. Te recomendaría que pruebes con Phi3!
Muchas gracias
Eres un grande bro mil años de vida para ti
Estuve haciendo un proyecto parecido como hace 6 meses, pero con Langchai y el Token de API, bastante divertido la verdad
Excelente video 👌
Parcero excelente aporte. Te hablo desde Colombia.
Espero con ansias la versión 2.0 para agregar archivos múltiples a la base de conocimiento
Gracias! Igualmente podes agregar multiples archivos! pero no de una sola vez, sería uno por uno.
Excelente video.
Muchas gracias probaré con Langchain para agregarle memoria a los promts y sería interesante que pudieras elegir distintos modelos en la interfaz gráfica. De modo que usaría chatgpt4 para cosas complejas, phi2 para cosas básicas o resúmenes y llama3 para Python o código sin consumir la api de open ai.
Muy buen video. Es un excelente punto de partida
Facundo gracias por la info, personalmente algo que me limita mucho para usar la ia con clientes es el hecho de las alucinaciones que podrian generar en su momento info falsa y complicar la implementación exitosa. Aparte de tratar de hacer un buen prompt engineering (que no es tan efectivo) de que otra manera le darias manejo a este problema con la IA?
Buenas! Lo que podes hacer en ese caso además del prompt engineering que como bien comentas no lo es todo es bajarle la temperatura a 0, cuando haces eso solo va a responder información 100% precisa, eso me sirvió bastante para cuando hice chatbots para ventas y estaban conectados una base de datos que tenían que obtener el precio y podían errarle con eso. Cambiandole la temperatura a 0 nunca tuve problema, pero si lo dejas por defecto que esta en 0.7 ahí si que es un problema en esos casos
excelente trabajo una pregunta esto servira para temas de gestion documental es decir hacer comparaciones de diferentes documentos y que la ia procese la informacion que muestre la coincidencia
gracias! si se podría pero habría que hacer modificaciones tanto en la prompt como en el código, te recomiendo que pruebes modificando la prompt, mañana voy a subir un vídeo de prompt engineering avanzado que seguro te sirve para este caso!
@@facundocorengia vale muchas gracias
Excelente
¿Se puede usar tu imagen docker para hacerle consultas directamente a la api de ollama? , gracias por compartir esto.
Si, tenes que hacer ollama pull llama3 por ejemplo o el modelo que quieras y ahi hacer el docker exec (id de contendor) ollama run llama3, igualmente te recomiendo directamente instalar ollama no el docker-compose del video, te dejo el link: hub.docker.com/r/ollama/ollama
Excelente video, voy a probar momentáneamente phi 3 ya que le quité mi gráfica a mi ordenador porque me subió el precio de la luz en la casa y me quitaron el subsidio XD
Hola, muy buen y sintético video ! que base vectorial estas usando ?
Gracias! uso ChromaDB
Excelente video, consulta 1. sin GPU que requerimiento de RAM se tiene, 2. Los archivos hay que subirlos en cada inicio del docker o quedan persistentes? Saludos y mil gracias 👏👏👏
Gracias! con tener 16gb deberías estar bien, en el video uso 32gb y ahi si vas un poco sobrado asi que debería andarte también si tenes esa cantidad, aunque eso es en windows, en mac por lo que tengo entendido la ram necesaria es menor
Excelente. Estaría buenismo si lo continuas y lo conectas a contestar email y contestar mensajes
Hola Facundo! Gracias por tus videos. Me subscribi porque encuentro interesante los temas que publicas. Soy de Costa Rica y queria saber cuales son las companias en argentina de tecnologia bien renumeradas.
Gracias! eee no tengo mucha idea de como está el mercado aca en arg porque trabajo para afuera, pero se que las que mas pagan son las startup y capaz alguna de las grandes como accenture, globant, ml, etc
Grande Facu!!!
BUENA ESA BROOO :3
muchas gracias por el video lo e tratado de correr pero sin exito al querer usar la gpu a la hora de ejecutar docker-descktop up cuando carga la gpu sale no found no se como configurar la parte de linux o algun paso o alguna sugerencia
buenas! hablame por instagram @facundocorengia, el comando es docker-compose up , fijate eso
Gracias por este gran aporte ❤
Quisiera consultarte algo.
Es posible aumentar la cantidad de Tokens? Vi que ya lograron una ventana de contexto de 1 millon de tokens en Llama 3.
buenas! todo depende del modelo llm que uses, hay modelos en huggingface de llama3 con 1 millon de tokens, seria traerselos para así utilizarlo en el codigo que se tiene, eso seguramente lo veamos en la serie que estoy haciendo de como crear un rag, te recomiendo verla
me ha parecido muy interesante esto, no quiero ser como muchos usuarios y esperar la información digerida, por ello deseo conocer si es posible en donde debo buscar información para que al momento de incluir los archivos le haga saber que es un repositorio que ya existe, este repositorio esta organizado por subcarpetas y deseo agregarle la ruta.
Muchas gracias!. Creo que le faltaría poder acceder a páginas concretas de internet, para poder disponer de información actualizada y sería perfecto.
Esta chulisimo! para mi esto es el futuro. La solución a que la población pueda acceder al big data en el que esta inmerso y darle utilidad. Me da un poco de rabia no poder probarlo ya que tengo un macmini con una tarjeta gráfica pequeña... (ya he probado Ollama con modelos pequeños y le cuesta mucho)... pero a cada mes salen cosas nuevas y en el futuro será un gusto trabajar con datos.
totalmente, ahora con modelos como gemini con 1millon de tokens de contexto se pone mejor la cosa, podes hacer que te responda muchisimo mas, esto cada vez pinta mejor. te recomiendo si tenes conocimientos de programacion utilizar gpt-3.5-turbo o gpt-4-turbo si no te funciona rapido el ollama, sino seguramente para el video de la version 2 de este RAG muestre como hacerlo con gpt/llama/phi no solo llama y phi
Estoy haciendo un RAG, sin docker, ni python. Todo en Golang, y bueno, pase a ver tu proyecto :) estan interesantes los RAG's jeje
Fenomenal
Excelente Facundo, voy a probarlo, te pregunto, se podra conectar a una base de datos?
Saludos
Gracias! por el momento solo a la de vectores, aunque se podria hacer una conexion para que utilice una base de datos sql
capo amigazo.
amigo como haces para hacer RAG de un libro por ejemplo? porque al hacer vectorizacion aparecen los encabezados, pies de pagina, texto justificado, etc.
No habria problema. Porque cuando vos le hagas las consultas solo va a tener en cuenta las partes del libro que mas tengan que ver con lo que preguntaste, no te va a responder los encabezados, pie de pagina, etc. Va a ser una respuesta "normal".
Excelente video,una pregunta expone alguna api que pueda ser consumida desde otra fuente?
habría que prepararlo para que funcione de esa forma, ahora a la única cosa a la que se puede hacer request es ollama
Muy buen aporte, lo siguiente como comentas es el tema de memoria, tanto memoria a corto plazo (los n mensajes anteriores), memoria a largo plazo (n mensajes relacionados a lo que preguntas similar al retrieval del pdf) y alguna memoria volátil (en redis o alguna KV db para aspectos puntuales como nombres citas o pasajes importantes)
Gracias! sisi, eso lo voy a implementar 100% para la próxima versión, ahora como estaba probando tipo mvp quería ver si valía la pena pero definitivamente si, que recuerde los últimos 5/10 mensajes
@@facundocorengia perfecto en mi trabajo diseño e integro rag para multiples propósitos, en algunas situaciones no requieres memoria, en otras con dos mensajes es suficiente y en otras se necesita de una extensa memoria.
Browsing 1 o dos mensajes y no requiere a largo plazo
Pdf, depende el uso en tu ejemplo con uno o dos va bien, pero si el usuario busca entender el pdf si es importante al menos unos 8 mensajes continuos y dos a largo plazo,
Como asistente, si es para consultas puntuales memoria a corto plazo de 2 a 4 memoria a largo de al menos dos o tres mensajes. Para crear un javis es muy importante tener al menos unos 10 a corto plazo y unos 4 a largo plazo y sobre todo una memoria volátil que funcione como agenda para que recuerde por ejemplo como te debería llamar una personalidad dinámica etc.
Saludos, buen video te felicito, consulta rapida: en el video dices que usas VectorDB pero en la implementacion usas ChromaDB cierto? o donde esta la implementacion de VectorDB? y porque muestras info sobre ChromaDB?
gracias! claro la vectordb es chromadb, es como que vectordb sería el nombre de ese tipo de base de datos
Excelente voy a suscribirme a tu canal. a las siguientes versiones puedes añadirle soporte al api de openrouter, ejecucion de acciones, code interpreter y agentes👍
Bienvenido! Me anoto tus ideas para la próxima versión!
Aparte de agradecer tremendo aporte quiisera consultar si es posible que pueda entregar citas textuales desde los documentos, para motivos de bibliografía y/o referencia
gracias! sisi se puede, tenes que especificarle en la prompt que queres que te responda asi, te recomiendo que te veas mi video sobre eso: czcams.com/video/amHXcLxUJ4E/video.html para que te ayude a responder de esa forma
@@facundocorengia muchas gracias de nuevo
Yo podria dar soporte de sistema personalizado , el sistema te permite guardar y usar todo automaticamente y que usuario use su propia computadora sin resticcion , acceder a todo lugares navegados aun si los dispositivos sa tablet , compu o celular que anteriormente usuario alla entrado , el sistema automaticamente intersepta e identifica paginas de usuario en toda la web
Grande bro
Muy buen video, felicidades. No me deja ejecutarlo en linux, no detecta la GPU pero en Windows va de perlas con una 3090. Se podría implementar PandasAI para la gestion de los archivos CSV? Si agrego una base de datos en ese formato da respuestas incoherentes
Gracias! que raro, que error te da en linux?. sisi se puede agregar el pandasai aunque creo que habria que modificarlo un poco si esta preparado para solo usar OpenAI. claro, da respuestas medio raras si le pasas la db sin contexto o con una funcion de por medio, yo lo que hice por ejemplo para conectarme a una db de productos es meter una funcion que dependiendo de lo que escribia el cliente hacia una consulta a la db con diferentes parametros, capaz te sirva eso
@@facundocorengiapuedes hacer un video sobre esa función y aplicada a precios?será de gran valor para el canal !. Te felicito tienes suscriptor
Muchas gracias amigo, queria montarme algo asi para tener un asistente especializado en un tema concreto. Vere hasta donde puedo sacarle partido.
Note que a veces cuando le hacia preguntas, tomaba info de un archivo, pero la definición completa estaba en el otro. Le puse dos archivos, uno que habla sobre el proceso de genga y otro sobre douga, que son etapas en la animación japonesa. Pero cuando le pregunto que es Genga, me da una definición incompleta, porque va a mirar lo que se dice sobre el tema en el archivo de douga.
Esto ocurre porque ambos archivos explican lo que es cada etapa por separado, pero hacen referencia la una a la otra, es decir, el el documento sobre genga se menciona un poco el douga y viceversa.
Como cargue primero el documento sobre douga, al preguntarle que es genga solo me entrega la información del primer documento. Aunque si escribo el prompt de forma mas especifica, por ejemplo, en lugar de escribir "¿Que es genga?", escribo "Explicame que es genga o segunda animación clave" (que es otro concepto relacionado al genga), ahí si va al segundo documento a buscar la definición correcta.
Despues de instalado se puede usar de forma Offline? Esra IA es privada queda solo en la pc?
sisi, solo ejecutas el rag y ya te funciona, no necesitas internet
Vas a abrir una serie para jacer el rag? Se puede armar con la api de gpt4o pago? Por que es mejor que un gpt en gpt4o pago? Gracias
justo ayer empece con la serie: czcams.com/video/ApZvYZIwSeE/video.html
hola facundo excelente eres un crack ,como quisiera que crearas un curso de automatizacion en udemy seras un grande yo harita ps estoy iniciandome en la programacion y ademas estudiando todo con repecto ala IA
Muy bueno ❤, cuanto te tomo de desarrollo hacerlo, me da curiosidad porque quiero hacer algo parecido como proyecto personal.
Gracias! en un domingo arme todo menos la parte de los archivos, y lo de los archivos estuve 3 dias aprox pero no todo el dia, le daba a la noche despues del trabajo
hola que tal, pregunta rapida , puedo correr esto con una 3060 twin edge de 12gb??
buenas, sisi te debería funcionar bien con llama3
Consulta Facundo, es lo mismo WhaleDesck que Docker? porque tengo MacBook Pro M1. Y en el caso de ser lo mismo, para crear el servidor no se que host poner. Me ayudarías con esto? Perdón por mi ignorancia. Gracias!
Buenas! No hay problema, no sos ignorante por preguntar jajaja. Nunca use WhaleDeck pero por lo que entiendo es una herramienta que usa Docker por detrás, lo que tendrías que hacer es que te cree un contenedor a partir del docker-compose.yml que esta en el repositorio, sino ya directamente sería seguir los pasos del video con Docker Desktop.
@@facundocorengia Muchas gracias Facundo. Lo voy a intentar. Excelente tu propuesta y muy bueno el tutorial, abre un espectro que casi todos los involucrados en este tema se lo reservan. Gracias!
Hola Facu, no pude instalar. Cuando escribo docker-compose up, me dice "version is obsolete"
Y luego llega hasta el punto 5/6 y ahi queda
buenas! si podes enviame el mensaje de error por aca o por instagram que estoy mas activo @facundocorengia
Por probar lo instalé con una GTX 1650 de 4VRAM y funciona, tarda, pero no exageradamente.
Cool RAG.
Muy buen aporte estimado, consulta se puede ocultar el enlace de subir archivos ya que asi cualquiera podria subir cualquier archivo, seria bueno tener uno para administrador y otro solo para usuarios el chat
Buenas! Muy buena idea por si varias personas lo usan! definitivamente voy a implementar eso en la versión 2.0
Por el momento quedan las dos páginas "publicas" por así decirlo, sería como más para uso personal, pero es como vos decís que si lo usan varias se puede complicar la cosa, te diría que quedes atento a la nueva versión que 100% va a tener eso.
Me da este eror: OllamaEndpointNotFoundError: Ollama call failed with status code 404. Maybe your model is not found and you should pull the model with `ollama pull llama3`.
Resuelto. Me había comido un paso por error
Gracias saludos del Perú eres un pro igual tengo que estudiar programación me urge.
de nada! mañana subo un video que te va a servir sobre ese tema, que va a ser la ruta de aprendizaje de ia con codigo en 2024, asi podes aprenderlo al 100%
Hago el paso a paso y no funciona (no me responde) le cargo los archivos y todo bien pero luego no responde :-(
buenas! que te sale? si queres enviame por instagram lo que te paso: @facundocorengia
Buenas Facundo... me pareció fabuloso lo que has hecho.... Seguí paso a paso las instrucciones... pero a la hora de descargar los 4.7 Gb del Llama3 tengo un problema... estoy limitado a 2 Gb y no encuentro la forma de modificarlo... podrias ayudarme? Imagino que con un simple comando se podria... pero no lo encuentro y ya lei todas las ayudas posibles del docker y nada... Gracias!!
buenas luis! me alegro que te haya gustado, estuve buscando informacion y de esta forma lo podes hacer: forums.docker.com/t/docker-desktop-for-macos-no-space-left-on-device/140831 , se ve que tenes que manejar vos mismo el espacio que se le asigna a docker desktop, asi seguro que te deja
Hola Facundo! La tarjeta grafica de NVidia si o si debe de ser RTX cierto?
Buenas! lo mas recomendable es que si, pero puede que funcione igual en una gtx, el tema seria la vram de la grafica y la velocidad de la respuesta, eso te puede cagar pero sería probar, te recomiendo el phi3 si tenes gtx
Gracias por la info, tu código correría en una nvidia GTX 1080?
de nada! te recomiendo que pruebes con phi3 más que con llama3 en ese gráfica, si anda bien proban con phi ahí si pasa a llama
@@facundocorengia Probaré con GTX 1050
La IA es una hiperfunción, gracias.
Genio, lástima que el 90 % de la gente no entiende más que dar play, uno más que te sigue
Hola amigos! Se puede usar con Dropbox tengo 1 tera de información del negocio.?
Buenas! por el momento no permite que te conectes directamente, pero ir subiendo los archivos que quieras a la plataforma, te los tendrias que descargar y subirlos uno a uno
gracias pero esto no fuciona si la paso 100 papers de publicaciones científicas largas y quiero que me haga un paper no? por los tamaños máximos que puede el LLM procesar
buenas! te puede llegar a ayudar si le haces una buena prompt, te diria que pruebes pero generalmente cuando se busca que haga esas cosas complejas ya es necesario crear un sistema mas complejo al del video
@@facundocorengia ok gracias, por otra parte, estoy con una persona de fiverr que no tengo seguridad me hará un trabajo para hacer un fine tune de tinyllama1.1 con my JSON bien formado de 278 filas de Q&A. Si me falla, te interesaría? solo necesito un GGUF que no halucine y de respuestas ok
hola, como podria hacer para que no alucine tanto, nose porque cada pregunta que hago me responde algo nada que ver, o un hola y me dice algo fuera de contexto, como lo podria hacer? necesito ayuda.
buenas! ahi lo que podes hacer es modificarle la prompt exactamente para lo que vos necesitas, te recomiendo ver mi video sobre eso: czcams.com/video/wJI5VEoGmJM/video.html , proba creando una prompt asi, si no te llega a andar bien con eso hablame a mi instagram: @facundocorengia y vemos como solucionarlo!
Hola que tal amigo , el programa Ollama no puede correr con mi maquina que es ya es un poco antigua, porque Ollama requiere que el procesador tenga AVX2 y mi procesador pose solo AVX. Yo habia encontrado otro programa que si corre en mi maquina y es el GPT4ALL , entonces lo que te pido es si podes hacer lo mismo pero con el GPT4ALL , para que pueda probar tambien esta forma de trabajar con los documentos privados y locales... Muchas Gracias desde ya ....
buenas! en la próxima versión voy a dejar la opción con ollama y con gpt-3.5-turbo así podés tener otra opción, el tema que ollama te da el llm para tener un reemplazo al modelo de lenguaje que usa chatgpt
Hola, realice todos los pasos y cuando ejecuto docker exec 5g3a4x1825fx ollama pull llama3, llega al 38% y me indica que no queda espacio en el disco, que debo hacer?
estuve buscando informacion y de esta forma lo podes hacer: forums.docker.com/t/docker-desktop-for-macos-no-space-left-on-device/140831 , se ve que tenes que manejar vos mismo el espacio que se le asigna a docker desktop, asi seguro que te deja, eso es en mac pero la interfaz del docker desktop es la misma
Lo que no encuentro es dónde se guarda el modelo que se descargan. La ruta del volumen no sé donde está.... (/ollama/models/) no sé dónde se crea en el host.
Tienes algún video para crear una ai persona que sepa vender pero con la información de nuestra empresa y se pueda colocar en el WhatsApp business y pueda cerrar ventas o agendar citas esto que lo realicemos en una Mac m1
buenas! sisi, en mi canal lo vas a encontrar, es un video que muestro un chatbot de atención al cliente + ventas que me sirvió para conseguir una demo con nike, el vídeo se llama 'este chatbot me consiguió una demo con nike' te recomiendo mirarlo!
Excelente video Facundo. lo estoy probando pero me tope con este problema la version de phi3 sin gpu en windows "no space left on device. "
gracias! estuve buscando informacion y de esta forma lo podes solucionar: forums.docker.com/t/docker-desktop-for-macos-no-space-left-on-device/140831 , se ve que tenes que manejar vos mismo el espacio que se le asigna a docker desktop, asi seguro que te deja, eso es en mac pero la interfaz del docker desktop es la misma
@@facundocorengia Gracias por la rspuesta, te comento ya logre instalarlo. te comento luego de las pruebas.
Podrías usarlo para hacer consultas medicas y salvar a millones chaval, muchas gracias por tu ayuda, ojala alguien vea el potencial.
jajajajajajajajaja cuanta inocencia
@@Carlos-pg9ip Gracias
Soy médico y ya te digo yo que no es tan fácil, no es seguro y no es legal hacer eso. Pero ojalá en algún momento podamos extender el acceso a la salud con tecnología segura para la gente
Eso ya lo hizo IBM hace @8 años
jaja khé? no alcanza la capacidad, hay límites de tokens por hardware y por el diseño de las IAs todavía. Ni siquiera hay modelos buenos con visión. Los VLM todavía están más verdes que los LLM.
Hola Facu, mi historia es como la tuya, ganaba bien y renuncie para hacer un video juiego. Y mi consulta es justamente sobre eso. estoy usando godot4 y absolutamente todas las IA me dan respuestas de versiones viejas y los metodos y funciones cambiaron mucho pero se ve q quedaron entrenadas con lo viejo.
Pense q tu proyecto me iba a servir. Lo hice funcionar y le meti un PDF donde tiene toda la documentacion actual de GDscript pero me sigue respondiendo con la forma vieja. En el pdf que subi esta esta linea (timer.timeout.connect(_on_timer_timeout)
) pero cuando le pregunto como conectar un timer para testearla me da la forma vieja (timer.connect("timeout", self, "_on_timer_timeout"))
Que puedo hacer? Con algun entrenamiento se lograria? tengo una 3090 he entrenado stable diffusion y va bien pero no se como entrenar este tipo de modelos. Buen laburo y gracias por compartir aunque no me sirvio para lo q necesito :(
Buenas! Lo que podes hacer es especificarle muy bien en la prompt todo lo que me dijiste en el comentario para que al responder solo te tenga en cuenta eso, porque el entrenamiento se podría llegar a realizar si tenés una 3090 por lo que tengo entendido pero no se si para este caso sería necesario. Te recomiendo que pruebes cambiarle la prompt dandole el mayor detalle que puedas, tengo un video que habla de las prompt: czcams.com/video/amHXcLxUJ4E/video.html&t seguramente te sirva para este caso, sino también en la descripción del video tenés otro que también te puede servir
@@facundocorengia Gracias por responder, lo voy a ver. Igual si te copas en hacer un vídeo de training sería genial no hay casi nada en español de eso. Abrazoo!
Que recursos consume? phi3 hay alguan documentacion para canalizar recursos en docker? Le di para consumir un PDF y le hago preguntas y nada :S
consume bastante mas que nada el docker desktop, hay una forma de limitarlo que lo voy a agregar en la próxima versión porque hay mucha gente que se le explota la pc, puede que se quede cargando y tu pc no soporta el phi3, sino metete en ollama.com/library y fijate para traerte el phi2