Anything LLM - Conecta tus documentos con agentes LLM locales, remotos y mucho más!
Vložit
- čas přidán 20. 05. 2024
- En el directo de mostraremos varias de las funcionalidades de Anything LLM, un frontal que nos permite conectar con multitud de fuentes de una forma sencilla. Conectaremos con nuestros documentos, con repositorios de Github, con videos de CZcams, LM Studio, Ollama... todo en todo lugar en todas partes!
- Věda a technologie
![[FREE] AnythingLLM v2 | The last document chatbot you will ever need](/img/n.gif)
Gracias a Javi nos dimos cuenta en el minuto 9:27 que no estabamos compartiendo la pantalla! Puedes saltar directamente a ese punto para ver cómo se configura Anything LLM para conectar con cualquier fuente!
Excelente. Muy útil. Se agradece el esfuerzo y la generosidad de compartir vuestro conocimiento. Que continúen los vídeos.
Gracias nuevamente. Saludos desde Buenos Aires, Argentina.
Justo estaba pensando lo extraño que era que no tuvieses la pantalla puesta y has contestado al instante la pregunta de Javi. Ha parecido magia, muy bueno todo fenómeno.
Interesante contenido
Gracias Cesar !!!
Buenas Maestro, me guardo el vídeo que lo acabo de ver. Tiene pintaza
Ya me dirás a ver qué te parece!
Muy bueno gracias amigo
saludos desde le Peru !!!!
Saludos Walter, desde Madrid!
Muchas gracias
9:26 con pantalla ja ja gracias buen video tomatu like
Muy interesante. Gracias, César.
Gracias Cesar, no conocia ninguna de las aplicaciones, yo trabajo con FlowiseAI, para la creacion y puesta en produccion de flujos para llms.
Estaría bien hacer algun flujo con ollama y como usar memorias, embedins y demas en Rivet
Gracias de nuevo
he intentado hacer lo mismo pero con llama3 y LMStudio y no me ha citado los txt. alguna pista? es posible que no tenga agentes mi ia a traves del servidor de LMStudio?
Hola, tengo una duda. Si quiero vincularlo con Poe, es posible? porque hay un apartado, pero sólo recomienda Modal
como se podria hacer con pytho?
Me interesa herramientas low code tipo flowiseai
Muy buen video. Estoy tratando de nutrir un bot en azure con mis documentos de atlassian y consumirlos desde microsoft teams, es posible?
Anything LLM tiene conector para Confluence como origen de los datos y puede conectar con Azure OpenAI como backend. La propia herramienta también tiene una API que permite ofrecer las capacidades configuradas vía AnythingLLM, aunque no la he probado todavía: docs.useanything.com/features/api
Así que sería posible conectar este chatbot para que tirara de las fuentes de Confluence con este sistema.
Anything LLM te descarga todo o hay que descargar los modelos aparte? lo he ejecutado y en llm preferences y embedder no me carga ningún modelo al elegir ollama como provider (en la ventana chat model selection y embedding selection aparece en ambas --loading available models --)
me paso exactamente lo mismo, incluso ingrese la url de ollama local (que me aparece corriendo sin ningun problema) y no aparecen modelos ni embed disponibles para elegir, continue usando la configuracion de anything pero lo ideal seria seguir este video que esta genial por lo demas, gracias!, ¿alguien conoce este error?.
Buenas, yo quiero que solo me responda lo que hay en los documentos y que si no lo hay me diga que no tiene la respuesta, es posible esto? porque le subi todos documentos tecnicos y cuando le pregunte como hacer un sandwich me respondio... estoy perdido la verdad.
Gran pregunta. Según los modelos, pueden funcionar mejor o peor detectando cuando el contexto y la pregunta no tienen mucho que ver. Supongo que para este caso de uso, tendrías que indicarle en el prompt qué parte es la pregunta y cuál la información de contexto.
Hola, se puede abrir lm studio a travez de langchain?
Puedes llamar desde Langchain a LM Studio con el módulo de OpenAI. Lo único que tienes que definie el parametro openai_api_base='localhost:1234/v1" para que conecte con el servidor local.
api.python.langchain.com/en/latest/llms/langchain_openai.llms.base.OpenAI.html
@@LaHoraMaker genial, aunque ahora debo convertirlo a typescrib, gracias
Parece que no corre con la GPU y no veo opción de modificar este parametro como en LLM Studio
¿En qué sistema operativo lo estás probando? En Windows, incluye Ollama que debería detectar automáticamente tu GPU.
Por otra parte, ¿has probado a conectar Anything LLM a tu LM Studio local?
Si a mi no me funciono el embedding con Ollama, tuve que correrlo con Llm studio, prueba a ver, y el modelo ollama3 si pude correrlo con Ollama, que dio problemas con los puertos al inicio
@@LaHoraMaker
Hola , lo primero gracias por contestar y enhorabuena por tu canal .
Estoy usando W10 y como LLMProvider los modelos que proporciona por defecto AnythingLLM , en concreto Llama2 7B , mi procesador tiene una GPU integrada y es esa la que Anything está usando , eso es lo que veo al monitorizar los recursos del sistema mientras lanzo preguntas , para salir de dudas desconecté la RTX3060 del equipo y el Anything se comporta igual , este comportamiento me recuerda a LLM Studio cuando no activas la opción de uso del 100% de la GPU Nvidia .
Probaré a usar como servidor LLMStudio a ver si de esta manera solvento el problema y comentaré resultados.
Un saludo
@@LaHoraMaker Solucionado , con Ollama como Servidor como muestras en el video , cargandole Llama3 8b todo ok , parece que el problema es que usando como LLMProvider el propio Anything corre los modelos sobre la CPU o eso parece .....
He visto cientos de videos que prometen eso he probado todo y el porcentaje de éxito de la recuperación 60% si acaso
Y eso estoy hablando de documentos sencillos cuando hablamos de documentos complejos ni te cuento
Termina uno pagando servicios como la llamaparsw de llamaindex y usando modelos de pago porque si el proceso de Chungking y en Bing es malo pues el modelo te va a responder mal
Se oye demasiado bajo
¿En qué momento del video se escucha demasiado bajo? ¿O es todo el video en general?
@@LaHoraMaker Desde el principio.
@@pagutierrezn Lo siento, pero se oye perfectamente.
Soy yo el único que piensa que nos estas compartiendo la pantalla y no lo estas haciendo? Edito: vale, ya, jaja
Así fue hasta el minuto 9! Pero gracias a Javi, pudimos solucionarlo antes de que fuera demasiado tarde!
comprate un microfono