¡Ollama ya funciona en Windows! Ejecuta modelos de texto y visión con su interfaz webui y más!
Vložit
- čas přidán 15. 02. 2024
- En el video de hoy vamos a explicar cómo puede instalarse el programa Ollama en Windows, utilizando un nuevo instalador que acaba de ser anunciado. En el episodio de hoy veremos cómo instalar modelos de texto y modelos de imagen. Exploraremos también Ollama WebUI, una interfaz web de código abierto, que nos facilita la interacción con el servicio que acabamos de instalar desde una interfaz visual. Vamos a generar texto, leer imágenes, consultar nuestros documentos e incluso probaremos a acceder a sitios web.
Aquí os dejo los enlaces para la instalación:
- Ollama: ollama.com/
- Ollama WebUI: github.com/ollama-webui/ollam...
Dudas, comentarios, ideas, sugerencias... ¡os leo aquí, en los comentarios! - Věda a technologie
![How to chat with your PDFs using local Large Language Models [Ollama RAG]](http://i.ytimg.com/vi/ztBJqzBU5kc/mqdefault.jpg)
Excelente video como siempre... sin desperdicios 👏🏻👏🏻👏🏻
Compadre muchas felicidades por el contenido!!
Me alegra mucho que te resulten útiles todos estos contenidos nuevos!
Buen trabajo. Simple y didáctico. El WebUI un gran descubrimiento.
¡El ritmo al que añaden nuevas funcionalidades al proyecto es increible!
Excelente video, enormemente útil. Muchas gracias!!!
Gracias por comentar Jose!
Genio!! muy buenos videos.
Un gran descubrimiento el Ollama Web UI, César. A ver si lo acaban de pulir, pero está interesante.
Las últimas versiones están funcionando genial. Parte de las cosas que no funcionaban en este video, están ya resueltas y mejoradas.
Excelente Vídeo!
Buen aporte!
¡Gracias por comentar!
muy bueno este video! por favor mas de esto!!! Espero que pronto mejore el RAG, me serviria para que usemos varias personas en un equipo, para el trabajo diario.
Gracias por la idea! Los últimos videos que he creado responden precisamente a esta cuestión!
Grande, como siempre! Llevo tiempo probando estos modelos desde que nos enseñaste en los primeros videos y me he dado cuenta que son un churro, te aburres en seguida.
Me quedo con gpt4 de pago, les da mil vueltas. Simplemte no hay color.
Pero me encanta, a ver si siguen mejorando y algun dia pueden tener uso local
Según las tareas, algunos de estos modelos pueden funcionar decentemente, pero ninguno es tan flexible ahora mismo como GPT-4.
No se si has tenido oportunidad de probar los nuevos modelos grandes con pesos abiertos como Command R+ de Cohere, Llama 3 70B o los Mixtral de 8x7B o 8x22B. ¡Muchas novedades!
Hola! He probado a darle un PDF a Solar y me lo ha resumido bien. En mi caso ha funcionado.
Solar es un fenómenos de modelo!
Muy buen tutorial!! como se hace para cargar modelos gguf en ollama en windows?
Gran aporte mi estimado.
Quiero hacerte una pregunta, al estar funcionando en local, como podría llevar eso a un servidor? y que servicios recomendarías?
Estoy aprendiendo sobre esto y pues soy relativamente nuevo en IA
🔥🔥Como los hago para montarlo en un PC en la casa y que se conecten por intranet otros 4 usuarios?
Para eso quisiera aprender a usarlo y lo pondría en una Orange Pi 5.
Usaría Mixtral 7B.
Luego quiero aprender a hacerle Fine Tuning, por ejemplo con codificación C para placas Arduino y ESP32.
Amigo ya salió el modelo QWEN de Alibaba y la ventaja principal es la eficacia tanto en ingles como en multi-idiomas, sería bueno probarlo y en que hardware sencillo y humilde desplegarlo! Espero pronto ese video, sería genial
Gracias por la sugerencia. Justo esta semana he estado probando Yi y tengo ganas de probar QWen (y su variante Smaug) para ver que tal se comportan en español.
Lo único que no me acaba de convencer de Qwen es la licencia, que tiene algunas clausulas poco colaborativas.
Al final ganara el que mejor use el RAG. Eso es lo que al final le da utilidad.
Buenas, por estudio voy a desarrollar un chatbot tutor lenguaje EPL, que modelo de ollama me recomienda usar, sera alimentado con documentacion especifica y ejercicios
Niceee
Enjoyyyy!
Gracia por tu aportes, estoy utilizando ollama con AnythingLLM, espero puedas comentar acerca de como utilizar en conjuto , por el momento estoy usado mis documento en PDF y realizar consulta .. saludos
Gracias por las recomendaciones. Me están llegando muchos comentarios positivos acerca de AnythingLLM así que... ¡tocará probarlo!
hola, he seguido los pasos pero no me aparece el modelo cuando despliego dentro de Ollama WebUI, tampoco me deja descargar modelos desde Models. Me da error LiteLLM: Invalid config passed in y ademas la interfaz no me sale igual.
Hola! Un video genial, puedes cambiar la carpeta de instalación de los modelos añadiendo la variable de entorno OLLAMA_MODELS. Asi los puedes instalar y usar desde D://, E:// o el que quieras.
Un saludo
Gracias por compartir esta opción de configuración!
la interfaz ha cambiado, hace falta actualizar este tutorial
Excelente video!
Gracias por tu comentario Dario.
El video es muy educativo. Encuentro algunas diferencias en el interfaz pero supongo que serán cambios que se vayan produciendo mientras pulen la UI.
Open WebUI Version
v1.0.0-alpha.100
Ollama Version
0.1.25
Por otra parte, no he logrado cargar el modelo "Solar" aunque he cargado "based dolphin mixtral" y "llava" sin problemas.
Cambiaron el nombre del proyecto 90 minutos después de publicar el video jajaja menuda suerte la mía!
Para más información: github.com/open-webui/open-webui/pull/777 :)
Bueno a @LaHoraMaker , que todo sea eso en la vida. ;-D
Lo que pasa es que algunos PDF vienen protegido, y no permite copiar o pegar, o tiene un certificado. Por lo cual no puede modificar el sistema.
En ese caso puedes hacer captura de pantalla desde el sistema operativo y pasar la imagen al modelo de visión :)
Esto podría ser equivalente a LM Studio, ¿verdad?
Hola Aitor, si, esto es equivalente a LM Studio con dos diferencias notables: tiene incluida la opción de consultar tus documentos y guardar tus prompts. Y por otra parte te permite tener el servidor y el cliente en equipos distintos, así que puede usar el mismo Ollama distinta gente o equipos con menos potencia.
buenas, y como se hace para actualizar Ollama?
En Windows, tan sólo hay que descargarse el nuevo ejecutable y hacer doble click. Con esto actualizas el binario y ...¡listo!
Me dice que tiene virus
¿Qué antivirus estás utilizando? Dado que el instalador levanta un servicio con un puerto siempre activo, quizás está siendo detectado como virus erróneamente
Puede ser que sea falso virus, uso el Windows defender de Windows 11.
*EL USO MAS COMUN Q SE LE PUEDE DAR ESTANDO SIN INTERNET EN LOCAL, ES DE UNA **#ENSICLOPEDIA** Q RESPONDA TODO TIPO DE PREGUNTAS, Y OTRA SERIA DE ASISTENTE, Y OTRA SERA DE TRADUCOR Q TRADUSCA TODO EL TEXTO Q UNO LE ESCRIBA Y ESPERO Q MUY PRONTO LE AGREGEN LA FUNCION DE GENERAR IMAGENES DIRECTAMENTE YA Q DICEN Q SI LO HARAN EN UN FUTURO MUY CERCANO*
Estos modelos se han entrenado con parte del contenido de Wikipedia, así que es capaz de producir resultados similares. Ciertamente se podría emplear para acceder a documentos locales y producir nuevos contenidos relacionados. Para la parte de generaciónd de imagenes y texto integrados, puedes probar soluciones como LocalAI.
Me parece que este es el mejor:
💥ollama run sammcj/smaug:72b-q4_k_m (consume mucha máquina , dicen que el que le puede plantar cara ChatGPT 3.5)
también descargue:
👀 ollama run sammcj/smaug-mixtral-v0.1:70b-q3_k_m (lentísimo)
👎ollama run Mistral (no sirve 💩)