【 Ollama + Open webui 】 这应该是目前最有前途的大语言LLM模型的本地部署方法了。提升工作效率必备！| Llama2 | Gemma | Mistral
Vložit
- čas přidán 26. 07. 2024
- 【 Ollama + Open webui 】 这应该是目前最有前途的大语言LLM模型的本地部署方法了。提升工作效率必备！| Llama2 | Gemma | Mistral
在今天的视频中，我将演示如何在本地电脑部署市场上最强大的开源大语言模型-Llama 2, Gemma, mistral, 千问！从基础安装到高级应用，一步步教你如何在本地构建知识库并实现随时调用的AI助手。
🔥立即行动：
1. 订阅我的频道，开启通知铃铛，确保不错过任何更新。
2. 视频描述里有所有所需软件的下载链接，轻松跟上步骤！
👨💻视频包含：
- 如何安装和配置ollama等开源模型。
- 使用不同AI模型处理专业文档的实战演示。
- 如何为你的AI模型配置用户友好的界面。
- 开源模型与闭源模型（如ChatGPT和Kimi）的直接对比。
🤔如果你有任何关于视频的问题或需要帮助的地方，请在评论区留言，我会尽快回复你！
感谢观看，记得点赞和分享视频，让更多对AI技术感兴趣的朋友能够学习到这些知识！我们下期视频再见！
*************用到网站*******************
Ollama： ollama.com/
Open webui: github.com/open-webui/open-webui
Docker: www.docker.com/
**************时间轴******************
00:00 使用演示
01:55 ollama安装、优化和使用
04:11 open webui安装
05:45 使用演示2
07:54 闭源模型使用对比
#ollama #llama2 #LLM #大语言模型 #技术教程 #chatgpt #AI技术
感謝分享~~~希望這系列的分享能持續
非常感謝你的介紹，簡單明瞭，現在最大的問題就是顯示卡的顯存不足導致有很多大模型都無法本地運行，但是我相信並且希望未來應該要有辦法解決直接讓模型使用電腦的內存而不是用顯存，否則顯存一般無法讓user自己擴充，這就產生了一個很大的障礙
感谢分享！！
下模型的时候看一下模型大小，给20%左右的余量，大概就知道多大内存（显存）能跑了（如果没有桌面环境，用的linux的server系统，5~10%余量就可以）。只要模型能完整载入内存，就能跑，只是卡。如果模型能完整载入显存，那速度基本就不用担心了。
请问，这个方案如何能够调用给微信小程序的客服？有没有接口，希望得到您的支持
我觉得Chatollama比open-webui更加好用。
Open WebUI中加载模型时出现524错误
但 ollama 本地服务现在都不支持 tools calling
谢谢分享。
Web UI 成功下载后。报错( 如下)原因未知
(HTTP code 500) server error - Ports are not available: exposing port TCP 0.0.0.0:3000 -> 0.0.0.0:0: listen tcp 0.0.0.0:3000: bind: An attempt was made to access a socket in a way forbidden by its access permissions.
端口被占用 了 重新下载的时候 把端口号换了 在回车下载
1、无法锁定中文回复，要不断的给中文指令。2、有字符限制，超过了就给你发一堆的符号
可以用llama的中文微调模型
微调需要什么配置
@@shengliu3501 不用自己微调，ollama里面有中文的lamama模型
《简单礼貌的问候语》
'docker' 不是内部或外部命令，也不是可运行的程序
或批处理文件。这是怎么回事
1。检查docker 有没有加入环境变量2. 确保docker 进程有在运行
安装ollama后在cmd窗口输入“ollama”回车，显示“'OLLAMA' 不是内部或外部命令，也不是可运行的程序或批处理文件。”，请问如何解决？感谢指教！
应该是安装的时候没有添加到系统变量中
为什么之前下载了一个7b的千问模型，之后webui界面完成后又要下载模型 ，不能之前下好的吗
能用的，这个视频我用了两台电脑演示，所以后面的电脑又重新下载了一次模型
都是量化过的模型吗
我显卡是4070，下了一个lama3，为什么输入以后就回答不了呢
我看了一下运行模型的时候gpu没有被调用，这是怎么回事呀，求解答😅
@@user-uo1hp4xq4k他有个设置，叫gpu offload 你把那个勾选上，拉满就可以显卡跑了