本地跑大模型，需要什么配置
Vložit
- čas přidán 1. 04. 2024
- 1、在本地跑开源大模型，有什么好处？2、PC入门配置、理想配置推荐。
⭐️ 视频中提到的产品 / 项目 👇
➡︎ Ollama: ollama.com/
➡︎ Anything LLM: useanything.com/
⭐️ 更多相关视频 👇
➡︎ Ollama + Hugging Face: • Ollama + Hugging Face：...
➡︎ Ollama + Anything LLM: • 部署本地大模型和知识库，最简单的方法
➡︎ Ollama + ngrok: • 本地知识库，外网也可以访问
===========================
加入付费社群，提问 / 交流
===========================
🔥 知识星球：t.zsxq.com/19IaNz5wK
===========================
墙内用户来微信平台来找我
===========================
⚡️ 视频号：黄益贺
⚡️ 公众号：newtype 超级个体
===========================
我的理念 + 我想干什么
===========================
🤖️ 我坚定认为：1、AI是我们这代人一生一遇级别的机会。2、内容和代码是这个时代最重要的杠杆，大过资本和人力。
💥 通过分享关于AI的Why和How，通过内容和社群，聚集像我一样希望成为【超级个体】的人。 - Věda a technologie
Patreon已上线，欢迎加入：www.patreon.com/newtype_ai
newtype是我创建的社群。之前开通了知识星球，面向国内小伙伴，已经运营三个月。现在有了Patreon，海外的小伙伴也可以加入讨论了。
我分享一下我在公司工作站上的配置, Xeon W 2123, AMD 7900XT, 64GB DRAM, 跑llama 2-chinese 13B int8是完全沒有問題的, 7900XT的VRAM夠大, 可以把整個模型都塞進GPU, 再搭配LM Studio的伺服器功能, 可以架一個LLM給四五個部門同事同時使用, 非常順暢. 我目前正在考慮改用Int 8的7B版本, 把一些VRAM騰出來給SD用.
但我說句老實話, 我目前不推薦使用AMD的GPU, 因為開源LLM如果沒有微調, 生成品質是沒辦法跟chatgpt相比的. 但微調這件事, 目前在A家平台上, 只能使用ubuntu linux, windows還不支援.
amd能跑大模型吗。。。好像没见过欸。
这期一录完，我就下单了两根16G DDR4 3200内存条，明早到。可以跑更大的模型了。达芬奇也应该会更流畅。
去年內存便宜的時候買了八根16g的ddr4 3200 ecc，在epyc7402上組八通道，整機價格還不到五千人民幣
你好我想問MacBook 18G m3pro 可以跑嗎 我想訓練一個很小的語言大模型
可以 m芯片的內存是可以當顯存用的
你这应该叫小模型，不叫什么大模型，就像马斯克上次发布的大模型，硬件就至少需要8块h100显卡，才能跑的动。
🙃
你说的训练，博主说的推理，不是同一个阶段
想看主題的話由 3:00 開始看就可以了 😃
请教 4060 ti 16gb 会比3060 12gb 更推荐吗？还是没必要，如果不能一步到位4090，就干脆还是3060 12gb ？ 主要是针对音频生成的模型
肯定优先40系显卡。内存32G吧，不贵
@@huanyihe777 谢谢回复！可能没说清楚，是4060 ti vram 16gb版本和3060 vram 12gb版本，不是内存大小
4060 16G@@raze0ver
感谢😄内存够了，显存就。。。。哎~
换显卡吧😅
@@huanyihe777 4060ti16显存，您觉得怎么样，用来跑本地大语言模型
@@huanyihe777笔记本可以换显卡吗
@@youtube-user-offical 有可插拔独立显卡的可以换显卡，但即便是这样，也不代表所有人的这种独立显卡都可以换，那种显卡有半高的和标准全高的，半高的显卡如果显存是最高容量了，那么就没法换了，全高的显卡还有升级的可能。通常使用全高的独立显卡的这种笔记本电脑是17寸的笔记本，这种笔记本基本上都是工作站电脑，用的人较少，对于15寸或者14寸的笔记本电脑显卡插槽基本上装不上全高的那种显卡，因为显卡占的面积太大。笔记本还可以使用外置显卡，可以通过雷电接口或者Expresscard扩展外置显卡。
@@CreativeEnglishTeaching 谢谢，很专业
感谢分享！非常有帮助！
请问哪一款开源大模型比3.5好
比如，Alpaca，斯坦福大学基于LLaMA 7B模型微调出的新模型。还有那些MoE的，都很强
MBP M2 MAX 96G内存8T配置能跑吗
可以
@@huanyihe777 明天试一试
游戏笔记本部署有什么推荐的
就照着配置推荐买咯
請問OS是應該windows 還是Linux？
都行吧，我是用Win10
m40 12gb現在能跑啥
不了解
mac用的unified memory，那应该多少才够？
我没关注Mac。因为我的Macbook Pro还是2017年的，反正怎么着都跑不了。等M4出了，我要换机了再看了。Mac统一内存看起来很大，但具体怎么分配，搞不清楚。还有苹果版CUDA，不知道会怎么发展。等看今年WWDC会有什么消息。
64 起步 128G 稳定 196最好
主要我无法忍受比gpt4弱智的大模型了，所以还是要长期续费GPTplus，局域网做一个企业知识库的话，普通大模型应该就可以了
可以混合使用。比如，像Anything LLM这种软件支持多种大模型聚合。把API Key填进去，需要用的时候随时切换。
共享显存可以吗
我没试过，应该可以。GPU不是必须的，但最好有
个人玩票的配置
有生产力的
准备组3090 x 2 nvlink的我点进来看 发现我是不是在overkill😂
是overkill了...XD
@@Trevor0713 3090 x 2应该可以跑llama 2 65b @ 4bit precision
现在缺冷头 nvlink的间距风冷是塞不下的（笑
你倒是跑来看看啊
4090起步，有条件买几块H100也行
請問如何在本地訓練自己的AI
微调，挺麻烦的，成本高，成功率不高。还是用rag吧