Microsoft Phi-3 AI Model deploy in local pc @LM Studio，Support LLAMA3，API，similar to GPT 3.5，safe
Vložit
- čas přidán 28. 05. 2024
- Summary：
1. 1. Phi-3 Artificial Intelligence Small Language Model Introduction
2. LM Studio & Phi-3 Model Download and Installation Configuration
3. Running Phi-3 and Trying Phi-3 Chat bot
LM Studio download[441M]: lmstudio.ai/
Phi-3 download[2.2G]：huggingface.co/microsoft/Phi-...
Phi3 is very small, works on My test PC:
CPU: AMD Ryzen 7 5800H with Radeon Graphics 3.20 GHz
RAM: 16.0 GB
GPU: Integrated with cpu, AMD Radeon(TM) Graphics - Věda a technologie
您这边是什么配置的电脑？我这有台5800U的AMD小主机想拿来做测试，但不知道AMD的集成显卡在模型运行上能有什么样的效果
就是一个词一个词的出来，CPU，显卡实际占用也就30%多。视频下方放的有我的配置。
我的m1 16GB的运行很流畅哦，和使用chatgpt一样，感觉还流畅些
@@ttxiaohahareveal8268 我的m1芯片16gpu mac跑llam3可以，带phi mini好卡
@@ttxiaohahareveal8268 請問 m1 還是 m1 pro ?
有人提出下载太慢，我正在上传到百度网盘，稍后放出地址
试一下GPT4AII 应该不会这么卡。
有空试试
我现在也有一些优化的措施，我的电脑不用显卡速度更快，速度约3-9tokens/s
发现在预设preset中选择phi3，弹框中选择保持系统设置，回答能变快一些。
你的机器什么样的配置啊？显存有多少？能装下模型不
@@BKT-AIoT 老游戏本6G显存，可以装下2G的模型
LM Studio 里面已经有phi-3的模型了哦
这个和网络有关系，你用的透明梯，就应该可以看到。
很奇怪，说模型小，我的m芯片16gpu mac跑llam3可以，带phi mini好卡
前面有人说m1 16GB的运行很流畅。
最新一期视频有我提高运行速度的一些优化设置，看看是否对你有用。
看来博主也是在深圳
深圳+1
阿里云不支持gguf格式的分享哦，都已经上传完了😂
不知道阿里云为什么要做这种没有意义的限制。他限制格式，我就压缩再上传，这样就会存在多个不同压缩方式的文件，占用控件更大。还有百度云，竟然免费版的要限制不能大于4G，同样是没有意义的，我多卷压缩再上传就给他破掉了，而且占用他更多的磁盘空间。
打雷了？好大声音。
是的，近期豪雨
既然做自媒体，拾音设备弄好点嘛
刚开始，还没有专业设备。设备会改进的，感谢支持！
这个也不是本地吧
是在本地运行的。是不联网的。
作为中文模型使用，真的比较一般，不知道有没有训练过的中文版
你主要是处理哪方面的应用？
@@BKT-AIoT 主要是中文写作