#llama3
Vloลพit
- ฤas pลidรกn 26. 08. 2024
- ๐ ๋ฉ๋ด์ผ:
github.com/ted...
๐ป ์ฝ๋:
github.com/ted...
๐ ๋ญ์ฒด์ธ ํํ ๋ฆฌ์ผ ๋ฌด๋ฃ ์ ์์ฑ (wikidocs)
wikidocs.net/b...
โ ๋ญ์ฒด์ธ ํ๊ตญ์ด ํํ ๋ฆฌ์ผ ์ฝ๋์ ์ฅ์(GitHub)
github.com/ted...
โญ๏ธ ๊ฐ์ ํ๋ณด โญ๏ธ
LangChain + ChatGPT + Streamlit ๊ฐ์(VOD ๊ฐ์)
์๋์ ์ฌ์ ๋ฑ๋ก์ ํ์๋ฉด ๊ฐ์ ์คํ ํ ์๋ฆผ์ ๋ฐ์กํด ๋๋ฆด ์์ ์ด๋ฉฐ, ํ ์ธ ์ฟ ํฐ๋ ๊ฐ์ด ์ ๊ณตํด ๋๋ฆฝ๋๋ค.
๐ LangChain + ChatGPT + Streamlit ๊ฐ์ ์ฌ์ ์๋ฆผ ์ ์ฒญ ๐๐
๋งํฌ: forms.gle/buoX...
#ollama #langchain
---
๐ ๋ญ์ฒด์ธ ํ๊ตญ์ด ํํ ๋ฆฌ์ผ(๋ฌด๋ฃ ์ ์์ฑ ): wikidocs.net/b...
๐ ํ ๋๋ ธํธ(๊นํ ๋ธ๋ก๊ทธ) : teddylee777.gi...
๐ป GitHub ์์ค์ฝ๋ ์ ์ฅ์: github.com/ted...
๐ฟ LLM ํ๋ก์ ํธ: llm.teddynote.com
์ต๊ณ ์ ๋๋ค!! ์ข์ ๊ฐ์ ๊ฐ์ฌํด์!
๊ฐ์ฌํฉ๋๋ค โบ๏ธ
ํ์ฌ์์ ์ง์ํด์ฃผ๋ ํ ๋๋ ํ์ด์ฌ๊ฐ์ ๋ฃ๊ณ ์ ๋ฌธํ์๋๋ฐ.. ์ฐ์ฐํ ์ ํ๋ธ ์๊ณ ๋ฆฌ์ฆ์ ๋ฏ์ต์ ๋ชฉ์๋ฆฌ๊ฐ ๋ค๋ ค ํ ๋๋์ ์์๋ดค์ด์ ใ ใ
์ ํ๋ธ๋ ์ ๋ณด๊ณ ์์ด์ ์ข์ ๊ฐ์ ๊ฐ์ฌํด์๐๐๐โคโคโค
์~~~~์ฐ ๋ฐ๊ฐ์ต๋๋ค๐ ์ข์ ํ์ฌ ๋ค๋์๋๋ด์๐ ์์ฒญํด ์ฃผ์ ์ ๊ฐ์ฌํฉ๋๋ค๐๐
๊ฐ์ฌํฉ๋๋ค!! ์ต๊ณ ์ ๋๋ค
๊ฐ์ฌํฉ๋๋ค~๐ซก๐ซฐ๐
๊ถ๊ธํ๋์ฐจ์ ์ ๊ธฐ์ ์ฌ๋ ค์ฃผ์ จ์ด์. ๊ฐ์ฌํฉ๋๋ค.
์์ฆ ๋๋ฌด ๋นจ๋ฆฌ๋นจ๋ฆฌ ๋์์ ์์ ๋ง๋ค๊ธฐ ํ๋ญ๋๋ค๐ญ๐ญ๐ญ๐ญ๐ญ
๊ฐ์ฌํด์ ๋์ ๋ง์ด ๋์์ต๋๋ค
๊ฐ์ฌํฉ๋๋ค๐๐
๊ธฐ๋ค๋ ธ์ด์!
๋ฆ์ง ์๊ฒ ๋ค๊ณ ์์ต๋๋ค~!
Mac์์ LM Studio๊ฐ UIDX์ ์ผ๋ก ์์ฆ ๊ฐ์ฅ ๊ด์ฐฎ์๊ฒ ๊ฐ์ต๋๋ค.๋ชจ๋ธ๋ค์ด๋ก๋๊ด๋ฆฌ,์ฑํ ํ ์คํธ๋ชจ๋,๋ชจ๋ธ ๋ก์ปฌServer์์ฑ๋ฑ๋ฑ..
LM Studio ๊ฐ ChatGPT ์ธํฐํ์ด์ค ๋น์ทํ๊ฒ ์ ํด์ฃผ๋ ๊ฒ ๊ฐ์ต๋๋ค! ใ ใ
๋๋ถ์ Ollama์ ๋ํด์ ์๊ฒ ๋์๋ค์.
์ฌ๋ผ๋ง ์ข์ฃ ! ๋ก์ปฌ ๋ชจ๋ธ ํ ์ ๋ค์ด ๋ฐ์ ๋๋ ค๋ณด์ธ์ ใ
๋ญฃ๋ ๋ชจ๋ฅด๊ณ 70B์ค์นํ๋ค๊ฐ ๋จ100%์ ๋ฒ๋ฒ ์ด๊ธธ๋ ์ฐพ์์์ต๋๋ค. ์ ๋ณด ๊ฐ์ฌํฉ๋๋ค..
๊ฐ์ฌํฉ๋๋ค^^
๊ฐ์ฌํจ์ ๋ด์์ ๊ฐ์ ํ์ต๋๋ค
์์ด์ฟ ~ ๊ฐ์ ๊ฐ์ฌํฉ๋๋ค~ ๐๐๐
๊ฐ์ฌํฉ๋๋ค. ์ ๋๋๋ค. ์ง๋ํธ์ RAG ์๋ค๊ฐ ์ ์ฉํด ๋ดค๋๋ฐ, ๋ฌธ์๋ฅผ ์๋ฃ๊ณ ๊ทธ๋ฅ ์๋ฌธ์ง๋ฌธ์๋ ๋ต๋ณ์ ์ํ๋๋ฐ์, ์๋ฌธ pdf ๋ฅผ ๋ฃ๊ณ ํ๋ฉด ์๊ฐ ์๊พธ "I'm here to help! What's on your mind? Do you have a specific question or topic you'd like to discuss?" ์ด๋ ๊ฒ ๋๋ตํฉ๋๋ค. ์ฐธ๊ณ ๋ฌธํ์ ํ์ํด ๋ดค๋๋ ์ ์ฐพ๋๊ฑฐ๋ ๊ฐ๊ตฌ์. ํด๊ฒฐํ๊ณ ์ถ๋ค์. 70b ํ๊ธ์ด ollama๋ก ๋์ค๋ฉด ์ข๊ฒ ์ต๋๋ค. ๐คฉ๐คฉ๐คฉ
RAG ์ ์ ์ํ๋ ๋ชจ๋ธ์ ์ ๋ ฅ์ผ๋ก ๋ค์ด๊ฐ๋ context length ๊ฐ ๊ธธ์ด์ผ ํจ๊ณผ์ ์ ๋๋ค. context length ๊ฐ ์ด๋์ ๋ ๋๋ ๋ชจ๋ธ์ ํ ๋ฒ ์จ๋ณด์ธ์~^^
@@teddynote ๊ฐ์ฌํฉ๋๋ค. ๋ค์ ํด๋ณด๊ฒ ์ต๋๋ค.
์ข์์! ๋๋ฅด๊ณ ์์ฒญ ํฉ๋๋ค. ^^
๊ฐ์ฌํฉ๋๋ค!! ๐๐๐
์ค๋ ์๋ฒฝ์ ๋์๋๋ฐ ๋น ๋ฅด์๊ตฐ์!! ใ ใ ใ
ํธ๋ ๋์ ์ฌ๋ผ ํ์ผ์ฃ ๐คค
ใ ใ ใ ใ ์ฑ๋ฅ ๋ง์ ๋ญ๋๋ค... ์ ๋ ์ค๋ ์์นจ์ ๋ฐ๋ก ๋๋ ค๋ดค์ด์
์ค์ฐ ๋น ๋ฅด์๋ค์ ใ ใ ์ ๋ ๊ถ๊ธํ๊ฒ ์๋๋ฐ์. ์ต์๋์ธ copilot ์ ์ฌ๋ผ๋ง ๋ถ์ฌ์ ์ฌ์ฉํ๊ณ ์๋๋ฐ์. vaultQA ๋ต๋ณ ํ์ง์ด ์ข ์์ฌ์ด๋ฐ ํน์ ์ฝ๋๋ก ๋ฌธ์ ๊ฒ์ํ๋ ๋ก์ง์ ์์ ํ๋ ๊ฒ๋ ๊ฐ๋ฅํ๊ฐ์?
@@teddynote ํ ... ๊ทธ๊ฑด ํ๋ฌ๊ทธ์ธ main.js ํ์ผ์ ์์ ํด์ผํ ๋ฏ ํ๋ฐ์
@@brain.trinity ํ๋ฌ๊ทธ์ธ์ main.js ํ์ผ์ ์์ ํ ์ ์๋ ๋ณด๊ตฐ์~ ๊ฐ์ฌํฉ๋๋ค. ์์ ํด์ ์ปค์คํ ํด์ ์ฌ์ฉํด ๋ด์ผ๊ฒ ๋ค์! ๋ต๋ณ ๊ฐ์ฌํฉ๋๋ค!
์๋ ํ์ธ์. ์์ ์ ๋ณด์์ต๋๋ค.
์ง๋ฌธ์ด ์๋๋ฐ์, ํด๋น ์์์ฒ๋ผ local ์ llama๋ฅผ ์ค์นํ๊ณ ์ฌ์ฉํ๋๊ฒ์
AWS EC2 ํ๊ฒฝ์ ์ ์ฉํ์ฌ, apiํ์์ผ๋ก ํธ์ถํ ์ ์์๊น์?
PDFํ์ผ์ ์ ๋ก๋ํ์ฌ ํ์ต์ํจ ๋ค, ํด๋น ๋ด์ฉ์ ๋ํ ์ง์์๋ต ์ฑ๋ด์ ๋ง๋ค๋ ค๊ณ ํฉ๋๋ค.
๋ค ๊ฐ๋ฅํฉ๋๋ค ec2์ fast api ๋ก ํธ์ถ์๋ฒ ์ฌ๋ฆฌ์๊ณ ์ ๋ก์ปฌ์์ ec2 ์ api ํธ์ถํ๋ ๋ฐฉ์์ ๊ณ ๋ คํด ๋ณด์ค ์ ์์ด์~
๊ฐ์ฌํฉ๋๋ท!!
๋ ์์ํด ์ฃผ์ ์ ๊ฐ์ฌํฉ๋๋ค!!
์ข์์!
๐๐๐
Many Thanks
๐๐๐
์ ๋ RTX-4060 8GB GPU๋ฅผ ๋ธ ๋ ธํธ๋ถ์์ ์ฌ์ฉํ๊ณ ์์ด์. ollama3 8b๋ชจ๋ธ์ ์คํํ๊ณ prompt๋ฅผ ์ ๋ ฅํ์๋ง์ GPU์ฌ์ฉ๋ฅ ์ด 99%๊ฐ ๋๋ฉด์ ์๋ํ๋ ๊ฒ์ด, GPU๋ฅผ ์ ์ฌ์ฉํ๋ ๊ฒ ๊ฐ๊ธดํฉ๋๋ค. ๊ทธ๋ฐ๋ฐ ์ฌ๊ธฐ์ 8GB ์ฌ์ด์ฆ๋ ํ๋๋๋ผ์ด๋ธ ์ฌ์ด์ฆ์ผ ๋ฟ, GPU์ ๋จ ์ฉ๋๊ณผ๋ ๊ด๋ จ์ด ์์ ๊ฒ ๊ฐ์๋ฐ์. ๊ทธ๋ฌ๋ฉด ๋ณดํต 8GB์ ๋๋๋ 8b๋ชจ๋ธ์ GPU์ ๋จ์ด ์ผ๋ง๋ฅผ ์ฐจ์งํ๋ ๊ฑฐ๋ผ๊ณ ๊ณ์ฐ? ์ฐพ์๋ณผ ์ ์์๊น์?
8GB ๊ฐ 4060 ์ VRAM ์ฉ๋์ ์๋ฏธํ๊ณ ์ ํ๋๋๋ผ์ด๋ธ ๋์คํฌ ์๋ ๋ฐ๋ก ์ ๋๋ค. ์ ๋ฆฌํ์๋ฉด Ollama ๋ชจ๋ธ์ ์ฌ์ฉํ์ฌ ์ถ๋ก ํ ๋๋ ํ๋๋๋ผ์ด๋ธ ๋์คํฌ ๊ณต๊ฐ์ ์ฌ์ฉํ๋ ๊ฒ์ด ์๋ GPU VRAM ๋ฉ๋ชจ๋ฆฌ์ธ 8GB ๋ฅผ ํ๋ก ์ฌ์ฉํ์ฌ ์ถ๋ก ํ๊ณ ์๋ค๊ณ ๋ณผ ์ ์์ต๋๋ค. ์ผ๋ง๋งํผ์ VRAM ๊ณต๊ฐ์ด ํ์ํ๋๋๋ ๊ฐ์ 8B ๋ชจ๋ธ์ด๋๋ผ๋ ์์ํ ์์ค์ ๋ฐ๋ผ ๋ค๋ฅผ ์ ์์ด์. Q4 ๋ Q5๋ Q8์ด๋์ ๋ฐ๋ผ ๋ค๋ฅผ ์ ์์ต๋๋ค
์๋์ ๊ณต์์ ๋ฃ๊ณ ๊ณ์ฐํ์๋ฉด ํ์ํ VRAM ๋ฉ๋ชจ๋ฆฌ๊ฐ ๋์์!
www.substratus.ai/blog/calculating-gpu-memory-for-llm
โคโคโคโคโคโคโคโคโคโคโคโคโคโคโคโค
๐โ๏ธ๐๐๐
์ข์ ์์ ๊ฐ์ฌํฉ๋๋ค~~ ์์์ ๋ณด๋ ๋ต๋ณ ์๋๊ฐ ์๋นํ ๋น ๋ฅธ๋ฐ ์ฌ์์ด ์ด๋ป๊ฒ ๋๋์.?
์ ๊ฐ ์ด๋ณด์์ธ๋ฐ~ CPU๋ก๋ ์ด๋ฐ์๋๊ฐ ์๋์ค๋๊ฑฐ์ฃ . ? GPU16G๋ 32G๋ก ์์๊ณผ ๊ฐ์ ์๋๊ฐ ๋์ฌ๊น์? ์ด๋์ ๋ ํ์ํ์ง ๊ฐ์ด ์์์์์
์ ๋ ๋งฅ๋ถํ๋ก๋ฅผ ์ฌ์ฉํ๊ณ ์์ด์~ CPU๋ก๋ ์ด๋ ต๊ณ ์ NVidia ๊ณ์ด์ GPU๋ฅผ ๊ถ์ฅํฉ๋๋ค! 30xx ์๋ฆฌ์ฆ๋ฅผ ์ถ์ฒ๋๋ ค์~
๊ฐ์ฌํฉ๋๋ค. ํน์ ์์์์ ์ฌ์ฉ๋ ์ปดํจํฐ ์ฌ์์ ์์์์๊น์?
๋ต!
Apple M3 Max์นฉ(16์ฝ์ด CPU, 40์ฝ์ด GPU, 16์ฝ์ด Neural Engine)
64GB ํตํฉ ๋ฉ๋ชจ๋ฆฌ
2TB SSD ์ ์ฅ ์ฅ์น
ํ์คํ ๋ฐ๋ก ํ์ธํ๋ ์ํ๊ฑด ํ๊ตญ์ด ์ฑ๋ฅ์ด ๋ง์ด ๋จ์ด์ง๋ค์.
์ ๊ฐ "ํ๊ตญ์ด๋ก ์๋ฅผ ์จ์ค" ํ๋๋ 8b๋ ์์ ์์จ์ง๊ณ 70b์ง๋ฆฌ๋ ํ๋ ๋ง๋๋๋ฐ 30๋ถ ๊ฐ๊น์ด ๊ฑธ๋ฆฌ๋ค์.
GPT 3.5๋ ํ๊ตญ์ด๋ก ์ ์ฐ๋๋ฐ ์ผ๋ง ์ ๊ฑธ๋ฆฌ๋๊ฑธ๋ก ์๋๋ฐ ๋ฉํ์์ ๋จ์ธํ๋งํผ ๋ฉํฐ๋ง๊ท์ผํ์ง๋ ์์๊ฑธ๊น์?
ํ๊ตญ์ด ํ์ธ ํ๋ ์๋ ๋ ๊ฒ์ ๋ชจ๋ธ์ "ํ๊ตญ์ด๋ก ์๋ฅผ ์ฐ๋" ๋ต๋ณ์ ๋ํ ํ์ง์ด ๋จ์ด์ง ์ ์์ต๋๋ค. ๊ทธ๋์ ํ๊ตญ์ด ํ์ธ ํ๋๋ ๋ชจ๋ธ๋ก ํ ์คํธ ํด๋ณด์๋ ๊ฒ์ ๊ถ์ฅ ๋๋ฆฝ๋๋ค. ์๊ฐ์ด ์ค๋ ๊ฑธ๋ฆฌ๋ ๋ฌธ์ ๋ ๋ชจ๋ธ ์ฌ์ด์ฆ๊ฐ ํฐ ๊ฒ๋ ๋ฌธ์ ์ง๋ง ์ธํ๋ผ์ ๊ด๋ จ์ด ์์ต๋๋ค. ์๊ฐ์ ๋ฌธ์ ์ ํ์ง์ ๋ฌธ์ ๋ ๋ณ๊ฐ๋ก ๋๊ณ ๋ต๋ณ ์๊ฐ์ ์ค์ด๋ ค๋ฉด ๋ ๋ง์ GPU ์์์, ํ์ง์ ํ๊ตญ์ด ํ์ธํ๋๋ ๋ชจ๋ธ๋ก ํ ์คํธํด๋ณด์๋ ๊ฒ์ ์ถ์ฒ ๋๋ฆฝ๋๋ค.
๊ถ๊ธํ๋ด์ฉ์ด ์์ต๋๋ค. llama ์ฌ์ดํธ์ llama3๋ชจ๋ธ์ด ์๋๋ฐ ๊ตณ์ด ํ๊น ํ์ด์ค์ ggufํ์ผ์ ์ฌ์ฉํ๋ ์ด์ ๊ฐ ์๋์? ๊ฐ์ ๋น์ ์ฌ๋ผ๋ง์ ๋ชจ๋ธ์ด ๋ฑ๋ก ์๋์ ์ธ๊ฐ์?
์ฌ๋ผ๋ง์ ๋ชจ๋ ๋ชจ๋ธ์ด ์ ๋ก๋ ๋์ด ์๋ ๊ฒ์ ์๋์์. ์๋ฅผ ๋ค์ด ํ๊ตญ์ด ํ์ธํ๋๋ ๋ชจ๋ธ์ ๋ฑ๋ก์ด ์๋์ด ์์ฃ . ์ฌ๋ผ๋ง์๋ ๋ฑ๋ก์ด ์๋์ด ์์ง๋ง ํ๊น ํ์ด์ค ๋ชจ๋ธ์ ์ฌ์ฉํ๊ณ ์ถ์๋ gguf ๊ฐ์ ธ์ค์ ์ ๋ก๋ํ์๋ฉด ๋ฉ๋๋ค~
๋ชฉ์๋ฆฌ ์ง์ง ์ข๋ค
๊ฐ์ฌํฉ๋๋ค๐
์ ๋ณด๊ณ ์์ต๋๋ค. ์ ์ฉํ ์ ๋ณด ๊ฐ์ฌ๋๋ฆฝ๋๋ค.
ํ๊ฐ์ง ์ง๋ฌธ ๋๋ฆฝ๋๋ค. ollama create ํ๊ณ run ๋๋ ๊ฒ ํ์ธํ ๋ค์์, ๋ค์ด๋ฐ์ gguf ํ์ผ๊ณผ modelfile ํ์ผ์ ์ญ์ ํด๋ ๋๋์?
๋ค ์ญ์ ํ์ ๋ ๋ฉ๋๋ค~
๋ชจ๋ธ ํ์ผ์ ์ฌ๋ผ๋ง ์ ์ฅ์์ ๋ฐ๋ก ์ ์ฅํ๊ฒ ๋ฉ๋๋ค(์จ๊นํด๋ ๋ด)
@@teddynote ๊ฐ์ฌํฉ๋๋ค. ^^
70B ๋ชจ๋ธ์ ๋๋ฆฌ๊ธฐ ์ํด์๋ ํ๋์จ์ด ์ธํ๋ผ๊ฐ ์ด๋ ์ ๋๋ฉด ๊ฐ๋ฅํ ๊น์?
์์ํ ๋ชจ๋ธ์ A100์ผ๋ก๋ ๋๋ฆด ์ ์๋ค๊ณ ํ๋๋ผ๊ตฌ์~^^ ์์ํ ์๋ ๋ชจ๋ธ์ ์ ๋ ๋๋ ค๋ณผ ์๊ฐ์กฐ์ฐจ ์ํด์ ์ ๋ชจ๋ฅด๊ฒ ์ต๋๋ค ใ ใ
4๋นํธ ์์ํ๊น์ง ๋ด๋ฆฌ๋ฉด 4090 2GPU๋ก ๊ฐ๋ฅํ ๊ฒ๋๋ค
์๋ ํ์ธ์. ์ด๋ฒ์ ๋ผ๋ง3๊ฐ ๋์ค๋ฉด์ ๊ทธ๋ฆผ๋ ๊ทธ๋ฆด ์ ์๋ค๊ณ ๋ค์๋๋ฐ, ๊ทธ๊ฑด ์ข ๋ค๋ฅธ๊ฑด๊ฐ์?
์~ ์ ๊ฐ ์ฌ์ฉํ llama3๋ ํ ์คํธ๋ง ํฉ๋๋ค~ ์ด๋ฏธ์ง ์์ฑ ๋ชจ๋ธ์ด ๋ฐ๋ก ์๋์ง๋ ๋ชจ๋ฅด๊ฒ ์ด์~
์ฒจ๋ถํด์ฃผ์ gguf ๋ชจ๋ธ ๋ค์ด๋ก๋ ๋งํฌ๊ฐ ์๋ค์ด๊ฐ์ง๋๋ฐ ํ๊น ํ์ด์ค ์์ฒด์ ์ง๊ธ ๋ฌธ์ ๊ฐ ์๋๊ฑธ๊น์?..503
Hugging Face is currently experiencing infrastructure issues, we are working on it. ๋ผ๊ณ ๋จ๋ค์
๋ค์ ํด๋ณด๋๊น ๋ค์ด๊ฐ์ง๋ค์
์ค๋ ์ผ์์ ์ค๋ฅ๊ฐ ์์๋ค๊ณ ํ๋๋ผ๊ตฌ์ ใ
์ ๋ชฐ๋ผ์ ๋ฌธ์๋๋ฆฝ๋๋ค. ๋ง์ง๋ง์ ์ฝ๋ ๋ถ๋ถ์ local ํ๊ฒฝ์์ ๋๋ฆฌ๋ ๊ฒ์ธ์ง์?
์ ๋ง์ต๋๋ค ๋ก์ปฌ ํ๊ฒฝ์ ๋๋ค~
์์ ์ ๋ดค์ต๋๋ค! ๊ทผ๋ฐ ํ๊ธ์ ์ํด ์๋์ผ๋ก ๋ฒ์ญ๊ธฐ๋ฅผ ๋๋ฆฌ๋ ์์คํ ์ ๋ง๋ค ์๋ ์์๊น์?
์ค์ฐ ์ถฉ๋ถํ ๊ฐ๋ฅํฉ๋๋ค~^^ ๋ฒ์ญ์ ์ด์ ๊ทธ๋ ๊ฒ ์ด๋ ค์ด task ๊ฐ ์๋๊ฒ ๋์์ต๋๋ค!
@@teddynote ์ฌ๋ ค์ฃผ์ ์ฌ๋ผ๋ง ํ์ผ๊ฐ์ ๊ฒฝ์ฐ์๋ ์ด๋ฏธ ์ฌ๋ผ์ ์๋ ์ ๋ณด๋ค์ ์ ๋ฆฌํ ํ์ผ์ธ๊ฐ์? ์๋๋ฉด ์ง์ ๋ง๋์ ๊ฑด๊ฐ์??
@@user-bf8nq3xt7t ์ ๋ก๋ ๋์ด ์๋ ํ์ผ์ ๋ด๋ ค๋ฐ์ ๋ก๋ํ์์ต๋๋ค. ์ง์ ๋ง๋๋ ๊ฒ๋ ๊ฐ๋ฅํด์!
LM_Studio์์ ๋ llama3 ์ฌ์ฉํ๋ ๊ฑฐ ์ข ์๋ ค์ฃผ์ธ์. ์ค์ ํ๋ ๋ฐฉ๋ฒ์.
czcams.com/video/bANQk--Maxs/video.html
์ด ์์์ ์ฐธ๊ณ ํด ์ฃผ์ธ์~
EEVE ๋ชจ๋ธ ๋์ Llama3 ๋ชจ๋ธ์ ๊ฒ์ํ์ฌ ๋ค์ด๋ก๋ ๋ฐ์์ ์งํํ์๋ฉด ๋ฉ๋๋ค~
๋งฅ๋ถ์ ์ค์นํด๋ณด๋ ค๋ฉด ์ด๋ ์ ๋ ์ฌ์ ์ด์์ด ์ข์๊ฐ์?
M1 ์ด์์ด๋ฉด ๊ฐ๋ฅํฉ๋๋ค!
์์ํ ๋ชจ๋ธ์ Q4~ Q5 ์ ๋๋ฉด ๋ฌด๋ํ๊ฒ ๋์๊ฐ๋๋ค!
๋๊ฐ์ ๋ชจ๋ธ์ ์ผ๋๋ฐ ์ ์ ๋ ์ด์ํ ๋ต๋ณ์ด ๋ท๋ถ๋ถ์ ๋์ฌ๊น์ ใ ใ GPU๊ฐ ์์ด์ ๊ทธ๋ด ์๋ ์๋์?
"You're asking about NewJeans!
NewJeans is a South Korean girl group
formed by ADOR (Ador Entertainment) in
2022. The group consists of five members:
Minji, Hanni, Danielle, Haerin, and Hyein.
NewJeans debuted on July 22, 2022, with
their single "Attention" and have since
released several successful singles and
(ADOR Entertainment)
New Je
Attention
Attention
Attention
Attention
Attention
Attention
Attention.
ADOR Entertainment ( Ador Entertainment) "
์ง๋ฌธ์ ์ด๋ป๊ฒ ํ๋๋์ ๋ฐ๋ผ ๋ต๋ณ์ด ์ ๋๋ก ์๋์ฌ ์๋ ์์ต๋๋ค. ๊ทธ๋ฆฌ๊ณ ๋ ์ค์ํ ๊ฒ์ Template ์ ๋๋ค. ์ด ๋๊ฐ์ง๊ฐ ๋ณดํต์ ์ค์ํ๋ฐ, ๊ทธ๋ผ์๋ ์์ํ ๋ชจ๋ธ์ ์ ๋๋ก ์๋์ฌ ์๋ ์์ต๋๋ค. ๊ฐํน ์ ๋๋ก ์๋์จ๋ค๋ฉด ๊ทธ๊ฑด ๋ชจ๋ธ์ ๋ฌธ์ ์ผ ์ ์๊ณ ์ ๋งค๋ฒ ์ ๋๋ก ์๋์ค๋ฉด ํ ํ๋ฆฟ ์ค์ ์ ๋ณด์๋ ๊ฒ์ด ์ข์ต๋๋ค. GPU ์๋ ๋ฌด๊ดํฉ๋๋ค
@@teddynote ์ ์๋์ด ์ฌ๋ ค์ฃผ์ ๊ฑธ ๊ทธ๋๋ก ๋ฐ๋ผํ์ด์ ์ง๋ฌธ๋ ๋๊ฐ์ด ํ์ด์ ๊ทธ๋ฐ๋ฐ๋ ๊ฒฐ๊ณผ๊ฐ ๋ค๋ฅด๊ฒ ๋์์ ๋นํฉ์ค๋ฝ๊ตฐ์
์๋ ํ์ธ์? ์ข์ ์์ ์ ๋ณด์์ต๋๋ค. ํ๊ฐ์ง.. GPU๋ฅผ ์ฌ์ฉํ์ง ์๊ณ CPU๋ฅผ ์ฌ์ฉํ์ฌ LLM์ด ๋์๊ฐ๋ ๊ฒ ๊ฐ์ต๋๋ค. ์๋๋ ๋๋ฌด ๋๋ฆฌ๊ณ , GPU๋ ์ฌ์ฉ์ด ์๋๊ณ CPU ๊ฐ ์ฌ์ฉ์ด ๋๋๋ฐ์.. ์ด๋ค ์ธํ ์ ํด์ค์ผ GPU๋ฅผ ์ฌ์ฉํ ์ ์์๊น์?
GPU ์ฌ์ฉํ ๋ ์๋น๋์ ๊ณ์ด GPU ๋ง ์ฌ์ฉ ๊ฐ๋ฅํฉ๋๋ค! ๊ทธ๋ฆฌ๊ณ ์๋น๋์ ๊ณ์ด GPU ๊ฐ ์๋ค๋ฉด CUDA ๊ฐ ์ค์น ๋์ด ์์ด์ผ ํ๊ตฌ์! CUDA ์ค์น๊ฐ ๋ณต์กํ๊ธด ํ๋ฐ ๊ตฌ๊ธ ๊ฒ์ ํด๋ณด์๋ฉด CUDA ์ค์น ๊ฐ์ด๋ ์๋๋ฐ์ ํ ๋ฒ ๋ฐ๋ผํด ๋ณด์๊ณ ์ ์๋๋ฉด ๋๊ธ ๋จ๊ฒจ์ฃผ์ธ์^^
์ ๋ GPU์์ ์ ๋์ ํฉ๋๋ค. RTX4090 8GB ๋จน๋ค์. OLLAMA๊ฐ ์ด์ ๋ AMD GPU์์๋ ์ง์์ด ๋๋ค๊ณ ํ๋๊ฒ ๊ฐ๊ตฌ์.
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.171.04 Driver Version: 535.171.04 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 4090 Off | 00000000:01:00.0 Off | Off |
| 0% 42C P8 28W / 450W | 8901MiB / 24564MiB | 0% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1278 G /usr/lib/xorg/Xorg 56MiB |
| 0 N/A N/A 1616 G /usr/bin/gnome-shell 12MiB |
| 0 N/A N/A 81097 C ...unners/cuda_v11/ollama_llama_server 8816MiB |
+---------------------------------------------------------------------------------------+
(base) gpt@SeoulTech4090:~$
์๋์ฐ์์๋ ์ ๋๋ ๊ฑด๊ฐ์? ๋ฆฌ๋ ์ค, MAC ์์๋ง ๋๋ ๊ฑด์ง ํ์ธ ๋ถํ๋๋ฆฝ๋๋ค.
์๋์ฐ๋ ๋ฉ๋๋ค~^^
โ@@teddynote Modelfile: The system cannot find the file specified.
๋ญ๊ฐ ์๋ชป๋ฌ๋์ง ๋ชจ๋ฅด๊ฒ ๋ค์.
์์ ์ ๋ดค์ต๋๋ค. ๊ถ๊ธํด์ ๊ทธ๋ฌ๋๋ฐ..
ํ์ด๋ฐ์ด์ ๋ชจ๋ธ์ ๋๋์ฒด ๋ฌด์์ธ๊ฐ์?
์ง๊ธ llma3 8b๋ก๋ ์ถ๋ก ์ ํ์ ๊ฑด๊ฐ์?
๊ทธ๋ฆฌ๊ณ ์ ์ฑ GPT4๊ฐ ๋น์ผ๊ฐ์? ๋น์ธ์ง๋ง ์ฌ์ฉํ๋ ์ด์ ๋ ์ ํ์ฑ์ด ๋์์ ์ธ๊ฐ์?
ํ์ด๋ฐ์ด์ ๋ชจ๋ธ์ ๊ธฐํ์ด ๋๋ ๋ชจ๋ธ์ด๊ณ ๋ฐฉ๋ํ ๋ฐ์ดํฐ์ ์ ํ์ตํ ๋ชจ๋ธ์ ๋๋ค. ํ์ด๋ฐ์ด์ ๋ชจ๋ธ์ ์ฌ์ฉ์๊ฐ ์ํ๋ ์ฉ๋๋ ๋ชฉ์ ์ ๋ง๊ฒ ๋น๋ก์ ๋ฏธ์ธ ์กฐ์ ๋๊ฑฐ๋, ๋ฌธ๋งฅ ๋ด ํ์ต ๋ฑ๊ณผ ๊ฐ์ ๊ณผ์ ์ ๊ฑฐ์น๊ฒ ๋ฉ๋๋ค. Llama3 8B ๋ก ์ถ๋ก ํ์ต๋๋ค.
GPT4 ๊ฐ ์ฑ๋ฅ์ด ์ข์ ๊ฒ์ ์ฌ์ค์ ๋๋ค. ๊ทธ๋์ ๋น์ผ ๊ณผ๊ธ์ ๋ฐ์ ์๋ ์๋ ๊ฒ์ด๊ณ ์. ๋ง์ฝ ์ฑ๋ฅ์ด ์ข์ง ๋ชปํ๋ฉด ๊ตณ์ด ๋น์ผ ๋์ ๋ด๋ฉด์ ์ฌ์ฉํ ์ด์ ๊ฐ ์๊ฒ ์ฃ . ์ฑ๋ฅ ์ธ์๋ ํธ์คํ ํ์ง ์๊ณ API ๋ฐฉ์์ผ๋ก ์ธ์ ์ด๋์๋ ์์ฝ๊ฒ ํธ์ถํ ์ ์๋ค๋ ์ฅ์ ๋ ์์ต๋๋ค.
@@teddynote ๋ต๋ณ๊ฐ์ฌํฉ๋๋ค.
ํ๋ ์ด๋ชจ๋ธ๋ก gpt api์ฒ๋ผ function call ๊ฐ๋ฅํ ๊น์?
์์ฝ๊ฒ๋ ๊ทธ๊ฑด โ ์๋ฉ๋๋ค๐ญ
@@teddynote ๊ถ๊ธํด์ ๊ทธ๋ฌ๋๋ฐ, ์ ์๋๋๊ฑด๊ฐ์? Llama3๊ฐ ๊ธฐ๋ฅ์ ์ ๊ณตํ์ง ์๋๊ฑด๊ฐ์? ์๋๋ฉด 7B ๋ชจ๋ธ์์๋ ์๋๋ ๊ฑด๊ฐ์?
@@mingyukang6592 80B ๋ชจ๋ธ์์๋ ๋ ์ ์๋๋ก ์ธ์ฅ ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ์ค์นํ์ฌ ์งํํ ์ ์๋ค๊ณ ํฉ๋๋ค. ์ ํฌ๊ฐ ํ์ฉํ๋ 8B์์๋ ์์ง ์ง์์ ์ํ๋ ๊ฒ ๊ฐ์์. ์ถํ์๋ ์ง์ํ ์๋ ์์ด๋ณด์ ๋๋ค~
์ ๊ฐ ์๋ชป๋ ์ ๋ณด๋ฅผ ๋๋ฆฐ ๊ฒ ๊ฐ์. ์ ์ ๋๊ธ ๋จ๊น๋๋ค.. ์ ๋ ๊ถ๊ธํ์ฌ ์ฐพ์๋ณด๋ 8B ๋ชจ๋ธ๋ Agent ๋ฅผ ๋ง๋ ์ฌ๋ก๊ฐ ์์ต๋๋ค. openai_functions ๋ก ๋ํํ์ฌ ํธ์ถ ํ๋๋ผ๊ณ ์~ ๊ด๋ จ ์์ ๋งํฌ๋ ๊ฐ์ด ์ฒจ๋ถํด ๋๊ฒ ์ต๋๋ค. ํผ๋์ ๋๋ ค ์ฃ์กํฉ๋๋ค.
czcams.com/video/p5O-_AiKD_Q/video.html
ํน์ 4070ti 8gb์ธ๋ฐ ๋ก์ปฌ๊ตฌ๋๋ ๊น์?
๋ค ๊ฐ๋ฅํ ๊ฒ ๊ฐ์๋ฐ์~ ํน์ Q8 ์ด ์๋ ๊ฒ ๊ฐ์ผ๋ฉด Q5๋ Q4 ๋ชจ๋ธ๋ก ์ ํํ์๋ฉด ์ถฉ๋ถํ ๊ฐ๋ฅํ ๊ฒ ๊ฐ์์~
@@teddynote ๋ต๋ณ ๊ฐ์ฌํฉ๋๋ค ๋ด์ผ ํ๋ฒ ๋์ ํด๋ด์ผ๊ฒ ๋ค์ ใ ใ
@@teddynote ๋ผ๋ง3์ ๋ญ์ฒด์ธ์ ์ด์ฉํ ํ๋ก๋ํธ๋ฅผ ๋ง๋ค์๋ ์์๊ฑฐ ๊ฐ์๋ฐ ํ ๋๋ ธํธ๋๊ป์ ๋ญ์ฒด์ธ ์ํค๋ ์ค๋ฅผ ์ ๊ณตํด์ฃผ์๋๋ผ๊ณ ์. openai๊ธฐ์ค์ผ๋ก ๋ง๋์ ๊ฑฐ๊ฐ์๋ฐ ๋ผ๋ง3๋ ๋น์ทํ๊ฒ ์ ์ฉํ ์ ์์๊น์?
@@sdfasdfsdfds ๊ธฐ ์์ฑ๋ ์ฝ๋์ llm ๋ถ๋ถ๋ง ๋ณ๊ฒฝํ๋ฉด ์์ฝ๊ฒ ์ ์ฉ ๊ฐ๋ฅํฉ๋๋ค~
๋ญ๊ฐ ๋จผ์ง ํ๋๋ ์๋๋ค์...ใ ใ
Error: pull model manifest: file does not exist ์๋ฌ๊ฐ ๋จ๋๋ฐ ์ด๋ป๊ฒ ํด์ผ๋ ๊น์??
์ด๋ค ๋ถ๋ถ์ด ์๋์ธ์?
โ@@teddynote ์ฒ์ํ๋ ๋ง์ด ์ด๋ ต๋ค์ ^^ ์ฌ๊ธฐ ์์์ 11๋ถ๊น์ง๋ ์ฒ์๋ถํฐ ๋ค์ ํ๋ผ๋๋ฐ๋ก ํด์ ๋์์ต๋๋ค 12๋ถ์ ๋์ค๋ example ํด๋์ ์ฌ๋ผ๋งํ ์คํธ ํ์ผ์ ๋ฉ๋ชจ์ฅ์ผ๋ก ์ด์๋๋ฐ์ 12:00๋ถ ์ดํ์ ํ์๋ ๊ฒ๋ค์ ํ ์๊ฐ ์๋๋ผ๊ตฌ์
์ ๊ทธ๋ํฝ์นด๋๊ฐ rx5700xt์ธ๋ฐ ai์ฉ ๊ทธ๋ํฝ์นด๋๋ก ์๋น๋์ vs ๋ผ๋ฐ์จ ์ค์ ์ด๋ค๊ฑฐ ์ถ์ฒํ์๋์??
@@user-cf9zi2gp2s AI ์ฉ ๊ทธ๋ํฝ์นด๋๋ ์ ํ์ ์ฌ์ง๊ฐ ์์ต๋๋ค ใ NVidia ๊ณ์ด ๊ทธ๋ํฝ ์นด๋ ์ธ์๋ ๋์ํ์ง ์๋๋ค๊ณ ์๊ฐํ์๋ฉด ๋ฉ๋๋ค. ๋ฐ๋ผ์ ๊ตฌ๋งค๋ฅผ ํ์ ๋ค๋ฉด ๋ฌด์กฐ๊ฑด NVidia ๊ณ์ด์ ๊ทธ๋ํฝ์ ๊ตฌ๋งคํ์ ์ผ ํฉ๋๋ค. RTX 30xx, VRAM ํฌ๋ฉด ํด์๋ก ์ข์ต๋๋ค. ๋ ๋ ์ฌ์ ๋์๋ฉด A100 ์ด๋ผ๋ ์ต์ ๋ ์์ด์!
@@teddynote ์ปดํจํฐ ์กฐ๋ฆฝ๊ณผ ๊ฒ์๋ง ํ ์ค ์๋๋ฐ ์ต๊ทผ์ ai์ชฝ์ ๊ด์ฌ์ด ์๊ธฐ๋๋ผ๊ตฌ์ ๊ทธ๋ํฝ์นด๋๋ ์๋น๋์๋ก ์์๋ด์ผ๊ฒ ์ต๋๋ค ์๋ ค์ฃผ์ ์ ๊ฐ์ฌํฉ๋๋ค