#llama3

📝 메뉴얼:
github.com/ted...
💻 코드:
github.com/ted...
📘 랭체인 튜토리얼 무료 전자책(wikidocs)
wikidocs.net/b...
✅ 랭체인 한국어 튜토리얼 코드저장소(GitHub)
github.com/ted...
⭐️ 강의 홍보 ⭐️
LangChain + ChatGPT + Streamlit 강의(VOD 강의)
아래에 사전 등록을 하시면 강의 오픈 후 알림을 발송해 드릴 예정이며, 할인 쿠폰도 같이 제공해 드립니다.
📍 LangChain + ChatGPT + Streamlit 강의 사전알림 신청 🙏🙏
링크: forms.gle/buoX...
#ollama #langchain
---
📘 랭체인 한국어 튜토리얼(무료 전자책): wikidocs.net/b...
📝 테디노트(깃헙 블로그) : teddylee777.gi...
💻 GitHub 소스코드 저장소: github.com/ted...
🍿 LLM 프로젝트: llm.teddynote.com

[@san1558]

최고입니다!! 좋은 강의 감사해요!

[@teddynote]

감사합니다 ☺️

[@user-lx6ql7rl6h]

회사에서 지원해주는 테디님 파이썬강의 듣고 입문했었는데.. 우연히 유튜브 알고리즘에 낯익은 목소리가 들려 테디님을 알아봤어요 ㅎㅎ
유튜브도 잘 보고 있어요 좋은 강의 감사해요😊😊😊❤❤❤

[@teddynote]

와~~~~우 반갑습니다😊 좋은 회사 다니시나봐요😉 시청해 주셔서 감사합니다🙏🙏

[@AssemMohamed-mz5rh]

감사합니다!! 최고입니다

[@teddynote]

감사합니다~🫡🫰🙏

[@changjunlee2759]

궁금하던차에 적기에 올려주셨어요. 감사합니다.

[@teddynote]

요즘 너무 빨리빨리 나와서 영상 만들기 힘듭니다😭😭😭😭😭

[@jaekwangkim613]

감사해요 도움 많이 되었습니다

[@teddynote]

감사합니다🙏🙏

[@acafe1030]

기다렸어요!

[@teddynote]

늦지 않게 들고 왔습니다~!

[@maverick456-33]

Mac에선 LM Studio가 UIDX적으로 요즘 가장 괜찮은것 같습니다.모델다운로드관리,채팅테스트모드,모델 로컬Server생성등등..

[@teddynote]

LM Studio 가 ChatGPT 인터페이스 비슷하게 잘 해주는 것 같습니다! ㅎㅎ

[@unhakim7415]

덕분에 Ollama에 대해서 알게 되었네요.

[@teddynote]

올라마 좋죠! 로컬 모델 한 전 다운 받아 돌려보세요 ㅎ

[@user-yj7cy2hu3p]

뭣도 모르고 70B설치했다가 램100%에 버벅이길래 찾아왔습니다. 정보 감사합니다..

[@teddynote]

감사합니다^^

[@roze4154]

감사함을 담아서 가입 했습니다

[@teddynote]

아이쿠~ 가입 감사합니다~ 🙌🙌🙌

[@nbright3700]

감사합니다. 잘 돕니다. 지난편에 RAG 에다가 적용해 봤는데, 문서를 안넣고 그냥 영문질문에는 답변을 잘하는데요, 영문 pdf 를 넣고 하면 예가 자꾸 "I'm here to help! What's on your mind? Do you have a specific question or topic you'd like to discuss?" 이렇게 대답합니다. 참고문헌을 표시해 봤더니 잘 찾는거는 같구요. 해결하고 싶네요. 70b 한글이 ollama로 나오면 좋겠습니다. 🤩🤩🤩

[@teddynote]

RAG 에 적요하는 모델의 입력으로 들어가는 context length 가 길어야 효과적입니다. context length 가 어느정도 되는 모델을 한 번 써보세요~^^

[@nbright3700]

@@teddynote 감사합니다. 다시 해보겠습니다.

[@KangSeungSig]

좋아요! 누르고 시청 합니다. ^^

[@teddynote]

감사합니다!! 🙌🙌🙌

[@Euni2345]

오늘 새벽에 나왔던데 빠르시군요!! ㅎㅎㅎ

[@teddynote]

트렌드에 올라 타야죠🤤

[@brain.trinity]

ㅋㅋㅋㅋ 성능 맘에 듭니다... 저도 오늘 아침에 바로 돌려봤어요

[@teddynote]

오우 빠르시네요 ㅎㅎ 저도 궁금한게 있는데요. 옵시디언 copilot 에 올라마 붙여서 사용하고 있는데요. vaultQA 답변 품질이 좀 아쉬운데 혹시 코드로 문서 검색하는 로직을 수정하는 것도 가능한가요?

[@brain.trinity]

@@teddynote 흠... 그건 플러그인 main.js 파일을 수정해야할 듯 한데요

[@teddynote]

@@brain.trinity 플러그인의 main.js 파일을 수정할 수 있나 보군요~ 감사합니다. 수정해서 커스텀해서 사용해 봐야겠네요! 답변 감사합니다!

[@RelaxingMusicForSleepChannel]

안녕하세요. 영상 잘 보았습니다.
질문이 있는데요, 해당 영상처럼 local 에 llama를 설치하고 사용하는것을
AWS EC2 환경에 적용하여, api형식으로 호출할 수 있을까요?
PDF파일을 업로드하여 학습시킨 뒤, 해당 내용에 대한 질의응답 챗봇을 만들려고 합니다.

[@teddynote]

네 가능합니다 ec2에 fast api 로 호출서버 올리시고요 로컬에서 ec2 의 api 호출하는 방식을 고려해 보실 수 있어요~

[@hyungsungshim5714]

감사합니닷!!

[@teddynote]

늘 응원해 주셔서 감사합니다!!

[@elfinxx]

좋아요!

[@teddynote]

🙌🙌🙌

[@seungpark2944]

Many Thanks

[@teddynote]

🙏🙏🙏

[@user-dx3wv3hp3l]

저는 RTX-4060 8GB GPU를 델 노트북에서 사용하고 있어요. ollama3 8b모델을 실행하고 prompt를 입력하자마자 GPU사용률이 99%가 되면서 작동하는 것이, GPU를 잘 사용하는 것 같긴합니다. 그런데 여기서 8GB 사이즈는 하드드라이브 사이즈일 뿐, GPU의 램 용량과는 관련이 없을 것 같은데요. 그러면 보통 8GB정도되는 8b모델은 GPU의 램이 얼마를 차지하는 거라고 계산? 찾아볼 수 있을까요?

[@teddynote]

8GB 가 4060 의 VRAM 용량을 의미하고요 하드드라이브 디스크 와는 따로 입니다. 정리하자면 Ollama 모델을 사용하여 추론할 때는 하드드라이브 디스크 공간을 사용하는 것이 아닌 GPU VRAM 메모리인 8GB 를 풀로 사용하여 추론하고 있다고 볼 수 있습니다. 얼마만큼의 VRAM 공간이 필요하느냐는 같은 8B 모델이더라도 양자화 수준에 따라 다를 수 있어요. Q4 냐 Q5냐 Q8이냐에 따라 다를 수 있습니다
아래에 공식에 넣고 계산하시면 필요한 VRAM 메모리가 나와요!
www.substratus.ai/blog/calculating-gpu-memory-for-llm

[@roze4154]

❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤

[@teddynote]

🙏✌️👌👋🙌

[@user-om5vy5pv2w]

좋은 영상 감사합니다~~ 영상을 보니 답변 속도가 상당히 빠른데 사양이 어떻게 되나요.?
제가 초보자인데~ CPU로는 이런속도가 안나오는거죠. ? GPU16G나 32G로 영상과 같은 속도가 나올까요? 어느정도 필요한지 감이 잘안와서요

[@teddynote]

저는 맥북프로를 사용하고 있어요~ CPU로는 어렵고요 NVidia 계열의 GPU를 권장합니다! 30xx 시리즈를 추천드려요~

[@user-xt6mr3kx5h]

감사합니다. 혹시 영상에서 사용된 컴퓨터 사양을 알수있을까요?

[@teddynote]

넵!
Apple M3 Max칩(16코어 CPU, 40코어 GPU, 16코어 Neural Engine)
64GB 통합 메모리
2TB SSD 저장 장치

[@dgl3283]

확실히 따로 파인튜닝 안한건 한국어 성능이 많이 떨어지네요.
제가 "한국어로 시를 써줘" 했더니 8b는 아예 안써지고 70b짜리는 하나 만드는데 30분 가까이 걸리네요.
GPT 3.5도 한국어로 시 쓰는데 얼마 안 걸리는걸로 아는데 메타에서 단언한만큼 멀티링규얼하지는 않은걸까요?

[@teddynote]

한국어 파인 튜닝 안된 날것의 모델은 "한국어로 시를 쓰는" 답변에 대한 품질이 떨어질 수 있습니다. 그래서 한국어 파인 튜닝된 모델로 테스트 해보시는 것을 권장 드립니다. 시간이 오래 걸리는 문제는 모델 사이즈가 큰 것도 문제지만 인프라와 관련이 있습니다. 시간의 문제와 품질의 문제는 별개로 놓고 답변 시간을 줄이려면 더 많은 GPU 자원을, 품질은 한국어 파인튜닝된 모델로 테스트해보시는 것을 추천 드립니다.

[@powerkkim]

궁금한내용이 있습니다. llama 사이트에 llama3모델이 있는데 굳이 허깅페이스의 gguf파일을 사용하는 이유가 있나요? 강의 당시 올라마에 모델이 등록 안되서 인가요?

[@teddynote]

올라마에 모든 모델이 업로드 되어 있는 것은 아니에요. 예를 들어 한국어 파인튜닝된 모델은 등록이 안되어 있죠. 올라마에는 등록이 안되어 있지만 허깅페이스 모델을 사용하고 싶을때 gguf 가져오셔서 로드하시면 됩니다~

[@sayhouu]

목소리 진짜 좋네

[@teddynote]

감사합니다😉

[@duchulyoun4757]

잘 보고 있습니다. 유용한 정보 감사드립니다.
한가지 질문 드립니다. ollama create 하고 run 되는 것 확인한 다음에, 다운받은 gguf 파일과 modelfile 파일을 삭제해도 되나요?

[@teddynote]

네 삭제하셔도 됩니다~

[@teddynote]

모델 파일을 올라마 저장소에 따로 저장하게 됩니다(숨김폴더 내)

[@duchulyoun4757]

@@teddynote 감사합니다. ^^

[@user-jc7en7fn3f]

70B 모델을 돌리기 위해서는 하드웨어 인프라가 어느 정도면 가능할까요?

[@teddynote]

양자화 모델은 A100으로도 돌릴 수 있다고 하더라구요~^^ 양자화 아닌 모델은 저도 돌려볼 생각조차 안해서 잘 모르겠습니다 ㅎㅎ

[@user-ft4zh7np9z]

4비트 양자화까지 내리면 4090 2GPU로 가능할겁니다

[@i_mou_to_chan]

안녕하세요. 이번에 라마3가 나오면서 그림도 그릴 수 있다고 들었는데, 그건 좀 다른건가요?

[@teddynote]

음~ 제가 사용한 llama3는 텍스트만 합니다~ 이미지 생성 모델이 따로 있는지는 모르겠어요~

[@jhc123]

첨부해주신 gguf 모델 다운로드 링크가 안들어가지는데 허깅페이스 자체에 지금 문제가 있는걸까요?..503
Hugging Face is currently experiencing infrastructure issues, we are working on it. 라고 뜨네요

[@jhc123]

다시 해보니까 들어가지네요

[@teddynote]

오늘 일시적 오류가 있었다고 하더라구요 ㅜ

[@mingyukang6592]

잘 몰라서 문의드립니다. 마지막의 코드 부분은 local 환경에서 돌리는 것인지요?

[@teddynote]

예 맞습니다 로컬 환경입니다~

[@user-bf8nq3xt7t]

영상 잘 봤습니다! 근데 한글을 위해 자동으로 번역기를 돌리는 시스템을 만들 수는 없을까요?

[@teddynote]

오우 충분히 가능합니다~^^ 번역은 이제 그렇게 어려운 task 가 아닌게 되었습니다!

[@user-bf8nq3xt7t]

@@teddynote 올려주신 올라마 파일같은 경우에는 이미 올라와 있는 정보들을 정리한 파일인가요? 아니면 직접 만드신건가요??

[@teddynote]

@@user-bf8nq3xt7t 업로드 되어 있는 파일을 내려받아 로드하였습니다. 직접 만드는 것도 가능해요!

[@Yanggyungsuneg]

LM_Studio에서 도 llama3 사용하는 거 좀 알려주세요. 설정하는 방법요.

[@teddynote]

czcams.com/video/bANQk--Maxs/video.html
이 영상을 참고해 주세요~
EEVE 모델 대신 Llama3 모델을 검색하여 다운로드 받아서 진행하시면 됩니다~

[@biggerthanseoul]

맥북에 설치해보려면 어느 정도 사양 이상이 좋은가요?

[@teddynote]

M1 이상이면 가능합니다!

[@teddynote]

양자화 모델은 Q4~ Q5 정도면 무난하게 돌아갑니다!

[@user-le8jx5mb6j]

똑같은 모델을 썼는데 왜 저는 이상한 답변이 뒷부분에 나올까요 ㅠㅠ GPU가 없어서 그럴 수도 있나요?
"You're asking about NewJeans!
NewJeans is a South Korean girl group
formed by ADOR (Ador Entertainment) in
2022. The group consists of five members:
Minji, Hanni, Danielle, Haerin, and Hyein.
NewJeans debuted on July 22, 2022, with
their single "Attention" and have since
released several successful singles and
(ADOR Entertainment)
New Je
Attention
Attention
Attention
Attention
Attention
Attention
Attention.

ADOR Entertainment ( Ador Entertainment) "

[@teddynote]

질문을 어떻게 하느냐에 따라 답변이 제대로 안나올 수도 있습니다. 그리고 또 중요한 것은 Template 입니다. 이 두가지가 보통은 중요한데, 그럼에도 양자화 모델은 제대로 안나올 수도 있습니다. 간혹 제대로 안나온다면 그건 모델의 문제일 수 있고요 매번 제대로 안나오면 템플릿 설정을 보시는 것이 좋습니다. GPU 와는 무관합니다

[@user-le8jx5mb6j]

@@teddynote 선생님이 올려주신 걸 그대로 따라했어요 질문도 똑같이 했어요 그런데도 결과가 다르게 나와서 당황스럽군요

[@sg1kim1]

안녕하세요? 좋은 영상 잘 보았습니다. 한가지.. GPU를 사용하지 않고 CPU를 사용하여 LLM이 돌아가는 것 같습니다. 속도도 너무 느리고, GPU도 사용이 안되고 CPU 가 사용이 되는데요.. 어떤 세팅을 해줘야 GPU를 사용할 수 있을까요?

[@teddynote]

GPU 사용할 때 엔비디아 계열 GPU 만 사용 가능합니다! 그리고 엔비디아 계열 GPU 가 있다면 CUDA 가 설치 되어 있어야 하구요! CUDA 설치가 복잡하긴 한데 구글 검색 해보시면 CUDA 설치 가이드 있는데요 한 번 따라해 보시고 잘 안되면 댓글 남겨주세요^^

[@heejuneAhn]

저는 GPU에서 잘 동작 합니다. RTX4090 8GB 먹네요. OLLAMA가 이제는 AMD GPU에서도 지원이 된다고 하는것 같구요.
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.171.04 Driver Version: 535.171.04 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 4090 Off | 00000000:01:00.0 Off | Off |
| 0% 42C P8 28W / 450W | 8901MiB / 24564MiB | 0% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1278 G /usr/lib/xorg/Xorg 56MiB |
| 0 N/A N/A 1616 G /usr/bin/gnome-shell 12MiB |
| 0 N/A N/A 81097 C ...unners/cuda_v11/ollama_llama_server 8816MiB |
+---------------------------------------------------------------------------------------+
(base) gpt@SeoulTech4090:~$

[@user-hn3kq5dq5t]

윈도우에서는 안 되는 건가요? 리눅스, MAC 에서만 되는 건지 확인 부탁드립니다.

[@teddynote]

윈도우도 됩니다~^^

[@user-hn3kq5dq5t]

​@@teddynote Modelfile: The system cannot find the file specified.
뭐가 잘못됬는지 모르겠네요.

[@user-rt5hu7zm2r]

영상 잘 봤습니다. 궁금해서 그러는데..
파운데이션 모델은 도대체 무엇인가요?
지금 llma3 8b로는 추론을 하신건가요?
그리고 왜 챗 GPT4가 비싼가요? 비싸지만 사용하는 이유는 정확성이 높아서 인가요?

[@teddynote]

파운데이션 모델은 기틀이 되는 모델이고 방대한 데이터셋을 학습한 모델입니다. 파운데이션 모델은 사용자가 원하는 용도나 목적에 맞게 비로소 미세 조정되거나, 문맥 내 학습 등과 같은 과정을 거치게 됩니다. Llama3 8B 로 추론했습니다.
GPT4 가 성능이 좋은 것은 사실입니다. 그래서 비싼 과금을 받을 수도 있는 것이고요. 만약 성능이 좋지 못하면 굳이 비싼 돈을 내면서 사용할 이유가 없겠죠. 성능 외에도 호스팅하지 않고 API 방식으로 언제 어디서나 손쉽게 호출할 수 있다는 장점도 있습니다.

[@user-rt5hu7zm2r]

@@teddynote 답변감사합니다.

[@user-pc1dx9td3d]

형님 이모델로 gpt api처럼 function call 가능할까요?

[@teddynote]

아쉽게도 그건 ❌ 안됩니다😭

[@mingyukang6592]

@@teddynote 궁금해서 그러는데, 왜 안되는건가요? Llama3가 기능을 제공하지 않는건가요? 아니면 7B 모델에서는 안되는 건가요?

[@teddynote]

@@mingyukang6592 80B 모델에서는 될 수 있도록 외장 라이브러리를 설치하여 진행할 수 있다고 합니다. 저희가 활용하는 8B에서는 아직 지원을 안하는 것 같아요. 추후에는 지원할 수도 있어보입니다~

[@teddynote]

제가 잘못된 정보를 드린 것 같아. 정정 댓글 남깁니다.. 저도 궁금하여 찾아보니 8B 모델도 Agent 를 만든 사례가 있습니다. openai_functions 로 래핑하여 호출 하더라고요~ 관련 영상 링크도 같이 첨부해 놓겠습니다. 혼란을 드려 죄송합니다.
czcams.com/video/p5O-_AiKD_Q/video.html

[@sdfasdfsdfds]

혹시 4070ti 8gb인데 로컬구동될까요?

[@teddynote]

네 가능할 것 같은데요~ 혹시 Q8 이 안될 것 같으면 Q5나 Q4 모델로 선택하시면 충분히 가능할 것 같아요~

[@sdfasdfsdfds]

@@teddynote 답변 감사합니다 내일 한번 도전해봐야겠네요 ㅎㅎ

[@sdfasdfsdfds]

@@teddynote 라마3와 랭체인을 이용한 프로덕트를 만들수도 있을거 같은데 테디노트님께서 랭체인 위키독스를 제공해주시더라고요. openai기준으로 만드신거같은데 라마3도 비슷하게 적용할 수 있을까요?

[@teddynote]

@@sdfasdfsdfds 기 작성된 코드에 llm 부분만 변경하면 손쉽게 적용 가능합니다~

[@user-cf9zi2gp2s]

뭐가 먼지 하나도 안되네요...ㅠㅠ

[@user-cf9zi2gp2s]

Error: pull model manifest: file does not exist 에러가 뜨는데 어떻게 해야될까요??

[@teddynote]

어떤 부분이 안되세요?

[@user-cf9zi2gp2s]

​@@teddynote 처음하니 많이 어렵네요 ^^ 여기 영상의 11분까지는 처음부터 다시 하라는데로 해서 되었습니다 12분에 나오는 example 폴더의 올라마테스트 파일을 메모장으로 열었는데요 12:00분 이후에 하시는 것들을 할수가 없더라구요
제 그래픽카드가 rx5700xt인데 ai용 그래픽카드로 엔비디아 vs 라데온 중에 어떤거 추천하시나요??

[@teddynote]

@@user-cf9zi2gp2s AI 용 그래픽카드는 선택의 여지가 없습니다 ㅜ NVidia 계열 그래픽 카드 외에는 동작하지 않는다고 생각하시면 됩니다. 따라서 구매를 하신다면 무조건 NVidia 계열의 그래픽을 구매하셔야 합니다. RTX 30xx, VRAM 크면 클수록 좋습니다. 돈 더 여유되시면 A100 이라는 옵션도 있어요!

[@user-cf9zi2gp2s]

@@teddynote 컴퓨터 조립과 게임만 할줄 아는데 최근에 ai쪽에 관심이 생기더라구요 그래픽카드는 엔비디아로 알아봐야겠습니다 알려주셔서 감사합니다