대략 100만건을 파인튜닝 해봤는데, 생각보다 성능이... 답변이 이상한게 나오는건 넘어갈수 있는데 러시아어와 중국어가 계속 나오네요...흠.. 파라미터를 아무리 조정해도 소용이 없네요. 개인이 쓰기엔 데이터가 엄청 많거나, 다른 모델 쓰거나, 사전학습 가능한 모델을 쓰거나 해야 할듯하네요. 어렵네요.
안녕하세요 친절한 영상 잘봤습니다. 다만 조금 궁금한 점이있는데요, 1.자기만의 데이터로 파인튜닝을 한다면 데이터가 대략 몇세트가량 필요할까요? 2.데이터 생성은 따로 방법이나 가이드는 없고 사람이 직접 작성해야 하는건가요? 이정도가 궁금합니다. 답변해주시면 정말 감사하겠습니다!
chat gpt에 관심이 많아 공부 하고 있는데 빵형님 덕분에 chat gpt과 비슷한 모델을 찾아서 배우고 있습니다. 영상 다보고 여쭙고 싶은 내용이 생겼습니다. 파인튜닝한 Alphaca LoRA를 오직 Gradio에서만 사용 할 수 있는지 여쭙고 싶고, 만약 jupyter notebook에서 사용 가능 하다면 파인튜닝한 Alphaca LoRA를 어떻게 실행 하면 되는지 여쭙고 싶습니다. 감사합니다.
혹시 T4 수준의 VRAM 16GB으로 fine tuning 하실 때 para 튜닝은 어떻게 하셨는지 궁금합니다. 그리고 bitsandbytes는 bitsandbyte-windows lib로 교체하니 cuda 오류는 사라지나........... transformers에서 bitsandbytes-windows를 인식 못해서 오류 나더군요^^;;;
안녕하세요. 알파카 로라에 데이터셋을 직접 만들어서 그 데이터셋으로 파인튜닝을 하려고 하는데, finetuning.py를 돌리고 맨 마지막에 끝날때 쯤에, "safetensors_rust.SafetensorError: Error while deserializing header: InvalidHeaderDeserialization" 이런 에러가 뜨는데, 혹시 해결 방법을 아시나요?
안녕하세요. 다름이 아니라, 올려주신 영상 보고, 제가 만든 한글 데이터셋 50만개 정도로 학습을 해보았습니다. 1Epoch 학습을 해보았는데, Loss가 0.1 이하로 떨어지면서 학습이 되는 것처럼 보였으나, 막상 테스트를 해보니, 제대로 된 답변을 생성해주지 못하고, 엉뚱한 답변만 내뱉는 모델이 학습되었습니다. 다른 부분이라고는 제가 만든 학습 데이터밖에 없는데... 혹시 어느 부분에서 잘못된 건지 여쭤봐도 될까요? 감사한 마음 담아서 5천원 도네 했습니다.. 앞으로도 좋은 영상 잘 부탁드리겠습니다. 감사합니다.
chatGPT 사용자의 질문에 대답할 때 파인튜닝에서 학습된 문서를 참조해서 대답할 수 있게 만드는 겁니다. chatGPT를 학습시킨 데이터가 세상의 모든 문서를 포함하지 않으니까, 사용자가 임의로 참조할 문서를 학습시켜주면 사용자가 원하는 대답을 얻을 확률이 높아지는 거죠. 예를 들면 한국의 법이 담긴 문서를 chatGPT가 참조할 수 있도록 학습을 시키면 법률적인 질문을 했을 때 실제 법전에 담긴내용이 대답에 반영될 수가 있습니다.
당연히 일반적인 목적에서 gpt3.5를 뛰어넘을 수 있는 공개 언어모델은 없습니다. 근데 파인튜닝을 통해 특수한 기능을 구현하고자 한다면요? 이를테면 그림에 대한 묘사를 바탕으로 stable diffusion에서 사용할 프롬프트를 짜는 언어모델을 만들고자 한다고 생각해봅시다. "instruction": {그림에 대한 서술적 묘사}, "output": {해당하는 그림을 만들기 위한 프롬프트} 같은 데이터 천쌍으로 학습한다면, sd 프롬프트를 짜는 것 만큼은 gpt3.5-turbo보다 좋은 성능을 낼 수 있는것이죠. 가중치가 공개된 언어모델을 특수 영역에 특화되게 만든다면 잠재력은 정말 무궁무진합니다.
![[랭체인러닝데이] 개인 데이터셋을 통한 llama2 fine-tune](http://i.ytimg.com/vi/4I9AUFuBlFs/mqdefault.jpg)
![[랭체인러닝데이] 개인 데이터셋을 통한 llama2 fine-tune](/img/tr.png)
제가 요즘 강화학습을 공부중인데 빵형 강의가 너무 쉽고 귀에 쏙쏙 들어오는게 좋아서 강화학습 강의 영상 보고싶어요
1분 정도 영상 듣고 바로 구독했습니다. 특히 삽질하셨고 여러분의 시간을 아껴드리기....이 포인트...구독의 당연한 이유가 될거라고 봅니다. 아는 분들은 구독 하실거라고 봅니다. 앞으로도 좋은 영상 부탁드리고 다시 한번 감사합니다.
역시 빵형님 오늘 영상도 최고에요 진짜 chatgpt 만들있을것 같기도하네요 ㅎㅎ
와~ 감사합니다~ 설명도 엄청 쉽고 간결하게 잘 해주시네요. 언젠가 이 채널 빵 떠서 대박날 겁니다.
이 주제로 뭐 만들생각이였는데
찾는게 거의다 유료 api라서 포기했는데 감사합니다.
너무 잘봤어요 감사합니다
기다렸던 영상이네요. 감사합니다. ^^
❤감사합니다
도움이 많이 되었어요
감사합니다!!!
주말에도 쉼없는 탐구력에 박수를 보냅니다.
라마 모델의 파생형 정리 및 각 파생형의 현황. 문제점, 개선 방향, 개선 동향, 유저 평가 등을 정리해주시면 어떨까요. 또한 각 크기의 모델별 트레이닝에 필요한 스펙 및 그 스펙에 못미칠 경우의 대안 등...마지막으로 챗지피티 대비 장단점 까지...
대략 100만건을 파인튜닝 해봤는데, 생각보다 성능이...
답변이 이상한게 나오는건 넘어갈수 있는데 러시아어와 중국어가 계속 나오네요...흠..
파라미터를 아무리 조정해도 소용이 없네요.
개인이 쓰기엔 데이터가 엄청 많거나, 다른 모델 쓰거나, 사전학습 가능한 모델을 쓰거나 해야 할듯하네요. 어렵네요.
감사합니다
와 감사합니다..! 리눅스에서 해야하는단점이있지만 wsl로 구동해야겠네요 !
이제 로컬서버에서 프롬프트받아서 아웃풋을 던져주는 api만 만들면 자체 gpt챗봇앱을 만들수가있겠네요 ㅋ
저 버그는 정말 상상만 해도 아찔할 정도로 삽질할 수 밖에 없겠내요 ㄷㄷ
삽질공유 감사합니다 😢😢
안녕하세요 친절한 영상 잘봤습니다. 다만 조금 궁금한 점이있는데요,
1.자기만의 데이터로 파인튜닝을 한다면 데이터가 대략 몇세트가량 필요할까요?
2.데이터 생성은 따로 방법이나 가이드는 없고 사람이 직접 작성해야 하는건가요?
이정도가 궁금합니다. 답변해주시면 정말 감사하겠습니다!
bitsandbytes 윈도우에서 돌릴수 있는 방법은 있습니다. 윈도우용 dll로 컴파일한 버전이 깃헙에 있구요. 그걸로 소스코드 몇줄 수정하여 적용하면 윈도우에서 잘 돌아갑니다.
안녕하세요 혹시 bitsandbytes 윈도우에서 돌릴 수 있는 깃헙을 알 수 있을까요??
형 이거 코랩해서해봤는데 쿠다 메모리 부족뜨던데 어케 하셨나요
므찜므찜
chat gpt에 관심이 많아 공부 하고 있는데 빵형님 덕분에 chat gpt과 비슷한 모델을 찾아서 배우고 있습니다.
영상 다보고 여쭙고 싶은 내용이 생겼습니다.
파인튜닝한 Alphaca LoRA를 오직 Gradio에서만 사용 할 수 있는지 여쭙고 싶고,
만약 jupyter notebook에서 사용 가능 하다면 파인튜닝한 Alphaca LoRA를 어떻게 실행 하면 되는지 여쭙고 싶습니다. 감사합니다.
빵형 고마워요
고마워요!
유료사용자인 경우에도 15시간정도를 돌려야겠군요ㅎㅎ
이제는 AI영상들 챙겨보는것도 힘들정도로 뭐가 많이 나오네요.... 나는 이대로 도태되는것인가...
와우
Windows10 WSL(Ubuntu) RTX 3060(12GB) 3epochs Fine Tunning하는데;; 49시간 소요되네요..;; 허허
영상 너무 잘봤습니다. 감사합니다🙏🏻 궁금한 게 있는데 혹시 peft lora 학습 시에 설정하는 base model을 이미 lora finetuning으로 학습한 모델로 사용이 되긴 한가요? (예: beomi/KoAlpaca-13B-LoRA)
혹시 T4 수준의 VRAM 16GB으로 fine tuning 하실 때 para 튜닝은 어떻게 하셨는지 궁금합니다.
그리고 bitsandbytes는 bitsandbyte-windows lib로 교체하니 cuda 오류는 사라지나........... transformers에서 bitsandbytes-windows를 인식 못해서 오류 나더군요^^;;;
영상 잘봤습니다!
그런데 혹시 인퍼런스는 cpu로도 돌아갈까요?
만들어진 lora 파일을 ggml 모델로 변환하면 llama.cpp로도 돌릴 수 있다네요
저 영상대로 해서 나온 결과 그대로는 cpu로 잘 안돌아간다는거죠?
안녕하세요. 알파카 로라에 데이터셋을 직접 만들어서 그 데이터셋으로 파인튜닝을 하려고 하는데, finetuning.py를 돌리고 맨 마지막에 끝날때 쯤에, "safetensors_rust.SafetensorError: Error while deserializing header: InvalidHeaderDeserialization" 이런 에러가 뜨는데, 혹시 해결 방법을 아시나요?
안녕하세요. 아직 코드 리딩이 서툴러서 특정 내용을 찾지 못하고 있습니다. 혹시 Alphaca-lora의 경우 최대 몇단어까지 input로 넣고, output으로 낼 수 있을까요?
파인튠 10분컷!
runpod 사용법 알려주세요~
상업적인 용도로 사용도 가능한가요? 만약 사용가능하면 어떤 사용범위에 쓸수있을지도 궁금합니다. gpt api를 사용하는것보다 저렴하게 쓸수있을지 로컬에다가 쓸수있을지도 궁금해요
Llama 기반 모델은 상업사용 불가합니다
학습까지는 진행되는데 gradio실행에서 output부분이 아예 없네요. 해결법이 있을까요?
gradio에서 실행에서 터지는데 어쩔수 없는건가요??
리눅스에서만 가능하다는건가요...?
bitsandbytes가 윈도우에서 돌아가게 코드만 좀 바꿔주면
윈도우 환경에서도 학습이 가능해요
안녕하세요. 다름이 아니라, 올려주신 영상 보고, 제가 만든 한글 데이터셋 50만개 정도로 학습을 해보았습니다. 1Epoch 학습을 해보았는데, Loss가 0.1 이하로 떨어지면서 학습이 되는 것처럼 보였으나, 막상 테스트를 해보니, 제대로 된 답변을 생성해주지 못하고, 엉뚱한 답변만 내뱉는 모델이 학습되었습니다. 다른 부분이라고는 제가 만든 학습 데이터밖에 없는데... 혹시 어느 부분에서 잘못된 건지 여쭤봐도 될까요? 감사한 마음 담아서 5천원 도네 했습니다.. 앞으로도 좋은 영상 잘 부탁드리겠습니다. 감사합니다.
후원 감사합니다! 1에폭으로는 학습이 잘 안되는 것 같고 최소한 5에폭 이상 파인튜닝 해야하는 것 같습니다. 또한 현재 사용한 모델이 7B 모델이라 성능이 전반적으로 한국어 성능이 그리 좋지 않습니다 ㅠㅠ
@@bbanghyong 답변 감사합니다 :)
A6000 두장으로 학습하니 1epoch에 25시간 정도 걸리던데... 원래 이정도 시간이 소요되나요?
에폭이 무슨 말인가요?
재미잇는데요. 파인튜닝.
으앙ㅇㅇㅇ 코랩으로 Diff SVC 해주세요요요용ㅇ
넵 ㅎㅎ
@@bbanghyong 마침네..!
이걸로 뭘 할수 있는건가요?
그냥 챗지피티 쓰면되는거 아닙니까
진짜 몰라서 그러는데 설명좀요
챗지피티보다 좋게 만들수 있으면 해보고
싶네요
chatGPT 사용자의 질문에 대답할 때 파인튜닝에서 학습된 문서를 참조해서 대답할 수 있게 만드는 겁니다. chatGPT를 학습시킨 데이터가 세상의 모든 문서를 포함하지 않으니까, 사용자가 임의로 참조할 문서를 학습시켜주면 사용자가 원하는 대답을 얻을 확률이 높아지는 거죠.
예를 들면 한국의 법이 담긴 문서를 chatGPT가 참조할 수 있도록 학습을 시키면 법률적인 질문을 했을 때 실제 법전에 담긴내용이 대답에 반영될 수가 있습니다.
당연히 일반적인 목적에서 gpt3.5를 뛰어넘을 수 있는 공개 언어모델은 없습니다.
근데 파인튜닝을 통해 특수한 기능을 구현하고자 한다면요?
이를테면 그림에 대한 묘사를 바탕으로 stable diffusion에서 사용할 프롬프트를 짜는 언어모델을 만들고자 한다고 생각해봅시다.
"instruction": {그림에 대한 서술적 묘사},
"output": {해당하는 그림을 만들기 위한 프롬프트}
같은 데이터 천쌍으로 학습한다면, sd 프롬프트를 짜는 것 만큼은 gpt3.5-turbo보다 좋은 성능을 낼 수 있는것이죠.
가중치가 공개된 언어모델을 특수 영역에 특화되게 만든다면 잠재력은 정말 무궁무진합니다.
Chatgpt로 원하는대답 나올때까지 여러번 질문해야될때가 많습니다 도메인별로. 그게 힘든데 한번 두번 질문으로 원하는 답 내주게하는 싸움
감사합니다!