네 그 영상도 만들려고 합니다. llama.cpp활용해서 가능한데 일단 윈도우에서 wsl2환경 구축후 리눅스 환경에서 허깅페이스 모델을 GGUF로 만들었어서 관련해서 준비중입니다! 아래 llama.cpp 먼저 참고해주세요 GitHub - ggerganov/llama.cpp: LLM inference in C/C++ - github.com/ggerganov/llama.cpp#prepare-and-quantize
@@HKCODE 알려주셔서 감사합니다! 질문 하나 더 드리고 싶은데 제가 모델 학습할 파일에서 inputs에 시간대 (예를 들면 5분단위로 분류, 2:05 2:10..)를 넣었는데 request로 질문을 던질 때 2시 7분이라면 라마3모델의 답변을 가져오기 전 분석하는 과정을 한번 거쳐야하나요?
안녕하세요. 질문 좀 드릴께요. Llama3 Instruct 에 보면, llama.meta.com/docs/model-cards-and-prompt-formats/meta-llama-3 system You are a helpful AI assistant for travel tips and recommendationsuser What can you help me with?assistant 이런식으로 프로프트 가이드가 되는데, 여기는 [INST]{prompt}[/INST]{답변} 이게 Llama2 형식으로 알고 있습니다. 질문은 ko모델 파인튜닝된 것 때문에 이렇게 하는지?
네 안녕하세요 실제 파인튜닝은 문제 답 형태로 포맷을 만들어서 진행하면 크게 문제는 없습니다! 실제 Meta에서 제공한 템플릿은 가이드가 되는거고요! 최근에는 제가 알파카 포맷으로 바꿔서 진행하고 있는데 아래 영상 참고 부탁드립니다! Alpaca 포맷은 명령어 기반의 데이터셋 형식으로, 명확하고 간결한 구조를 가지고 있습니다. 이러한 구조는 모델이 명령어와 그에 따른 응답을 쉽게 이해하고 학습할 수 있게 도와줍니다! colab.research.google.com/drive/1ufoWVRfdLO1JYuPeRA886XmAzUShqyZ8?usp=sharing
정리 너무 잘해주셔서 도움이 많이 됬습니다 감사해요 😊
많이 기다렸는데 감사합니다 ❤❤❤
파인튜닝 방법 찾고 있었는데 감사합니다!
안녕하세요! 영상 잘봤습니다. 제가 보유한 tItan xp로 파인튜닝을 진행해보려고하는데, Out of Memory가 발생합니다. Memory를 줄일 수 있는 스킬이 있을까요??
4비트 양자화 QLOra 부분에서 NVDIA 드라이버가 없다는 런타임에러가 뜨는데 이건 뭔가요..? 구글 코랩 GPU T4로 돌리는데 당황스럽네요
허깅페이스말고 로컬단에 있는 데이터셋을 학습시킬수도 있나요?
가능합니다. vo.la/EZJEN 들어가셔서 사본저장으로 사용하시면 제일 마지막 부분에 허깅페이스 통하지 않고 LOCAL로 바로 데이터셋 생성하는 부분 추가로 올려놨습니다.
안녕하세요 모델중에 instruct가 붙은게있고 안붙은게 있던데 두 모델은 파인튜닝 학습 방식이 다른가요?
질문과 지시에 더 특화되어 학습된 모델입니다. 향후 RAG와 연동시 그냥 광범위한 데이터를 기준으로 결과 도출시세는 일반모델! 질문 답지 형태라면 instruct모델이 더 잘 이해합니다!
안녕하세요 영상 감사합니다! 학습한 모델 저장 후에 추론할때 쓰는 코드는 어떻게 될까요?
라마2기준으로 올려둔건 아래링크인데
현재 이번주 주말 중 라마3버전 으로 영상 올릴 계획입니다!
czcams.com/video/Id_tTY8F25w/video.htmlfeature=shared
@@HKCODE 넵 감사합니다! 한가지 더 궁금한점이.. llama2 part4에서 데이터셋 만드는 방법 알려주셨는데, 데이터셋(정보)을 inst나 s 없이 혹시 뭉탱이로 다 넣는것도 가능한가요??
안녕하세요! 혹시 GGUF파일로 만드는 방법도 영상으로 만들어주실 수 있나요??
네 그 영상도 만들려고 합니다.
llama.cpp활용해서 가능한데 일단
윈도우에서 wsl2환경 구축후 리눅스 환경에서 허깅페이스 모델을 GGUF로 만들었어서 관련해서 준비중입니다!
아래 llama.cpp 먼저 참고해주세요
GitHub - ggerganov/llama.cpp: LLM inference in C/C++ - github.com/ggerganov/llama.cpp#prepare-and-quantize
이번 주말에 gguf도 일단 다뤄볼듯 합니다!
혹시 라마3와 안드로이드스튜디오를 연동할 수 있나요?
보통은 모델서빙을 통하여 안드로이드와 파이썬을 연동 시킵니다.
예를들어
안드로이드 스튜디오로 구현한코드가 서빙모델에 request로 질문을 던지면 응답으로 답변을 보내는거랑 같은 컨셉입니다!
간단한 요청 보내기 | Connectivity | Android Developers - developer.android.com/develop/connectivity/cronet/start?hl=ko
분석모델 서빙은 fastapi정도로만 해도 코어모델 불러와서 구현가능하고요
@@HKCODE 알려주셔서 감사합니다! 질문 하나 더 드리고 싶은데 제가 모델 학습할 파일에서 inputs에 시간대 (예를 들면 5분단위로 분류, 2:05 2:10..)를 넣었는데 request로 질문을 던질 때 2시 7분이라면 라마3모델의 답변을 가져오기 전 분석하는 과정을 한번 거쳐야하나요?
안녕하세요. 질문 좀 드릴께요.
Llama3 Instruct 에 보면, llama.meta.com/docs/model-cards-and-prompt-formats/meta-llama-3
system
You are a helpful AI assistant for travel tips and recommendationsuser
What can you help me with?assistant
이런식으로 프로프트 가이드가 되는데, 여기는
[INST]{prompt}[/INST]{답변}
이게 Llama2 형식으로 알고 있습니다.
질문은 ko모델 파인튜닝된 것 때문에 이렇게 하는지?
네 안녕하세요 실제 파인튜닝은 문제 답 형태로 포맷을 만들어서 진행하면 크게 문제는 없습니다!
실제 Meta에서 제공한 템플릿은 가이드가 되는거고요! 최근에는 제가 알파카 포맷으로 바꿔서 진행하고 있는데 아래 영상 참고 부탁드립니다!
Alpaca 포맷은 명령어 기반의 데이터셋 형식으로, 명확하고 간결한 구조를 가지고 있습니다. 이러한 구조는 모델이 명령어와 그에 따른 응답을 쉽게 이해하고 학습할 수 있게 도와줍니다!
colab.research.google.com/drive/1ufoWVRfdLO1JYuPeRA886XmAzUShqyZ8?usp=sharing
@@HKCODE 감사합니다
@@HKCODE 답변 감사합니다.