파트 1은 LLM 앱들을 만들때 사용되는 기본적인 설계 구조에 대해서 먼저 설명을 해드립니다! 이 내용이 포함되어야만 실제 모델 테스트를 할때 좀 더 잘 이해하실 수 있을 것 같아서 두 파트로 나눴습니다. 실제 Llama3와 Phi 3 모델 성능 비교는 다음 영상에서 하겠습니다! 감사합니다 :)
한번 알아보고 말씀드리겠습니다! 저도 요즘 하드웨어에 관심이 많아서 보고 있는 중이에요 🤔 일단 70b 사용하시려면 140GB disk space와 160GB VRAM이 필요하다고 하네요..GPU를 여러개 사용하셔야할 것 같은데 다른 분들은 AWS에서 192GB VRAM(8 x A10 GPUs)을 대여하는 방법을 보통 추천하고 있는 것 같습니다..!
파트 1은 LLM 앱들을 만들때 사용되는 기본적인 설계 구조에 대해서 먼저 설명을 해드립니다! 이 내용이 포함되어야만 실제 모델 테스트를 할때 좀 더 잘 이해하실 수 있을 것 같아서 두 파트로 나눴습니다.
실제 Llama3와 Phi 3 모델 성능 비교는 다음 영상에서 하겠습니다! 감사합니다 :)
늦은 시각에 잘 봤습니다.
Llama3 vs. Phi3 ... Meta vs. MS... 비교도 기대 됩니다.. 😊
감사합니다.
오늘도 좋은 정보 공유해주셔서 감사합니다~~!!
Phi 3 논문: (핸드폰에서 로컬로 돌린 방법 후기) arxiv.org/pdf/2404.14219
진짜 너무 유용한 정보 감사합니다.
좋은 영상 감사합니다. 예뻐요~
멋진 정보 감사합니다 :)
잘 봤습니다. 좋은 정보 감사합니다.
질문이 하나 있는데 코드 상으로 보면 청킹된 원본 text와 임베딩된 벡터 정보가 모두 벡터 DB에 저장되는 것 같은데 맞나요?
llama3 70b 모델 사용하는데 개인적으로 추천하시는 하드웨어 조합 있으실까요?
한번 알아보고 말씀드리겠습니다! 저도 요즘 하드웨어에 관심이 많아서 보고 있는 중이에요 🤔
일단 70b 사용하시려면 140GB disk space와 160GB VRAM이 필요하다고 하네요..GPU를 여러개 사용하셔야할 것 같은데 다른 분들은 AWS에서 192GB VRAM(8 x A10 GPUs)을 대여하는 방법을 보통 추천하고 있는 것 같습니다..!
저는.... Nvidia RTX A6000 48GB 검토하고 있습니다.
2개월 째 총알 만들고 있습니다. ㅠㅠ
@@10xaiclub 4-bit 양자화 모델도 40GB라 못해도 48GB는 필요하겠더라구요..ㅋㅋ
8 x A10 고려해볼게요 감사합니다 :)
음성이 너무 작아요 ㅠ
죄송합니다ㅠㅠ 소리 조금만 키워주실 수 있다면 감사하겠습니다!