LLM이 생성한 답변을 어떻게 신뢰할 수 있을까? | Upstage Part 3
Vložit
- čas přidán 16. 07. 2024
- ✨Upstage와 함께하는 세번째 Solar LLM 강의 영상입니다.
Upstage는 국내 최대 규모의 AI 모델을 만들고 있는 기업으로, 영어뿐만 아니라 한국어 및 일본어에 특화된 솔라 LLM으로 GPT-3.5를 능가하고 GPT-4와 경쟁하고 있는 LLM 모델입니다.
이번 영상에서는 LLM이 생성한 답변의 신뢰도를 체킹하는 Groundedness check 기능에 대해 설명합니다.
코드 깃헙 링크: github.com/cailynyongyong/sol...
00:00 인트로
00:33 Groundedness Check 개념 설명
02:30 예제 코드 설명
06:58 챗봇 UI 소개
08:12 코드 설명
Upstage website: www.upstage.ai/
Upstage 개발 문서: developers.upstage.ai/docs/ge... - Věda a technologie
코드 깃헙 링크: github.com/cailynyongyong/solar-llm/blob/master/groundness.py
더운날 좋은 영상 올려주셔서 감사합니다 ^_^/
I sincerely hope it reaches 100,000 to 1 million soon. 고맙습니다.
설명 정말 잘하십니다! 늘 감사해요!!
이분 강의 가 최고인듯!! 감사합니다
RAG 에 사용하면 답변의 링크를 들어가지 않고, 정답여부 확인이 가능하겠네요. 좋은기능 소개 감사합니다~~
좋은 영상 잘 봤습니다. 도움이 많이 됩니다. 한가지 궁금한게 있는데요,
설명과 코드에 따르면 user query와 llm answer의 신뢰성을 비교하는데요, rag에서 이 답변을 신뢰할 수있는지 보려면, 검색된 단락( retrived doc)과 사용자 질문이 븥여진 프롬프트와 llm answer를 grounded checker에 넣어서 비교해야하지는 않은가요?
고맙습니다 좋은 하루되세요
좋은 지적 감사합니다! 맞습니다 더 제대로 체킹하려면 검색된 context 부분을 함께 groundedness checker 함수 안에 변수로 넣어줘야 합니다. 코드 다시 업데이트해서 github.com/cailynyongyong/solar-llm/blob/master/groundness.py 여기서 확인하실 수 있습니다!!
코드 줄 171 - 174에서 확인하실 수 있씁니다 :)
넘 유용하네요. LLM을 쓰는데 가장 큰 장애요인 중에 하나가 할루시네이션인데 이걸 체크할 수 있으면 너무 유용할거 같아요. 근데 upstage의 Groundedness Check는 어떤 원리로 이게 사실인지 판단하는건지 혹시 아시나요?
안녕하세요 장피엠님!! 영광입니다 ㅎㅎ 제가 영상에서 설명을 생략하고 잘못 설명한 부분이 있는데, RAG 챗봇에서는 사용자가 질문했을때 어느 부분을 검색해서 context로 살펴본 것인지까지 제대로 체킹을 해줘야합니다. 지금 groundedness chekcing을 할때 사용자의 질문만 테스트를 해보는데, 사용자의 질문 + 챗봇이 검색한 부분의 단락도 함께 유저 메세지에 넣어줘서 ai가 제대로 답변했는지 테스트를 해봐야 합니다. 제가 영상에서 이 부분을 생략해서 업데이트한 코드를 이 링크에서 확인하실 수 있습니다: github.com/cailynyongyong/solar-llm/blob/master/groundness.py 여기서 확인하실 수 있습니다!!
혹시 llama3로도 가능한지요?
(코드 업로드 부탁드려요-가능하면요)
감사합니다
llama3로도 코드 만들어서 조만간 업로드해드리겠습니다!