[Paper Review] Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (RAG)

[Paper Review] Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (RAG)
발표자 : 고려대학교 DSBA 연구실 석박사통합과정 김재희 ([e-mail])
1. 논문 제목 : Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
2. 제안 방법론 : RAG
3. Arxiv 링크 : arxiv.org/abs/...
4. 발표 컨퍼런스 : 2020 NeurIPS
5. 인용 수 : 412회 (2022년 10월 10일 Semantic Scholar 기준)
6. 1저자 : Patrick Lewis
7. 선정배경 : 최근 NLP 연구는 Retrieval을 이용하여 Knowledge Intensive Task 등의 다양한 태스크를 해결하는 방향으로 활발히 연구되고 있습니다. 이는 Retriever와 Generator를 결합하여 Seq2Seq 혹은 LM으로 문제를 정의하고 해결하는 프레임워크를 따르고 있는 경우가 많습니다. 본 논문은 이러한 Retrieve-and-Generate 프레임워크를 처음 제시한 논문입니다. 해당 논문은 외부 지식 베이스에서 Input과 관련된 문서를 Retrieval하여 실제 생성 태스크를 수행하는 새로운 프레임워크를 제시한 논문입니다. 해당 논문을 통해 1) 어떻게 Retrieve-and-Read 프레임워크에서 Generator가 삽입될 수 있는지, 2) Reader가 Retriever로 대체되어 얻을 수 있는 연구/현업 관점의 장점들을 살펴보고자 합니다.
8. 발표 구성
1. What is ODQA & KIT? : DrQA 이후 활발히 연구되고 있는 ODQA와 본 논문을 통해 제시된 KIT 태스크에 대해 알아보고, 차이점을 비교합니다.
2. From ODQA to KIT : 어떻게 ODQA 태스크가 정의되고, KIT 태스크로 전환되기 위해 필요한 사항들을 점검합니다.
3. Background : ODQA 외에 LLM이 Knowledge를 저장하는 방식을 간단히 소개하고, 본 논문에서 직접적으로 사용하는 관련 연구들을 소개합니다.
4. Model Architecture
5. Experiments
6. Result