[DMQA Open Seminar] Supervised Contrastive Learning

표현학습(representation learning)은 주로 사전학습 단계에서 데이터 특징을 잘 추출하는 목적으로 학습하는 과정을 말한다. 자가지도학습(self-supervised learning) 기법을 이용한 대조학습(contrastive learning)이 대표적이며, 데이터 증강기법과 함께 사용되어 예측성능 향상을 이끌어내고 있다. 하지만 주로 레이블링 된 데이터가 부족한 상황을 극복하기 위한 방법으로 사용되는데, 이는 레이블이 층분한 데이터에서 효과적인 표현학습 성능을 기대하기 어렵다. 이를 보완하기 위해 최근 레이블 정보를 전부 활용하는 지도대조학습(supervised contrastive learning) 기법에 고안됐다. 본 세미나에서는 supervised contrastive learning 기법을 이미지와 텍스트 데이터에 적용하여 예측성능 향상을 이끌어 낸 연구를 소개한다.
참고문헌
(1) Khosla, P., Teterwak, P., Wang, C., Sarna, A., Tian, Y., Isola, P., … & Krishnan, D. (2020). Supervised contrastive learning. arXiv preprint arXiv:2004.11362.
(2) Gunel, B., Du, J., Conneau, A., & Stoyanov, V. (2020). Supervised contrastive learning for pre-trained language model fine-tuning. arXiv preprint arXiv:2011.01403.