- 937
- 1 652 755
고려대학교 산업경영공학부 DSBA 연구실
South Korea
Registrace 30. 01. 2017
고려대학교 산업경영공학부 Data Science & Business Analytics Lab입니다.
[Paper Review] Frequency-domain MLPs are More Effective Learners in Time Series Forecasting
발표자: 석사과정 박진우
1. 논문 제목: Frequency-domain MLPs are More Effective Learners in Time Series Forecasting (NeurIPS 2023)
2. 논문 링크: arxiv.org/abs/2311.06184
3. 논문 코드: github.com/aikunyi/FreTS
4. 논문 Overview
- 간단한 구조의 MLP 모델들은 Point-wise mapping에 의존하여 시계열 데이터에 내재된 Global dependency를 다루는 능력이 부족하며, 비교적 단순한 패턴만을 학습할 수 있다는 단점이 존재
- 해당 연구에서는 이러한 문제를 해결하기 위하여 Sparse한 정보가 많은 Time-domain이 아닌, Frequency domain내에서 직접적으로 MLP를 적용함으로써 필요한 정보들을 바탕으로 예측이 진행될 수 있도록 할 수 있는 방법론 제안
- Complex number로 구성된 Frequency component를 다루고자 Freqeuncy-domain MLP 제안
1. 논문 제목: Frequency-domain MLPs are More Effective Learners in Time Series Forecasting (NeurIPS 2023)
2. 논문 링크: arxiv.org/abs/2311.06184
3. 논문 코드: github.com/aikunyi/FreTS
4. 논문 Overview
- 간단한 구조의 MLP 모델들은 Point-wise mapping에 의존하여 시계열 데이터에 내재된 Global dependency를 다루는 능력이 부족하며, 비교적 단순한 패턴만을 학습할 수 있다는 단점이 존재
- 해당 연구에서는 이러한 문제를 해결하기 위하여 Sparse한 정보가 많은 Time-domain이 아닌, Frequency domain내에서 직접적으로 MLP를 적용함으로써 필요한 정보들을 바탕으로 예측이 진행될 수 있도록 할 수 있는 방법론 제안
- Complex number로 구성된 Frequency component를 다루고자 Freqeuncy-domain MLP 제안
zhlédnutí: 234
Video
![[Paper review] Unsupervised Continual Anomaly Detection with Contrastively-learned Prompt](http://i.ytimg.com/vi/sdrZ7-UPpu0/mqdefault.jpg)
![[Paper review] Unsupervised Continual Anomaly Detection with Contrastively-learned Prompt](/img/tr.png)
[Paper review] Unsupervised Continual Anomaly Detection with Contrastively-learned Prompt
zhlédnutí 325Před 4 hodinami
1. 발표자: 임훈 석박통합과정(hunim@korea.ac.kr) 1. 논문제목: Unsupervised Continual Anomaly Detection with Contrastively-learned Prompt 2. 논문링크: arxiv.org/abs/2401.01010 3. Venue: AAAI 2024 4. 논문요약: - 기존 Unsupervised AD는 새롭게 product가 추가되는 경우 쉽게 대응하지 못 하고, prduct마다 개별적으로 모델을 사용하는 것은 컴퓨팅 cost 부담이 됨 - Task-agnostic Continual Learning 방법론이 많이 연구가 되어 지고 있지만 Anomaly Detection에 접목시킨 연구는 부족 - 이를 위해 Prompt를 활용하는 Task-...
![[Paper Review] Shape-Guided Dual-Memory Learning for 3D Anomaly Detection](http://i.ytimg.com/vi/j7IuZ05cxYQ/mqdefault.jpg)
[Paper Review] Shape-Guided Dual-Memory Learning for 3D Anomaly Detection
zhlédnutí 750Před 21 dnem
1. 발표자: 남웅찬 석사과정(woongchan_nam@korea.ac.kr) 1. 논문제목: Shape-Guided Dual-Memory Learning for 3D Anomaly Detection 2. 논문링크: proceedings.mlr.press/v202/chu23b.html 3. Venue: ICML 2023 4. 논문요약: - The 3D geometry-based 와 2D color-based information을 결합하여 3D Anomaly Detection 방식을 제안 - The 3D geometry-based Information을 추출하기 위한 (1) Shape Expert, 2D color-based information을 추출하기 위한 (2) Appearance Expert ...
![[Paper Review] Self supervised Feature Adaptation for 3D Industrial Anomaly Detection](http://i.ytimg.com/vi/6h-ns7RInY8/mqdefault.jpg)
[Paper Review] Self supervised Feature Adaptation for 3D Industrial Anomaly Detection
zhlédnutí 251Před 21 dnem
0. 발표자: 이우준 석사과정 1. 논문제목: Self supervised Feature Adaptation for 3D Industrial Anomaly Detection 2. 논문링크: arxiv.org/abs/2401.03145 3. Venue: ECCV 2024 4. 발표자료: dsba.korea.ac.kr/seminar/?uid=2939&mod=document&pageid=1 5. 논문 설명: - 해당 연구는 2024년 ECCV에서 억셉된 논문으로 3D Anomaly Detection 및 Segmentation 과제에서 3D Modality (Point Cloud)와 2D Modality(RGB)를 활용하여 작업을 진행합니다. 이 논문은 CLC: Cross-modal Local-to-globa...
![[Paper Review]LLaRA:Large Language Recommendation Assistant](http://i.ytimg.com/vi/q1qFN0-hR74/mqdefault.jpg)
[Paper Review]LLaRA:Large Language Recommendation Assistant
zhlédnutí 782Před 21 dnem
0. 발표자: 김도윤 석박통합과정 1. 논문제목: LLaRA:Large Language Recommendation Assistant 2. 논문링크: dl.acm.org/doi/10.1145/3626772.3657690?sub_confirmation=1 3. Venue: SIGIR '24 4. 깃허브 링크: github.com/ljy0ustc/LLaRA?sub_confirmation=1 5. 발표자료: dsba.korea.ac.kr/seminar/?uid=2938&mod=document&pageid=1?sub_confirmation=1 6. 논문 설명: - Hybrid prompting을 통해 기존 sequential recommendation 방법론과 LLM을 융합한 방법론 - Curriculum le...
![[Paper Review] SelectAL](http://i.ytimg.com/vi/TFV4ydgEBCw/mqdefault.jpg)
[Paper Review] SelectAL
zhlédnutí 703Před měsícem
발표자 - 고려대학교 DSBA 연구실 석박통합과정 허재혁 Topic - How to Select Which Active Learning Strategy is Best Suited for Your Specific Problem and Budget Overview - 주어진 문제와 상황에 따라 적합한 active learning strategy를 제안 - 현 시점의 budget 크기를 판단하기 위해 derivative-based test를 적용 참고문헌 - How to Select Which Active Learning Strategy is Best Suited for Your Specific Problem and Budget (NeurIPS 2023
![[Paper Review] EXPLAINABLE TIME SERIES ANOMALY DETECTION USING MASKED LATENT GENERATIVE MODELING](http://i.ytimg.com/vi/liBtq4cLcEo/mqdefault.jpg)
[Paper Review] EXPLAINABLE TIME SERIES ANOMALY DETECTION USING MASKED LATENT GENERATIVE MODELING
zhlédnutí 625Před měsícem
발표자: 석박통합과정 강형원 1. 논문 제목: EXPLAINABLE TIME SERIES ANOMALY DETECTION USING MASKED LATENT GENERATIVE MODELING (Daesoo Lee, Sara Malacarne, Erlend Aune. arXiv preprint 2024) 링크: arxiv.org/abs/2311.12550 2. 논문 Overview TimeVQVAE를 기반으로 masked generative modeling을 통한 시계열 이상 탐지를 수행 시간-주파수 대역에서 이상 요소의 분해를 통한 explainability 반사적 사례(counterfactuals)를 통한 explainability UCR-TSA 아카이브에서의 공정하고 robust한 평가 수행 3....
![[Paper Review] REVEAL: Retrieval-Augmented Visual-Language Pre-Training with Knowledge Memory](http://i.ytimg.com/vi/LFNDSjkDxgI/mqdefault.jpg)
[Paper Review] REVEAL: Retrieval-Augmented Visual-Language Pre-Training with Knowledge Memory
zhlédnutí 467Před měsícem
발표자: 고려대학교 DSBA 연구실 석사과정 마민정(minjeong_ma@korea.ac.kr) 1. 논문 제목 : REVEAL: Retrieval-Augmented Visual-Language Pre-Training with Multi-Source Multimodal Knowledge Memory (CVPR 2023 Highlight) 2. 원문 링크 : arxiv.org/abs/2212.05221 3. 요약 - 본 논문에서는 대규모 메모리에 World Knowledge를 인코딩하고, 이를 검색하여 Knowledge-intensive Query에 답변하는 End-to-End Retrieval-Augmented Visual Language Model(REVEAL)을 제안 - REVEAL은 Memory,...
![[Paper Review] Interpreting CLIP's Image Representation via Text-Based Decomposition](/img/n.gif)
[Paper Review] Interpreting CLIP's Image Representation via Text-Based Decomposition
zhlédnutí 349Před měsícem
1. 논문 제목: Interpreting CLIP's Image Representation via Text-Based Decomposition 2. 링크: arxiv.org/abs/2310.05916 3. Venue: ICLR 2024(Oral) 4. 발표자: 석사과정 정기윤 #multimodal #vlm #clip
[Paper Review] VCR-GRAPHORMER: A MINI-BATCH GRAPH TRANSFORMERVIA VIRTUAL CONNECTIONS
zhlédnutí 418Před měsícem
VCR-Graphormer 논문설명
[Paper Review] Goal-Driven Explainable Clustering via Language Descriptions
zhlédnutí 562Před měsícem
1. 논문 제목 : Goal-Driven Explainable Clustering via Language Descriptions 2. 링크 : arxiv.org/abs/2305.13749 3. Venue : EMNLP 2023 4. 요약 : 사용자의 목표(Goal)를 고려하여 설명(Explanation)을 포함하는 Clustering을 진행하는 방법론 제안 5. 발표자 : 석사 과정 이상민 #largelanguagemodels #clustering #explanation
[Paper Review] Scaling Data-Constrained Language Models
zhlédnutí 374Před měsícem
1. 논문 제목 : Scaling Data-Constrained Language Models 2. Arxiv 링크 : arxiv.org/abs/2305.16264 3. 발표 컨퍼런스 : NeurIPS 2023 4. 인용 수 : 109회 (2024년 3월 9일 기준) 5. 1저자 : Niklas Muennighoff 6. LLM은 대량의 온라인 코퍼스로 학습되고 있어, 기존에는 1 epoch도 학습하지 않았습니다. 하지만 최근 LLM의 학습량을 비약적으로 늘리는 연구들이 등장하면서 점차 모든 코퍼스가 학습에 사용되고 있습니다. 하지만 온라인에서 생성되는 새로운 텍스트 데이터는 매우 제한되어, 결국 기존에 존재하는 데이터를 multi epoch으로 학습해야 합니다. 이러한 상황에서 LLM의 성능에 미치는 ...
[Paper Review] From Similarity to Superiority: Channel Clustering for Time Series Forecasting
zhlédnutí 356Před měsícem
1. 논문 제목 : "From Similarity to Superiority: Channel Clustering for Time Series Forecasting" [Arxiv 2024] 2. 원문 링크 : arxiv.org/abs/2404.01340 3. 요약 - 기존 CI와 CD 모델은 각각 Generalization 성능이 부족하거나 forecasting capacity가 부족한 한계가 있음 - 기존 모델은 Channel Identity에 의존하며, 이가 제거 됐을때 성능이 크게 하락함 - 본 연구는 다소 중복된 channel들을 하나의 cluster로 묶어 모델링할 수 있는 Cluster Assigner와 Cluster-Aware Feed Forward를 제안 - 해당 방법론은 Prototype...
[Paper Review] Proxy-based Item Representation for Attribute and Context-aware Recommendation
zhlédnutí 520Před měsícem
1. 추천시스템에 proxy-based item representation 을 사용한 방법론 2. 본 논문에서는 Side information 을 적용하는 다양한 방식과 비교를 통해 PIR 방식이 뛰어남을 보임 3. 단순한 방식이지만 아이템의 빈도수가 적은 상황에서 좋은 성능을 보여주는 방법론임
[Paper Review] EVCap: Retrieval-Augmented Image Captioning with External Visual-Name Memory
zhlédnutí 310Před měsícem
발표자: 석사과정 마민정(minjeong_ma@korea.ac.kr) 1. 논문 제목 EVCap: Retrieval-Augmented Image Captioning with External Visual-Name Memory for Open-world Comprehension 2. 링크 arxiv.org/abs/2311.15879 3. Overview - External Visual-Name Memory를 활용하여 객체 이름을 검색하는 새로운 이미지 캡션 모델을 소개 - 단지 3.97M의 Trainable Parameter만을 포함하는 효율성에서 두드러지며, 견고한 성능을 제공함 - 다양한 벤치마크와 Commonsense-violating 데이터셋에서 EVCAP를 광범위하게 비교 분석하였으며, 이를 통해...
[Paper Review]Alpha-CLIP: A CLIP Model Focusing on Wherever You Want
zhlédnutí 318Před měsícem
[Paper Review]Alpha-CLIP: A CLIP Model Focusing on Wherever You Want
[Paper Review] iTransformer: Inverted Transformers Are Effective for Time Series Forecasting
zhlédnutí 518Před měsícem
[Paper Review] iTransformer: Inverted Transformers Are Effective for Time Series Forecasting
[Paper Review]Generate rather than Retrieve: Large Language Models are Strong Context Generators
zhlédnutí 220Před měsícem
[Paper Review]Generate rather than Retrieve: Large Language Models are Strong Context Generators
[Paper Review] ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs
zhlédnutí 279Před měsícem
[Paper Review] ToolLLM: Facilitating Large Language Models to Master 16000 Real-world APIs
[Paper Review]Self-Attentive Sequential Recommendation(SASRec)
zhlédnutí 260Před měsícem
[Paper Review]Self-Attentive Sequential Recommendation(SASRec)
[Paper Review] How Do Large Language Models Acquire Factual Knowledge During Pretraining?
zhlédnutí 258Před měsícem
[Paper Review] How Do Large Language Models Acquire Factual Knowledge During Pretraining?
[Paper Review] RECLIP: Resource-efficient CLIP by Training with Small Images
zhlédnutí 136Před měsícem
[Paper Review] RECLIP: Resource-efficient CLIP by Training with Small Images
[Paper Review] SimpleNet: A Simple Network for Image Anomaly Detection and Localization
zhlédnutí 358Před měsícem
[Paper Review] SimpleNet: A Simple Network for Image Anomaly Detection and Localization
[Paper Review] Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads
zhlédnutí 365Před měsícem
[Paper Review] Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads
[Paper Review] LLaMA-Adapter V2: Parameter-Efficient Visual Instruction Model
zhlédnutí 281Před měsícem
[Paper Review] LLaMA-Adapter V2: Parameter-Efficient Visual Instruction Model
[Paper Review] Corrective Retrieval Augmented Generation
zhlédnutí 401Před měsícem
[Paper Review] Corrective Retrieval Augmented Generation
[Paper Review] Scalable Diffusion Models with Transformers
zhlédnutí 392Před měsícem
[Paper Review] Scalable Diffusion Models with Transformers
[Paper Review] MathPrompter: Mathematical Reasoning using Large Language Models
zhlédnutí 135Před měsícem
[Paper Review] MathPrompter: Mathematical Reasoning using Large Language Models
[Paper Review] Integrating Language Guidance into Vision-based Deep Metric Learning
zhlédnutí 242Před měsícem
[Paper Review] Integrating Language Guidance into Vision-based Deep Metric Learning
[Paper Review] Towards General Text Embeddings with Multi-stage Contrastive Learning
zhlédnutí 197Před měsícem
[Paper Review] Towards General Text Embeddings with Multi-stage Contrastive Learning
cf) [39] 능동추론 6부: 생성모델의 원천, 노이즈란 무엇인가? -> czcams.com/video/JctO65fkvjQ/video.html [40] 능동추론 7부: 생성모델의 끝판왕, Diffusion Model 등장 -> czcams.com/video/LAYDUobuCko/video.html [41] 능동추론 8부: Stable Diffusion의 소개 -> czcams.com/video/LuBqWiBl64E/video.html
BGM떄문에 놀랐습니다. 순간 무인아이스크림 매장 픽미에 온줄 알았습니다.
mamba 강의 중 해외, 국내 총합해서 탑1111 감사합니다
Hey, I've been working on similar research. I have a request. Could you make the same talk/presentation in english ? I don't think there are any comprehensive talk on LLM2Vec which discusses the problem in depth as this one. Thanks in advance
좋은 영상 감사합니다
발표영상 공개해주셔서 감사합니다. 논문만 봐서는 뭐가 중점인지 파악이 잘 안됬었는데, 덕분에 제가 놓친부분도 발견할 수 있었네요 :)
감사합니다
좋은 영상 감사합니다. 졸업 작품에 VQGAN을 필수적으로 넣어야하는 상황에서 영상 덕분에 잘 해결할 수 있을 것 같습니다. 정말 감사합니다 :)
감사합니다🙏
21:18 Cognitie field knolwedge applied
항상 좋은 발표 감사합니다. 영상 22분부터 30분까지 음성이 들리지 않는 거 같습니다.
덕분에 이해가 잘 되었습니다! 감사합니다!
Is it possible to add the slides or add the English subtitles?
Is it possible to share the slides or add the English subtitles?
좋은 자료 공유 감사합니다~!
you shouldn't put the words "paper review" in english when you're not talking in english.
혹시 soft replacement 결과가 좋게나왔는데, 이에대한 이유를 알 수 있을까요?
여기 논문에서 고안된 HD-eval 은 오픈소스인가요? 사용해보고 싶은데 정보가 없네요
유튜브에서 BERT 논문 설명 영상 많이 봤는데 교수님 강의가 최고입니다. 감사합니다!
교수님 좋은 강의 감사합니다! 영상 강의 덕분에 이해가 잘 되었습니다!
32:25
21:10 21:10
33:40 image text retreat
10:58
5:37 5:38
3:10
1:12 1:12
24:53
좋은 강의 감사드립니다. Q,K,V 들의 초기값 셋팅은 어떻게 하나요? 그냥 Random Number 로 생성하게 되는지...궁금합니다..
친절한 설명 감사합니다~
발표 정말 잘하시는 것 같습니다. 이해가 정말 잘되네요..
감삽니다~
항상 세미나 논문을 공유해주셔서 감사합니다. 공부에 큰 도움이 됩니다.
hello, thank you for your sharing. Can I get this poowerpoint? Cause I am not good at Korean.
좋은 논문 리뷰 감사드립니다.
1:00 LLM RAG
시계열 분류문제 학습을 위해 논문 확인 중에 Shapelet이라는 단어에 대해 궁금해, 이 동영상을 보게 되었습니다. 동영상 마지막에 지적해주신, 학습시간에 대한 확인이 되셨는지 궁금하고, Shapelet을 이용한 거리 측정에 Euclidean distance 방법을 사용 했는데 예를 들어 DTW 를 이용한 거리 측정 방식으로도 적용 한 실험이 있나 궁금합니다. 1년이나 지나... 작성자는 졸업 했을 지도 모르겠네요. 이렇게 자료 정리 잘해주셔서 감사합니다.
너무 좋은 내용입니다 감사합니다
31:00 mamba
1:00
Is there a english version?
Xai 모델 코드 구현에서 막히는 부분 질문 가능할까요?̊̈
감삽니다!
Xnxx
Thank you!
성시경 아닌가요?
감사합니다. 교수님. 직장생활하다 새로운 업을 찾기 위해 공부중인데 너무 큰 도움 받고있습니다. 항상 건강하시길 바랍니다.
최고입니다.
훌륭한 강의 정말 감사합니다!
1. 영어 방음이 좋은 것 같네요. 2. 단순히 해당 논문 설명에 급급한 것이 아닌, Instruction Learning에 대한 설명이 앞 부분에 들어가서 완성도가 높은 발표가 된 것 같습니다. 3. 각 파트별 설명이 좀 더 자세히 (코드를 보셨으면) 하였으면 좋았을 거 같습니다. 예를 들어 ViT 출력에서 Linear projection을 하여 Language Embedding을 한다고 했는데 이 과정을 좀 더 실제 수행 예를 가지고 설명했으면 . 전반적으로 코드 레벨로 실행이나 재 시험은 안 하고 논문 내용만 잘 읽은 것 같은 느낌입니다.