PR-385: Generative Modeling by Estimating Gradients of the Data Distribution

- Jaejun Yoo
(Korean) Introduction to Generative Modeling by Estimating Gradients of the Data Distribution (NeurIPS 19 Oral)
Paper: arxiv.org/abs/1907.05600

[@temporary9490]

듣고 나니 감동의 눈물이 흘러내렸습니다 교수님 감사합니다...

[@kimchi_taco]

미친 설명입니다! 'Lil'Log: What are Diffusion Models?' 블로그 읽고 'score matching이 뭐지?' 하고 넘어갔었는데, 잘 배웠습니다.

[@user-qv5kg7ik6t]

대충만 알고 있었는데 듣고 나니 전체적으로 연결이 되네요 ㅎ 감사합니다 ^^

[@SceneTheElla]

최강설명...

[@hotohoto2]

32:49 "구지 깔끔한 x 에 noise를 넣어주지?" 제 소견으로는 y대신 깔끔한 x를 사용하면 또 다른 의미에서 low density 영역을 사용하게 되기 때문에 좋지 않은 방법인 것 같습니다. 반쪽은 깨끗한 관측 데이터이고 반쪽은 noise로 채워진 데이터는 스코어 함수 학습시에 보지 못했을 것입니다. 이런 x를 그대로 사용하는 것 보다는 signal은 x에서 가져오되 전체적인 noise의 비율은 스코어 함수를 학습할 때와 최대한 비슷한 형태가 되도록 y를 만들어 사용하는 것이 보다 좋은 성능을 기대할 수 있는 자연스러운 방법이지 않나 생각이 듭니다.

[@kimchi_taco]

11:30 DDPM은 clever하게 ∆ logP == N(0,1)이 되는 상황을 만들어 그냥 fisher divergence를 loss로 쓴거였군요.