전체 글 (15) 썸네일형 리스트형 Score-Based / Diffusion Model[4] - NCSNv2 Introduction 이번에는 Score-based generative model의 두번째 논문인 NCSN v2에 대해서 리뷰를 해보고자 합니다. 본 논문은 Score-based generative model에 대한 이론적인 접근으로 하이퍼파라미터를 설정할 때 어떻게 접근해야 하는지에 대해서 정리합니다. 우선 Noise Conditional Score Network를 통해 score-based generative model에서의 가능성을 보여주었습니다. 또한, CIFAR-10 데이터셋에서도 좋은 성능을 보여주었습니다. 하지만, 이런 문제점에도 불구하고 고해상도를 생성했을 때 (from 64 $\times$ 64 to 256 $\times$ 256) poor한 성능을 보여준다고 합니다. 그래서 저자는 이.. Score-Based / Diffusion Model[3] - DDPM 이번 논문의 주인공은 DDPM입니다. Denoising Diffusion Probabilistic Model입니다. Score-based generative model이랑 거의 흡사하지만, 기본 개념이 조금 다릅니다. 따라서 이에 대해서도 한번 리뷰해보고자 합니다. 2023.12.11 Experiment 부분 추가 Diffusion model Diffusion model의 가장 기본적인 아이디어는 stochastic process입니다. 여기서 stochastic process란, time-dependent한 변수 $X_t$ 즉, 시간 t에 따라 변하는 변수 $X_t$를 stochastic process라고 합니다. 그 중에서 diffusion process는 확률 미분방정식의 한 솔루션이며, conti.. Entropy와 Cross entropy, 그리고 KL-divergence, 정보 이론 [2] Entropy 이전 포스트에서 엔트로피란 정보 이론에서, 정보를 정량화하는 단위라고 하였다. 정보가 클 수록 엔트로피가 크고, 정보가 작으면 엔트로피가 작다. 정보량은 다음의 식으로 표현된다. $I(x) = -log_2{P(x)}$ 섀넌은 불확실성의 측정을 엔트로피라 하였고, 이를 H라고 표시하였으며 bit를 단위로 하였다. 이를 식으로 표현하면 다음과 같다. 섀넌 엔트로피는 정보량의 기댓값이다. $$H(P) = H(x)= E_{X\sim P}[I(x)] = E_{X\sim P}[-log_{2}P(x)] \\ = - \sum_{i}p(x) * log_{2}p(x) \\ = \sum_{i}p(x) * log_{2}{1\over p(x)}$$ 확률 분포가 균일 할 수록 엔트로피 H(x)가 높고 (뭐가 뽑힐지.. 이전 1 2 3 4 5 다음
