KL divergence (1) 썸네일형 리스트형 Entropy와 Cross entropy, 그리고 KL-divergence, 정보 이론 [2] Entropy 이전 포스트에서 엔트로피란 정보 이론에서, 정보를 정량화하는 단위라고 하였다. 정보가 클 수록 엔트로피가 크고, 정보가 작으면 엔트로피가 작다. 정보량은 다음의 식으로 표현된다. $I(x) = -log_2{P(x)}$ 섀넌은 불확실성의 측정을 엔트로피라 하였고, 이를 H라고 표시하였으며 bit를 단위로 하였다. 이를 식으로 표현하면 다음과 같다. 섀넌 엔트로피는 정보량의 기댓값이다. $$H(P) = H(x)= E_{X\sim P}[I(x)] = E_{X\sim P}[-log_{2}P(x)] \\ = - \sum_{i}p(x) * log_{2}p(x) \\ = \sum_{i}p(x) * log_{2}{1\over p(x)}$$ 확률 분포가 균일 할 수록 엔트로피 H(x)가 높고 (뭐가 뽑힐지.. 이전 1 다음