Machine learning (2) 썸네일형 리스트형 Entropy와 Cross entropy, 그리고 KL-divergence, 정보 이론 [2] Entropy 이전 포스트에서 엔트로피란 정보 이론에서, 정보를 정량화하는 단위라고 하였다. 정보가 클 수록 엔트로피가 크고, 정보가 작으면 엔트로피가 작다. 정보량은 다음의 식으로 표현된다. $I(x) = -log_2{P(x)}$ 섀넌은 불확실성의 측정을 엔트로피라 하였고, 이를 H라고 표시하였으며 bit를 단위로 하였다. 이를 식으로 표현하면 다음과 같다. 섀넌 엔트로피는 정보량의 기댓값이다. $$H(P) = H(x)= E_{X\sim P}[I(x)] = E_{X\sim P}[-log_{2}P(x)] \\ = - \sum_{i}p(x) * log_{2}p(x) \\ = \sum_{i}p(x) * log_{2}{1\over p(x)}$$ 확률 분포가 균일 할 수록 엔트로피 H(x)가 높고 (뭐가 뽑힐지.. 정보란 무엇인가, 정보 이론 [1] 21세기는 흔히 '정보화' 시대고, 우리는 수많은 '정보' 들에 휩싸여 살아가고 있다고 표현한다. 그렇다면 이 추상적인 '정보' 라는 단어는 도데체 무엇을 의미하는가? 정보란 무엇인가. 정보(情報, 영어: information, info, info.)는 컴퓨터공학에서 특정 목적을 위하여 광(光) 또는 전자적 방식으로 처리되어 부호, 문자, 음성, 음향 및 영상 등을 표현하는 모든 종류의 자료 또는 지식을 말한다. 정보란 특정 목적을 가지고 잘 정리를 한 자료 혹은 지식을 의미한다. 우리는 수많은 특정 목적을 가지고 잘 정리한 자료 혹은 지식에 휩싸여 살아가고 있다. 우리는 정보를 주고 받는 표현을 쓴다. 특히 컴퓨터 혹은 핸드폰을 통한 무언가를 할 때, 이러한 표현을 많이 사용한다. 또한 빠르게 정보를 .. 이전 1 다음
