정보량과 엔트로피 포스팅과 이어집니다 Cross Entropy란? Cross Entropy란, 엔트로피를 서로 다른 확률 분포에서 계산한 값을 의미합니다. (이 포스팅에서 그냥 '분포'라는 용어를 사용할 때 이는 확률 분포를 지칭하는 것으로 이해하시면 됩니다.) 엔트로피는 특정 분포 내에서의 정보량의 기댓값을 의미한다는 것을 이전의 포스팅에서 다뤘습니다. Cross Entropy는 엔트로피와 달리 정보량의 기댓값을 계산할 때 확률 부분과 정보량 부분이 서로 다른 분포에서 비롯합니다. 아래의 수식을 보시면 조금 더 명확하게 알 수 있으리라 생각합니다. $$ H(P, Q) = -\sum_{i=1} p_i\log_b(q_i)$$ (일반적으로 머신러닝에서 로그의 밑에 해당하는 $b$는 자연 상수 $e$를 주로 ..

정보량 정보 이론에서 흔히 말하는 정보량에 대해 알아보기 위해 우선은 정보량을 표현한 아래의 수식에 대해 살펴보겠습니다. $$I(x_i) = -\log_{b}(p(x_i) )= \log_{b}({1 \over p(x_i)})$$ 위의 식에서 $I(x_i)$는 정보량을 의미하는데, 식을 보면 알 수 있듯이 정보량은 $x_i$가 가지는 확률에 반비례하며, $x_i$를 사건이라고 생각한다면, 확률이 낮은 사건일수록 큰 정보량을 가진다는 의미가 됩니다. 여기서 정보량이라는 단어가 조금 생소하실 수 있는데요, 어떤 사건 $x_i$의 정보량이란 $x_i$를 나타내기 위한 정보의 양입니다. 정보량의 수식에서 로그의 밑에 해당하는 $b$가 2일 경우 정보량의 단위를 bit라고 하는데, 이런 부분을 보면 정보량이 특정 ..

목차 Probability Experiment Sample Space Probability Value Equally likely Events Event Elementary Event Complement Intersection Mutually Exclusive Difference Union Partition Probability (확률) - Experiment (실험) 결과(Outcome)가 정해져 있지 않고 확률적으로 결정되는 실행을 Experiment라고 합니다. ex) 동전 던지기, 주사위 던지기 - Sample Space (표본 공간) 실험의 결과(outcome)로 나올 수 있는 모든 가능한 경우를 원소로 가지는 집합을 Sample Space라고 합니다. ex) 1~ 6까지의 눈을 가지는 두 주사위..