2023. 6. 27. 20:49ㆍ확률·통계·분포
정보량
정보 이론에서 흔히 말하는 정보량에 대해 알아보기 위해 우선은 정보량을 표현한 아래의 수식에 대해 살펴보겠습니다.
$$I(x_i) = -\log_{b}(p(x_i) )= \log_{b}({1 \over p(x_i)})$$
위의 식에서 $I(x_i)$는 정보량을 의미하는데, 식을 보면 알 수 있듯이 정보량은 $x_i$가 가지는 확률에 반비례하며, $x_i$를 사건이라고 생각한다면, 확률이 낮은 사건일수록 큰 정보량을 가진다는 의미가 됩니다.
여기서 정보량이라는 단어가 조금 생소하실 수 있는데요, 어떤 사건 $x_i$의 정보량이란 $x_i$를 나타내기 위한 정보의 양입니다.
정보량의 수식에서 로그의 밑에 해당하는 $b$가 2일 경우 정보량의 단위를 bit라고 하는데, 이런 부분을 보면 정보량이 특정 사건을 나타내기 위한 정보의 양이라는 것을 조금 더 쉽게 이해하실 수 있을 거라고 생각합니다.
구체적인 예를 들어 보자면, 1 이상 20 이하의 수에서 랜덤으로 하나의 수를 뽑는 경우에 (각 숫자가 나올 확률은 1/20로 uniform) 뽑은 수가 1 이상 10 이하일 사건을 A, 11 이상 15 이하일 사건을 B, 16 이상 20 이하일 사건을 C라고 한다면 A, B, C가 일어날 확률은 각각 0.5, 0.25, 0.25가 되고,
정보량의 수식에 따르면 A의 정보량은 1bit, B와 C의 정보량은 2bit가 됩니다.
위와 같은 상황에서 A라는 사건이 일어났는지를 표시하기 위해 "뽑은 수가 1 이상 10 이하인가?" 라는 질문을 던지면, 질문에 대한 대답은 Yes 혹은 No 2가지로 여기서 Yes를 1, No를 0으로 표현하면 1개의 bit로 A라는 사건을 표현할 수 있게 됩니다.
더 나아가, B와 C에 대해서는 제일 처음에 "뽑은 수가 1 이상 10 이하인가?" 라는 질문을 던지고 답이 No로 나온 경우 "뽑은 수가 11 이상 15 이하인가?"라는 질문을 추가로 한 경우 대답이 Yes라면 이 사건은 B에 해당하며 대답이 No라면 이 사건은 C에 해당하게 되고, 이를 bit로 표현하면 첫 질문에 대한 대답은 0, 두번째 질문에 대한 대답은 B의 경우 1, C의 경우 0으로 이를 bit sequence로 표현한다면 B의 경우 00 C의 경우 10 (각 비트의 순서는 두번째 질문, 첫번째 질문 순서)으로 표시할 수 있습니다.
즉, 비슷한 맥락에서 bit 단위에서의 정보량은 질문의 수와 같다고도 말할 수 있습니다.
정보 엔트로피
정보 엔트로피란 정보량의 기댓값을 뜻하며 수식적으로는 아래와 같이 표현됩니다.
$$ H(X) = -\sum_{i=1}^N p(x_i)\log_b(p(x_i))$$
정보 엔트로피는 불확실성을 의미하며, 전체 분포가 균일할수록(즉, uniform distribution에서) 큰 값을 가집니다.
동전 던지기의 경우를 예시로 들어보겠습니다. 동전 던지기에서 앞면이 나오는 사건을 $x_1$, 뒷면이 나오는 사건을 $x_2$라고 할 때, 일반적인 경우 동전 던지기에서 각 면이 나올 확률은 0.5로 동일하므로 이 경우 엔트로피는 $-(0.5\log_2(0.5) + 0.5\log_2(0.5)) = \log_2 2 = 1$이 됩니다.
(참고로 n개의 사건이 존재하며, 각 사건이 일어날 확률이 $1 \over n$로 모두 동일할 경우 (이를 equally likely라고 합니다) 엔트로피는 $\log_2 n$이 됩니다.)
그럼 이번엔 동전에 약간의 변형을 주어 앞면과 뒷면의 확률이 각각 0.7 0.3 으로 바뀐 특수한 동전을 던진다고 생각해봅시다. 이 경우의 엔트로피는 $-(0.7\log_2(0.7) + 0.3\log_2(0.3)) \approx 0.881$이 되어 확률이 0.5로 동일한 경우보다 작은 엔트로피를 가지게 됩니다. 아래는 동전 던지기 상황에서 확률 값의 변화에 따른 엔트로피의 값을 보여주는 그래프입니다.
'확률·통계·분포' 카테고리의 다른 글
| Cross Entropy 이해하기 (0) | 2023.07.04 |
|---|---|
| Probability Terminology (확률 용어) (0) | 2022.11.12 |