Entropy
Entropy
Entropy
- 여기에서 말하는 엔트로피는
정보 이론에서의 엔트로피 - 각 데이터에 대한 정보의 평균 값을 의미
- 수식으로는 어떤 확률 변수 X에 대해, 다음 값을 의미
$$ H(X) = -\sum_{x \in X} p(x) log_2p(x) $$
해석 (주관 가미)
- 확률이 낮을수록, 해당 정보는 유용함
- 어떤 사건 x가 일어날 확률은 p(x)
- 이 p(x)에 대한 정보의 가치는 -log(p(x))가 되는 것
- -log(p(x))는 p가 작을수록 커지기 때문
- 즉, 정보의 기댓값은 위 식처럼 계산되는 것
- 물론 p가 0에 가까워지면 -logp는 아주 커지지만, 그만큼 발생 확률이 낮아져서 의미가 줄어듦
- n개의 사건에 대해, 각 사건이 일어날 확률이 정확히 1/n 일 때 최대 엔트로피를 가짐