KL Divergence

KL Divergence

KL Divergence

  • Kullback-Leibler Divergence의 약자로, 두 확률분포의 차이를 나타내는 함수
  • 어떤 분포 P에 대해, P 대신 근사하는 다른 분포 Q를 사용해 샘플링을 할 때 나타나는 엔트로피 차이

KL

  • non-symmetric하기 때문에, distance로 사용 불가능

References

  1. https://ko.wikipedia.org/wiki/%EC%BF%A8%EB%B0%B1-%EB%9D%BC%EC%9D%B4%EB%B8%94%EB%9F%AC_%EB%B0%9C%EC%82%B0
  2. https://ddongwon.tistory.com/118