Perplexity
Perplexity
Perplexity
- 언어 모델의 성능을 평가하는 요소
- 생성된 문장이 나올 확률의 역수의 n제곱근
- n은 문장의 길이
- 이 값은 문장이 단어를 선택할 때마다 평균 몇 개의 단어를 가지고 고민했는지를 나타내는 척도
- 낮은 perplexity를 가진다는 건 다음 단어를 더 확신하고 예측한다는 뜻이므로, 언어 모델의 성능이 좋을 확률이 높음
- 물론 이 지표는 절대적이지 않음
- Perplexity가 낮다고 반드시 사람이 느끼기에 좋은 언어 모델이 아님