nDCG

August 19, 2023

추천 시스템에서 많이 쓰이는 평가 지표
각 아이템들을 순서대로 추천한 경우, 각 아이템마다 점수(관련성)가 존재
- 이 점수는 관련이 있는지 없는지에 따라 1 혹은 0이 됨
- 혹은 문제에 따라 세분화된 값을 가질 수도 있음
- 더 관련이 있는 경우 높은 점수를 가지는 방식 등
CG (Cumulative Gain)
- 추천 결과의 상위 p개의 점수의 합
- 가장 직관적이지만, 상위 p개의 점수를 모두 같은 방식으로 계산한다는 점이 문제가 될 수 있음
DCG (Discounted Cumulative Gain)
- CG에서는 1등을 정확하게 맞추는 것과, 10등을 정확하게 맞추는 것의 차이를 두지 못함
- 상위 p개의 점수의 합을 두되, 낮은 등수를 맞출수록 작은 가중치를 주는 방법
- i번째 등수에 대해 $\frac{1}{log_2(i + 1)}$ 을 곱해서 가중 합을 계산
- 더 낮은 등수에 대한 중요도를 덜 측정
- 그러나 p값에 따라 결과값이 상이하다는 문제점이 존재
IDCG (Ideal Discounted Cumulative Gain)
- 이론상 최대가 되는 DCG 값
nDCG (normalized Discounted Cumulative Gain)
- DCG / IDCG
- 값이 0 ~ 1 사이로 나오기 때문에, 항상 정규화된 값을 가짐
- p 값이 달라도, 성능 비교를 수행할 수 있음

References