So-net無料ブログ作成

Average Precision(平均適合率)とは [確率・統計、データマイニング]

KDD Cup(Knowledge Discovery and Data Mining Cup)にエントリーした。

スコアの評価方法は、適合率 (Precision) と再現率 (Recall)など、いろいろあるけど、今回のスコアの評価方法は、Average Precision(平均適合率)と呼ばれるもので測定するみたいだ。

Average Precisionってことだが、定義は、
ap@n = Σ k=1,...,n P(k) / (number of items clicked in m items)

これでは、分かり難いけど、具体的な例が載っていた。

Item(i) modelA
Hit
modelA
p(i)
modelA
⊿r(i)
modelB
Hit
modelB
p(i)
modelB
⊿r(i)
1 1 1/1 1/3 1 1/1 1/3
2 1 2/2 1/3 0 1/2 0
3 0 2/3 0 0 1/3 0
4 1 3/4 1/3 1 2/4 1/3
5 0 3/5 0 0 2/5 0
6 0 3/6 0 0 2/6 0
7 0 3/7 0 0 2/7 0
8 0 3/8 0 1 3/8 1/3
9 0 3/9 0 0 3/9 0
10 0 3/10 0 0 3/10 0


モデルAの評価
AP(A)=(1/1+2/2+3/4)×1/3≒0.92

モデルBの評価
AP(B)=(1/1+2/4+3/8)×1/3≒0.62

モデルAとモデルBを比較すると、モデルAの方が早い段階でヒットしているので、モデルAの方が良いモデルってことになります。

実際、モデルAの方のスコアが高いですね。
nice!(40)  コメント(0)  トラックバック(0) 
共通テーマ:学問

nice! 40

コメント 0

トラックバック 0