混淆矩阵

混淆矩阵.png

Accuracy

$$ Accuracy\left(ACC\right)= \frac{T}{T+F} $$

在所所有的结果中,判断正确的个数。

这个指标难以反映真实情况,当事实上为真的概率很大很大时,我们总是判断其为真将获得较好的 ACC,然而这是不对的。

Sensitivity(灵敏度,也称真阳性率、Recall(召回率))

$$ sensitivity\left(SEN\right)=\frac{T P}{T P+F N}

$$

注意到分母是是事实上为真的总和。

例如:真正生病的人中,被判断为生病的比例。

Specificity(特异度,也称为真阴性率)

$$ specificity\left(SPE\right)=\frac{F P}{F P+T N} $$

注意到分母是是事实上不为真的总和。

例如:真正未生病的人中,被判断为没有生病的比例。

Precision

$$ precision\left(PRE\right) = \frac{TP}{TP + FP} $$

注意到分母是判断为真的总和。

例子:辨识电邮信箱里的垃圾邮件时,如果某封被误判成垃圾邮件(即FP)时,使用者可能就此错过重要的通知。

F-score

$$ F-score =2\ \frac{ precision \times recall }{ precision + recall } $$

precision 和 recall 的调和平均。

F-score 最理想的数值是趋近于 1,做法是让 precision 和 recall 都有很高的值。

Area Under the ROC curve (AUC)

ROC 曲线纵轴是 Sensitivity,横轴是 Specificity。AUC 为其下方面积。

可参见

Youden index(YI)

$$ J = sensitivity + specificity - 1 $$