SRE实战 互联网时代守护先锋,助力企业售后服务体系运筹帷幄!一键直达领取阿里云限量特价优惠。

针对二分类的结果,对模型进行评估,通常有以下几种方法:

Precision、Recall、F-score(F1-measure)
TPR、FPR、TNR、FNR、AUC
Accuracy

 

  真实结果
1 0
预测结果 1 TP(真阳性)  FP(假阳性)
0 FN(假阴性) TN(真阴性)

 

TP(True Positive):预测结果为正类,实际上就是正类

FP(False Positive):预测结果为正类,实际上是反类

FN(False negative):预测结果为反类,实际上是正类

TN(True negative):预测结果为反类,实际上就是反类

 

1. Precision, Recall, F-score(F-measure)

Precision(准确率)可以理解为预测结果为正类中有多少真实结果是正类的

 评价指标整理:Precision, Recall, F-score, TPR, FPR, TNR, FNR, AUC, Accuracy 随笔 第1张

 

Recall(召回率)可以理解为真实结果为正类中有多少被预测成正类

 评价指标整理:Precision, Recall, F-score, TPR, FPR, TNR, FNR, AUC, Accuracy 随笔 第2张

 

F-score(F值)又称作F1-measure,是综合考虑Precision和Recall的指标

评价指标整理:Precision, Recall, F-score, TPR, FPR, TNR, FNR, AUC, Accuracy 随笔 第3张

 

 

2. TPR, FPR, TNR, FNR, AUC

TPR(True Positive Rate)可以理解为所有正类中,有多少被预测成正类(正类预测正确),即召回率:

 评价指标整理:Precision, Recall, F-score, TPR, FPR, TNR, FNR, AUC, Accuracy 随笔 第4张

 

FPR(False Positive Rate)可以理解为所有反类中,有多少被预测成正类(正类预测错误):

 评价指标整理:Precision, Recall, F-score, TPR, FPR, TNR, FNR, AUC, Accuracy 随笔 第5张

 

TNR(True Negative Rate)可以理解为所有反类中,有多少被预测成反类(反类预测正确):

评价指标整理:Precision, Recall, F-score, TPR, FPR, TNR, FNR, AUC, Accuracy 随笔 第6张

 

FNR(False Negative Rate)可以理解为所有正类中,有多少被预测成反类(反类预测错误):

评价指标整理:Precision, Recall, F-score, TPR, FPR, TNR, FNR, AUC, Accuracy 随笔 第7张

 

以FPR(False Positive Rate)为横坐标,TPR(True Positive Rate)为纵坐标,称作ROC曲线:

 评价指标整理:Precision, Recall, F-score, TPR, FPR, TNR, FNR, AUC, Accuracy 随笔 第8张

 

ROC曲线又称作“受试者工作特性曲线”,很明显,越靠近左上角的点,效果越好。

AUC(Area Under Curve)定义为ROC曲线下的面积,很明显,这个值越大越好。

 

3. Accuracy

Accuracy(精确率)可以理解为所有实验中,分类正确的个数

 评价指标整理:Precision, Recall, F-score, TPR, FPR, TNR, FNR, AUC, Accuracy 随笔 第9张

 

扫码关注我们
微信号:SRE实战
拒绝背锅 运筹帷幄