Peter F2019-12-12 19:30:50

同学，你好：可以这样理解，
背景介绍：ROC的全称是“受试者工作特征”（Receiver Operating Characteristic）曲线，首先是由二战中的电子工程师和雷达工程师发明的，用来侦测战场上的敌军载具（飞机、船舰），也就是信号检测理论。之后很快就被引入了心理学来进行信号的知觉检测。此后被引入机器学习领域，用来评判分类、检测结果的好坏。因此，ROC曲线是非常重要和常见的统计分析方法。

根据学习器的预测结果对样例进行排序，按此顺序逐个把样本作为正例进行预测，每次计算出两个重要量的值（TPR、FPR），分别以它们为横、纵坐标作图。
计算公式如下：
False positive rate (FPR) = FP/(TN + FP)
True positive rate (TPR) = TP/(TP + FN)

假设采用逻辑回归分类器，其给出针对每个实例为正类的概率，那么通过设定一个阈值如0.6，概率大于等于0.6的为正类，小于0.6的为负类。对应的就可以算出一组(FPR,TPR),在平面中得到对应坐标点。随着阈值的逐渐减小，越来越多的实例被划分为正类，但是这些正类中同样也掺杂着真正的负实例，即TPR和FPR会同时增大。阈值最大时，对应坐标点为(0,0),阈值最小时，对应坐标点(1,1)。

从AUC判断分类器（预测模型）优劣的标准：
1）AUC = 1，是完美分类器，采用这个预测模型时，存在至少一个阈值能得出完美预测。绝大多数预测的场合，不存在完美分类器。
2）0.5 < AUC < 1，优于随机猜测。这个分类器（模型）妥善设定阈值的话，能有预测价值。
3）AUC = 0.5，跟随机猜测一样（例：丢铜板），模型没有预测价值。
4）AUC < 0.5，比随机猜测还差；但只要总是反预测而行，就优于随机猜测。

考核要求，以下公式要会计算，即可。
Precision (P) = TP/(TP + FP)
F1 score = (2 × P × R)/(P + R)
Accuracy = (TP + TN)/(TP + FP + TN + FN)
难度可以参考原版书课后题。