本文共 3498 字，大约阅读时间需要 11 分钟。

Numerical Evaluation

用数值评价指标来估计算法的执行结果 可以看出学习算法的效果。

在自然语言处理中，可用stemming software（词干提取软件）实现；在搜索引擎中搜Porter Stemmer这种软件进行词干提取。但它们都只处理单词的前几个字母。可以使用交叉验证（not error analysis）在使用词干提取和不使用词干提取条件下分别看看其结果。

Need numerical evaluation(e.g.,cross validation error) of algorithm’s performance with and without stemming.

Without stemming:5% error With stemming:3% error $⟹$ using stemming 对于特定的问题，采用单一规则的数值评价指标——the cross validation error. 注：要在交叉验证集上做。 other examples: 是否区分大小写，e.g. Distinguish upper vs. lower case (Mom/mom):3.2% $⟹$ 不区分

1.形成一个简单算法

2.查看错误，通过误差分析看它出现了什么失误，以此决定之后的优化方法 3.有了算法和数值评价指标后，有助于实验新的想法并验证该想法，决定自己该放弃些什么

the reversed example

For skewed class,需采用其它 Evaluation metric。

Case:Cancer classification    Model:$h_{\theta }(x)\{\begin{array}{ll}y=1& \text{if }cancer\\ y=0& \text{otherwise}\end{array}$    Evaluation metric:分类误差/分类精确度 测试集只有1%的误差，而0.50%的病人have cancer。

function y = predictCancer(x)	y = 0;	%ignore x!return

利用上面非机器学习的算法，误差只有0.50%

$⟹$显然误差降低了，but 并未真正提升分类模型的质量

Precision/Recall

在上述例子中，$y=1$ in presence of rare class that we want to detect.

Predicted class	Actual class
	1	0
1	True Positive（真阳性）	False Negative（假阴性）
0	False Positive（假阳性）	True Negative（真阴性）

Precision

(Of all patients where we predicted $y=1$, what fraction actually has cancer?)

$$\frac{Truepositive}{\#predictedpositive}=\frac{TP}{TP+FP}$$

即：第一格 比上 第一行.

Recall

(Of all patients that actually have cancer, what fraction did we correctly detect as having cancer?)

$$\frac{Truepositive}{\#actualpositive}=\frac{TP}{TP+FN}$$

即：第一格 比上 第一列.

function y = predictCancer(x)	y = 0;	%ignore x!return

若采用上述算法，$Precision=0,Recall=0$.

结论：对偏斜类中的rare class，采用 Precision/Recall 作为评估度量值。

Trading off precision & recall

对于Logistic regression:$0\le h_{\theta }(x)\le 1$

Predict 1 if $h_{\theta }(x)\ge$ threshold Predict 0 if $h_{\theta }(x)<$ threshold Suppose we want to predict $y=0$(cancer) only if very confident.（“宁可放过一百，不可错杀一个”） $⟶$ threshold = 0.7，0.9 $⟶$ Higher precision, lower recall. Suppose we want to avoid missing too many cases of cancer(avoid false negatives).（“宁可错杀一百，不可放过一个”） $⟶$ threshold = 0.3，0.1 $⟶$ Higher recall, lower precision.

Precision-Recall 可能的曲线

How to compare precision/recall numbers?

$F_{1}Score:2\frac{PR}{P+R}$

	Precision( P )	Recall( R )	Average	$F_{1}Score$
Algorithm 1	0.5	0.4	0.45	0.444
Algorithm 2	0.7	0.1	0.4	0.175
Algorithm 3	0.02	1.0	0.51	0.392

当$P=0orR=0⟹F_{1}Score=0$；

当$P=1andR=1⟹F_{1}Score=1$; $else⟹F_{1}Score$介于$0-1$之间

对于Algorithm 3，将Predict均判为$y=1$，此时R为1，P极小，显然该算法不可用。若将Average作为数值指标，Algorithm 3的值反而比1和2大。

$⟹$Average此时不可作为评估度量值。

---

1. 是否将它们看作同一个单词，是否将它们看作相同的特征

转载地址：http://nymzi.baihongyu.com/