Skip to content

Commit 82e6742

Browse files
committed
fix text style in math formula
1 parent bb1e571 commit 82e6742

File tree

2 files changed

+8
-8
lines changed

2 files changed

+8
-8
lines changed

docs/07-Model-Assessment-and-Selection/7.4-Optimism-of-the-Training-Error-Rate.md

Lines changed: 7 additions & 7 deletions
Original file line numberDiff line numberDiff line change
@@ -1,4 +1,4 @@
1-
# 7.4 训练误差率的 optimism
1+
# 7.4 训练误差率的乐观偏差
22

33
| 原文 | [The Elements of Statistical Learning](https://esl.hohoweiya.xyz/book/The%20Elements%20of%20Statistical%20Learning.pdf#page=247) |
44
| ---- | ---------------------------------------- |
@@ -38,13 +38,13 @@ $$
3838
部分差异是因为取值点的选取.值 $\Err_{\cal T}$ 可以看成是 **样本外误差 (extra-sample error)**,因为测试输入向量不需要与训练输入向量一致.当我们去关注 **样本内误差 (in-sample error)**,可以很简单地理解 $\overline{\err}$ 乐观估计的本质
3939

4040
$$
41-
\Err_{in}=\frac{1}{N}\sum_{i=1}^N\mathrm E_{Y^0}[L(Y_i^0,\hat f(x_i))\mid {\cal T}]\tag{7.18}\label{7.18}
41+
\Err_{\text{in}}=\frac{1}{N}\sum_{i=1}^N\mathrm E_{Y^0}[L(Y_i^0,\hat f(x_i))\mid {\cal T}]\tag{7.18}\label{7.18}
4242
$$
4343

44-
$Y^0$ 表示我们在每个训练点 $x_i,i=1,2,\ldots,N$ 处观测 $N$ 个新响应变量的值.我们定义 $\Err_{in}$ 与训练误差 $\overline{\err}$ 的差为 **乐观 (optimism)**
44+
$Y^0$ 表示我们在每个训练点 $x_i,i=1,2,\ldots,N$ 处观测 $N$ 个新响应变量的值.我们定义 $\Err_{\text{in}}$ 与训练误差 $\overline{\err}$ 的差为 **乐观偏差 (optimism)**
4545

4646
$$
47-
\mathrm {op}\equiv \mathrm{Err}_{in}-\overline{\err}\tag{7.19}\label{7.19}
47+
\mathrm {op}\equiv \mathrm{Err}_{\text{in}}-\overline{\err}\tag{7.19}\label{7.19}
4848
$$
4949

5050
一般情形下这是正的,因为 $\overline{\err}$ 经常是预测误差的向下有偏估计.最终,平均乐观是乐观在训练集上的期望
@@ -69,7 +69,7 @@ $$
6969
总结一下,我们有重要的关系式
7070

7171
$$
72-
\E_{\mathbf y}(\Err_{in})=\E_{\mathbf y}(\overline{\err})+\frac{2}{N}\sum\limits_{i=1}^N\Cov(\hat y_i,y_i)\tag{7.22}\label{7.22}
72+
\E_{\mathbf y}(\Err_{\text{in}})=\E_{\mathbf y}(\overline{\err})+\frac{2}{N}\sum\limits_{i=1}^N\Cov(\hat y_i,y_i)\tag{7.22}\label{7.22}
7373
$$
7474

7575
如果 $\hat y_i$ 通过含 $d$ 个输入或者基函数的线性拟合得到,上面表达式可以简化.例如,对于可加误差模型 $Y=f(X)+\varepsilon$,
@@ -81,15 +81,15 @@ $$
8181
因此
8282

8383
$$
84-
\E_{\mathbf y}(\Err_{in})=\E_{\mathbf y}(\overline{\err})+2\cdot\frac{d}{N}\sigma_\varepsilon^2\tag{7.24}\label{7.24}
84+
\E_{\mathbf y}(\Err_{\text{in}})=\E_{\mathbf y}(\overline{\err})+2\cdot\frac{d}{N}\sigma_\varepsilon^2\tag{7.24}\label{7.24}
8585
$$
8686

8787
!!! note "weiya 注:\eqref{7.24}"
8888
[Issue 27: Ex. 7.4](https://github.com/szcf-weiya/ESL-CN/issues/27) 的解答中也给出了 \eqref{7.24} 的推导。
8989

9090
表达式 $\eqref{7.23}$ 是将在 [7.6 节](7.6-The-Effective-Number-of-Parameters/index.html)讨论的 **有效参数个数 (effective number of parameters)** 定义的基础.optimism 随着我们使用的输入或基函数的个数 $d$ 线性增长,但是当训练样本大小增大时会降低.$\eqref{7.24}$ 的其它版本对其它误差模型也近似成立,比如二值数据和熵损失.
9191

92-
估计预测误差的一种明显方法是先估计 optimism 然后加到训练误差 $\overline{\err}$ 上.下一节将要描述的方法—$C_p$,AIC,BIC 以及其它方法—对于估计关于参数是线性的特殊估计类,都是通过这种方式实现.
92+
估计预测误差的一种明显方法是先估计 optimism 然后加到训练误差 $\overline{\err}$ 上.下一节将要描述的方法—$C_p$,AIC,BIC 以及其它方法—对于估计关于参数是线性的特殊估计类,都是通过这种方式实现.
9393

9494
相反地,将在本章后面描述的交叉验证以及自助法是对 **样本外 (extra-sample)** 误差 $\Err$ 直接估计的方法.这些一般工具可以用于任意损失函数以及非线性自适应拟合技巧.
9595

mkdocs.yml

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -66,7 +66,7 @@ pages:
6666
- 7.1 导言: '07-Model-Assessment-and-Selection/7.1-Introduction.md'
6767
- 7.2 偏差,方差和模型复杂度: '07-Model-Assessment-and-Selection/7.2-Bias-Variance-and-Model-Complexity.md'
6868
- 7.3 偏差-方差分解: '07-Model-Assessment-and-Selection/7.3-The-Bias-Variance-Decomposition.md'
69-
- 7.4 测试误差率的 optimism: '07-Model-Assessment-and-Selection/7.4-Optimism-of-the-Training-Error-Rate.md'
69+
- 7.4 测试误差率的乐观偏差: '07-Model-Assessment-and-Selection/7.4-Optimism-of-the-Training-Error-Rate.md'
7070
- 7.5 样本内预测误差的估计: '07-Model-Assessment-and-Selection/7.5-Estimates-of-In-Sample-Prediction-Error.md'
7171
- 7.6 参数的有效个数: '07-Model-Assessment-and-Selection/7.6-The-Effective-Number-of-Parameters.md'
7272
- 7.7 贝叶斯方法和 BIC: '07-Model-Assessment-and-Selection/7.7-The-Bayesian-Approach-and-BIC.md'

0 commit comments

Comments
 (0)