2.2 简单线性回归
在着眼于某些真实环境的数据集之前，尝试在人造数据上训练模型是非常有帮助的。在这样的人造场景里，我们事先就知道了实际输出函数是什么，而这对于真实环境的数据来说通常是不成立的。进行这种练习的好处是，它会让我们对自己的模型在所有假设都完全成立的理想场景下的工作情况有清楚的了解，而且它有助于对具备理想的线性拟合时发生的情况进行可视化。我们先模拟一个简单线性回归模型。后面的R语言代码片段会为下面这个只有1个输入特征的线性模型创建一个带有100条模拟观测数据的数据框：
y＝1.67x1－2.93＋N (0, 22)
下面是用于这个简单线性回归模型的代码：
对于输入特征，我们要从一个均匀分布中随机抽样一些点。我们用均匀分布让数据点理想地分散开。注意，最后那个df数据框的用途是模拟我们在实践中会获得的一个数据框，因此，其中并没有包含误差项e，因为它在实际环境里是无法得到的。
当利用类似上述数据框里的某些数据训练一个线性模型的时候，实际上希望的是能产生一个和数据背后的模型具有相同系数的线性模型。换言之，原始的系数就定义了一个总体回归线（population regression line）。在这种情况下，总体回归线代表了数据实际对应的模型。一般来说，我们会发现自己在试图对一个未必线性的函数进行建模。在这种情况下，仍然可以把总体回归线定义为最有可能的线性回归线，但一个线性回归模型显然不会有实际模型那样良好的表现。
估算回归系数
对于简单回归模型来说，训练模型的过程相当于根据数据集对两个回归系数进行估算。正如从之前构建的数据框里所看到的，我们的数据实际上是一系列的观测数据，其中每一个数据是一对值（xi, yi），其中第一个元素是输入特征值，第二个元素是它对应的输出标签。其实，对于简单线性回归，有可能写出两个方程，用来计算这两个回归系数。我们不会直接给出这些方程，而是先要用简短篇幅来回顾一些读者在之前很可能遇到过的非常基础的统计量，因为它们很快就会起重要作用。
一组值的均值（mean）就是这些值的平均值，它经常被描述为位置的衡量指标，用来大致表示这些值在衡量它们的标尺上居中的位置。在统计学专业里，一个随机变量的平均值经常被称为期望值（expectation），因此我们经常可以看到一个随机变量X的均值被标记为E(X)。另一个普遍使用的记号是上横杠标记（bar notation），即可以通过给一个变量顶部加上一个横杠表示对一个变量取平均值的概念。要对此进行图示，下面的两个方程就表示了输出变量y和输入特征x的均值：
第二个很常见的统计量应该也是大家所熟悉的，它就是变量的方差（variance）。方差衡量的是每个变量值和均值之间距离的平方的平均值。从这个意义上说，它是一个离散度的衡量指标，因此低方差意味着大部分值是靠近均值进行聚集的，而更大的方差则会导致变量值是扩散开的。注意，方差的定义中包含了均值的定义，因此，我们会看到在下列显示输入特征x的方差的方程里用到了上部带一个横杠的x变量：
最后，用下列方程来定义两个随机变量x和y之间的协方差（covariance）：
从前面这个方程可以清楚地看到，前面定义的方差实际上就是协方差在两个变量相同时的一种特殊情况。协方差衡量的是两个变量相互之间关联的紧密程度，可以是正值或负值。正的协方差表明了正相关性，也就是说，当一个变量增大时，另一个也会增大。负的协方差则代表相反的含义，当一个变量增大时，另一个往往会减小。当两个变量从统计学角度是互相独立因而不相关的，它们的协方差就是0（不过需要说明的是：反过来，协方差为0并不一定能得出统计学角度的相互独立关系）。
掌握了这些基本概念之后，现在我们就可以给出简单线性回归里两个回归系数的近似计算公式了：
第一个回归系数等于输出与输入特征的协方差除以输入特征的方差所得到的比例。注意，如果输出变量和输入特征相互独立，则协方差为0，因而线性模型就是一条没有斜率的水平直线。在实践中要注意的是，即使两个变量从统计学角度是互相独立的，通常还是会得到少量的协方差，这是由于误差的随机性所致，因此如果要训练一个线性回归模型来表示它们之间的关系，第一个回归系数一般会是一个非零值。后面我们会看到，如何运用显著性检验（significance test）来检测出我们不应该纳入模型中的特征。
要在R语言中实现线性回归，进行这些计算并不是必需的，因为R语言提供了lm()函数，它会为我们构建一个线性回归模型。下面的代码样例会用到之前创建的df数据框，并计算出回归系数：
在第一行我们可以看到lm()函数的用法：首先指定一个公式，然后接着给出data参数，它在示例中就是df数据框。对于简单线性回归，给lm()函数指定公式的语法是：输出变量的名字后面跟一个波浪符（~），然后再跟一个输入特征的名字。在本章后续内容里，当我们学习多元线性回归时，会看到如何指定更复杂的公式。最后，输出内容给出的是两个回归系数的值。注意，0系数被标记为截距（Intercept），而1系数是用线性模型方程里对应特征的名字（在这个示例中是x1）来标记的。
下图在同一张图上显示了总体回归线和近似线：
正如我们所见，这两条线互相非常贴近，以至于几乎难以区分，这表明该模型对于实际总体回归线的近似是非常接近的。根据第1章的内容，我们知道可以用均方差作为规范来表示该模型拟合当前数据集的紧密程度，以及该模型将来会拟合类似测试集的紧密程度。我们在本章要了解它和其他几种模型性能及质量的衡量指标，但我们首先要把这个回归模型广义化，用来处理超过1个的输入特征。