[深度之眼机器学习训练营第四期]线性回归

佚名 6年前 (2020-01-10) 人工智能 1745人围观抢沙发百度已收录

基本概念

首先看一下基本的概念与符号。\(x^{(i)}\)表示输入变量，也就是特征，\(y^{(i)}\)表示输出变量，也被称为标签或目标。二者组成的元组\((x^{(i)},y^{(i)})\)就表示一个训练样本，而\(n\)个这样的训练样本就组成了训练集，即\(\{(x^{(i)} , y^{(i)} ); i = 1, \cdots , n\}\)。此外，我们使用\(\mathcal{X}\)表示输入值的空间，用\(\mathcal{Y}\)表示输出值的空间。将输入值映射到输入值的函数被称为假设（hypothesis），这些映射函数构成的集合被称为假设集，表示为\(h: \mathcal{X} \mapsto \mathcal{Y}\)。以线性函数为例，一个可能的假设为：
\[ h_\theta(x) = \theta_0 + \theta_{1}x_1 + \theta_2 x_2 \]
其中，\(\theta_i\)是假设的参数（或称之为权重）。显然，对于不同的假设，其参数是不同的。

机器学习的流程就是在训练集上运行学习算法，从假设集中找到一个“好”的假设\(h^*\)，以根据输入值预测输出值。如果我们需要预测的输出值是连续的，那么我们称之为回归问题；如果需要预测的值是离散的，那么就是分类问题。接下来，我们需要解决两个问题。第一个问题就是如何衡量假设的“好”与“坏”？第二个问题是怎样找到一个“好”的假设？

SRE实战互联网时代守护先锋，助力企业售后服务体系运筹帷幄！一键直达领取阿里云限量特价优惠。

损失函数

先来看一下第一个问题，如何衡量假设的“好”与“坏”。显然，一种直观的想法是在训练集上，预测值\(h_\theta(x)\)与真实值\(y\)之间的误差越小越好。因此，我们定义一个函数来衡量不同参数\(\theta\)下每个样本的预测值\(h_\theta(x^{(i)})\)和真实值\(y^{(i)}\)之间的差距。这个函数就是损失函数。在回归问题中，常用的损失函数为平方误差函数：
\[ J(\theta) = \frac {1}{2n} \sum _{i=1}^n \left (h_\theta (x_{i}) - y_{i} \right)^2 \]

参数学习

我们已经知道如何度量假设的“好”与“坏”，下面就需要解决第二个问题：如何找到“好”的假设，换句话说，就是如何学习出“好”的参数\(\theta\)。我们希望学到的参数能够使损失函数\(J(\theta)\)最小化。下面介绍两种学习参数的方法。

梯度下降法

梯度下降是一种最优化方法。它首先将参数初始化，然后求解对应目标函数的梯度，沿着梯度下降最快的方向更新参数，直到目标函数收敛到最小值。单步更新的公式如下：
\[ \theta_j := \theta_j - \alpha\frac{\partial}{\partial\theta_j}J(\theta) \]
其中\(\alpha\)是学习率，也叫做步长。实现梯度下降的关键是求解\(J(\theta)\)对\(\theta_j\)的偏导数：
\[ \begin{aligned} \frac{\partial}{\partial \theta_j} J(\theta) &= \frac{\partial}{\partial \theta_j} \frac{1}{2} (h_\theta(x) - y)^2 \\\\ &=2 \cdot \frac{1}{2} (h_\theta(x) - y) \cdot \frac{\partial}{\partial \theta_j} (h_\theta(x) - y) \\\\ &=(h_\theta(x) - y)\cdot\frac{\partial}{\partial \theta_j}\left(\sum_{i=0}^{d}\theta_i x_i - y\right)\\\\ &=(h_\theta(x) - y)x_j \end{aligned} \]
因此，单个训练样本的更新规则如下：
\[ \theta_j := \theta_j - \alpha\left(h_\theta(x^{(i)})-y^{(i)}\right)x_j^{(j)},\forall j\in\{0,1,\cdots,d\} \]

也可以写成：
\[ \theta := \theta - \alpha\left(h_\theta(x^{(i)})-y^{(i)}\right)x^{(j)} \]

在使用梯度下降算法时，要进行特征缩放及归一化。这两步操作使所有的特征值处于相近的范围内，以保证损失函数\(J(\theta)\)不是偏斜的。

正规方程法

因为最小化\(J(\theta)\)是一个凸优化问题，所以\(J(\theta)\)有全局唯一的最小值。这就意味着我们可以直接计算出该问题的解析解。

为了求解该问题，我们需要构造一个由所有训练样本组成的矩阵\(X\)，矩阵的每一行表示一个训练样本，每一列表示不同的特征。这里\(X\)是一个\(n\times (d+1)\)维的矩阵（包含截距项）：
\[ X=\begin{bmatrix} —(x^{(1)})^T — \\ —(x^{(2)})^T —\\ \vdots \\ —(x^{(n)})^T— \end{bmatrix} \]
令\(\vec{y}\)为所有真实值组成的\(n\)维向量：
\[ \vec{y} = \begin{bmatrix} y^{(1)}\\ y^{(2)}\\ \vdots\\ y^{(n)}\\ \end{bmatrix} \]
因为\(h_\theta(x^{(i)}) = (x^{(i)})^T\theta\)，其中\(\theta\)是一个\(d+1\)维向量，所以有如下形式：
\[ \begin{aligned} X\theta -\vec{y} &=\begin{bmatrix} (x^{(1)})^T\theta\\ \vdots\\ (x^{(n)})^T\theta\\ \end{bmatrix}-\begin{bmatrix} y^{(1)}\\ \vdots\\ y^{(n)}\\ \end{bmatrix}\\ &=\begin{bmatrix} h_\theta(x^{(1)})-y^{(1)}\\ \vdots\\ h_\theta(x^{(n)})-y^{(n)}\\ \end{bmatrix} \end{aligned} \]
对于任意向量\(z\)，我们有\(z^Tz = \sum_{i}z_i^2\)。因此，可以将\(J(\theta)\)写成矩阵形式：
\[ \begin{aligned} J(\theta)&= \frac{1}{2}\sum_{i=1}^{n}\left(h_\theta(x^{(i)})-y^{(i)}\right)^2\\ &=\frac{1}{2} (X\theta-\vec{y})^T(X\theta-\vec{y}) \end{aligned} \]
对\(J(\theta)\)求导得：
\[ \begin{aligned} \nabla_\theta J(\theta) &= \nabla_\theta \frac{1}{2}(X\theta-\vec{y})^T(X\theta-\vec{y})\\ &= \frac{1}{2}\left((X\theta)^TX\theta-(X\theta)^T\vec{y}-\vec{y}^T(X\theta)+\vec{y}^T\vec{y}\right)\\ &= \frac{1}{2}\left(\theta^T(X^TX)\theta-\vec{y}^T(X\theta)-\vec{y}^T(X\theta)\right)\\ &=\frac{1}{2}\left(\theta^T(X^TX)\theta- 2(\vec{y}^TX)\theta\right)\\ &= \frac{1}{2}\left(\theta^T(X^TX)\theta-2(X^T\vec{y})^T\theta\right)\\ &= \frac{1}{2}(2X^TX\theta-2X^T\vec{y})\\ &= X^TX\theta-X^T\vec{y} \end{aligned} \]
为了求解\(J(\theta)\)的最小值，令其导数等于0，得到正规方程：
\[ X^TX\theta = X^T\vec{y} \]
因此，\(J(\theta)\)最小值的闭式解为：
\[ \theta = (X^TX)^{-1}X^T\vec{y} \]