RL-model-content-ml-01

练习一下自己的Markdown的公式书写速度

给定数据集 $D=(x_1,y_1),(x_2,y_2),\cdots ,(x_m,y_m)$，其中$x_i=x_{i1},x_{i2},\cdots ,x_{in}$, $y_i\in \mathbb{R}$。 线性回归试图学得$f(x_i)=w{x}_i+b$,使$f(x_i)$与$y_i$之间的差别尽可能小。如何确定$w$和$b$,关键在于如何衡量$f(x_i)$与$y_i$之间的差别，可以通过均方误差最小化
$$E(w,b)={\displaystyle \sum _{i=1}^m(y_i-f(x_i){)}^2}$$
基于均方误差最小化来进行模型求解的方法称为“最小二乘法”
在现行回归中，最小二乘法就是试图找到一条直线，是所有样本到直线上的欧氏距离之和最小。

1. 一元线性回归
   这里$E(w,b)$是关于$w$和$b$的凸函数，当它关于$w$和$b$的导数均为零时，得到$w$和$b$的最优解。
   求$w$和$b$的偏导:
   $$\frac{\partial E(w,b)}{\partial w}=2\left[\begin{array}{c}w{\displaystyle \sum _{i=1}^m{x}_i^2-{\displaystyle \sum _{i=1}^m(y_i-b)x_i}}\end{array}\right]$$
   $$\frac{\partial E(w,b)}{\partial b}=2\left[\begin{array}{c}mb-{\displaystyle \sum _{i=1}^m(y_i-w{x}_i)}\end{array}\right]$$
   令偏导为0：
   $$
   w= \frac{\displaystyle \sum^{m}{i=1}y_i(x_i-\overline{x})}{\displaystyle \sum^m{i=1}x^2_i-\frac{1}{m}(\displaystyle \sum^m_{i=1}x_i)^2}
   $$

$$b=\frac{1}{m}{\displaystyle \sum _{i=1}^m{y}_i-w{x}_i}$$

2. 多元线性回归

$$X=\left[\begin{array}{ccccccccccccccccc}{X}_{11}& X_{12}& \cdots & X_{1n}& 1X_{21}& X_{22}& \cdots & X_{2n}& 1\cdots & \cdots & \cdots & \cdots & \cdots X_{m1}& X_{m1}& \cdots & X_{mn}& 1\end{array}\right]$$
$$Y=\left[\begin{array}{c}{w}_1{w}_2\cdots w_{n+1}\end{array}\right]$$
$$y=\left[\begin{array}{c}{y}_1{y}_2\cdots y_m\end{array}\right]$$

矩阵$X$的每一行的前$n$个元素代表一条数据标签，共有$m$个数据。最后一行元素恒置为1，为了求导的方便，把$w_{n+1}$当做现行模型中的偏置(bias)。即$f(x)=XW$。
$$loss={\displaystyle \sum _{i=1}^m(y_i-x_{i}w{)}^2}$$
注：由于 $y_i-x_{i}w$ 是个实数c,
$loss=c1c1+c2c2+\cdots+cm*cm$ 。

可写成$C^{T}C$。上式可改写成矩阵相乘的方式。
$$loss=(y-XW{)}^T(y-XW)=y^{T}y-y^{T}XW-W^T{X}^{T}y+W^T{X}^{T}XW$$

我们要求$loss$最小时，$w$的取值，所以对$w$求偏导，使其为0。

注：补充矩阵求导的知识，熟记两个公式。
$\frac{\partial (A^T{W}^{T}B)}{\partial W}=B{A}^T$ 这种情况是对带T的求导，左右两边互换位置，不加$T$

$\frac{\partial (A^{T}WB)}{\partial W}=A{B}^T$ 这种情况是 对不带$T$的求导，其他元素加$T$，不换位置

求偏导过程如下所示：
$\frac{\partial (y^{T}XW)}{\partial W}=(y^{T}X{)}^T=X^{T}y$

$\frac{\partial (W^T{X}^{T}y)}{\partial W}=X^{T}y$

$\frac{\partial W^T{X}^{T}XW}{\partial W}=X^{T}XW+(W^T{X}^{T}X{)}^T=2X^{T}XW$

$\frac{\partial (y^{T}y-y^{X}W-W^T{X}^{T}y+W^T{X}^{T}XW)}{\partial W}=2X^{X}W-2X^{T}Y$

故求得$2X^{T}XW=2X^{T}Y\Rightarrow W=(X^{T}X{)}^{-}1X^{T}y$
求得的$W$即为最优权值。

3. 局部加权线性回归