为了求得参数θ,也可以不用迭代的方法(比如梯度下降法),可以采用标准方程法一次性就算出了θ(如果feature不多的话,比如一万以下,用这种方法最好)。

标准方程法介绍:

SRE实战 互联网时代守护先锋,助力企业售后服务体系运筹帷幄!一键直达领取阿里云限量特价优惠。

(1)

标准方程法(正规方程法) 随笔 第1张

这里面,X的第一列是人为添加的,为了方便运算的,都置为1,后面才是真正的特征。

(2)

下面是样本对应的输出:

标准方程法(正规方程法) 随笔 第2张

(3)

设拟合函数为: h(x) = θ0 * x0 + θ1 * x1 .... + θn * xn  ( 其中x0 = 1)

标准方程法(正规方程法) 随笔 第3张

(4)

采用均方误差定好代价函数

最终结果 :

标准方程法(正规方程法) 随笔 第4张

 

 

证明:


要使得J最小,则有J对θ的导数=0,则

标准方程法(正规方程法) 随笔 第5张

标准方程法(正规方程法) 随笔 第6张

标准方程法(正规方程法) 随笔 第7张

标准方程法(正规方程法) 随笔 第8张

 

标准方程法(正规方程法) 随笔 第9张

标准方程法(正规方程法) 随笔 第10张

证完。

补充:

若不可逆,则

1)可能是有两列是线性相关的,那么就删除一个特征;

2)可能是特征值过多,则删除一些特征值。

 

标准方程法(正规方程法) 随笔 第11张

 

扫码关注我们
微信号:SRE实战
拒绝背锅 运筹帷幄