预期逻辑顺序:

最小二乘原理(大约一小段)

最小二乘历史由来,

SRE实战 互联网时代守护先锋,助力企业售后服务体系运筹帷幄!一键直达领取阿里云限量特价优惠。

最小二乘法公式形式(以一次函数为例)

最小二乘估计分析

最小二乘性质,特点

高斯分布

t分布

加入正则化的考量(Hilbert空间,kernel方法,表示定理)

拉普拉斯正则化最小二乘

以上大致框架,回头慢慢补细节

涉及知识,概率论数理统计,流形,kernel方法等

搜罗相关文献:

 1)PRML_中文翻译版

 第3章,关于损失函数的讨论,一个常见选择是平方误差损失。

    对于回归问题,回归问题的目标是在给定D维输入变量x的情况下,预测一个或者多个连续目标变量t的值。(1,多项式曲线拟合)线性回归模型具有可调节的参数,具有线性函数的性质。线性回归模型最简单的形式是输入变量的线性函数。但通过将一组输入变量的非线性函数进行线性拟合,会得到基函数。这种模型是参数的线性函数,使其具有一些简单的分析性质,同时关于输入变量是非线性的。

    给定一个由N个值{xn}组成的数据集,其中n=1,2...N,以及对应目标值{tn},目标是预测对于给定新的x值得情况下,给出t的值。最简单方法:建立一个适当的函数y(x),对于新的输入x,能直接给出对应的t的预测。更一般而言,从概率观点看,目标是对预测分布p(t|x)建模,因为它表达了对于每个x值,我们对于t的值得不确定性。在这个条件概率分布中,对于任意x的新值,可以对t进行预测,这种方法等同于最小化一个恰当选择的损失函数的期望值。对于实值变量而言,损失函数一个通常选择为平方误差损失,这种情况下最优解由t的条件期望给出。

 

扫码关注我们
微信号:SRE实战
拒绝背锅 运筹帷幄