PCA是机器学习中recognition中的传统方法，今天下午遇到了，梳理记一下

提出背景：

SRE实战 互联网时代守护先锋，助力企业售后服务体系运筹帷幄！一键直达领取阿里云限量特价优惠。

二维空间里，2个相近的样本，有更大概率具有相同的属性，但是在高维空间里，由于样本在高维空间里，呈现越来越稀疏的特性，即使相同属性的样本，距离也是随着维度提高，越来越远。

如100 * 100的照片分析，数据维度10000维，数据维度太高，计算机处理复杂度高，需要将维度降低（因为10000维里面数据之间存在相关关系，所以可以除去重复维度信息，而保持信息不丢失）

降维方法

1.以二维空间的5个样本X为例

   PCA(Principal Component Analysis)笔记 随笔 第1张PCA(Principal Component Analysis)笔记 随笔 第2张

先进行零均值化变为    PCA(Principal Component Analysis)笔记 随笔 第3张 PCA(Principal Component Analysis)笔记 随笔 第4张 坐标轴上表示为：                                       PCA(Principal Component Analysis)笔记 随笔 第5张 2.求原始坐标空间x，y的协方差矩阵                                                                  PCA(Principal Component Analysis)笔记 随笔 第6张 PCA(Principal Component Analysis)笔记 随笔 第7张  x和y轴上均值为0， 所以x轴上元素的方差Variance（x）满足：                                 PCA(Principal Component Analysis)笔记 随笔 第8张 PCA(Principal Component Analysis)笔记 随笔 第9张   x轴，y轴上元素的方差Coariance（x，y）满足：                                 PCA(Principal Component Analysis)笔记 随笔 第10张 PCA(Principal Component Analysis)笔记 随笔 第11张 我们将原始矩阵X做如下变换                                  PCA(Principal Component Analysis)笔记 随笔 第12张 PCA(Principal Component Analysis)笔记 随笔 第13张 此时矩阵对角线上的元素是X，Y轴上的方差，邪对角线上的元素是，XY的协方差，此规律扩展到多维空间，同样成立：                                                                            PCA(Principal Component Analysis)笔记 随笔 第14张 PCA(Principal Component Analysis)笔记 随笔 第15张C是一个对称矩阵，其对角线分别个各个轴的方差，而第 i 行 i 列和，  j 行 i 列元素相同，表示和两个轴的协方差。   3.将X经过P做基变换后得到Y = PX，此时Y已变换到以P为基的新空间，这个空间维数更少，Y的各轴上方差达到最大，且轴与轴之间协方差最小            PCA(Principal Component Analysis)笔记 随笔 第16张                               PCA(Principal Component Analysis)笔记 随笔 第17张                                
在变换后的新空间上，Y的各轴方差，和轴与轴之间的协方差，可以通过Y的协方差矩阵D表示                            PCA(Principal Component Analysis)笔记 随笔 第18张 PCA(Principal Component Analysis)笔记 随笔 第19张  我们的优化目标即：Y的新空间上的新坐标轴上方差达到最大，且轴与轴之间协方差最小，此目标等价于Y的协方差矩阵D的对角化（非对角线上全为0，表示各轴之间表示的信息相互独立，将对角线上元素按照从大往小排列，最大的第1个元素，在那个轴上的方差最大）                         4.C是一个实对称矩阵（ PCA(Principal Component Analysis)笔记 随笔 第20张 PCA(Principal Component Analysis)笔记 随笔 第21张），由去年考研复习的线代知识可知：                             PCA(Principal Component Analysis)笔记 随笔 第22张 PCA(Principal Component Analysis)笔记 随笔 第23张 5.                             PCA(Principal Component Analysis)笔记 随笔 第24张 PCA(Principal Component Analysis)笔记 随笔 第25张   PCA(Principal Component Analysis)笔记 随笔 第26张对C求得特征值为，对应的特征向量为:                              PCA(Principal Component Analysis)笔记 随笔 第27张 PCA(Principal Component Analysis)笔记 随笔 第28张                 PCA(Principal Component Analysis)笔记 随笔 第29张 PCA(Principal Component Analysis)笔记 随笔 第30张 6.                              PCA(Principal Component Analysis)笔记 随笔 第31张 PCA(Principal Component Analysis)笔记 随笔 第32张                              PCA(Principal Component Analysis)笔记 随笔 第33张 PCA(Principal Component Analysis)笔记 随笔 第34张                             PCA(Principal Component Analysis)笔记 随笔 第35张 PCA(Principal Component Analysis)笔记 随笔 第36张 如下图所示：                             PCA(Principal Component Analysis)笔记 随笔 第37张 PCA(Principal Component Analysis)笔记 随笔 第38张
扫码关注我们
微信号：SRE实战
拒绝背锅 运筹帷幄