求详细推导过程

来源：蜘蛛抓取(WebSpider) 时间：2021-06-28 03:36 标签：

PCA（主成分分析）是一种数据降维嘚方法即用较少特征地数据表达较多特征地数据（数据压缩，PCA属于有损压缩）PCA推导有两种主要思路：

  1. 最大化数据投影后的的方差（让數据更分散）

本文采用第一种思路完成推导过程，下图中旋转的是新坐标轴每个数据点在改坐标轴上垂直投影，最佳的坐标轴为数据投影后的数据之间距离最大

图1 数据投影到新坐标轴

要完成PCA推导过程，需要如下第 2 章部分的理论依据

坐标变换地目标是找到一组新的正交單位向量，替换原来的正交单位向量下面通过具体例子说明。

假设存在向量 要变换导以 为新基底地坐标上，求在心坐标系中的坐标

向量 在向量 上的投影距离 s：

其中： 表示两个向量之间的夹角

在新坐标系中的坐标可以表示为：

如果矩阵 A 的列向量分别表示原来坐标系中的点那么在新坐标系中的坐标为：

如果 表示一系列数据点的中心，那么可以证明：

经过上面的变换之后新坐标系相比原坐标系顺时针旋转叻45度； 相对新坐标系位置和相对原坐标系位置发生了逆时针旋转45度。即：上述变换过程为向量的旋转过程旋转的角度=-坐标系旋转角度

，2個坐标分别放大了 倍和 倍即向量发生了伸缩。

2.2 拉格朗日乘子法

拉格朗日乘子法主要提供了一种求解函数在约束条件下极值的方法下面還是通过一个例子说明。

假设存在一个函数 求该函数在 下的极值（可以是极大，也可以极小）

通过观察我们发现在极值点的时候两个函数必然相切，即此时各自的导数成正比从而：

通过联立上述三个公式，既可以求出最终结果拉格朗日算子的主要思路同上，不过他假设了一个新的函数：

协方差研究的目的是变量（特征）之间的关系也就是上表中的发传单数量、购买数量、购买总额之间的相关情况

仩表数据用矩阵表示为：

那么两两变量之间的关系：

如果E(x)=E(y)=E(z)=0（可以通过数据初始化实现），那么上述的协方差关系可以用如下矩阵乘法表示：

如果把对角线上的数据加起来会发现：

也就是说每个样本点到样本中心距离的平方和的平均 = 样本各个特征方差和（自身协方差）= ? 即樣本的方差

2.4 特征向量和奇异值分解

假设：左侧矩形由 定义，右侧矩形由

根据 2.1 矩阵拉伸变换的结果变换矩阵

在应用变换矩阵变换时，我们發现存在与上图中红色向量平行的向量 他们总满足：

所以：红色的特征向量不受变换矩阵的影响，仍保持原来的方向我们称这类向量為变换矩阵A的特征向量，对应的 为特征值又因为特征向量有很多个，即：

其中：Q的列向量都是A变换矩阵的特征向量

另外在做旋转变换時，要求变换前后的坐标维度不发生改变即A须为方阵

综上：如果方阵A满足 ，那么Q为特征向量 为对应的特征值

即：U的列向量两两正交且模为1，V列向量两两正交且模为1即：

2.4.3 特征向量和奇异值分解的关系

对于任意矩阵 ，对A做svd有：

所以 能实现特征分解又因为：

因此：对 做SVD，那么得到的U''列向量为特征向量（对应A的U矩阵） 为特征值对角阵

同理：对 做SVD，那么得到的U''列向量为特征向量（对应A的V矩阵） 为特征值对角矩阵

PCA的目标是找到一组新的正交基 （从n维下降到k维），使得数据点在该正交基构成的平面上投影后数据间的距离最大，即数据间的方差最大如果数据在每个正交基上投影后的方差最大，那么同样满足在正交基所构成的平面上投影距离最大

根据2.1，设正交基 数据点 在該基底上的投影距离为 ，所以所有数据在该基底上投影的方差 为：

其中：m为样本数量在数据运算之前对数据 x 进行0均值初始化，即 从而：

由于 为常数，这里假设 则： ，根据PCA目标我们需要求解 最大时对应的

根据 2.2 中的拉格朗日算子（求极值）求解：

结合2.4.1则：当 分别为S矩阵嘚特征向量、特征值时， 有极值把上述结果带回公式得：

所以对于任意满足条件的正交基，对应的数据在上面投影后的方差值为S矩阵的特征向量从而：

所以投影正交基为S的特征向量中的前k个最大特征值对应的特征向量。

接下来对S进行特征分解根据2.4.3特征向量和svd的关系结論，S的特征向量集合：

另外由于 由于X已0均值处理，根据2.3 协方差矩阵定义：S为数据集X的协方差矩阵

综上，即可得到满足投影后数据距离朂大的新的正交基

  1. 初始化X使得所有样本之间的特征值均值为0，同时应用feature scaling缩放到-0.5～0.5 ;
  2. 计算X的协方差矩阵S;
  3. 对S进行SVD分解，U即我们要求的新坐标系集合 为特征值集合（计算时特征值都会大于0，且结果会从小到大排列）;
  4. 按照特征值从大到小排序要降低为k维，那么取前k个特征值对應的特征向量就是新的k个坐标轴
  5. 把X映射到新的坐标系中，完整降维操作;

根据之前的公式做PCA投影后，投影数据的方差：

又因为：数据从n維投影新的n维的坐标系方差不会发生改变（向量的模长度相等且为1，可以用2D坐标系投影到45-135度坐标系验证）即：

即：X的协方差矩阵的特征值和对应X的方差

3.3 主成份数量的选择

PCA使得数据从n维降低为k维度，接下来介绍如何选择合适的k一般选择标准为：投影前后方差比例值，作為k值的选择标准距离来说，我们期望：

其中q一般选择0.99根据PCA总结中特征协方差矩阵和X方差的关系得：

因此主成份数量k根据上述公式求得滿足条件的最小k

本文同时发布于CSDN博客：

喵喵上个图还是倒的，我要把顯示器翻过来看好累……

这不就是传说中的碰碰车公式嘛？

代入法就好了啊……知道为什么课本说可以推但不写出具体步骤吗

就是因為“真TM长”……我手打也觉得绝望

如果两球是对心碰撞，表面光滑可判断“动量守恒”和“能量守恒”。便可列出式子：

物理需要做的笁作就完了走了走了……

（别打别打，我投降！）

下面就是数学的推导所以我常常说：物理需要做的工作是列出正确的式子，能不能解要看数学行不行。

为了方便观看避免很多同学看下标想吐的情况发生，我们做这样的代数式：

观察这两个式子你可以发现对应关系，不说了

我们现在要做的就是化简，观察两式子直接代入，有平方式子肯定会展开到令人绝望的复杂程度，我们考虑到有平方差公式于是将两式进行移项，有：

展开后整个人都舒爽了。

这还有啥好说的代入就完事了。

另一个如法炮制觉得自己棒棒哒！

我要回帖

 

随机推荐