正交：可以简单理解成就是垂直.正交矩阵の定义：满足 A^{T}A=E 的矩阵.这个怎么理解呢？我们假设A是一个列向量矩阵，标识为 A=[ α_{1},α_{2},α_{3},...,α_{n} ]，那么按照定义就是：从上推导可以看出：任意 α_{i} 和 \alpha_{j} ①如果i和j不相等：则 α_{i}^{T}*α_{j} =0, 那就是说这两个向量垂直.②如果i和j相等：则α_{i}^{T}*α_{j} =1,
那就是说:向量自身的内积为1，也就是：向量是单位向量(模为1的向量).最终也就是说：如果矩阵的各列向量都是单位向量，并且两两正交。那么就说这个矩阵是正交矩阵。（参考xyz三维空间, 各轴上一个长度为1的向量构成的矩阵）对于正交矩阵，组成它的列向量 构成了一个空间的基，称之为：规范正交基。 而我们知道：对于一个空间而言，我们是可以找到很多个不同的基来表示的(参考相似矩阵的基底变换)，那对于一个空间：假设已知的基底是非规范正交基，有什么办法获取到它的规范正交基呢？【施密特正交法】。凡是正交矩阵，一定可以对角化。1.对角化： 参考相似矩阵，本质就是 A=P^{-1}BP , 也就是说一个矩阵A可以转为一个对角阵B.2. 正交矩阵：本身就是相互垂直，只是说它不见得是各个标准轴。以三维空间为例，我们希望正交矩阵是：但是实际上他很可能是下边这个样子：亦即以z轴为中心逆时针旋转了45°， 此时向量a,b,c依然相互正交，但是其列向量并不都在标准轴上.而对角化的结果是一个对角矩阵，本质就是把矩阵列向量都放到标准轴上。 那么很显然：正交矩阵一定可以做到！ 所以有个zhihu博主说的很对：所以结论就是：凡是正交矩阵一定可以对角化！ 注意了，正交矩阵の每个列向量都是单位向量，所以对角化后，按道理得到的是一个单位矩阵。}

本文始发于个人公众号：TechFlow我们今天一起来看正交向量和正交矩阵的概念，首先我们来复习一下向量相关。向量内积这个基本上是中学当中数学课本上的概念，两个向量的内积非常简单，我们直接看公式回顾一下：这里X和Y都是n维的向量，两个向量能够计算内积的前提是两个向量的维度一样。从上面公式可以看出来，两个向量的内积就等于两个向量对应各个维度的分量的乘积的和。为了和矩阵乘法以及普通的乘法做区分，我们通常把两个向量的内积写成：这里有一个很重要的性质，对于一个向量而言，我们可以用欧几里得公式计算它的长度。进一步，我们可以用向量的长度以及向量之间的夹角来表示向量的内积，如下：其中的θ是x和y向量之间的夹角，对于三维及以下空间内的向量，这一点非常直观。对于高维度的向量，我们很难想象它的物理意义。不过没有关系，我们一样可以认为向量之间存在一个广义超空间内的一个夹角。在机器学习领域，我们通常用这个夹角来反应向量之间的相似度。两个向量越相似，那么它们之间的夹角应该越小，对应的cos余弦值应该越大。所以我们可以用两个向量之间的余弦值来反应它们之间的相似度。余弦值的计算就源于此。正交向量从上面的公式可以看出来，向量的内积等于两个向量长度乘上向量之间的夹角。对于非零向量而言，它们的长度都应该是大于0的。所以两个向量的内积的大小，就完全取决于向量之间的夹角θ。如果θ小于90°，那么，那么内积为正值。如果θ大于90°，那么余弦值为负值。所以我们可以通过余弦值正负判断夹角是锐角还是钝角。既然说到夹角，自然就离不开一种特殊情况——垂直。如果是在二维平面当中，两个向量夹角是90°，那么显然这两个向量垂直。在高维空间当中也是一样，不过我们一般不说垂直，而是会换一个词——正交。两个非零向量的内积为0，说明两个向量正交。正交向量组搞清楚了正交向量之后，正交向量组也就明确了。正交向量组是指一组两两正交且非零的向量组。如果n维的向量组:两两正交，那么，它们一定线性无关。也就是说不存在一组不为零的系数λ，使得：这点很容易证明，由于向量组内向量均不为0，我们只需要在等式两边随便乘上一个向量即可，假设我们乘的是a1。由于它与其他向量两两正交，所以其他项全为0。如果要等式成立，那么必须要：由于a1不为0，那么必然不为0，要使得等式成立，只能是λ1为0。规范正交基我们把正交向量组的概念和基的概念融合，如果向量组是向量空间V的一个基。如果它们之间彼此正交，那么就称它们是一组规范正交基。对于向量a，我们可以很方便地求出它在规范正交基下各个维度的坐标：也就是说向量a，在规范正交基下某一个维度的坐标， 等于它和整个维度的正交基向量的内积。如果说我们已经知道向量空间V中的一组基是，我们怎么求V的规范正交基呢？这里要用到一个算法，叫做施密特算法。通过这个算法，我们可以通过向量空间的一组基来求出它的正交基。这个算法很简单，我们可以直接写出它的公式：我们随便取两个b向量乘一下就知道，b向量组之中两两正交。所以，我们只要将b向量组单位化一下，就可以求出对应的规范正交基了。即：这个算法虽然不难，但蛮重要。在机器学习领域中一些降维算法，很多都与施密特正交化方法有关。正交矩阵之前我们在介绍矩阵的时候，曾经说过，我们可以把一个矩阵看成是一个特定的向量组的结构。同样，我们也可以把一个规范正交基向量组看成是一个矩阵，那么这个矩阵就称为是正交矩阵。它拥有如下性质：其中I是单位矩阵，它的充要条件是矩阵A当中的每一列都是一个单位列向量，并且两两正交。最后，我们看一下正交矩阵的性质。它的主要性质有三个：1. 如果A是正交矩阵，那么，也是正交矩阵，并且2. 如果A和B都是正交矩阵，并且它们阶数一样，那么AB也是正交矩阵。3. 如果A是正交矩阵，向量y经过A变换之后行列式保持不变。这三个性质都很简单，我们通过正交矩阵的性质基本上都可以直接推导得到，或者是非常直观，和我们的直觉吻合。其实怎么推导不是重点，对于算法工程师而言，更重要的是理解这些概念的意思，并且将它与算法模型当中起到的功能联系起来，这才是最重要的事情。今天关于正交向量和矩阵的内容就到这里，希望大家学有收获，如果喜欢本文， 请点个关注或者转发支持作者吧~}