跳转至

正交⚓︎

约 1276 个字 预计阅读时间 4 分钟

Outline

  1. 子向量的正交向量；
  2. 零空间和行空间的正交

在前13章，主要讲的是线性代数的基本定理（维数相关），研究在已知维数下的正交性，这一章开始涉及“正交”这个主要的概念。

什么是基的正交？什么是向量的正交？什么是子空间的正交？

这一整节课都在讲：90度。

正交向量⚓︎

英文：Orthogonal = perpendicular，正交就是垂直的另一种说法，指在N维空间中，两个向量的夹角是90度。

如何判断两个向量是否正交？ 计算 \(x^T y\) 是否为0（检查点乘是否为0）。 古希腊毕达哥拉斯： \(\Vert x \Vert^2 + \Vert y \Vert^2 = \Vert x + y \Vert^2\) 当且仅当 \(x^Ty = 0\) 的时候才成立。

怎么理解勾股定理这个扩展？可以把 \(\Vert x \Vert^2\) 理解为 \(x^T x\)，视为向量长的平方，非负。在向量中就写成 \(\Vert x \Vert^2 = x_1^2 + x_2^2 + ... + x_n^2\)。比如 \(x = \begin{bmatrix} 1 \\ 2 \\ 3 \end{bmatrix}\) 的长度平方，就是1 + 4 + 9 = 14.

回到毕达哥拉斯定理：\(\Vert x + y \Vert^2 = (x + y)^T (x + y) = (y^T + x^T)(x + y)= y^Tx + x^Ty + y^Ty + x^Tx\)。如果二向量正交，毫无疑问是成立的。

同样地，我们可知，零向量和任意向量正交。

子空间和子空间正交⚓︎

新问题：子空间 \(S\) 与子空间 \(T\) 正交的意思是什么？

这是从向量正交推广到空间正交。意思是 \(S\) 中的==每个向量==都与 \(T\) 中的==每个向量==正交。

举例：房间里的墙和地板，分别是R^3 空间中的两个子空间，它们是否正交？

答案是，不正交。墙与地板有交集，“夹缝”，意味着存在一些向量是属于两个空间的交集。而一个向量跟它自己不可能正交，（除非是零向量）。所以墙与地板不正交。

根据这个例子我们还可以推出一个结论，如果两个子空间正交，它们一定不会交于某个非零向量。

拓展

什么时候过原点直线和整个平面正交？永远不。

什么时候零向量和子空间正交？永远。

什么时候过原点直线和另一个过原点直线正交？（\(x^Ty=0\)）

重要结论：行空间和零空间总是正交的。

解释

\(N(A), Ax = 0\) 的所有解；说明 \(\begin{bmatrix} r_1 \\ r_2 \\ \cdots \\ r_m \end{bmatrix} x = 0\)，这里 \(x\) 是 \(N(A)\) 中任意一个向量。

\[\begin{aligned}\begin{equation*}
\begin{cases}
r_1 x = 0 \\
r_2 x = 0 \\
... \\
r_m x = 0 \\
\end{cases}
\end{equation*}\end{aligned}\]

说明 \(r_m x = 0\) 对任意下标都成立，也就是 \(N(A)\) 的每一个 \(x\) 都和任意行正交。

接下来证明行的线性组合与x的点积为0. 这个简答：

\(c_1 r_1^T x = 0, c_2r_2^Tx = 0...\)，于是有 \((c_1 r_1^T + c_2 r_2^T)x = 0\)，证毕。

进一步滴，我们可以证明，\(C(A)\) 和 \(N(A^T)\) 也是正交的。

\(A^T\) 的零空间是 \(A^Ty = 0\)中 \(y\) 构成的子空间。\(y\) 正交于 \(A^T\) 的每一行，意思就是\(y\)正交于\(A\)的每一列，所以左零空间与列空间正交。

三维空间的正交向量⚓︎

一组正交直线，一条直线是一维子空间，另一个是另一个一维子空间，它们构成正交子空间吗？

不可，因为它们的维数不对。两个子空间必须要把整个空间分割开来。两个维数加起来必须等于空间维数。因此必须是一个一维，一个二维。

e.g. \(\begin{bmatrix} 1 & 2 & 5 \\ 2 & 4 & 10 \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix} = 0\)， \(\text{dim}(N(A)) = 2\). \(N(A)\) 是一个垂直于 \(\begin{bmatrix} 1 \\ 2 \\ 5 \end{bmatrix}\) 的平面。

结论：零空间和行空间是正交补。（Null space and row space are Orthogonal complement） 这里的“补”是补集的意思。意思是，行空间包含了所有垂直于零空间的向量。

剧透

这一章会涉及 \(Ax = b\)，如何求一个无解方程组的“解”。（Solve \(Ax = b\) when there's no solution, \(b\) not in Column Space, mainly \(m > n\) condition）,形象说就是方程组有 \(0 =\) 一个非零数的情况。

应用主要有，测卫星位置（多个数据）、测脉搏（数据不是一个直线）。方法特别多，难免有错误数据，但也有正确数据，我怎么从所有的数据筛选出有用的数据？

正交⚓︎

一个至关重要的矩阵 \(A^TA\).

如果A是 m \times n 矩阵，A^A 就是 n \times n 的矩阵，且它是对称的。但是A^TA 不一定是可逆的。比如 \(\begin{bmatrix} 1 & 0 \\ 0 & 0 \\ 0 & 0 \end{bmatrix}\)。本章的一个核心思路就是解，Ax = b 无解时候，利用 \(A^TAx = A^Tb\)，我们希望它是有解的，并且“最优解”来自这个矩阵。

这里继续补充一个重要结论：考虑 \(A^TA\) 的零空间。有 \(r(A^T) = r(A)，N(A^TA) = N(A), r(A^TA) = r(A)\)。意思是说，当且仅当 \(N(A) = 0\) 的时候，\(A^TA\) 是可逆的。