跳转至

线性相关性、基、维数（重点章）⚓︎

约 1979 个字 预计阅读时间 7 分钟

Outline

  1. 基本认识
  2. 线性无关，linear independence
  3. 生成空间，spanning space
  4. 空间的基，basis
  5. 空间的维数，dimension

基本认识⚓︎

Linear Independence，主流翻译是“线性无关”，通常我们会说“一个向量组是线性无关的”，不说“一个矩阵”是线性无关的。

一组向量可以生成一个空间。这里“生成”（span），意思就是这组向量的线性组合。参考列空间的章节；

A bunch of vectors being independent;

A bunch of vectors spanning a space;

A bunch of vectors being a basis. 上述说法才是规范的。

线性无关⚓︎

背景知识：假设一个矩阵 \(A\)，求 \(Ax = 0\)，\(A\) 有很多列(\(n > m\))，未知数比方程数要多，由此我们可以推断：在A的零空间中有非零解。这是因为这种情况下一定存在自由变量，自由变量意味着可以任意赋值。这里重点是：Ax = 0有非零解。

现在假设 \(A\) 的列向量 \(x_1,x_2, ... , x_n\) ，问题是在什么条件下 \(x_1, x_2,...,x_n\) 是线性无关的。

可以看出如果每个系数都是0，肯定是Ax = 0，但是除了这种情况外，还有情况可以让他们组合的结果是 0 吗？

  • 如果存在一种组合使得结果为0，那么它们就是线性相关的；
  • 如果不存在，就是线性无关的。（也就是: Any \(c_1x_1 + c_2x_2 + ... + c_n x_n \neq 0\)

举例

  • 二维空间的两个非零向量，共线。一定是相关的；
  • 二维空间的两个非零向量，不共线：一定是不相关的；
  • 二维空间，一个零向量和另一个非零向量：一定是相关的，因为0向量的系数可以取任意非0，同时让非零向量的系数取0即可；
  • 二维空间，三个互相不共线的非零向量：一定是线性相关的（dependent）。为什么？

怎么理解：比如我们用三个向量组成一个矩阵A，一定是 \(2 \times 3\) 的一个矩阵，未知数的数量大于方程的数量，有自由变量，这就说明Null space除了0向量还有别的，也就是说，零空间内有非零向量。

\(\begin{bmatrix} 2 & 1 & 2.5 \\ 1 & 2 & -1 \end{bmatrix} \begin{bmatrix} c_1 \\ c_2 \\ c_3 \end{bmatrix}\)

Repeat: 如果零空间 \(N(A)\) 内存在非零向量，那么各列向量一定是线性相关的。当\(v_1, v_2,...,v_n\) 是矩阵 \(A\) 的列向量（m维空间），我们可以直接通过把列向量放入矩阵中，来判断向量组的线性相关性。如果它们线性无关，那么\(A\)的零空间只有零向量；如果它们线性相关，那么 \(A\) 的零空间内存在非零向量。

同样地，我们可以通过秩来判断向量组是否线性相关。因为前面我们说过，秩 \(r\) 实际上是主元的个数，所以如果 \(r = n\)，那么向量组线性无关（因为这个条件等价于“向量组不存在自由变量”），否则 \(r < n\) 的话，向量组一定线性相关；

注意

  1. 线性无关或者线性相关，我们的主语都是“向量组”，我们并没有在说矩阵；
  2. 但是分析时，我们往往把这些向量放到一个矩阵里来分析，把这些向量看作是矩阵的列向量；
  3. 然后将向量组的线性无关性与矩阵的零空间联系起来。

生成空间⚓︎

这部分老师在解释“A bunch of vectors span a space" 的意思是什么。也就是“生成”是什么意思。

回忆一下，给定向量 \(v_1, v_2,...,v_n\) 生成了一个空间，意味着这个空间（子空间）包含了这些向量的所有线性组合。这里可以联想我们前面说过的列空间的定义。换句话说，矩阵各列组成的列向量生成了列空间。

把向量组的所有线性组合的结果放到一个空间里，也就是“span a space”的含义。

我们考虑的问题

我们考虑矩阵列空间这种情况。这些生成列空间的向量之间可能相关，可能是无关的。但是我们感兴趣的是：

一个向量组，它既能生成空间，又能保证这些所有的向量线性无关。

这意味着向量的个数必须适当。如果个数不足，那么可能无法生成我们想要的空间；如果个数太多，那么这些向量组可能不是线性无关的。

基⚓︎

根据上面的问题，我们可以引出“基（Basis）”的概念。

Basis for a vector space: a sequence of vectors v_1, v_2, ... , v_d, that with 2 properties: 1. They are independent ; 2. They span the space.

一个向量空间的基，需要满足两个条件：1. 这些向量之间是线性无关的，2. 这些向量可以生成整个空间。

三维空间的基

一个显而易见的三维空间的基是 \(\begin{bmatrix} 1 \\ 0 \\ 0 \end{bmatrix}, \begin{bmatrix} 0 \\ 1 \\ 0 \end{bmatrix}, \begin{bmatrix} 0\\0\\1 \end{bmatrix}\)

简单地验证一下：它们的零空间内只有零向量。\(Ax = 0\) 没有非零解；

现在再找找其他的向量，比如我们写个：\(\begin{bmatrix} 1 \\ 1 \\ 2 \end{bmatrix}, \begin{bmatrix} 2 \\ 2 \\5 \end{bmatrix}\)。它们线性无关，但是似乎不能表示所有向量。比如 \(\begin{bmatrix} 3 \\ 3 \\ 6 \end{bmatrix}\). 但是我们在这两个向量之外再加一个就可以。比如 \(\begin{bmatrix} 3 \\ 3 \\ 8 \end{bmatrix}\)，这三个向量就可以表示所有的三维向量了。

这里有一个和后一单元相关的重要概念。按下不表。

问题来了，我们怎么知道一些向量构成了“基”？我们知道，通过把他们放入矩阵中作为列向量，对矩阵进行消元、行变换，看看有没有自由变量。

延伸：如果我们只有两个向量： \(\begin{bmatrix} 1 \\ 1\\ 2 \end{bmatrix} ,\begin{bmatrix} 3 \\ 2 \\5 \end{bmatrix}\) 它们可以生成一个空间吗？

答案是可以的，只不过生成的是一个二维平面。在空间中表示就是由这两个向量的所有线性组合形成的一个平面而已。

延伸讨论

方阵，什么情况下所有的列能组成基？

首先我们知道，这个矩阵必须是可逆的（不然就不满秩了，就有自由变量了）。此时生成的空间是 \(R^n\) 的空间。

实际上，三维空间的基有很多很多。任意一个 \(3 \times 3\) 的可逆矩阵的列向量都可以构成三维空间的基。

但是，虽然基有很多组，但是基向量的个数是不变的。\(R^3\) 空间的基，向量个数一定是3，\(R^n\) 的基，向量个数一定是 \(n\)

空间的维数⚓︎

经过上面问题的延伸，我们引出了一个重要概念：空间的维数。对于给定的空间，空间中的任意基都有如下性质：

基向量的个数相等。

这个基向量的个数，就是空间的“维数”。

The number of vectors in basis is the dimension of the space.

举个例子：\(\begin{bmatrix} 1 & 2 & 3 & 1 \\ 1 & 1 & 2 & 1 \\ 1 & 2 & 3 &1 \end{bmatrix}\)，这里我们首先可以快速地写出零空间的一个向量 \(\begin{bmatrix} -1 \\ -1 \\ 1 \\ 0 \end{bmatrix}\) （ 要对数字敏感， 列之间的快速组合形成 0 ）。同样地我们可以快速地找出一个basis: \(\begin{bmatrix} 1 \\ 1\\ 1 \end{bmatrix}, \begin{bmatrix} 2 \\ 1 \\2 \end{bmatrix}\)。这正好对应上主元所在的“pivot variable”。

我们得到重要结论：\(A\) 的秩，等于我们的主元的个数（先前结论），也等于基向量的个数，也就是列空间的维度。 （再三提醒：这里只能说“向量空间的维度”，而不是“矩阵的维度”！）

The dimension of column space = the number of pivot = rank of A.

反过来，假如我们知道 \(C(A)\) 的维度( 记为 \(\text{dim}(C(A))\)，我们又找到了一些线性无关的向量，并且这些向量的个数 = \(\text{dim}(C(A))\)，这些线性无关的向量一定就是这个列空间的基。

零空间的维数是多少？

我们可以写出自由变量：

\(\begin{bmatrix} -1 \\ -1 \\ 1 \\ 0 \end{bmatrix}, \begin{bmatrix} -1 \\ 0 \\ 0 \\ 1 \end{bmatrix}\)，这两个向量组足以构成零空间的基了。

零空间的维度 = 自由变量的数目。

所以我们简单地得到如下结论：\(m \times n\) 的矩阵，秩为 \(r\)，有 \((n - r)\) 个自由变量，所以 零空间维数是 \((n - r)\) ，列空间维数是 \(r\) 。