Gram-Schmidt正交化

维基百科，自由的百科全书

线性代数理论指出，内积空间上的一组向量能够张成一个子空间。Gram-Schmidt正交化提供了一种方法，能够通过这组向量求出这一子空间上的一组正交基，并可进一步求出对应的标准正交基。

这种正交化方法以Jørgen Pedersen Gram和Erhard Schmidt命名，然而比他们更早的拉普拉斯（Laplace）和柯西（Cauchy）已经发现了这一方法。在李群分解中，这种方法被一般化为岩泽分解（Iwasawa decomposition）。

在数值计算中，Gram-Schmidt正交化是不稳定的，计算中累积的舍入误差会使最终结果的正交性变得很差。因此，通常使用Householder Transformation或Givens rotations进行正交化。

[编辑] 记法

$\boldsymbol{V}^n$ ：维数为n 的内积空间
$\boldsymbol{v} \in \boldsymbol{V}^n$ ： $\boldsymbol{V}^n$ 中的元素，可以是向量、函数，等等
$\langle \boldsymbol{v}_1, \boldsymbol{v}_2 \rangle$ ： $\boldsymbol{v}_1$ 与 $\boldsymbol{v}_2$ 的内积
$\mathrm{span} \{ \boldsymbol{v}_1,\boldsymbol{v}_2,\ldots , \boldsymbol{v}_n \}$ ： $\boldsymbol{v}_1$ 、 $\boldsymbol{v}_2$ …… $\boldsymbol{v}_n$ 张成的子空间
$\mathrm{proj}_{\boldsymbol{v}}\,\boldsymbol{u} = {\langle \boldsymbol{u}, \boldsymbol{v}\rangle\over\langle \boldsymbol{v}, \boldsymbol{v}\rangle}\boldsymbol{v}$ ： $\boldsymbol{u}$ 在 $\boldsymbol{v}$ 上的投影

[编辑] 基本思想

图1 v在V²上投影，构造V³上的正交基β

Gram-Schmidt正交化的基本想法，是利用投影原理，在已有的正交基的基础上构造一个新的正交基。

设 $\boldsymbol{v} \in \boldsymbol{V^n}$ 。V^k是Vⁿ上的k 维子空间，其标准正交基为 $\{ \eta_1,\ldots , \eta_k \}$ ，且v不在V^k上。由投影原理知，v与其在V^k上的投影 $\mathrm{proj}_{\boldsymbol{V^k}} \boldsymbol{v}$ 之差

$\boldsymbol{\beta} = \boldsymbol{v} - \sum_{i=1}^{k}\mathrm{proj}_{\boldsymbol{v}}\,\boldsymbol{\eta}_i = \boldsymbol{v} - \sum_{i=1}^{k}\langle \boldsymbol{v}, \boldsymbol{\eta}_i \rangle \boldsymbol{\eta}_i$

是正交于子空间Vⁿ的，亦即β正交于Vⁿ的正交基η_i。因此只要将β单位化，即

$\boldsymbol{\eta}_{k+1} = \frac{\boldsymbol{\beta}}{\|\beta\|} = \frac{\boldsymbol{\beta}}{\sqrt{\langle \beta,\beta \rangle }}$

那么{η₁,...,η_k+1}就是V^k在v上扩展的子空间span{v,η₁,...,η_k}的标准正交基。

根据上述分析，对于向量组{v₁,...,v_m}张成的空间Vⁿ，只要从其中一个向量（不妨设为v₁）所张成的一维子空间span{v₁}开始（注意到{v₁}就是span{v₁}的正交基），重复上述扩展构造正交基的过程，就能够得到Vⁿ的一组正交基。这就是Gram-Schmidt正交化。

[编辑] 算法

首先需要确定扩展正交基的顺序，不妨设为 $\{v_1, \ldots ,v_n\}$ 。Gram-Schmidt正交化的过程如下：

	$\boldsymbol{\beta}_1 = \boldsymbol{v}_1,$		$\boldsymbol{\eta}_1 = {\boldsymbol{\beta}_1 \over \\|\boldsymbol{\beta}_1\\|}$
	$\boldsymbol{\beta}_2 = \boldsymbol{v}_2-\langle \boldsymbol{v}_2, \boldsymbol{\eta}_1 \rangle \boldsymbol{\eta}_1,$		$\boldsymbol{\eta}_2 = {\boldsymbol{\beta}_2 \over \\|\boldsymbol{\beta}_2\\|}$
	$\boldsymbol{\beta}_3 = \boldsymbol{v}_3 - \langle \boldsymbol{v}_3, \boldsymbol{\eta}_1 \rangle \boldsymbol{\eta}_1 - \langle \boldsymbol{v}_3, \boldsymbol{\eta}_2 \rangle \boldsymbol{\eta}_2 ,$		$\boldsymbol{\eta}_3 = {\boldsymbol{\beta}_3 \over \\|\boldsymbol{\beta}_3\\|}$
	$\vdots$		$\vdots$
	$\boldsymbol{\beta}_n = \boldsymbol{v}_n-\sum_{i=1}^{n-1}\langle \boldsymbol{v}_n, \boldsymbol{\eta}_i \rangle \boldsymbol{\eta}_i,$		$\boldsymbol{\eta}_n = {\boldsymbol{\beta}_n\over\\|\boldsymbol{\beta}_n\\|}$

这样就得到 $\mathrm{span}\{ \boldsymbol{v}_1, \ldots , \boldsymbol{v}_n \}$ 上的一组正交基 $\{ \boldsymbol{\beta}_1, \ldots , \boldsymbol{\beta}_n \}$ ，以及相应的标准正交基 $\{ \boldsymbol{\eta}_1, \ldots , \boldsymbol{\eta}_n \}$ 。

例

考察如下欧几里得空间Rⁿ中向量的集合，欧氏空间上内积的定义为<a, b> = b^Ta：

$S = \lbrace\boldsymbol{v}_1=\begin{pmatrix} 3 \\ 1\end{pmatrix}, \boldsymbol{v}_2=\begin{pmatrix}2 \\2\end{pmatrix}\rbrace.$

下面作Gram-Schmidt正交化，以得到一组正交向量：

$\boldsymbol{\beta}_1=\boldsymbol{v}_1=\begin{pmatrix}3\\1\end{pmatrix}$

$\boldsymbol{\beta}_2=\boldsymbol{v}_2-\mathrm{proj}_{\boldsymbol{\beta}_1}\,\boldsymbol{v}_2=\begin{pmatrix}2\\2\end{pmatrix\mathrm{proj}_{\begin{pmatrix}3\\1\end{pmatrix}}\,{\begin{pmatrix}2\\2\end{pmatrix}}=\begin{pmatrix}-2/5\\6/5\end{pmatrix}$ }-

下面验证向量β₁与β₂的正交性：

$\langle\boldsymbol{\beta}_1,\boldsymbol{\beta}_2\rangle = \left\langle \begin{pmatrix}3\\1\end{pmatrix}, \begin{pmatrix2/5\\6/5\end{pmatrix} \right\rangle = -\frac65 + \frac65 = 0.$ }-