【线代笔记】2.3 Elimination Using Matrices - 用矩阵来消元
用矩阵来消元，我们需要用到消元矩阵，一种可以阐述消元步骤的方式
比如从ithi^{th}ith式减去jthj^{th}jth式的lijl_{ij}lij倍，这样的消元矩阵为EijE_{ij}Eij，所有这样的矩阵组合为E
相似的，可以把所有逆Eij−1E_{ij}^{-1}Eij−1组合为一个总的L=E−1\mathbf{L=E^{-1}}L=E−1
Matrices times Vectors and Ax = b - 矩阵与向量的乘法前面的章节已经告诉我们，3个含有3个未知量的线性方程组成的线性方程组可以用Ax=b\mathbf{Ax=b}Ax=b来表示
其中A代表所有系数组成的矩阵，x与b都是向量。一个矩阵乘上一个向量的结果依然是一个向量
当方程的数量和未知数的数量相同的时候，对应的系数矩阵A就是一个方阵
2x1+4x2−2x3=24x1+9x2−3x3=8−2x1−3x2+7x3=10 is the same as [24−249−3−2−37][x1x2x3]=[2810]
\begin{aligned}
2 x_{1}+4 x_{2}-2 x_{3}&=2 \\
4 x_{1}+9 x_{2}-3 x_{3}&=8 \\
-2 x_{1}-3 x_{2}+7 x_{3}&=10
\end{aligned}
\quad
\text { is the same as }
\quad
\left[\begin{array}{rrr}
{2} & {4} & {-2} \\
{4} & {9} & {-3} \\
{-2} & {-3} & {7}
\end{array}\right]\left[\begin{array}{l}
{x_{1}} \\
{x_{2}} \\
{x_{3}}
\end{array}\right]=\left[\begin{array}{r}
{2} \\
{8} \\
{10}
\end{array}\right]
2x1+4x2−2x34x1+9x2−3x3−2x1−3x2+7x3=2=8=10 is the same as ⎣⎡24−249−3−2−37⎦⎤⎣⎡x1x2x3⎦⎤=⎣⎡2810⎦⎤
Ax=b\mathbf{Ax=b}Ax=b同样可以用列与行的形式来表示等式，例如列形式代表Ax是A的各列的线性组合
Ax=(−1)[24−2]+2[49−3]+2[−2−37]=[2810]=b
\mathbf{Ax}=(-1)\left[\begin{array}{r}
{2} \\
{4} \\
{-2}
\end{array}\right]+2
\left[\begin{array}{r}
{4} \\
{9} \\
{-3}
\end{array}\right]+2
\left[\begin{array}{r}
{-2} \\
{-3} \\
{7}
\end{array}\right]=
\left[\begin{array}{r}
{2} \\
{8} \\
{10}
\end{array}\right]=
\mathbf{b}
Ax=(−1)⎣⎡24−2⎦⎤+2⎣⎡49−3⎦⎤+2⎣⎡−2−37⎦⎤=⎣⎡2810⎦⎤=b
如果要计算Ax每一个分量的值，就需要使用行形式，分量为关于A每一行的点积
(row i)⋅x=ai1x1+ai2x2+⋯+ainxn=∑j=1naijxj
(\text{row}\ i)\cdot\mathbf{x}=a_{i_1}x_1+a_{i_2}x_2+\cdots+a_{i_n}x_n=\sum_{j=1}^n a_{ij}x_j
(row i)⋅x=ai1x1+ai2x2+⋯+ainxn=j=1∑naijxj
向量b=(2,8,10)\mathbf{b}=(2,8,10)b=(2,8,10)，经过一次消元为bnew=(2,4,10)\mathbf{b}_{\text{new}}=(2,4,10)bnew=(2,4,10)，过程记为bnew=Eb\mathbf{b}_{\text{new}}=\mathbf{Eb}bnew=Eb
这个过程可以表示为
[100−210001][2810]=[2410][100−210001][b1b2b3]=[b1b2−2b1b3]
\left[\begin{array}{rrr}
{1} & {0} & {0} \\
{-2} & {1} & {0} \\
{0} & {0} & {1}
\end{array}\right]\left[\begin{array}{l}
{2} \\
{8} \\
{10}
\end{array}\right]=\left[\begin{array}{r}
{2} \\
{4} \\
{10}
\end{array}\right] \quad\left[\begin{array}{rrr}
{1} & {0} & {0} \\
{-2} & {1} & {0} \\
{0} & {0} & {1}
\end{array}\right]\left[\begin{array}{l}
{b_{1}} \\
{b_{2}} \\
{b_{3}}
\end{array}\right]=\left[\begin{array}{c}
{b_{1}} \\
{b_{2}-2 b_{1}} \\
{b_{3}}
\end{array}\right]
⎣⎡1−20010001⎦⎤⎣⎡2810⎦⎤=⎣⎡2410⎦⎤⎣⎡1−20010001⎦⎤⎣⎡b1b2b3⎦⎤=⎣⎡b1b2−2b1b3⎦⎤
最左侧的便是消元矩阵，第一行以及第三行与单位矩阵相同，第二行表示从第二行减去第一行的2倍，记为E21E_{21}E21
联系消元过程，对于原矩阵A，该消元矩阵的目的即为在A的（3，1）处生成一个0
即在这一步消元矩阵的作用下，得到EAx=Eb\mathbf{EAx=Eb}EAx=Eb
Matrix Multiplication - 矩阵乘法如果是两个矩阵相乘，与矩阵乘上向量有什么不同
接上一部分内容，将矩阵E与A相乘，得到
EA=[100−210001][24−249−3−2−37]=[24−2011−2−37]
E A=\left[\begin{array}{rrr}
{1} & {0} & {0} \\
{-2} & {1} & {0} \\
{0} & {0} & {1}
\end{array}\right]\left[\begin{array}{rrr}
{2} & {4} & {-2} \\
{4} & {9} & {-3} \\
{-2} & {-3} & {7}
\end{array}\right]=\left[\begin{array}{rrr}
{2} & {4} & {-2} \\
{0} & {1} & {1} \\
{-2} & {-3} & {7}
\end{array}\right]
EA=⎣⎡1−20010001⎦⎤⎣⎡24−249−3−2−37⎦⎤=⎣⎡20−241−3−217⎦⎤
观察到矩阵的第一行与第三行没有变化，第二行减去了第一行的二倍
矩阵的乘法与消元是一致的，新得到的方程组就是EAx=Eb\mathbf{EAx=Eb}EAx=Eb
注意无论是E乘上Ax，还是EA乘上x，意义是一样的，将向量x扩展到矩阵C，可得到结合律
A(BC)=(AB)C
\mathbf{A(BC)=(AB)C}
A(BC)=(AB)C
细看到矩阵AB的相乘，若B只有单独一列（b），这时EB的运算应当与Eb是一致的
进一步来说，我们可以将矩阵相乘EB的每一列单独运算，即
如果B有许多列b1,b2,b3b_1,b_2,b_3b1,b2,b3，那么EB的每一列就是Eb1,Eb2,Eb3Eb_1,Eb_2,Eb_3Eb1,Eb2,Eb3
AB=A[b1 b2 b3]=[Ab1 Ab2 Ab3]
\mathbf{AB=A[b_1 \ b_2 \ b_3]=[Ab_1 \ Ab_2 \ Ab_3]}
AB=A[b1 b2 b3]=[Ab1 Ab2 Ab3]
回到标题下的EA的相乘，若我们将矩阵E，只与A的第三列相乘，得到的就是EA的第三列的结果
虽然消元应用在行，但是这样的要求是针对列来展开的
The Matrix Pij for a Row Exchange - 置换矩阵我们用Eij来表示从i行减去j行的指定倍数，若要表示行的交换，我们使用置换矩阵——Pij 来表示
当0位于主元位置的时候我们需要用到置换矩阵，置换矩阵由单位矩阵演变而来
例如，若是要交换2、3两行，则将单位矩阵的2、3两行交换即可得到置换矩阵P23
P23=[100001010]
P_{23}=\begin{bmatrix}1 & 0 & 0 \\0 & 0 & 1 \\0 & 1 & 0\end{bmatrix}
P23=⎣⎡100001010⎦⎤
其效果就是对向量或矩阵的行进行交换
[100001010][135]=[153] and [100001010][241003065]=[241065003]
\left[\begin{array}{lll}{1} & {0} & {0} \\{0} & {0} & {1} \\{0} & {1} & {0}\end{array}\right]\left[\begin{array}{l}{1} \\\mathbf{{3}} \\\mathbf{{5}}\end{array}\right]=\left[\begin{array}{l}{1} \\\mathbf{{5}} \\\mathbf{{3}}\end{array}\right] \text { and }\left[\begin{array}{lll}{1} & {0} & {0} \\{0} & {0} & {1} \\{0} & {1} & {0}\end{array}\right]\left[\begin{array}{lll}{2} & {4} & {1} \\\mathbf{{0}} & \mathbf{{0}} & \mathbf{{3}} \\{0} & {6} & {5}\end{array}\right]=\left[\begin{array}{lll}{2} & {4} & {1} \\{0} & {6} & {5} \\\mathbf{{0}} & \mathbf{{0}} & \mathbf{{3}}\end{array}\right]
⎣⎡100001010⎦⎤⎣⎡135⎦⎤=⎣⎡153⎦⎤ and ⎣⎡100001010⎦⎤⎣⎡200406135⎦⎤=⎣⎡200460153⎦⎤
线性代数从消元开始，但又会慢慢上升到更高层次的东西
在消元的过程中，针对于A和b的消元步骤是一样的，因而我们可以同步进行
[Ab]=[24−2249−38−2−3710]
\begin{bmatrix}A & \mathbf{b}\end{bmatrix}= \begin{bmatrix}2 & 4 & -2 & \mathbf{2}\\ 4 & 9 & -3 & \mathbf{8}\\ -2 & -3 & 7 & \mathbf{10} \end{bmatrix}
[Ab]=⎣⎡24−249−3−2−372810⎦⎤
当对矩阵[Ab]\begin{bmatrix}A & \mathbf{b}\end{bmatrix}[Ab]进行矩阵乘法操作E时，得到的结果为[EAEb]\begin{bmatrix}EA & E\mathbf{b}\end{bmatrix}[EAEb]，
[100−210001][24−2249−38−2−3710]=[24−220114−2−3710]
\left[\begin{array}{rrr}{1} & {0} & {0} \\{-2} & {1} & {0} \\{0} & {0} & {1}\end{array}\right]\left[\begin{array}{rrrr}{2} & {4} & {-2} & \mathbf{2} \\{4} & {9} & {-3} & \mathbf{8} \\{-2} & {-3} & {7} & \mathbf{10}\end{array}\right]=\left[\begin{array}{rrrr}{2} & {4} & {-2} & \mathbf{2} \\{0} & {1} & {1} & \mathbf{4} \\{-2} & {-3} & {7} & \mathbf{10}\end{array}\right]
⎣⎡1−20010001⎦⎤⎣⎡24−249−3−2−372810⎦⎤=⎣⎡20−241−3−2172410⎦⎤
总结：本节将消元的形式用过Ax=b的矩阵方式来表达，同时阐述了矩阵相乘的运算，置换矩阵和增广矩阵的概念
作者：沉默的溪
