MIT线性代数Linear Algebra公开课笔记 第三章 矩阵的乘积及逆矩阵（lecture 3 Multiplication and Inverse Matrices）

本章是Gilbert Strang的MIT线性代数Linear Algebra公开课中【第三章 矩阵的乘积及逆矩阵（lecture 3 Multiplication and Inverse Matrices）】的笔记，参考他在 MIT Linear Algebra课程网站上公开分享的 lecture summary (PDF) & Lecture video transcript (PDF)等文档，整理笔记如下，笔记中的大部分内容是从 MIT Linear Algebra课程网站上的资料中直接粘贴过来的，本人只是将该课程视频中讲述的内容整理为文字形式，前面的章节可在本人的其他博客中找到（此处戳第一章，第二章，后面的章节会按照视频顺序不断更新~

文章目录lecture 3 Multiplication and Inverse MatricesMatrix Multiplication（4 ways）1. Standard (row times column) 单个元素求法2.Columns3.Rows4.Column times row5.Blocks MultiplicationInverses（Square matrices方阵）1.Nonsingular or Invertible2.Singular case： No inverseGauss-Jordan Elimination lecture 3 Multiplication and Inverse Matrices Matrix Multiplication（4 ways） 1. Standard (row times column) 单个元素求法

  若矩阵乘积为AB=CAB=CAB=C，其中 A:m×n,B:n×p,C:m×pA:m×n, B:n×p, C:m×pA:m×n,B:n×p,C:m×p。

  在CCC的第iii行第jjj列处的元素 记为cijc_{ij}cij​，如求C的第三行第四列元素c34c_{34}c34​ ：
c34=(row3 of  A)∗(column4 of  B)=a31b14+a32b24+⋯=∑k=1na3kbk4 \begin{aligned} c_{34}&=(\text{row3 of} \; A)*(\text{column4 of} \; B)\\ &=a_{31}b_{14}+a_{32}b_{24}+\cdots \\ &=\sum_{k=1}^{n} a_{3k}b_{k4} \end{aligned} c34​​=(row3 ofA)∗(column4 ofB)=a31​b14​+a32​b24​+⋯=k=1∑n​a3k​bk4​​

2.Columns

  矩阵AAA 乘以矩阵BBB的第ppp列等于矩阵CCC的第ppp列，由于矩阵乘以列向量相当于矩阵各列的线性组合，对应的组合系数为该列向量的各元素值，因此，the columns of CCC are combinations of columns of AAA.

3.Rows

 矩阵AAA 的第 iii 行乘以矩阵 BBB 等于矩阵CCC 的第 iii 行. So the rows of CCC are combinations of rows of BBB.

4.Column times row

 A column of AAA is an m×1m×1m×1 vector and a row of BBB is a 1×p1×p1×p vector, and their product is a matrix.

 Example 1：
[234][16]=[212318424] \left[\begin{array}{l} {2} \\ {3} \\ {4} \end{array}\right]\left[\begin{array}{ll} {1} & {6} \end{array}\right]=\left[\begin{array}{ll} {2} & {12} \\ {3} & {18} \\ {4} & {24} \end{array}\right] ⎣⎡​234​⎦⎤​[1​6​]=⎣⎡​234​121824​⎦⎤​
 结果矩阵的各列是左面[234]\left[\begin{array}{l}{2} \\{3} \\{4}\end{array}\right]⎣⎡​234​⎦⎤​的倍数，这是因为等式右边矩阵是等式左边矩阵[234]\left[\begin{array}{l}{2} \\{3} \\{4}\end{array}\right]⎣⎡​234​⎦⎤​各列的线性组合，由于只有一列，因此是倍数（如果画出各列，他们都是同一方向）；结果矩阵的各行都是左面[16]\left[\begin{array}{ll}{1} & {6}\end{array}\right][1​6​]的倍数（如果画出各行，他们都是同一方向），延续这种思想得到矩阵相乘的第四种方法：
AB=sum of  {(cols of  A)×(rows of  B)} AB=\text{sum of}\; \{(\text{cols of} \; A) × (\text{rows of} \; B)\} AB=sum of{(cols ofA)×(rows ofB)}
  即
AB=∑k=1n[a1k⋮amk][bk1⋯bkn] A B=\sum_{k=1}^{n}\left[\begin{array}{c} {a_{1 k}} \\ {\vdots} \\ {a_{m k}} \end{array}\right]\left[\begin{array}{lll} {b_{k 1}} & {\cdots} & {b_{k n}} \end{array}\right] AB=k=1∑n​⎣⎢⎡​a1k​⋮amk​​⎦⎥⎤​[bk1​​⋯​bkn​​]
 Example 2：
[273849][1600]=[234][16]+[789][00] \left[ \begin{matrix} 2& 7\\ 3& 8\\ 4& 9 \end{matrix} \right ] \left[ \begin{matrix} 1 & 6\\ 0 & 0\\ \end{matrix} \right ] =\left[ \begin{matrix} 2\\ 3\\ 4 \end{matrix} \right] \left[ \begin{matrix} 1 & 6\\ \end{matrix} \right] + \left[ \begin{matrix} 7\\ 8\\ 9 \end{matrix} \right] \left[ \begin{matrix} 0 & 0\\ \end{matrix} \right] ⎣⎡​234​789​⎦⎤​[10​60​]=⎣⎡​234​⎦⎤​[1​6​]+⎣⎡​789​⎦⎤​[0​0​]
 行空间：矩阵的行的所有线性组合（Example 1中结果矩阵的行空间是向量[16]\left[\begin{array}{ll}{1} & {6}\end{array}\right][1​6​]上的直线）

 列空间同理。

5.Blocks Multiplication

 If we subdivide AAA and BBB into blocks that match properly, we can write the product AB=CAB = CAB=C in terms of products of the blocks:
[A1A2A3A4][B1B2B3B4]=[C1C2C3C4] \left[\begin{array}{ll} {A_{1}} & {A_{2}} \\ {A_{3}} & {A_{4}} \end{array}\right]\left[\begin{array}{ll} {B_{1}} & {B_{2}} \\ {B_{3}} & {B_{4}} \end{array}\right]=\left[\begin{array}{ll} {C_{1}} & {C_{2}} \\ {C_{3}} & {C_{4}} \end{array}\right] [A1​A3​​A2​A4​​][B1​B3​​B2​B4​​]=[C1​C3​​C2​C4​​]
 Here C1=A1B1+A2B3C_{1}=A_{1} B_{1}+A_{2} B_{3}C1​=A1​B1​+A2​B3​.

Inverses（Square matrices方阵） 1.Nonsingular or Invertible

  If A is a square matrix, the most important question you can ask about it is whether it has an inverse A−1A^{-1}A−1, If it does, then A−1A=I=AA−1A^{-1} A=I=A A^{-1}A−1A=I=AA−1 and we say that AAA is invertible or nonsingular.

 对于方阵来说，左逆矩阵等于右逆矩阵（在AAA左边的是左逆矩阵，在AAA右边的是右逆矩阵），即如果方阵左乘某矩阵等到单位阵，那么把它放到方阵的右边相乘，结果同样是单位阵；但是，如果是非方阵，左逆不等于右逆，因为形状不同无法相乘。

  Example 3：求A的逆矩阵
[1327][acbd]=[1001] \left[\begin{array}{ll}{1} & {3} \\{2} & {7}\end{array}\right] \quad\left[\begin{array}{ll}{a} & {c} \\{b} & {d}\end{array}\right]=\left[\begin{array}{ll}{1} & {0} \\{0} & {1}\end{array}\right] [12​37​][ab​cd​]=[10​01​]                     AAA        A−1A^{-1}A−1      III

 Finding the inverse of a matrix is closely related to solving systems of linear equations: AAA times column jjj of A−1A^{−1}A−1 equals column jjj of the identity matrix。这些方程具有相同的系数矩阵AAA，但是右侧向量是单位阵的不同列，即
[1327][ab]=[10][1327][cd]=[01] \left[\begin{array}{ll} {1} & {3} \\ {2} & {7} \end{array}\right]\left[\begin{array}{r} {a} \\ {b} \end{array}\right]=\left[\begin{array}{l} {1} \\ {0} \end{array}\right]\\ \left[\begin{array}{ll} {1} & {3} \\ {2} & {7} \end{array}\right]\left[\begin{array}{r} {c} \\ {d} \end{array}\right]=\left[\begin{array}{l} {0} \\ {1} \end{array}\right] [12​37​][ab​]=[10​][12​37​][cd​]=[01​]

 This is just a special form of the equation Ax=bAx = bAx=b，此问题可以用Gauss-Jordan Elimination法来解。（可直接看后面的Gauss-Jordan Elimination部分，该方法以本问题为例进行讲解）

2.Singular case： No inverse

 Example 4：
A=[1326] A= \left[\begin{array}{ll} {1} & {3} \\ {2} & {6} \end{array}\right] A=[12​36​] 该矩阵没有逆矩阵，因为：

  解释一：它的行列式为0；

  解释二：假设矩阵AAA乘以某矩阵得到单位阵，是否有可能？ 若考虑列，矩阵AAA与某矩阵相乘，结果中的列都来自于AAA的列，而单位阵的第一列是[10]\left[\begin{array}{l} {1} \\{0} \end{array}\right][10​]，不可能是AAA中各列的组合，因为AAA的两列共线，所有线性组合均在此直线上，而[10]\left[\begin{array}{l} {1} \\{0} \end{array}\right][10​] 不在此直线上。

  解释三： If no inverse， you can find a vector x  (x≠0)x \; (x \not= 0)x(x​=0) with Ax=0A \mathbf{x}=0Ax=0. （即其列能通过线性组合得到0）
[1326][3−1]=[00] \left[\begin{array}{ll} {1} & {3} \\ {2} & {6} \end{array}\right]\left[\begin{array}{r} {3} \\ {-1} \end{array}\right]=\left[\begin{array}{l} {0} \\ {0} \end{array}\right] [12​36​][3−1​]=[00​]  假设本例中的矩阵AAA存在逆矩阵，则用逆矩阵乘以这个方程，即 A−1Ax=0A^{-1}A \mathbf{x}=0A−1Ax=0 , 则结论是x=0x=0x=0 ，但是x≠0x \not= 0x​=0 ，因此假设不成立，因此矩阵AAA不可逆。

​   如果矩阵的其中一列对线性组合毫无贡献，矩阵不可能有逆。

Gauss-Jordan Elimination

 Gauss-Jordan Elimination can solve two or more linear equations at the same time.

Gauss-Jordan消元法过程

 以Example 3：求A的逆矩阵为例，在Example 3中所需求解的两个方程组如下：
[1327][ab]=[10][1327][cd]=[01] \left[\begin{array}{ll} {1} & {3} \\ {2} & {7} \end{array}\right]\left[\begin{array}{r} {a} \\ {b} \end{array}\right]=\left[\begin{array}{l} {1} \\ {0} \end{array}\right]\\ \left[\begin{array}{ll} {1} & {3} \\ {2} & {7} \end{array}\right]\left[\begin{array}{r} {c} \\ {d} \end{array}\right]=\left[\begin{array}{l} {0} \\ {1} \end{array}\right] [12​37​][ab​]=[10​][12​37​][cd​]=[01​]  将两个方程组一起求解，即将系数矩阵与右侧向量（单位阵）放在一起，即构成增广阵，然后进行消元，通过消元，将左侧的系数矩阵变为单位阵，而原来的单位阵处（右侧向量）则变成了逆矩阵，具体步骤如下：
[13102701]⟶[131001−21]⟶[107−301−21] \left[\begin{array}{ll|ll} {1} & {3} & {1} & {0} \\ {2} & {7} & {0} & {1} \end{array}\right] \longrightarrow\left[\begin{array}{rr|rr} {1} & {3} & {1} & {0} \\ {0} & {1} & {-2} & {1} \end{array}\right] \longrightarrow\left[\begin{array}{rr|rr} {1} & {0} & {7} & {-3} \\ {0} & {1} & {-2} & {1} \end{array}\right] [12​37​10​01​]⟶[10​31​1−2​01​]⟶[10​01​7−2​−31​]             AAA     III                       III    A−1A^{-1}A−1

 故
A−1=[7−3−21] A^{-1}=\left[\begin{array}{rr} {7} & {-3} \\ {-2} & {1} \end{array}\right] A−1=[7−2​−31​] 注意：利用Gauss消元法时，只需消元为上三角矩阵即可，即做完上面第一步得到[131001−21]\left[\begin{array}{rr|rr}{1} & {3} & {1} & {0} \\ {0} & {1} & {-2} & {1}\end{array}\right][10​31​1−2​01​] 即可；但是如果利用Gauss-Jordan Elimination法，需要再进行一步，使得左半部分变为单位阵，即得到[107−301−21]\left[\begin{array}{rr|rr}{1} & {0} & {7} & {-3} \\ {0} & {1} & {-2} & {1}\end{array}\right][10​01​7−2​−31​] 才结束。

解释Gauss-Jordan Elimination法的变化：

​ 增广矩阵的消元过程相当于在增广矩阵左侧乘以一串消元矩阵，即消元法的矩阵形式；若将所有消元过程考虑到一起，即将消元矩阵全部乘在一起，综合考虑为EEE，则上述消元过程可以表示为：
E[A∣I]=[I∣E] E[A | I]=[I | E] E[A∣I]=[I∣E] 由左半部分知：EA=IEA=IEA=I，则E=A−1E=A^{-1}E=A−1，因此E[A∣I]=[I∣A−1]E[A | I]=[I | A^{-1}]E[A∣I]=[I∣A−1]成立。
 故，若要求某方阵的逆矩阵，只需在其右侧插入单位阵，然后进行Gauss-Jordan Elimination即可，最终，原单位阵变为所求的逆矩阵。

作者：WongRUIRui

逆矩阵 mit AND linear 矩阵