2022. 11. 20. 23:52ㆍ선형대수
목차
Matrix Operation 2
- Matrix Addition & Scalar Multiplication
- Matrix Multiplication
- Power of a matrix
- Transpose of a matrix
Inverse Matrix
- Definition
- Theorem (1)
- Theorem (2)
- Another view of matrix inversion
- Invertible linear transformation
Matrix Operation 2
- Matrix Addition & Scalar Multiplication (행렬의 덧셈과 스칼라 곱)
행렬의 덧셈과 스칼라 곱에 대해, 아래와 같은 관계가 성립합니다.
Theorem
Matrix \(A, B, C\)와 스칼라 \(r, s\)에 대해
1. \(A + B = B + A\)
2. \((A + B) + C = A + (B + C)\)
3. \(A + 0 = A\)
4. \(r(A + B) = rA + rB\)
5. \((r + s)A = rA + sA\)
6. \(r(sA) = (rs)A\)
- Matrix Multiplication
- Matrix Multiplication의 표현
Matrix Multiplication을 표현하는 방법 중에는 아래와 같은 방법이 있습니다.
\(A\)가 \(m \times n\) matrix이고, \(B\)가 \(n \times p\) matrix이며
\(B\)라는 matrix를 \(\mathbf{b_1}, \mathbf{b_2}, \cdots, \mathbf{b_n}\)라는 각각의 열벡터들로 나타낼 수 있을 때
즉, \(B = \begin{bmatrix}
\mathbf{b_1} & \mathbf{b_2} & \cdots & \mathbf{b_n}
\end{bmatrix}\) 로 표현이 가능할 때,
matrix \(A\)와 \(B\)의 곱 \(AB\)를 아래와 같이 표현할 수 있습니다.
$$ AB = A\begin{bmatrix}
\mathbf{b_1} & \mathbf{b_2} & \cdots & \mathbf{b_n}
\end{bmatrix} = \begin{bmatrix}
A\mathbf{b_1} & A\mathbf{b_2} & \cdots & A\mathbf{b_n}
\end{bmatrix} $$
위에서 알 수 있듯이 matrix \(AB\)의 \(j\)번째 column은 \(A\mathbf{b_j}\)로 구할 수 있습니다.
- \(AB\)의 Row 구하기
위에서 알아본 \(AB\)의 \(j\)번째 column을 구하는 방법에 이어
\(AB\)의 \(i\)번째 row는 \(A\)의 \(i\)번째 row vector와 \(B\)의 matrix multiplication으로 나타 낼 수 있으며
이를 \(row_i(AB) = row_i(A) \cdot B\)로 표기할 수 있습니다.
- Properties of matrix multiplication (행렬 곱의 성질)
Properties of matrix multiplication
\(A\)를 \(m \times n\) matrix, \(B, C\)를 \(A\)와 연산(Addition, multiplication 등) 가능한 크기의 행렬이라고 할 때,
1. \(A(BC) = (AB)C\) (Associative Law, 행렬곱에 대해 결합 법칙 성립)
2. \(A(B+C) = AB + AC\) (Left Distribution Raw, 좌분배 법칙 성립)
3. \((B + C)A = BA + CA\) (Right Distribution Raw, 우분배 법칙 성립)
4. 모든 스칼라 r에 대해, \(r(AB) = (rA)B = A(rB)\)
5. \(I_mA = A = AI_n\) (\(I\)가 행렬 곱의 항등원임을 알 수 있습니다.)
또, 행렬 곱에 대해 주의할 사항들이 있습니다.
첫번째로는, 일반적으로 \(AB \neq BA\) 라는 점 즉, 행렬 곱셈에 대해서는 교환법칙이 성립하지 않는다는 점입니다.
두번째로는, \(AB = AC\) 일 때, 일반적으로 \(B = C\)라는 관계가 성립하지 않는다는 점입니다.
세번째로는, \(AB\) 가 모든 entries가 0인 zero matrix라고 할 때, 일반적으로 \(A = 0\) 혹은 \(B = 0\) 가 되지는 않는다는 점입니다.
이를 반례를 들어 설명해보자면, 첫번째의 경우 \(A = \begin{bmatrix}
1 & 2 \\
3 & 4
\end{bmatrix}, B = \begin{bmatrix}
1 & 0 \\
1 & 0
\end{bmatrix} \)인 경우
\(AB = \begin{bmatrix}
3 & 0 \\
7 & 0
\end{bmatrix}, BA = \begin{bmatrix}
1 & 2 \\
1 & 2
\end{bmatrix}\) 가 되어 \(AB \neq BA\) 임을 알 수 있습니다.
두번째의 경우에 대한 반례는 \(A = \begin{bmatrix}
2 & -3 \\
-4 & 6
\end{bmatrix}, B = \begin{bmatrix}
8 & 4 \\
5 & 5
\end{bmatrix}, C = \begin{bmatrix}
5 & -2 \\
3 & 1
\end{bmatrix}\)인 경우로
이 경우에 \(AB = \begin{bmatrix}
1 & -7 \\
-2 & 14
\end{bmatrix}, AC = \begin{bmatrix}
1 & -7 \\
-2 & 14
\end{bmatrix}\)가 되어 \(AB = AC\)지만 \(B \neq C\)가 됨을 알 수 있습니다.
마지막으로, 세번째에 대한 반례는
\(A = \begin{bmatrix}
1 & 0 \\
0 & 0
\end{bmatrix}, B = \begin{bmatrix}
0 & 0 \\
0 & 1
\end{bmatrix}\)인 경우로,
이 경우에 \(AB = \begin{bmatrix}
0 & 0 \\
0 & 0
\end{bmatrix}\) 이지만, \(A\) 혹은 \(B\)가 zero matrix는 아니라는 것을 알 수 있습니다.
- Matrix Multiplication 과 Linear Transformation의 관계
Matrix Multiplication으로 표현된 Transformation은 Linear Transformation의 일종이라고 볼 수 있는데, 그 이유는 아래와 같습니다.
\(\mathbf{x}\)에 대한 transformation \(\mathit{T}\) 가 \(\mathit{T}(\mathbf{x}) = A\mathbf{x}\)로 표현될 때,
\(\mathit{T}\) 가 Linear Transformation이 되려면 벡터 \(\mathbf{u}, \mathbf{v}\)와 스칼라 \(c\)에 대해,
\(\mathit{T}(\mathbf{u} + \mathbf{v})\) = \(\mathit{T}(\mathbf{u})\) + \(\mathit{T}(\mathbf{v})\) 라는 조건과 스칼라 \(c\)에 대해 \(\mathit{T}(c\mathbf{u})\) = \(c\mathit{T}(\mathbf{u})\) 라는 두 가지 조건을 만족해야 합니다.
여기서 행렬 곱에 대한 부분을 살펴보면, 행렬 곱의 특성에 의해
\(A(\mathbf{u} + \mathbf{v}) = A\mathbf{u} + A\mathbf{v}\) 이고, \(A(r\mathbf{u}) = r(A\mathbf{u})\) 이므로,
Linear Transformation의 특성을 만족한다는 것을 알 수 있습니다.
- Power of a matrix (행렬의 거듭제곱)
행렬의 거듭제곱에 대해, 아래와 같이 정의합니다
Power of a matrix
\(A\)가 \(n \times n\) square matrix일 때,
\(A^k = A \cdots A\) (즉, \(A^k\)는 \(A\)를 \(k\)번 행렬 곱한 형태)
\(A^0 = I_n\)
- Transpose of a matrix (행렬의 전치)
행렬의 전치란, 특정 행렬의 행과 열을 바꾸어 놓은 행렬을 의미합니다.
\(m \times n\)인 \(A\)라는 행렬이 있다고 했을 때,
이 행렬 \(A\)의 Transpose는 \(A^T\)로 표기하며 \(A^T\)는 \(n \times m\)의 형태가 되고,
행렬 \(A\)의 \(i\)번째 행 \(j\)번째 열의 원소 \(a_{ij}\)는
행렬 \(A^T\)의 \(j\)번째 행 \(i\)번째 열의 원소가 됩니다.
예를 들어, \(A = \begin{bmatrix}
a_{11} & a_{12} & a_{13} \\
a_{21} & a_{22} & a_{23}
\end{bmatrix}\)과 같은 행렬이 있을 때, 이 행렬의 전치 행렬인 \(A^T\)는
\(A^T = \begin{bmatrix}
a_{11} & a_{21} \\
a_{12} & a_{22} \\
a_{13} & a_{23}
\end{bmatrix}\) 가 됩니다.
행렬의 전치에 대해 아래와 같은 Theorem이 성립합니다.
Theorem
\(A, B\)가 행렬 덧셈, 행렬 곱 등에 적절한 사이즈의 matrix라고 했을 때,
1. \((A^T)^T = A\)
2. \((A + B)^T = A^T + B^T\)
3. 모든 스칼라 \(r\)에 대해, \((rA)^T = rA^T\)
4. \((AB)^T = B^TA^T\)
Inverse matrix
- Definition (정의)
Inverse of a matrix
\(n \times n\) square matrix \(A\)에 대해, \(CA = I_n\)이면서 \(AC = I_n\)인 \(n \times n\) square matrix \(C\)가 존재한다면,
matrix \(A\)를 invertible 하다고 하며, \(C\)를 \(A\)의 inverse라고 하고, \(C = A^{-1}\)로 표현하며 \(C\)는 Unique하다.
Proof of Uniqueness
역행렬의 Uniqueness를 증명하는 방법으로, 우선 \(n \times n\) matrix\(A\)의 서로 다른 두 역행렬 \(B\)와 \(C\)를 가정합니다.
역행렬의 정의와 행렬 곱의 결합법칙에 의해 \(B = BI_n = B(AC) = (BA)C = I_nC = C\)가 되어 결국 \(B\)와 \(C\)가 다르다는 가정에 모순이 생기고, \(B = C\)가 되어 역행렬은 유일하다는 것을 알 수 있습니다.
추가적으로, not invertible한 matrix를 singular matrix라고 하고 invertible한 matrix를 nonsingular matrix라고 합니다.
즉, 역행렬 (inverse matrix)이 존재하지 않으면 singular matrix이고 역행렬이 존재한다면 nonsingular matrix라고 합니다.
- Theorem (1)
Inverse에 대한 Theorem으로는 아래와 같은 것들이 있습니다.
Theorem (1)
1. \(A = \begin{bmatrix}
a & b \\
c & d
\end{bmatrix}\)이고 \(ad - bc \neq 0\)이면, \(A\)는 invertible하며 역행렬은 \(A^{-1} =\) \(1 \over ad - bc\)\(\begin{bmatrix}
d & -b \\
-c & a
\end{bmatrix}\)이 된다.
2. \(A\)가 invertible한 \(n \times n\) matrix라면, \(\mathbb{R}^n\)의 각각의 벡터 \(\mathbf{b}\)에 대해, \(A\mathbf{x} = \mathbf{b}\)는 unique한 solution \(\mathbf{x} = A^{-1}\mathbf{b}\)를 가진다.
3. \(A\)가 invertible하면 \(A^{-1}\)도 invertible하며 \((A^{-1})^{-1} = A\)이 성립한다.
4. \(A, B\)가 \(n \times n\) invertible matrix이면, \(AB\) 또한 invertible하고 \((AB)^{-1} = B^{-1}A^{-1}\)이 성립한다.
5. \(A\)가 invertible하면 \(A^T\) 또한 invertible하고 \((A^T)^{-1} = (A^{-1})^T\)이 성립한다.
6. \(A\) 가 invertible한 \(n \times n\) matrix라는 것과 \(A\)가 \(I_n\)에 row equivalent 하다는 것은 필요 충분 조건이다.
또한, 이 경우에 \(A\)를 \(I_n\)으로 줄이는 elementary row operation들의 조합을 \(I_n\)에 적용시 \(I_n\)을 \(A^{-1}\)로 변형시킨다.
Proof
1. 실제로 matrix multiplication을 해보면, \(I_2\)가 나온다는 것을 알 수 있습니다.
2. \(A\mathbf{x} = \mathbf{b}\)의 양변에 \(A^{-1}\)을 left multiplication하면 \(A^{-1}A\mathbf{x} = \mathbf{x} = A^{-1}\mathbf{b}\)임을 알 수 있고.
uniqueness에 대한 증명을 위해 \(A\mathbf{x} = \mathbf{b}\)인 \(\mathbf{x}\)와 \(A\mathbf{u} = \mathbf{b}\)인 \(\mathbf{u}\)를 서로 다르다고 가정하고 식의 양변에 \(A^{-1}\)을 left multiplication하면
\(\mathbf{u} = A^{-1}\mathbf{b}, \mathbf{x} = A^{-1}\mathbf{b}\)에서 \(\mathbf{x} = \mathbf{u}\)가 되어 모순임을 알 수 있고, 따라서 solution은 unique하다는 것을 알 수 있습니다.
3. \(A^{-1} = C\)라고 했을 때, 역행렬의 정의에 의해 \(CA = AC = I_n\)임을 알 수 있고 결국 \(C^{-1} = A\)가 되어 \((A^{-1})^{-1} = A\)임을 알 수 있습니다.
4. \(B^{-1}A^{-1}AB = ABB^{-1}A^{-1} = I_n\)이 성립하므로, 역행렬의 정의에 의해 \((AB)^{-1} = B^{-1}A^{-1}\)임을 알 수 있습니다.
5. \(A^{-1} = C\)라고 했을 때, 역행렬의 정의에 의해 \(CA = AC = I_n\)이고 전치 행렬의 성질에 의해
\((CA)^T = (AC)^T = I_n^T = I_n = A^TC^T = C^TA^T \) 이므로, 결국 \(C^T = (A^T)^{-1}\)이 되어 \((A^T)^{-1} = (A^{-1})^T\)임을 알 수 있습니다
6. 우선 \(A\) 가 invertible한 경우, Theorem에 의해 \(\mathbb{R}^n\)의 각각의 벡터 \(\mathbf{b}\)에 대해 \(A\mathbf{x} = \mathbf{b}\)가 solution을 가지게 되는데, 이는 곧 \(A\)의 모든 row에 pivot position이 존재한다는 것과 같은 의미입니다.
(Matrix Eqaution에 관한 포스팅의 Theorem 부분에 해당 내용이 있습니다.)
또, \(A\)가 square matrix이므로, n개의 pivot position은 main diagonal이 되어야 하는데 이는 곧 \(A\)의 reduced echelon form이 \(I_n\)에 해당한다는 것을 의미합니다.
위의 증명이 \(A\)가 invertible하면 \(A\)가 \(I_n\)에 row equivalent 하다는 방향에 대한 증명이 됩니다.
이번에는 반대 방향의 증명입니다.
\(A\)라는 matrix가 \(I_n\)에 row equivalent 하다면, \(A\)에 elementary row operation을 여러번 적용하여 \(I_n\)으로 만들 수 있고, 이는 곧 대응되는 elementary matrix 여러개를 \(A\)에 left multiplication하면 \(I_n\)이 나온다는 것을 의미합니다.
즉, elementary matrix를 각각 \(E_p, \cdots, E_2, E_1\)이라고 했을 때, \((E_p \cdots E_2E_1)A = I_n\)의 관계가 성립함을 의미합니다.
또한, elementary row operation의 경우 뒤로 되돌릴 수 있다는 가역적(reversible)인 특징이 있으므로,
elementary matrix 또한 가역적이기 때문에 invertible 합니다.
따라서 \((E_p \cdots E_2 E_1)\) 또한 invertible하기에 역행렬이 존재하므로 \((E_p \cdots E_2E_1)A = I_n\)의 식의 양변에 \((E_p \cdots E_2 E_1)^{-1}\)을 left multiplication하면 \((E_p \cdots E_2 E_1)^{-1}(E_p \cdots E_2E_1)A = (E_p \cdots E_2 E_1)^{-1}I_n\)
즉,
\(A = (E_p \cdots E_2 E_1)^{-1}\)가 되어 \(A\)또한 invertible하며 \(A^{-1} = E_p \cdots E_2E_1\)라는 것을 알 수 있습니다.
또, \(A\)에 elementary row operations를 적용하여 \(I_n\)으로 줄이는 과정이 대응 되는 elementary matices의 조합인 \((E_p \cdots E_2E_1)\)를 left multiplication하는 것과 동일하므로 \(A\)를 \(I_n\)으로 줄이는 elementary row operations를 \(I_n\)에 그대로 적용하면 \((E_p \cdots E_2E_1)I_n\)과 동일합니다.
즉, \(I_n\)에 \(A\)에 적용한 elementary row operations를 똑같이 적용하면 \(A^{-1}\)인 \(E_p \cdots E_2E_1\)를 구할 수 있습니다.
- Theorem (2)
Theorem (2)
\(A\)가 \(n \times n\) matrix일 때, 아래의 명제들은 모두논리적으로 동등하다.
즉, 모든 명제가 참이거나 모든 명제가 거짓이다.
1. \(A\)가 invertible하다.
2. \(A\)가 \(I_n\)과 row equivalent하다.
3. \(A\)가 \(n\)개의 pivot position을 가진다.
4. \(A\mathbf{x} = \mathbf{0}\)가 trivial solution 만을 가진다. (\(A^{-1}\)을 양변에 left multiplication 해보면 알 수 있습니다.)
5. \(A\)의 columns이 linearly independent set이다.
6. linear transformation \(\mathbf{x} \mapsto A\mathbf{x}\)가 one-to-one이다.
7. \(\mathbb{R}^n\)의 각각의 벡터 \(\mathbf{b}\)에 대해, \(A\mathbf{x} = \mathbf{b}\)가 적어도 하나의 solution을 가진다.
(\(A^{-1}\)을 양변에 left multiplication 해보면 알 수 있습니다.)
8. \(A\)의 columns이 \(\mathbb{R}^n\) space를 span한다.
9. linear transformation \(\mathbf{x} \mapsto A\mathbf{x}\) maps \(\mathbb{R}^n\) onto \(\mathbb{R}^n\)
10. \(CA = I_n\)인 \(n \times n\) matrix \(C\)가 존재한다.
11. \(AD = I_n\)인 \(n \times n\) matrix \(D\)가 존재한다.
12. \(A^T\)가 invertible하다.
- Another view of matrix inversion
\(n \times n\) matrix \(A\)의 역행렬인 \(C\) 대해, \(C\)라는 matrix를 \(\mathbf{c_1}, \mathbf{c_2}, \cdots, \mathbf{c_n}\)라는 각각의 열벡터들로 나타내면 \(C = \begin{bmatrix}
\mathbf{c_1} & \mathbf{c_2} & \cdots & \mathbf{c_n}
\end{bmatrix}\) 로 표현이 가능하고,
\(AC = I_n\) 라는 관계를 만족하므로, \(AC = \begin{bmatrix}
A\mathbf{c_1} & A\mathbf{c_2} & \cdots & A\mathbf{c_n}
\end{bmatrix} = I_n\)에서 \(A\mathbf{c_1} = \mathbf{e_1}, A\mathbf{c_2} = \mathbf{e_2}, \cdots, A\mathbf{c_n} = \mathbf{e_n}\) 라는 것을 알 수 있습니다.
이를 활용하여, \(A^{-1}\)의 k번째 column에 해당하는 \(\mathbf{c_k}\)는 \(A\mathbf{x} = \mathbf{e_k}\)의 solution으로 구할 수 있습니다.
- Invertible linear transformation
Invertible linear transformation
\(\mathit{T} : \mathbb{R}^n \rightarrow \mathbb{R}^n\) 가 linear transformation일 때,
\(\mathbb{R}^n\)의 모든 \(\mathbf{x}\)에 대해 \(\mathit{S}(\mathit{T}(\mathbf{x})) = \mathbf{x}\) 이고, \(\mathit{T}(\mathit{S}(\mathbf{x})) = \mathbf{x}\)인
\(\mathit{S} : \mathbb{R}^n \rightarrow \mathbb{R}^n\) 가 존재하면 \(\mathit{T}\) 는 invertible하다.
또한, \(\mathit{S}\) 를 \(\mathit{T}\) 의 inverse라고 부르고, \(\mathit{T}^{-1}\) 와 같이 표기하며, \(\mathit{S}\) 는 Unique하다.
Theorem
\(\mathit{T} : \mathbb{R}^n \rightarrow \mathbb{R}^n\) 가 linear transformation이고, 이에 대응되는 standard matrix를 \(A\)라고 할 때, \(\mathit{T}\) 가 invertible 하다는 것과 \(A\)가 invertible matrix라는 것은 필요 충분 조건이다.
또, 위의 경우에서 \(\mathit{T}^{-1} = \mathit{S}\) 인 \(\mathit{S}\) 또한 linear transformation이며, 이에 대응되는 standard matrix는 \(A^{-1}\)이 된다.
이 포스팅은 'linear algebra and its applications 5th edition'을 보고 공부한 내용을 정리하여 작성하였습니다.
'선형대수' 카테고리의 다른 글
| Types of Matices (행렬의 유형) (0) | 2022.11.15 |
|---|---|
| Linear Transformation (선형 변환) (0) | 2022.11.08 |
| Linear Independence (선형 독립), Basis (기저) (0) | 2022.10.09 |
| Vector Equation (벡터 방정식), Matrix Equation (행렬 방정식) (0) | 2022.10.04 |
| Span (생성), Subspace (부분 공간) (0) | 2022.10.02 |