Vector Equation (벡터 방정식), Matrix Equation (행렬 방정식)

목차

 

Vector Equation, Matrix Equation (벡터 방정식, 행렬 방정식)

• linear system과 vector eqaution
• matrix eqaution
• augmented matrix
• solution set
• solution set과 reduced echelon form의 관계
• consistent, inconsistent

 

Homogeneous and Nonhomogeneous Linear system

• homogeneous linear system (동차 선형계)
• nonhomogeneous linear system (비동차 선형계)

 

---

이전의 포스팅에서 linear system을 matrix notation으로 표현하여 solution set을 구할 수 있다고 언급한 적 있었습니다.

이번 포스팅에서는 어떤 식으로 solution set을 구할 수 있는지 그 방법을 알아보도록 하겠습니다.

---

Vector Equation, Matrix Equation

 

- linear system과 vector equation

 

\begin{pmatrix} x_1 + 2x_2 =   7 \\ -2x_1 + 5x_2 = 4 \\ -5x_1 + 6x_2 = -3 \end{pmatrix} 라는 linear system이 있다고 생각해보겠습니다.

 

결론부터 말하자면, linear system을 벡터 방정식(vector equation)의 형태로 표현할 수 있습니다.

 

예를 들어, \(\mathbf{a_1} = \begin{bmatrix}
1 \\
-2 \\
-5 
\end{bmatrix}, \mathbf{a_2} = \begin{bmatrix}
2 \\
5 \\
6
\end{bmatrix}, \mathbf{b} = \begin{bmatrix}
7 \\
4 \\
-3 
\end{bmatrix}\) 이라는 벡터가 있고, 실수 체에 대한 어떤 두 스칼라 \(x_1, x_2\)가 있을 때

\(x_1\mathbf{a_1} + x_2\mathbf{a_2} = \mathbf{b}\) 형태의 방정식을 벡터 방정식이라고 하고

위의 식에 \(\mathbf{a_1}, \mathbf{a_2}, \mathbf{b}\)를 대입해보면

\(x_1\begin{bmatrix}
1 \\
-2 \\
-5 
\end{bmatrix} + x_2\begin{bmatrix}
2 \\
5 \\
6 
\end{bmatrix} = \begin{bmatrix}
7 \\
4 \\
3 
\end{bmatrix}\)이 되며

 

벡터의 합, 스칼라 곱에 대한 정의로부터 위의 식은 \(\begin{bmatrix}
x_1 \\
-2x_1 \\
-5x_1 
\end{bmatrix} + \begin{bmatrix}
2x_2 \\
5x_2 \\
6x_2 
\end{bmatrix} = \begin{bmatrix}
x_1 + 2x_2 \\
-2x_1 + 5x_2 \\
-5x_1 + 6x_2 
\end{bmatrix} = \begin{bmatrix}
7 \\
4 \\
3 
\end{bmatrix}\)로 표현할 수 있고

벡터의 상등에 대한 정의로부터 결국 위의 식은

\begin{pmatrix} x_1 + 2x_2 =   7 \\ -2x_1 + 5x_2 = 4 \\ -5x_1 + 6x_2 = -3 \end{pmatrix}라는 linear system과 동일하다는 것을 알 수 있습니다.

 

 

- matrix equation

어떤 (m \(\times\) n) 행렬 \(A\)가 아래와 같이 있다고 했을 때,

이 행렬을 다른 방식으로 표현해볼 수 있습니다.

 

\(A = \begin{bmatrix}
a_{11} & a_{12} & \cdots & a_{1n} \\
a_{21} & a_{22} & \cdots & a_{2n} \\
\vdots & \vdots & \vdots & \vdots \\ 
a_{m1} & a_{m2} & \cdots & a_{mn}
\end{bmatrix}\)

바로 행렬 \(A\)의 각 column(열)을 하나의 열 벡터로 표현하는 방식입니다.

 

예를 들면, \(\mathbf{a_1} = \begin{bmatrix}
a_{11} \\
a_{21} \\
\vdots \\ 
a_{m1}
\end{bmatrix}, \mathbf{a_2} = \begin{bmatrix}
a_{12} \\
a_{22} \\
\vdots \\ 
a_{m2}
\end{bmatrix}, \cdots\)처럼 생각할 수 있고 결국 전체 행렬 \(A\)에 대해,

 

\(A = \begin{bmatrix}
\mathbf{a_1} & \mathbf{a_2} & \cdots & \mathbf{a_n} 
\end{bmatrix}\) 로 생각할 수 있습니다.

 

여기서, \(\mathbb{R}^n\)의 어떤 벡터 \(\mathbf{x} = \begin{bmatrix}
x_1 \\
x_2 \\
\vdots \\ 
x_n
\end{bmatrix}\)이 있을때

 

행렬 \(A = \begin{bmatrix}
a_{11} & a_{12} & \cdots & a_{1n} \\
a_{21} & a_{22} & \cdots & a_{2n} \\
\vdots & \vdots & \vdots & \vdots \\ 
a_{m1} & a_{m2} & \cdots & a_{mn}
\end{bmatrix}\)와 벡터 \(\mathbf{x} = \begin{bmatrix}
x_1 \\
x_2 \\
\vdots \\ 
x_n
\end{bmatrix}\) 의 matrix multiplication(행렬 곱) \(A\mathbf{x}\)에 대해 생각해보면

\(A\mathbf{x} = \begin{bmatrix}
x_1a_{11} & x_2a_{12} & \cdots & x_na_{1n} \\
x_1a_{21} & x_2a_{22} & \cdots & x_na_{2n} \\
\vdots & \vdots & \vdots & \vdots \\ 
x_1a_{m1} & x_2a_{m2} & \cdots & x_na_{mn}
\end{bmatrix} = x_1\begin{bmatrix}
a_{11} \\
a_{21} \\
\vdots \\ 
a_{m1}
\end{bmatrix} + x_2\begin{bmatrix}
a_{12} \\
a_{22} \\
\vdots \\ 
a_{m2}
\end{bmatrix} + \cdots + x_n\begin{bmatrix}
a_{1n} \\
a_{2n} \\
\vdots \\ 
a_{mn}
\end{bmatrix} = x_1\mathbf{a_1} + x_2\mathbf{a_2} + \cdots + x_n\mathbf{a_n}\)

가 되고,

 

이때 또 다른 벡터 \(\mathbf{b} = \begin{bmatrix}
b_1 \\
b_2 \\
\vdots \\
b_n
\end{bmatrix}\)가 있을 때

 

\(A\mathbf{x}\)에 대해

\(A\mathbf{x} = \mathbf{b}\)라고 두면

\(x_1\mathbf{a_1} + x_2\mathbf{a_2} + \cdots + x_n\mathbf{a_n} = \mathbf{b}\)라는 형태가 되어,

결국 벡터 방정식(vector equation)과 같은 형태로 표현됨을 알 수 있습니다.

 

즉, matrix equation이란 vector equation을 표현하는 다른 방식으로 볼 수 있습니다.

 

 

matrix equation에 대해 아래와 같은 Theorem이 존재합니다.

 

 

---

Theorem

 

\(A\)가 \(m \times n\) matrix일 때, 아래의 4가지 명제는 논리적으로 동등하다.

즉, 4가지 명제는 모두 참이거나 혹은 모두 거짓이다.

 

1. \(\mathbb{R}^m\)의 각각의 벡터 \(\mathbf{b}\)에 대해, matrix equation \(A\mathbf{x} = \mathbf{b}\)의 solution이 존재한다.

2. \(\mathbb{R}^m\)의 각각의 벡터 \(\mathbf{b}\)는 \(A\)의 columns의 linear combination으로 표현된다.

3. \(A\)의 columns이 \(\mathbb{R}^m\) space를 span한다.

4. \(A\)의 모든 row에 pivot position이 존재한다.

---

 

- augmented matrix

이전의 포스팅에서 linear system을 augmented matrix로 표현하는 방법에 대해 다룬 적이 있었는데요

위의 \(A\mathbf{x}\)도 결국 linear system과 같으므로 이를  augmented matrix로 표현하면

 

\(\begin{bmatrix}
a_{11} & a_{12} & \cdots & a_{1n} & b_1 \\
a_{21} & a_{22} & \cdots & a_{2n} & b_2 \\
\vdots & \vdots & \vdots & \vdots  & \vdots\\ 
a_{m1} & a_{m2} & \cdots & a_{mn} & b_n
\end{bmatrix} = \begin{bmatrix}
\mathbf{a_1} & \mathbf{a_2} & \cdots & \mathbf{a_n} & \mathbf{b}
\end{bmatrix}\)와 같이 표현할 수 있습니다.

 

 

- solution set

vector equation과 matrix equation, augmented matrix 사이에는 다음과 같은 사실이 성립합니다.

---

matrix equation : \(A\mathbf{x} = \mathbf{b}\)

vector equation : \(x_1\mathbf{a_1} + x_2\mathbf{a_2} + \cdots + x_n\mathbf{a_n} = \mathbf{b}\)

augmented matrix : \(\begin{bmatrix}
\mathbf{a_1} & \mathbf{a_2} & \cdots & \mathbf{a_n} & \mathbf{b}
\end{bmatrix}\)

 

위의 세 가지는 모두 같은 solution set을 갖는다.

---

여기서 집중하고자 하는 부분은 augmented matrix에 대한 부분입니다.

왜냐하면 augmented matrix를 reduced echelon form으로 만들어 linear system의 solution set을 구할 수 있기 때문입니다.

(이에 대한 설명은 잠시 후에 하도록 하겠습니다)

 

예를 하나 들어보겠습니다.

\begin{pmatrix} x_1 + 2x_2 =   7 \\ -2x_1 + 5x_2 = 4 \\ -5x_1 + 6x_2 = -3 \end{pmatrix}라는 linear system을

augmeted matrix로 만들어보면

 

\(\begin{bmatrix}
1 & 2 & 7 \\
-2 & 5 & 4 \\
-5 & 6 & -3
\end{bmatrix}\)이 되고, 이 행렬을 reduced echelon form으로 만들어 보면

 

\(\begin{bmatrix}
1 & 2 & 7 \\
-2 & 5 & 4 \\
-5 & 6 & -3
\end{bmatrix}\) → \(\begin{bmatrix}
1 & 2 & 7 \\
0 & 9 & 18 \\
0 & 16 & 32
\end{bmatrix}\) → \(\begin{bmatrix}
1 & 2 & 7 \\
0 & 9 & 18 \\
0 & 0 & 0
\end{bmatrix}\) → \(\begin{bmatrix}
1 & 2 & 7 \\
0 & 1 & 2 \\
0 & 0 & 0
\end{bmatrix}\) → \(\begin{bmatrix}
1 & 0 & 3 \\
0 & 1 & 2 \\
0 & 0 & 0
\end{bmatrix}\)


\(\begin{bmatrix}
1 & 0 & 3 \\
0 & 1 & 2 \\
0 & 0 & 0
\end{bmatrix}\)의 형태로 reduced echelon form이 나오게 되며

 

이 reduced echelon form으로 표현된 augmented matrix를 다시 linear system으로 돌리면

\begin{pmatrix} x_1 + 0*x_2 = 3 \\ 0*x_1 + x_2 = 2 \\ 0*x_1 + 0*x_2 = 0 \end{pmatrix}이 되어

 

이 linear system의 solution set은 \(x_1 = 3, x_2 = 2\)이 됩니다.

 

 

- solution set과 reduced echelon form의 관계

 

그렇다면 왜 augmented matrix에 row reduction을 적용하여 reduced echelon form을 구하면 이것이 linear system의 solution set으로 이어지는 걸까요?

 

\begin{pmatrix} x_1 + 2x_2 =   7 \\ -2x_1 + 5x_2 = 4 \\ -5x_1 + 6x_2 = -3 \end{pmatrix}

라는 linear system과

 

\(\begin{bmatrix}
1 & 2 & 7 \\
-2 & 5 & 4 \\
-5 & 6 & -3
\end{bmatrix}\) 라는 augmeted matrix를 예로 들어 설명하도록 하겠습니다.

 

Elementary Row Operation에 대해 잠시 떠올려 봅시다.

 

Elementary Row Operation에는 3가지가 있다고 말하였고, 이를 적용한 matrix들끼리는 row equivalent하다는 설명을 드린 적이 있습니다.

 

이를 augmented matrix와 linear system를 비교하며 이해해 보도록 하겠습니다.

 

\(\begin{bmatrix}
1 & 2 & 7 \\
-2 & 5 & 4 \\
-5 & 6 & -3
\end{bmatrix}\) → \(\begin{bmatrix}
1 & 2 & 7 \\
0 & 9 & 18 \\
-5 & 6 & -3
\end{bmatrix}\)의 과정에서 우리는 첫번째 행에 2를 곱한 것을 두번째 행에 더한

Replacement가 적용되었음을 알 수 있는데,

 

이를 linear system에 비추어 이해한다면

\begin{pmatrix} x_1 + 2x_2 =   7 \\ -2x_1 + 5x_2 = 4 \\ -5x_1 + 6x_2 = -3 \end{pmatrix}의 linear system의 첫번째 방정식인

\(x_1 + 2x_2 = 7\)에 2를 곱한 것을 두번째 방정식인 \(-2x_1 + 5x_2 = 4\)에 더해

\(0*x_1 + 9x_2 = 18\)이라는 결과를 얻은 것과 동일합니다.

 

Interchange, Scailing도 똑같이 이해할 수 있습니다.

linear system에서 각 방정식(linear equation)들의 위치를 서로 바꾸거나 어떤 한 방정식에 스칼라를 곱해도 linear system 자체는 그대로 성립하기 때문입니다.

 

결국, augmented matrix에 elementary row operation을 적용하여 구한 reduced echelon form이 같은 solution set을 가지는 이유는 elementary row operation을 linear system에 똑같이 적용하더라도 equivalent한 linear system이 나오기 때문입니다.

 

이러한 이유로, augmented matrix의 reduced echelon form을 구하여 linear system의 solution을 구할 수 있는 것입니다.

 

 

- consistent, inconsistent

linear system의 solution set에 대해 설명할 때,

가능한 경우는 solution이 정확히 1개인 경우, 무수히 많은 경우, 존재하지 않는 경우로 3가지가 존재한다고 설명드렸고

존재하지 않는 경우를 inconsistent하다고 하고, 1개 or 무수히 많은 경우를 consistent하다고 말했던 적이 있습니다.

 

이번에는 augmented matrix를 보고 어떤 경우에 inconsistent하고, 또 어떤 경우에 consistent한지에 대해 설명해드리겠습니다.

 

먼저, inconsistent한 경우에 대해 말하자면

augmented matrix에 row reduction을 적용하는 과정이나 그 결과에서

\(\begin{bmatrix}
0 & 0 & \cdots & 0 & b 
\end{bmatrix}\) (단, \(b \neq 0\)) 와 같은 형태가 나오는 행이 있다면 그 linear system은 inconsistent하다고 말할 수 있습니다.

 

위와 같은 형태는 모든 변수 \(x_1, x_2, \cdots\)에 대해 모든 값이 0인데 우변이 0이 아닌 상수인 경우이기 때문입니다.

 

그럼 언제 consistent해지고, 더 구체적으로 언제 solution이 정확히 1개이며, 또 언제 solution이 무수히 많아질까요?

 

solution이 1개인 경우는 위에서 풀어본 예제 \begin{pmatrix} x_1 + 2x_2 =   7 \\ -2x_1 + 5x_2 = 4 \\ -5x_1 + 6x_2 = -3 \end{pmatrix}

의 solution 같은 경우에 해당합니다.

위의 경우 \(x_1 = 3, x_2 = 2\) 이외에 다른 답이 없기 때문입니다.

 

solution이 무수히 많은 경우는 다음과 같습니다.

예를 들어, \begin{pmatrix} 3x_1 + 5x_2 - 4x_3 = 0 \\ -3x_1 - 2x_2 + 4x_3 = 0 \\ 6x_1 + x_2 - 8x_3 = 0 \end{pmatrix}

와 같은 linear system이 있다고 했을 때, 이에 대한 solution set을 augmented matrix를 이용해 구하면

 

\(\begin{bmatrix}
3 & 5 & -4 & 0 \\
-3 & -2 & 4 & 0 \\
6 & 1 & -8 & 0
\end{bmatrix}\) → \(\begin{bmatrix}
3 & 5 & -4 &0 \\
0 & 3 & 0 & 0 \\
0 & -9 & 0 & 0
\end{bmatrix}\) → \(\begin{bmatrix}
3 & 5 & -4 &0 \\
0 & 3 & 0 & 0 \\
0 & 0 & 0 & 0
\end{bmatrix}\) → \(\begin{bmatrix}
3 & 0 & -4 &0 \\
0 & 3 & 0 & 0 \\
0 & 0 & 0 & 0
\end{bmatrix}\) → \(\begin{bmatrix}
1 & 0 & -{4 \over 3} &0 \\
0 & 1 & 0 & 0 \\
0 & 0 & 0 & 0
\end{bmatrix}\) 으로 reduced echelon form을 구할 수 있고

이 reduced echelon form을 다시 linear system으로 바꾸면

\begin{pmatrix} x_1 + 0*x_2 -{4 \over 3}x_3 = 0 \\ 0*x_1 + x_2 + 0*x_3 = 0 \\ 0*x_1 + 0*x_2 - 0*x_3 = 0 \end{pmatrix}
가 되며 이에 대한 해석은 \(x_1 = {4 \over 3}x_3, x_2 = 0\)이고, \(x_3\)에 대해서는 아무런 아무 언급도 없으므로
\(x_3\)는 어떤 값이든 상관 없으며, 이 때의 \(x_3\)를 free variable이라고 합니다

결국 우리가 하고자 하는 것은 \(\mathbf{x} = \begin{bmatrix}
x_1 \\
x_2 \\
x_3
\end{bmatrix}\)라는 벡터에 대한 \(x_1, x_2, x_3\)의 값을 확정하는 것이고

위의 식에서 구한 대로 이를 표현해보자면 \(\mathbf{x} = \begin{bmatrix}
x_1 \\
x_2 \\
x_3 
\end{bmatrix} = \begin{bmatrix}
{4 \over 3}x_3 \\
0 \\
x_3 
\end{bmatrix} = x_3\begin{bmatrix}
{4 \over 3} \\
0 \\
1 
\end{bmatrix} \)(\(x_3\) is free variable)이 됩니다.

 

이때의 solution은 \(\begin{bmatrix}
{4 \over 3} \\
0 \\
1 
\end{bmatrix}\)라는 벡터와 스칼라 값 \(x_3\)의 스칼라 곱이고, \(x_3\)는 가능한 모든 값이 되므로 solution이 무수히 많다고 할 수 있습니다.

 

또 이때 \(\begin{bmatrix}
{4 \over 3} \\
0 \\
1 
\end{bmatrix} = \mathbf{v}\)로 둔다면 \(\mathbf{x} = \begin{bmatrix}
x_1 \\
x_2 \\
x_3
\end{bmatrix} = x_3\mathbf{v}\) 에서 \(x_3\)는 free variable이므로

사실상 이는 \(\mathbf{v}\)의 가능한 모든 linear combination이 되어 span\(\left \{\mathbf{v} \right\}\)와 같다고 할 수 있습니다.

 

아래는 span\(\left \{\mathbf{v} \right\}\)에 대한 그림입니다.

이미지 출처 : Linear Algebra and its Applications 5th

 

 

Homogeneous and Nonhomogeneous Linear system

linear system은 크게 homogeneous linear system과 nonhomogeneous linear system 두 가지로 분류할 수 있습니다.

이 두가지에 대해 알아보겠습니다.

- homogeneous linear system (동차 선형계)

homogeneous linear system이란

\begin{pmatrix} 3x_1 + 5x_2 - 4x_3 = 0 \\ -3x_1 - 2x_2 + 4x_3 = 0 \\ 6x_1 + x_2 - 8x_3 = 0 \end{pmatrix}와 같이

우변이 모두 0인 경우의 linear system을 의미합니다.

 

또한, \(A\mathbf{x} = 0\)와 같은 matrix notation에서는 우변은 영벡터에 해당합니다.

 

이런 homogeneous linear system은 \(\mathbf{x}\)가 영벡터인 경우 항상 성립하게 되는데

이 때의 solution을 trivial solution(자명해)라고 합니다.

 

homogeneous system에서의 주요한 의문점은 nontrivial solution(trivial solution이 아닌 solution)이 존재하는지입니다.

즉, \(A\mathbf{x} = 0\)에서 영벡터가 아닌 \(\mathbf{x}\)가 존재하는지를 확인해야 합니다.

 

\(A\mathbf{x} = 0\)이 nontrivial solution을 가질 조건은 아래와 같습니다.

---

homogeneous system \(A\mathbf{x} = 0\)이 nontrivial solution을 가질 조건 (필요 충분 조건)

 

\(A\mathbf{x} = 0\)이 적어도 하나의 free variable을 가진다.

---

위에서 풀어본 예제인 \begin{pmatrix} 3x_1 + 5x_2 - 4x_3 = 0 \\ -3x_1 - 2x_2 + 4x_3 = 0 \\ 6x_1 + x_2 - 8x_3 = 0 \end{pmatrix}의 linear system은

\(A\mathbf{x} = 0 \iff \begin{bmatrix}
3 & 5 & -4 \\
-3 & -2 & 4 \\
6 & 1 & -8
\end{bmatrix}\begin{bmatrix}
x_1 \\
x_2 \\
x_3
\end{bmatrix} = \begin{bmatrix}
0 \\
0 \\
0
\end{bmatrix}\)으로 표현할 수 있고

위의 식이 nontrivial solution을 가지는 homogeneous system의 예시에 해당하는데,

여기에서는 \(x_3\)가 free variable이 되면서 notrivial solution을 가집니다.

 

- nonhomogeneous linear system (비동차 선형계)

nonhomogeneous system이란 \(A\mathbf{x} = \mathbf{b}\) (단, \(\mathbf{b} \neq \mathbf{0}\))와 같이

우변이 영벡터가 아닌 경우를 의미합니다.

 

하나의 예를 보겠습니다.

\(A= \begin{bmatrix}
3 & 5 & -4 \\
-3 & -2 & 4 \\
6 & 1 & -8
\end{bmatrix},\mathbf{x} = \begin{bmatrix}
x_1 \\
x_2 \\
x_3
\end{bmatrix} ,\mathbf{b} = \begin{bmatrix}
7 \\
-1 \\
-4
\end{bmatrix}\)인 경우 augmented matrix는

\(\begin{bmatrix}
3 & 5 & -4 & 7 \\
-3 & -2 & 4 & -1 \\
6 & 1 & -8 & -4
\end{bmatrix}\)가 되고

 

이의 reduced echelon form은 \(\begin{bmatrix}
1 & 0 & -{4 \over 3} & -1 \\
0 & 1 & 0 & 2 \\
0 & 0 & 0 & 0
\end{bmatrix}\)와 같은 형태가 되며

 

이를 만족하는 \(\mathbf{x}\)는 \(\mathbf{x} = \begin{bmatrix}
x_1 \\
x_2 \\
x_3 
\end{bmatrix} = \begin{bmatrix}
{4 \over 3}x_3 \\
0 \\
x_3 
\end{bmatrix} + \begin{bmatrix}
-1 \\
2 \\
0 
\end{bmatrix} = x_3\begin{bmatrix}
{4 \over 3} \\
0 \\
1 
\end{bmatrix} + \begin{bmatrix}
-1 \\
2 \\
0 
\end{bmatrix} \), \(x_3\) is free variable

 

로 나오고 여기서 \(\begin{bmatrix}
{4 \over 3} \\
0 \\
1 
\end{bmatrix} = \mathbf{v}\)로 두었을 때,

이는 span\(\left \{\mathbf{v} \right\}\) + \(\begin{bmatrix}
-1 \\
2 \\
0 
\end{bmatrix}\)가 됩니다

즉, span\(\left \{\mathbf{v} \right\}\)가 그리는 직선을 \(\begin{bmatrix}
-1 \\
2 \\
0 
\end{bmatrix}\)만큼 평행이동한 것이 됩니다.

 

위의 두 예제에서 homogenous system과 nonhomogeneous system의 직선은 각각 아래와 같이 그려질 수 있습니다.

평행이동 관계에 있는 두 직선

즉, \(A,\mathbf{x}\)가 같을 때 \(A\mathbf{x} = 0\)과 \(A\mathbf{x} = \mathbf{b}\)의 

solution은 평행이동 관계에 있다라는 것을 알 수 있습니다.

(단, 여기서 nonhomogeneous system이 적어도 하나의 solution을 가져야 합니다.)

 

 

---

이 포스팅은 'linear algebra and its applications 5th edition'을 보고 공부한 내용을 정리하여 작성하였습니다.