Linear Independence (선형 독립), Basis (기저)

목차

 

Linear Independence

• Linear independence and Linear dependence (선형 독립과 선형 종속)
• Theorem (정리)

 

Basis

• Basis (기저)
• Theorem (정리)

 

 

---

Linear Independence And Dependence

 

- Linear independence and Linear dependence (선형 독립과 선형 종속)

 

---

linear independence의 정의

 

\(\mathbb{R}^n\)에 \(\left \{\mathbf{v_1}, \mathbf{v_2}, \cdots, \mathbf{v_n} \right\}\)라는 벡터가 있을 때,
어떤 스칼라 \(x_i\)에 대해 벡터 방정식 \(x_1\mathbf{v_1} + x_2\mathbf{v_2} + \cdots + x_n\mathbf{v_n} = 0\)의 solution이 trivial solution만 존재하다면 \(\left \{\mathbf{v_1}, \mathbf{v_2}, \cdots, \mathbf{v_n} \right\}\)는 linearly independent하다.

---

즉, 벡터 방정식을 만족하려면 \(x_i\)가 모두 0 (\(x_1 = x_2 = \cdots = x_n = 0\)) 이어야만 하고 또 이것이 유일한 solution인 경우에 벡터들의 집합인 \(\left \{\mathbf{v_1}, \mathbf{v_2}, \cdots, \mathbf{v_n} \right\}\)가 linearly independent하다는 것입니다.

 

예를 들어보겠습니다.

\(\mathbf{v_1} = \begin{bmatrix}
1 \\
2  
\end{bmatrix}, \mathbf{v_2} = \begin{bmatrix}
2 \\
1 \\ 
\end{bmatrix}\) 라는 두 벡터가 있을 때, 이 벡터에 대한 벡터 방정식은

 

\(x_1\mathbf{v_1} + x_2\mathbf{v_2} = x_1\begin{bmatrix}
1 \\
2  
\end{bmatrix} + x_2\begin{bmatrix}
2 \\
1 \\ 
\end{bmatrix}\) 으로 쓸 수 있고

\(x_1\mathbf{v_1} + x_2\mathbf{v_2} = 0\)의 해를 구하기 위해 augmented matrix를 그려서 row reduction을 적용해보면

 

\(\begin{bmatrix}
1 & 2 & 0 \\
2 & 1 & 0 
\end{bmatrix}\) ~ \(\begin{bmatrix}
1 & 2 & 0 \\
0 & -3 & 0 
\end{bmatrix}\) ~ \(\begin{bmatrix}
1 & 2 & 0 \\
0 & 1 & 0 
\end{bmatrix}\) ~ \(\begin{bmatrix}
1 & 0 & 0 \\
0 & 1 & 0 
\end{bmatrix}\) 에서

 

\(\begin{bmatrix}
1 & 0 & 0 \\
0 & 1 & 0 
\end{bmatrix}\) 가 reduced echelon form으로 나온다는 것을 알 수 있습니다

 

이러한 reduced echelon form에는 free variable이 존재하지 않으므로

trivial solution만 가지게 되고 따라서 \(\left \{\mathbf{v_1}, \mathbf{v_2} \right\}\) 는 linearly independent합니다.

 

 

 

linearly dependent란

위와 반대로 벡터 방정식 \(x_1\mathbf{v_1} + x_2\mathbf{v_2} + \cdots + x_n\mathbf{v_n} = 0\)의 solution이

trivial solution 외에도 존재할 경우를 뜻합니다.

 

다시 말해, 벡터 방정식을 만족하는 \(x_i\)중에 하나라도 0이 아닌 게 있을 경우

벡터들의 집합인 \(\left \{\mathbf{v_1}, \mathbf{v_2}, \cdots, \mathbf{v_n} \right\}\)가 linearly dependent하다는 것입니다.

(설령 \(x_1 = x_2 = \cdots = x_{n-1} = 0, x_n \neq 0\) 처럼 나머지가 모두 0이고 \(x_n\)만 0이 아닌 경우에도

linearly dependent하다고 할 수 있습니다)

 

linearly dependent한 경우의 예시를 들어보면,

 

\(\mathbf{v_1} = \begin{bmatrix}
1 \\
2 \\
3
\end{bmatrix}, \mathbf{v_2} = \begin{bmatrix}
4 \\
5 \\
6 
\end{bmatrix}, \mathbf{v_3} = \begin{bmatrix}
2 \\
1 \\
0 
\end{bmatrix}\) 이라는 벡터가 있을 때,

벡터 방정식은 \(x_1\mathbf{v_1} + x_2\mathbf{v_2} + x_3\mathbf{v_3} = x_1\begin{bmatrix}
1 \\
2 \\
3
\end{bmatrix} + x_2\begin{bmatrix}
4 \\
5 \\
6 
\end{bmatrix} + x_3\begin{bmatrix}
2 \\
1 \\
0
\end{bmatrix}\) 으로 쓸 수 있고

이의 solution set을 구하기 위해 augmented matrix를 그려서 row reduction을 적용해보면

\(\begin{bmatrix}
1 & 4 & 2 & 0 \\
2 & 5 & 1 & 0 \\
3 & 6 & 0 & 0
\end{bmatrix}\) ~ \(\begin{bmatrix}
1 & 4 & 2 & 0 \\
0 & -3 & -3 & 0 \\
3 & 6 & 0 & 0 
\end{bmatrix}\) ~ \(\begin{bmatrix}
1 & 4 & 2 & 0 \\
0 & -3 & -3 & 0 \\
0 & -6 & -6 & 0

\end{bmatrix}\) ~ \(\begin{bmatrix}
1 & 4 & 2 & 0 \\
0 & -3 & -3 & 0 \\
0 & 0 & 0 & 0 
\end{bmatrix}\) ~ \(\begin{bmatrix}
1 & 4 & 2 & 0 \\
0 & 1 & 1 & 0 \\
0 & 0 & 0 & 0 
\end{bmatrix}\) ~ \(\begin{bmatrix}
1 & 0 & 2 & 0 \\
0 & 1 & 1 & 0 \\
0 & 0 & 0 & 0 
\end{bmatrix}\) 에서


\(\begin{bmatrix}
1 & 0 & 2 & 0 \\
0 & 1 & 1 & 0 \\
0 & 0 & 0 & 0 
\end{bmatrix}\) 가 reduced echelon form으로 나온다는 것을 알 수 있습니다

 

위의 reduced echelon form에서는 \(x_3\)이 free variable이 되므로

trivial solution뿐만 아니라 nontrivial solution도 가진다는 것을 알 수 있으며

따라서 \(\left \{\mathbf{v_1}, \mathbf{v_2}, \mathbf{v_3} \right\}\)가 linearly dependent합니다.

 

 

 

- Theorem (정리)

---

Theorem

 

1. 영벡터를 포함하는 집합은 linearly dependent하다.

 

2. \(\mathbb{R}^n\) space의 어떤 부분 집합 \(\mathit{S} = \left \{\mathbf{v_1}, \mathbf{v_2}, \cdots, \mathbf{v_p} \right\}\)이 linearly dependent하다는 것과 \(\mathit{S}\) 의 벡터들 중 다른 벡터들의 linear combination으로 표현 가능한 벡터가 적어도 하나 존재한다는 것은 필요 충분 조건이다.

 

3. \(\mathbb{R}^n\) space의 어떤 부분 집합이 벡터 성분의 수보다 많은 수의 벡터를 가지고 있다면 이 집합은 linearly dependent하다.

즉, \(\mathbb{R}^n\) space의 어떤 부분 집합 \(\left \{\mathbf{v_1}, \mathbf{v_2}, \cdots, \mathbf{v_p} \right\}\)에 대해 \( p > n\)이라면 이 집합은 linearly dependent하다.

 

4. linearly dependent한 집합에 다른 벡터를 추가한 집합도 여전히 linearly dependent하다.

---

2번 Theorem에서 주의하실 점은, linearly dependent하다고 해서 집합의 모든 벡터를 다른 벡터들의 linear combination으로 표현할 수 있다는 의미는 아니라는 것입니다.

즉, linearly dependent한 집합의 벡터들 중에서 다른 벡터들의 linear combination으로 표현 불가능한 벡터가 있을 수 있습니다.

 

1번 Theorem에 대한 증명을 살펴보겠습니다.

\(\mathit{S} = \left \{\mathbf{v_1}, \mathbf{v_2}, \cdots, \mathbf{v_p} \right\}\)이 영벡터를 포함할 때

그 영벡터를 \(\mathbf{v_k}\)라고 가정한 상태에서 (단 \(1 \le k \le p\)) 

\(c_1\mathbf{v_1} + \cdots + c_k\mathbf{v_k} + \cdots + c_p\mathbf{v_p} = 0\)을 만족하는 경우를 찾아보면

\(0\mathbf{v_1} + \cdots + c_k\mathbf{v_k} + \cdots + 0\mathbf{v_p} = 0\)에서 \(c_k\)는 free variable이 됨을 알 수 있고

nontrivial solution이 존재하기 때문에 정의에 의해 부분 집합 \(\mathit{S}\)가 linearly dependent하다는 것을 알 수 있습니다.

 

2번 Theorem을 예를 들어 설명하자면

만약 어떤 \(\mathbb{R}^n\) space에 \(\mathit{S} = \left \{\mathbf{v_1}, \mathbf{v_2}, \mathbf{v_3} \right\}\) 라는 부분 집합이 존재하고, \(\mathbf{v_1} = 2\mathbf{v_2} + 5\mathbf{v_3}\)라는 관계가 성립한다면

이 때의 \(\mathit{S} = \left \{\mathbf{v_1}, \mathbf{v_2}, \mathbf{v_3} \right\}\)는 linearly depedent 하게 된다는 것입니다.

 

2번 Theorem의 필요 충분에 대한 부분은 방향을 두 방향으로 나누어 증명하겠습니다.

 

우선 "집합의 어떤 벡터를 다른 벡터의 linear combination으로 표현 가능하면 그 집합은 linearly dependent하다"라는 방향에 대한 증명부터 다루겠습니다.

만약 \(\mathbf{v_k} = c_a\mathbf{v_a} + c_b\mathbf{v_b} + \cdots\) 으로 표현 가능한 \(\mathbf{v_k}\)가 있다고 했을 때,

위의 식의 양 변에 \(\mathbf{v_k}\)를 빼주면 \(0 = -\mathbf{v_k} + c_a\mathbf{v_a} + c_b\mathbf{v_b} + \cdots\) 가 되어

nontrivial solution을 갖게되므로 linearly dependent 해집니다.

 

다음으로 "linearly dependent하면 어떤 벡터를 다른 벡터들의 linear combination으로 표현 가능하다"라는 방향에 대한 증명입니다.

linearly dependent한 집합 \(\mathit{S} = \left \{\mathbf{v_1}, \mathbf{v_2}, \cdots, \mathbf{v_p} \right\}\)에서

\(\mathbf{v_1} = 0\)인 경우, \(\mathbf{v_1} = 0\mathbf{v_2} + 0\mathbf{v_3} + \cdots + 0\mathbf{v_n}\) 이 성립하므로

linear combination으로 표현 가능합니다

\(\mathbf{v_1} \neq 0\)일 때는, linearly dependent의 정의에 의해

\(c_1\mathbf{v_1} + c_2\mathbf{v_2} + \cdots + c_p\mathbf{v_p} = 0\)를 만족하는 nontrivial solution이 존재하고

이 때 \(j\)를 위의 식을 만족하고 \(c_j \neq 0\)인 가장 큰 아래 첨자(subscript)라고 하면,

\(j = 1\)인 경우에는 \(c_1\mathbf{v_1} = 0\)인데 \(\mathbf{v_1} \neq 0\)에서 모순이 생겨 \(j\) > 1이 되며

 

\(c_1\mathbf{v_1} + c_2\mathbf{v_2} + \cdots + c_j\mathbf{v_j} + 0\mathbf{v_{j+1}} + \cdots + 0\mathbf{v_p} = 0\)
\(\iff c_j\mathbf{v_j} = -c_1\mathbf{v_1} - c_2\mathbf{v_2} - \cdots - c_{j-1}\mathbf{v_{j-1}}\)
\(\iff \mathbf{v_j}  = -({c_1 \over c_j})\mathbf{v_1} - \cdots - ({c_{j-1} \over c_j})\mathbf{v_{j-1}}\) 이 성립하므로 linear combination으로 표현 가능합니다.

 

3번 Theorem에 대한 증명은 아래와 같습니다.

\(\mathbb{R}^n\) space의 어떤 부분 집합 \(\left \{\mathbf{v_1}, \mathbf{v_2}, \cdots, \mathbf{v_p} \right\}\)에 대해 \( p > n\)일 때

\(x_1\mathbf{v_1} + x_2\mathbf{v_2} + \cdots + x_p\mathbf{v_p} = 0\) 이라는 벡터 방정식에 대해 생각해보면

방정식이 \(n\)개이고, 미지수가 \(p\)개인 linear system과 같다는 걸 알 수 있습니다.

이럴 경우, 어떤 미지수들에 대해서는 아무런 조건이 붙지 않으므로 free variable이 생길 수밖에 없으며

homogeneous system에서 free variable이 생긴다는 것 자체가 결국 nontrivial solution을 가진다는 이야기이기 때문에 집합이 linearly dependent합니다.

 

이해가 안 되신다면 \(2x - y = 0\) 라는 식을 생각해보면 됩니다.

이 경우에는 방정식이 1개이고 미지수가 2개이므로 방정식의 수가 미지수의 수보다 적어

\(\begin{bmatrix}
x \\
y  
\end{bmatrix} = \begin{bmatrix}
x \\
2x  
\end{bmatrix} = \begin{bmatrix}
1 \\
2  
\end{bmatrix}x\), \(x\) is free variable 로 나오게 되어 nontrivial solution을 가집니다.

 

4번 Theorem에 대한 증명은 아래와 같습니다

\(\mathit{S} = \left \{\mathbf{v_1}, \mathbf{v_2}, \mathbf{v_3} \right\}\)가 linearly dependent하면

2번 Theorem에 의해 \(\mathbf{v_a} = c_b\mathbf{v_b} + c_c\mathbf{v_c}\)인 \(c_b, c_c\)가 존재하며

\(\left \{\mathbf{v_1}, \mathbf{v_2}, \mathbf{v_3} \right\}\)에 \(\mathbf{v_4}\)를 추가한 집합 \(\left \{\mathbf{v_1}, \mathbf{v_2}, \mathbf{v_3}, \mathbf{v_4} \right\}\) 에 대해 \(\mathbf{v_a} = c_b\mathbf{v_b} + c_c\mathbf{v_c} + 0\mathbf{v_4}\)가 성립하므로

\(\left \{\mathbf{v_1}, \mathbf{v_2}, \mathbf{v_3}, \mathbf{v_4} \right\}\) 또한 linearly dependent하다는 것을 알 수 있습니다.

 

 

 

 

 

추가적으로, 2번 Theorem에서 집합의 원소가 2개인 특수한 상황에 대해 짚고 넘어가도록 하겠습니다.

---

2번 Theorem에서 벡터 집합의 원소가 2개인 상황

 

1. 두 벡터의 집합 \(\left \{\mathbf{v_1}, \mathbf{v_2} \right\}\)에 대해

linearly dependent하다는 것과 어느 한 벡터가 다른 벡터에 대한 스칼라 곱으로 표현된다는 것은 필요 충분 조건이다.

---

이를 증명해보기 위해 \(\left \{\mathbf{v_1}, \mathbf{v_2} \right\}\)처럼 벡터가 2개일 때의 상황에서 2번 Theorem을 적용시켜 보면,

어떤 벡터가 다른 벡터의 linear combination으로 표현된다는 것은 결국 \(\mathbf{v_1} = c\mathbf{v_2}\)로 표현된다는 것과 같습니다.

 

즉, 벡터가 2개인 경우 그 둘이 스칼라 곱의 관계에 있는지만 확인하면 linearly dependent한지 independent한지 알 수 있습니다.

 

 

 

 

Basis (기저)

 

- Basis

---

Basis의 정의

 

어떤 집합 \(\mathit{H}\)가 벡터 공간 \(\mathit{V}\)의 부분 공간 일 때, \(\mathit{V}\)의 어떤 부분 집합 \(\mathcal{B} = \left \{ \mathbf{b_1}, \cdots, \mathbf{b_p} \right\}\)가 아래의 두 조건을 만족하면 이 집합 \(\mathcal{B}\)를 \(\mathit{H}\)의 basis라고 한다.

 

조건 1. 집합 \(\mathcal{B}\)가 linearly independent하다.

조건 2. 부분 공간 \(\mathit{H}\)가 집합 \(\mathcal{B}\)에 의해 span된다.

즉, \(\mathit{H}\) = Span\(\left \{ \mathbf{b_1}, \cdots, \mathbf{b_p} \right\}\) 의 관계가 성립한다.

---

위의 정의를 간단히 요약하자면,

어떤 공간을 span하는 벡터의 집합이 linearly independent할 경우 그 집합을 해당 공간의 basis라고 합니다.

 

예를 들어, \(\mathbf{v_1} = \begin{bmatrix}
1 \\
0 \\
0
\end{bmatrix},\mathbf{v_2} = \begin{bmatrix}
0 \\
1 \\
0
\end{bmatrix}\)일 때 이 두 벡터는 서로의 스칼라 곱으로 표현되지 않으므로 집합 \(\left \{\mathbf{v_1}, \mathbf{v_2} \right\}\)는 linearly independent하고,

Span\(\left \{ \mathbf{v_1}, \mathbf{v_2} \right\}\)가 아래 그림과 같은 평면을 span하므로

\(\left \{ \mathbf{v_1}, \mathbf{v_2} \right\}\)는 이 평면의 basis라고 할 수 있습니다.

Span\(\left \{ \mathbf{v_1}, \mathbf{v_2} \right\}\)

 

 

 

- Theorem

위의 basis와 관련된 몇 가지 Theorem이 존재합니다.

 

---

Spanning Set Theorem

 

벡터 공간 \(\mathit{V}\)에 \(\mathit{S} = \left \{\mathbf{v_1}, \mathbf{v_2}, \cdots, \mathbf{v_p} \right\}\)가 존재하고

\(\mathit{H}\) = Span\(\left \{\mathbf{v_1}, \mathbf{v_2}, \cdots, \mathbf{v_p} \right\}\) 일 때 아래의 두 가지 명제가 성립한다.

 

1. \(\mathit{S}\)의 어떤 한 벡터 \(\mathbf{v_k}\) (단, \(1 \le k \le p\))가 \(\mathit{S}\)의 다른 벡터들의 linear combination으로 표현 가능하면,

\(\mathit{S}\)에서 \(\mathbf{v_k}\)를 제거한 집합도 여전히 \(\mathit{H}\)를 span한다.

 

2. 만약, \(\mathit{H} \neq \left \{0\right\}\) 라면, \(\mathit{S}\)의 공집합이 아닌 부분 집합 중에 \(\mathit{H}\)의 basis가 되는 집합이 존재한다. (여기서 \(\left \{0\right\}\)는 영벡터만을 원소로 갖는 집합을 의미하며 이 집합의 basis는 공집합입니다.) 

---

각각을 증명해보자면

 

1번의 경우, \(\mathbf{v_k}\)라는 벡터가 다른 벡터들의 linear combination으로 표현될 수 있다고 한다면

\(\mathbf{v_k} = a_1\mathbf{a_1} + a_2\mathbf{v_2} + \cdots + a_{k-1}\mathbf{v_{k-1}}\)로 나타낼 수 있고 (Theorem 2의 증명 부분을 보면 왜 이런지 알 수 있습니다.)

또, Span의 정의에 의해 \(\mathit{H}\)의 임의의 벡터 \(\mathbf{x}\)에 대해 \(\mathbf{x} = c_1\mathbf{v_1} + \cdots + c_k\mathbf{v_k} + \cdots + c_p\mathbf{v_p}\)로 나타낼 수 있으며 이 식에 \(\mathbf{v_k}\)를 대입하면  \(\mathbf{x}\)를 

\(\mathbf{v_k}\)를 제외한 나머지 벡터의 linear combination으로 나타낼 수 있음을 알 수 있습니다.

 

2번의 경우는, \(\mathit{S}\)가 linealy independent한 집합이라면 그 자체로  \(\mathit{H}\)의 basis가 되고

만약 linearly dependent하다면 1번에 의해 다른 벡터들의 linear combination으로 표현 가능한 어떤 벡터를 지울 수 있으므로 2번의 명제가 성립합니다.

설령 이를 계속 반복하다가 만약 spanning set이 1개의 벡터까지 줄어드는 경우에도 이 때 \(\mathit{H} \neq \left \{0\right\}\)이므로 이 벡터는 nonzero 벡터가 되며, 그 벡터 집합은 linearly independent합니다.

 

---

Unique Representation Theorem

 

\(\mathcal{B} = \left \{ \mathbf{b_1}, \cdots, \mathbf{b_n} \right\}\)가 벡터 공간 \(\mathit{V}\)의 basis라면,

벡터 공간 \(\mathit{V}\)의 각각의 \(\mathbf{x}\)에 대해 \(\mathbf{x} = c_1\mathbf{b_1} + \cdots + c_n\mathbf{b_n}\)를 만족하는 스칼라의 집합 \(\left \{c_1, \cdots, c_n \right\}\)은 유일하다.

즉, basis가 span하는 공간에 속하는 어떤 벡터를 basis의 linear combination으로 나타낼 수 있는 방법은 유일하다.

---

위의 Theorem에 대한 증명은 아래와 같습니다.

\(\mathbf{x}\)를 \(\mathbf{x} = c_1\mathbf{b_1} + \cdots + c_n\mathbf{b_n}\)과 \(\mathbf{x} = d_1\mathbf{b_1} + \cdots + d_n\mathbf{b_n}\)이라는

서로 다른 두 가지 linear combination으로 표현할 수 있다고 가정했을 때, 위의 두 식을 빼주면

\(0 = \mathbf{x} - \mathbf{x} = (c_1-d_1)\mathbf{b_1} + \cdots + (c_n-d_n)\mathbf{b_n}\)의 관계를 얻을 수 있고

\(\mathcal{B}\)는 linearly independent한 집합이므로 위의 식을 만족하는 solution은 trivial solution만 존재합니다.

따라서 \(1 \le i \le n\)인 모든\(i\)에 대해 \(c_i = d_i\)임을 알 수 있고 여기서 두 표현이 다르다는 것에 대한 모순을 발견할 수 있습니다.

 

 

---

이 포스팅은 'linear algebra and its applications 5th edition'을 보고 공부한 내용을 정리하여 작성하였습니다.