Linear Transformation (선형 변환)

 

목차

 

Linear Transfromation (선형 변환)

• Transformation
• Notation of Transformation
• Linear Transformation
• Standard Matrix
• Onto, One-to-one
• Linear transformation의 예시

 

 

---

Linear Transformation

 

- Transformation

이전의 포스팅에서 다룬 \(A\mathbf{x} = \mathbf{b}\)와 같은 matrix equation의 형태를 벡터 \(\mathbf{x}\)에 행렬 \(A\)를 행렬곱하여 벡터 \(\mathbf{b}\)로 변형(transform)했다고 해석할 수도 있습니다.

즉, \(A\mathbf{x}\)에서 행렬 \(A\)를 벡터 \(\mathbf{x}\)에 대한 일종의 Action으로 해석할 수 있습니다.

(이에 대한 부분은 맨 마지막의 Linear transformation의 예시를 보면 쉽게 이해하실 수 있습니다.)

여기에서, 벡터 \(\mathbf{x}\)를 벡터 \(\mathbf{b}\)로 바꾸는 행위를 transformation(function, mapping)이라고 합니다.

또, \(A\mathbf{x}\)가 행렬곱이고 이전의 다른 포스팅에서 행렬 곱의 결과 차원이 바뀔 수 있다고 언급했으므로

transformation의 결과 차원이 바뀔 수 있습니다.

 

예를 하나 들어보겠습니다.

\(A\ = \begin{bmatrix}
4 & -3 & 1 & 3\\
2 & 0 & 5 & 1
\end{bmatrix}\)이고,  \(\mathbf{x}\ = \begin{bmatrix}
1 \\
1 \\
1 \\
1
\end{bmatrix}\)이라고 했을 때, 행렬곱 \(A\mathbf{x}\)의 결과 \(\mathbf{b}\ = \begin{bmatrix}
5 \\
8 \\
\end{bmatrix}\)가 되는데 이를 해석하자면 벡터 \(\mathbf{x}\)에 \(A\)라는 Action을 취하여 벡터 \(\mathbf{b}\)로 변형시켰고, 그 결과 \(\mathbb{R}^4\)의 벡터 \(\mathbf{x}\)가 \(\mathbb{R}^2\)의 벡터 \(\mathbf{b}\)로 변했다고 해석이 가능합니다.

 

 

 

- Notation of Transformation

위처럼 \(\mathbb{R}^4\)의 벡터를 \(\mathbb{R}^2\)의 벡터로 변형시키는 transformation을 \(\mathit{T}\) 라고 했을 때

\(\mathit{T} : \mathbb{R}^4 \rightarrow \mathbb{R}^2\)와 같이 표현할 수 있습니다.

 

이를 일반화하면, \(\mathbb{R}^n\)의 벡터 \(\mathbf{x}\) 를 \(\mathbb{R}^m\)의 벡터로 변형시키는 transformation \(\mathit{T}\) 에 대해

'\(\mathit{T} : \mathbb{R}^n \rightarrow \mathbb{R}^m\)'로 표기합니다.

만약, \(\mathbf{x}\)에 대한 transformation \(\mathit{T}\) 가 \(A\mathbf{x}\) 처럼 행렬곱에 의한 transformation일 경우, \(\mathit{T}(\mathbf{x}) = A\mathbf{x}\)라고 둘 수 있고, 이 경우 '\(\mathit{T} : \mathbb{R}^n \rightarrow \mathbb{R}^m\) by \(\mathit{T}(\mathbf{x}) = A\mathbf{x}\)'로 \(\mathit{T}\) 를 표기할 수 있습니다.

(참고로, \(\mathbf{x}\)를 \(A\mathbf{x}\)로 만드는 transformation을 '\(\mathbf{x} \mapsto A\mathbf{x}\)'로 표기하기도 합니다)

 

또 위의 notation에서 \(\mathbb{R}^n\)을 Domain, \(\mathbb{R}^m\)을 Codomain, 모든 가능한 \(\mathit{T}(\mathbf{x})\)의 집합을 Range라고 하며, \(\mathit{T}(\mathbf{x)}\)를 \(\mathbf{x}\)의 Image(\(\mathit{T}\) 에 대한 image)라고 합니다.

 

 

 

- Linear Transformation

linear transformation이란, transformation들 중에서 아래 두 조건을 만족하는 transformation들을 의미합니다.

---

Linear transformation이 되기 위한 조건

1. \(\mathit{T}\) 의 Domain에 속하는 모든 벡터 \(\mathbf{u}\), \(\mathbf{v}\)에 대해 \(\mathit{T}(\mathbf{u} + \mathbf{v})\) = \(\mathit{T}(\mathbf{u})\) + \(\mathit{T}(\mathbf{v})\)이 성립한다.

2. 모든 스칼라 \(c\)와 \(\mathit{T}\) 의 Domain에 속하는 모든 벡터 \(\mathbf{u}\)에 대해 \(\mathit{T}(c\mathbf{u})\) = \(c\mathit{T}(\mathbf{u})\)이 성립한다.

---

또 위의 두 가지 조건으로부터, 만약 \(\mathit{T}\)가 linear transformation이라면, \(\mathit{T}(\mathbf{0})\) = \(\mathbf{0}\)이 되고,

\(\mathit{T}(c\mathbf{u} + d\mathbf{v})\) = \(c\mathit{T}(\mathbf{u})\) + \(d\mathit{T}(\mathbf{v})\)이 된다는 것을 알 수 있습니다. (\(c\), \(d\)는 스칼라)

이해가 안 되실 수도 있어 \(\mathit{T}(\mathbf{0})\) = \(\mathbf{0}\) 부분에 대해서만 간단히 설명하고 넘어가자면,

\(\mathit{T}(\mathbf{0})\) = \(\mathit{T}(0\mathbf{u})\) = \(0\mathit{T}(\mathbf{u})\) = \(\mathbf{0}\)이므로 그렇습니다.

 

 

 

- Standard Matrix

linear transformation에 대해, 아래와 같은 Theorem이 존재합니다.

---

Theorem

\(\mathit{T} : \mathbb{R}^n \rightarrow \mathbb{R}^m\)가 linear transformation이라면, \(\mathit{T}(\mathbf{x}) = A\mathbf{x}\)를 만족하는 unique한 matrix \(A\)가 존재하며, 이를 Standard matrix라고 한다.

---

또 위의 Standard matrix \(A\)에 대해, \(A = \begin{bmatrix}
\mathit{T}(\mathbf{e_1}) & \cdots & \mathit{T}(\mathbf{e_n})
\end{bmatrix}\)로 표현 가능하며, 여기서 \(\mathbf{e_j}\) 는 열벡터 중에서 j번째 성분만 1이고 나머지는 모두 0인 열벡터에 해당합니다. (\(\mathbf{e_1} = \begin{bmatrix}
1 \\
0 \\
\vdots \\
0
\end{bmatrix}\), \(\mathbf{e_2} = \begin{bmatrix}
0 \\
1 \\
\vdots \\
0
\end{bmatrix}\) , \(\cdots\))

 

이를 증명해보자면,
\(\mathbf{x} = \begin{bmatrix}
x_1 \\
x_2 \\
\vdots \\
x_n
\end{bmatrix} = x_1\mathbf{e_1} + \cdots + x_n\mathbf{e_n}\)로 나타낼 수 있고, 이 때 linear transformation의 정의에 의해

\(\mathit{T}(\mathbf{x}) = \mathit{T}(x_1\mathbf{e_1} + \cdots + x_n\mathbf{e_n}) = x_1\mathit{T}(\mathbf{e_1}) + \cdots + x_n\mathit{T}(\mathbf{e_n}) = \begin{bmatrix}
\mathit{T}(\mathbf{e_1}) & \cdots & \mathit{T}(\mathbf{e_n})
\end{bmatrix}\begin{bmatrix}
x_1 \\
\vdots \\
x_n
\end{bmatrix} = A\mathbf{x}\)로 표현할 수 있기 때문입니다.

 

 

 

- Onto, One-to-one

위에서 다룬 transformation을 다른 용어로 mapping 이라고 부르기도 합니다.

Onto와 One-to-one이라는 용어에 대해 설명하자면, 어떤 mapping \(\mathit{T} : \mathbb{R}^n \rightarrow \mathbb{R}^m\) by \(\mathit{T}(\mathbf{x}) = A\mathbf{x}\)에 대해, \(A\mathbf{x} = \mathbf{b}\)로 두었을 때, \(\mathbb{R}^m\)의 모든 벡터 \(\mathbf{b}\)에 대해, \(\mathbf{b}\)가 \(\mathbb{R}^n\)의 \(\mathbf{x}\)들 중 적어도 하나의 Image일 때

다시 말해서, 모든 가능한 \(\mathit{T}(\mathbf{x})\)의 집합을 의미하는 Range가 Codomain인 \(\mathbb{R}^m\)이 될 때 이러한 mapping \(\mathit{T} : \mathbb{R}^n \rightarrow \mathbb{R}^m\)를  'onto \(\mathbb{R}^m\)' 이라고 하며, '\(\mathit{T}\) maps \(\mathbb{R}^n\) onto \(\mathbb{R}^m\)' 이라고 하기도 합니다.

 

또 위의 \(\mathbb{R}^m\)의 모든 벡터 \(\mathbf{b}\)에 대해, \(\mathbf{b}\)가 \(\mathbb{R}^n\)의 \(\mathbf{x}\)들 중 최대 하나의 Image일 때

다시 말해서, \(A\mathbf{x} = \mathbf{b}\)에서 \(\mathbf{b}\)를 만드는 \(\mathbf{x}\)가 최대 하나만 존재할 경우 이러한 mapping \(\mathit{T} : \mathbb{R}^n \rightarrow \mathbb{R}^m\)를 'one-to-one'이라고 합니다.

 

 

onto와 one-to-one에 대해, 아래와 같은 Theorem이 존재합니다.

 

---

Theorem

 

\(\mathit{T} : \mathbb{R}^n \rightarrow \mathbb{R}^m\)가 linear transformation이고, 이 때의 standard matrix가 \(A\)일 때

 

1. \(\mathit{T}\) 가 one-to-one이라는 것과 \(\mathit{T}(\mathbf{x}) = \mathbf{0}\)이 trivial solution만 가진다는 것은 필요 충분 조건이다.

 

2. \(\mathit{T}\) 가 onto \(\mathbb{R}^m\)이라는 것과 \(A\)의 열 벡터들이 \(\mathbb{R}^m\)을 span한다는 것은 필요 충분 조건이다.

(\(A\)의 열벡터는 \(A\)의 각각의 열을 하나의 벡터로 취급했을 때를 의미합니다.)

 

3. \(\mathit{T}\) 가 one-to-one이라는 것과 \(A\)의 열 벡터들이 linearly independent하다는 것은 필요 충분 조건이다.

 

---

Proof

 

1번에 대한 증명입니다. 위의 linear transformation에 관한 부분에서 만약 어떤 transformation \(\mathit{T}\)가 linear transformation이라면, \(\mathit{T}(\mathbf{0})\) = \(\mathbf{0}\)이 성립한다고 하였으므로

\(\mathit{T}\) 가 one-to-one이라면 \(\mathit{T}(\mathbf{x})\) = \(\mathbf{0}\)을 만족시키는 \(\mathbf{x}\)는 \(\mathbf{0}\)만 존재하고,

만약, \(\mathit{T}\) 가 one-to-one이 아니라면 어떤 벡터\(\mathbf{b}\)에 대해, \(\mathit{T}(\mathbf{u})\) = \(\mathbf{b}\)와 \(\mathit{T}(\mathbf{v})\) = \(\mathbf{b}\)를 만족하는 서로 다른 두 벡터 \(\mathbf{u, v}\)가 존재하며, linear transformation이므로 \(\mathit{T}(\mathbf{u - v})\) = \(\mathit{T}(\mathbf{u})\) - \(\mathit{T}(\mathbf{v})\) = \(\mathbf{b - b}\) = \(\mathbf{0}\)이 성립하고, 이 경우에 \(\mathbf{u} \neq \mathbf{v}\)이므로 \(\mathit{T}\) 가 one-to-one이 아닐 경우 \(\mathit{T}(\mathbf{x})\) = \(\mathbf{0}\)을 만족시키는 \(\mathbf{x}\)가 \(\mathbf{0}\) 이외에도 존재합니다.

즉, nontrivial solution이 존재합니다.

그러므로, \(\mathit{T}(\mathbf{x}) = \mathbf{0}\)이 trivial solution만 가진다는 것과 one-to-one이라는 것은 같은 의미라는 것을 알 수 있습니다.

 

2번에 대한 증명은 \(A\mathbf{x} = \mathbf{b}\)의 matrix equation을 떠올려 보면 알 수 있습니다.

위의 행렬 방정식의 경우 \(A\)의 열 벡터들과 벡터 \(\mathbf{x}\)의 성분인 스칼라 값들의 linear combination으로 나온다는 것을 생각해보았을 때, \(\mathit{T}\) 가 onto라는 것은 \(\mathbf{b}\)이 속한 \(\mathbb{R}^m\)의 모든 벡터에 대응하는 \(\mathbf{x}\)의 값들이 존재한다는 의미이고, 결국 이로부터 \(A\mathbf{x}\)가 \(A\)의 열 벡터들의 모든 가능한 linear combination의 집합임을 알 수 있고 이는 span의 정의에 해당하기 때문입니다.

 

3번에 대한 증명은 1번으로부터 도출해낼 수 있습니다.

1번에 의해 \(\mathit{T}\) 가 one-to-one이면 \(\mathit{T}(\mathbf{x}) = \mathbf{0}\)이 trivial solution만 가지게 되고, \(\mathit{T}(\mathbf{x})\)가 곧 \(A\mathbf{x}\)에 해당하므로

\(A\mathbf{x} = \mathbf{0}\)이 trivial solution만 가지게 되며, 이로 인해 \(A\)의 열 벡터들이 linearly independent함을 알 수 있습니다.

 

 

 

- Linear transformation의 예시

글의 첫부분에서 \(A\mathbf{x}\)에서 행렬 \(A\)를 벡터 \(\mathbf{x}\)에 대한 일종의 Action으로 해석할 수 있다고 한 적이 있었는데, 이게 무슨 의미인지는 예시를 보신다면 더욱 쉽게 이해할 수 있습니다.

 

• Rotation

 

\(\mathbb{R}^2\) space의 \(\mathbf{x} = \begin{bmatrix}
x_1\\
x_2
\end{bmatrix}\)라는 어떤 벡터를, 원점을 기준으로 반시계 방향으로  \(\theta\)만큼 회전을 시키는 transformation에 대해 생각해보면

이 transformation을 linear transformation이라고 했을 때 standard matrix는 \(\begin{bmatrix}
\mathit{T}(\mathbf{e_1}) & \mathit{T}(\mathbf{e_2})
\end{bmatrix}\)가 되며 \(\mathit{T}(\mathbf{e_1})\)는 \(\begin{bmatrix}
1 \\

0
\end{bmatrix}\) 이라는 벡터를 반시계 방향으로  \(\theta\)만큼 회전시키는 transformation이 되므로 \(\mathit{T}(\mathbf{e_1}) = \begin{bmatrix}
\cos(\theta) \\

\sin(\theta)
\end{bmatrix}\)임을 알 수 있고, 같은 방식으로 \(\mathit{T}(\mathbf{e_2}) = \begin{bmatrix}
-\sin(\theta) \\

\cos(\theta)
\end{bmatrix}\)임을 알 수 있습니다.  그리하여 결국 standard matrix는 \(\begin{bmatrix}
\mathit{T}(\mathbf{e_1}) & \mathit{T}(\mathbf{e_2})
\end{bmatrix} = \begin{bmatrix}
\cos(\theta) & -\sin(\theta) \\

\sin(\theta) & \cos(\theta)
\end{bmatrix} \)가 되며, \(\mathbb{R}^2\) space의 임의의 \(\mathbf{x}\)에 대해 standard matrix를 왼쪽에서 행렬곱하면 \(\theta\)만큼 회전한 지점이 나온다는 것은 실제로 해보면 알 수 있습니다.

또 위의 standard matrix에는 linear transformation의 성질이 성립하므로 결국 이 transformation이 linear함을 알 수 있습니다.

 

• Contraction and Expansion

 

\(\mathbb{R}^2\) space에서, 아래와 같이 점으로 표현된 벡터들의 집합이 사각형 모양으로 있다고 생각해 봅시다.

\(\mathbf{x} \mapsto A\mathbf{x}\) 의 transformation에서 \(A = \begin{bmatrix}
k & 0 \\
0 & 1
\end{bmatrix}\)일 때, \(A\)를 \(\mathbf{x} = \begin{bmatrix}
x_1\\
x_2
\end{bmatrix}\)에 왼쪽에서 행렬곱하면 \(A\mathbf{x} = \begin{bmatrix}
kx_1 \\
x_2
\end{bmatrix}\)가 됩니다.

이를 확장하여 \(A\)를 저 위의 파란색 사각형 영역에 있는 벡터들에 행렬곱해보면 아래와 같은 결과를 얻을 수 있습니다.

 

위의 경우에서 \(0 < k < 1\)인 경우를 contraction, \(k > 1\)인 경우를 expansion이라고 하며, 이 transformation의 경우 linear transformation이 됩니다. (행렬곱을 한 transformation의 경우,  행렬곱의 분배법칙의 특성에 의해 항상 linear transformation이 되는데, 이는 이후의 포스팅에서 다루겠습니다.)

 

---

이 포스팅은 'linear algebra and its applications 5th edition'을 보고 공부한 내용을 정리하여 작성하였습니다.