-
[논문 리뷰] MAKE-A-VIDEO
MAKE-A-VIDEO: TEXT-TO-VIDEO GENERATION WITHOUT TEXT-VIDEO DATA paper: https://arxiv.org/abs/2209.14792 Make-A-Video: Text-to-Video Generation without Text-Video Data We propose Make-A-Video -- an approach for directly translating the tremendous recent progress in Text-to-Image (T2I) generation to Text-to-Video (T2V). Our intuition is simple: learn what the world looks like and how it is describe..
-
Cross Entropy 이해하기
정보량과 엔트로피 포스팅과 이어집니다 Cross Entropy란? Cross Entropy란, 엔트로피를 서로 다른 확률 분포에서 계산한 값을 의미합니다. (이 포스팅에서 그냥 '분포'라는 용어를 사용할 때 이는 확률 분포를 지칭하는 것으로 이해하시면 됩니다.) 엔트로피는 특정 분포 내에서의 정보량의 기댓값을 의미한다는 것을 이전의 포스팅에서 다뤘습니다. Cross Entropy는 엔트로피와 달리 정보량의 기댓값을 계산할 때 확률 부분과 정보량 부분이 서로 다른 분포에서 비롯합니다. 아래의 수식을 보시면 조금 더 명확하게 알 수 있으리라 생각합니다. $$ H(P, Q) = -\sum_{i=1} p_i\log_b(q_i)$$ (일반적으로 머신러닝에서 로그의 밑에 해당하는 $b$는 자연 상수 $e$를 주로 ..
-
정보량과 정보 엔트로피
정보량 정보 이론에서 흔히 말하는 정보량에 대해 알아보기 위해 우선은 정보량을 표현한 아래의 수식에 대해 살펴보겠습니다. $$I(x_i) = -\log_{b}(p(x_i) )= \log_{b}({1 \over p(x_i)})$$ 위의 식에서 $I(x_i)$는 정보량을 의미하는데, 식을 보면 알 수 있듯이 정보량은 $x_i$가 가지는 확률에 반비례하며, $x_i$를 사건이라고 생각한다면, 확률이 낮은 사건일수록 큰 정보량을 가진다는 의미가 됩니다. 여기서 정보량이라는 단어가 조금 생소하실 수 있는데요, 어떤 사건 $x_i$의 정보량이란 $x_i$를 나타내기 위한 정보의 양입니다. 정보량의 수식에서 로그의 밑에 해당하는 $b$가 2일 경우 정보량의 단위를 bit라고 하는데, 이런 부분을 보면 정보량이 특정 ..
-
Matrix Operation 2 (행렬 연산), Inverse Matrix (역 행렬)
목차 Matrix Operation 2 Matrix Addition & Scalar Multiplication Matrix Multiplication Power of a matrix Transpose of a matrix Inverse Matrix Definition Theorem (1) Theorem (2) Another view of matrix inversion Invertible linear transformation Matrix Operation 2 - Matrix Addition & Scalar Multiplication (행렬의 덧셈과 스칼라 곱) 행렬의 덧셈과 스칼라 곱에 대해, 아래와 같은 관계가 성립합니다. Theorem Matrix \(A, B, C\)와 스칼라 \(r, s\)에 대해..
-
Types of Matices (행렬의 유형)
목차 Types of Matrices Square Matrix Diagonal Matrix Identity Matrix Zero Matrix Triangular Matrix Elementary Matrix Types of Matrix - Square Matrix (정사각 행렬) square matrix란 행의 수와 열의 수가 같은 matrix를 의미합니다. 아래와 같은 matrix의 경우 행의 수와 열의 수가 3으로 같으므로 square matrix에 해당합니다. \(\begin{bmatrix} 9 & 5 & 3 \\ 4 & 2 & 1 \\ 2 & 7 & 8 \end{bmatrix} \) - Diagonal Matrix (대각 행렬) diagonal matrix에 대해 말하기 전에, 우선 main dia..
-
Probability Terminology (확률 용어)
목차 Probability Experiment Sample Space Probability Value Equally likely Events Event Elementary Event Complement Intersection Mutually Exclusive Difference Union Partition Probability (확률) - Experiment (실험) 결과(Outcome)가 정해져 있지 않고 확률적으로 결정되는 실행을 Experiment라고 합니다. ex) 동전 던지기, 주사위 던지기 - Sample Space (표본 공간) 실험의 결과(outcome)로 나올 수 있는 모든 가능한 경우를 원소로 가지는 집합을 Sample Space라고 합니다. ex) 1~ 6까지의 눈을 가지는 두 주사위..
-
Linear Transformation (선형 변환)
목차 Linear Transfromation (선형 변환) Transformation Notation of Transformation Linear Transformation Standard Matrix Onto, One-to-one Linear transformation의 예시 Linear Transformation - Transformation 이전의 포스팅에서 다룬 \(A\mathbf{x} = \mathbf{b}\)와 같은 matrix equation의 형태를 벡터 \(\mathbf{x}\)에 행렬 \(A\)를 행렬곱하여 벡터 \(\mathbf{b}\)로 변형(transform)했다고 해석할 수도 있습니다. 즉, \(A\mathbf{x}\)에서 행렬 \(A\)를 벡터 \(\mathbf{x}\)에 대한..
-
Linear Independence (선형 독립), Basis (기저)
목차 Linear Independence Linear independence and Linear dependence (선형 독립과 선형 종속) Theorem (정리) Basis Basis (기저) Theorem (정리) Linear Independence And Dependence - Linear independence and Linear dependence (선형 독립과 선형 종속) linear independence의 정의 \(\mathbb{R}^n\)에 \(\left \{\mathbf{v_1}, \mathbf{v_2}, \cdots, \mathbf{v_n} \right\}\)라는 벡터가 있을 때, 어떤 스칼라 \(x_i\)에 대해 벡터 방정식 \(x_1\mathbf{v_1} + x_2\mathbf{..
-
Vector Equation (벡터 방정식), Matrix Equation (행렬 방정식)
목차 Vector Equation, Matrix Equation (벡터 방정식, 행렬 방정식) linear system과 vector eqaution matrix eqaution augmented matrix solution set solution set과 reduced echelon form의 관계 consistent, inconsistent Homogeneous and Nonhomogeneous Linear system homogeneous linear system (동차 선형계) nonhomogeneous linear system (비동차 선형계) 이전의 포스팅에서 linear system을 matrix notation으로 표현하여 solution set을 구할 수 있다고 언급한 적 있었습니다. 이..
-
Span (생성), Subspace (부분 공간)
목차 Span linear combination span geometric description of span Subspace subspace subspace와 span의 관계 Span(생성) - linear combination linear combination이란, 벡터 공간 \(\mathit{V}\) 에 \(\mathbf{v_1},\mathbf{v_2}, \cdots, \mathbf{v_n}\)라는 벡터들과 체 \(\mathit{F}\) 에 \(c_1, c_2, \cdots, c_n\)라는 스칼라들이 있을 때, \(c_1\mathbf{v_1} + c_2\mathbf{v_2} + \cdots + c_n\mathbf{v_n}\)과 같이 벡터에 스칼라 곱을 한 것의 combination을 의미합니다. 참..
-
Matrix Operation 1 (행렬 연산)
목차 Matrix Operation(행렬 연산) equality summation scalar multiplication matrix multiplication operation in vector geometric interpretation of matrix multiplication 이번에는 행렬의 "기본적인" 연산들에 대해 알아보겠습니다. 참고로, 이번 포스팅에서 다루는 내용 말고도 행렬에 대해서는 훨씬 더 많은 연산이 있지만, 그 연산들은 이후의 포스팅에서 다루도록 하겠습니다. Matrix Operation(행렬 연산) - equality(상등) 두 행렬이 상등이라는 의미는 두 행렬이 실제로는 두 개가 아닌 하나라는 즉, 두 행렬이 일치한다는 의미입니다. 예를 들어, 어떤 두 m by n (m \(..
-
Vector Space (벡터 공간), Vector (벡터)
목차 Vector Space (벡터 공간) vector space Vector (벡터) vectors in \(\mathbb{R}^n\) geometric description 벡터라는 단어는 살면서 한 번쯤은 들어보셨을 법한 단어입니다. 고등학교 수학이나 물리에서는 이러한 벡터를 방향과 크기를 가지는 물리량이라고 보통 배우실 텐데요 사실 이는 벡터에 대한 아주 좁은 범위의 정의에 해당합니다. 이번 포스팅에서는 벡터에 대한 좀 더 넓은 범위의 정의에 대해 알아보도록 하겠습니다. Vector Space (벡터 공간) - vector space 벡터를 이해하기 위해 우선 벡터 공간에 대해 알아야 합니다. 벡터 공간이란, 어떠한 체 \(\mathit{F}\) 에 대해 집합 \(\mathit{V}\) 가 합 연..