• PCA를 하기 위해 covariance matrix 필요
• D차원에서 covariance matrix는 DxD matrix ex) 100x100 픽셀의 이미지라면, 10,000x10,000 크기의 matrix의 고윳값을 분해해야함. 그러나, df가 NxD(N<<<D)형태라면, NxN 형태의 공분산으로 계산해도 된다.

10.6 PCA 실행 step

1. 평균값 빼기
2. 공분산 행렬 계산
3. 공분산행렬의 고윳값 벡터와 고윳값 구하기
4. 고윳값이 큰 고유벡터 선정
5. 해당 공간으로 투영

10.7 잠재변수 관점

10.8 선형성이 아니고, 정규분포를 따르지 않을때

• 테일러 급수

5-2 편미분과 그라디언트

5-3 Jacobian

5-4 행렬의 미분

행렬과 벡터의 차이 -벡터: 1차원 배열 -행렬: 벡터들의 모음

행렬 미분의 개념 4x2 행렬을 3차원 벡터로 미분하면 4x2x3 행렬이 나옴.

1) 행렬에 대한 벡터의 미분

2) 행렬에 대한 행렬의 미분

5-5 미분을 하기 위한 유용한 공식들

5-6 역전파와 자동미분

역전파: 신경망에서 gradient를 구하는 forward 과정을 역으로 계산하는 것

5-7 고차미분

헤시안: 이차 편미분의 결과값의 합. > 곡률을 의미

5-8 선형근사와 다변수 테일러 급수

다항식을 벡터로 표현하기 $$ 4x_1 + 4x_2 = 5 \ 2x_1 - 4x_2 = 1 \ ↓

$$ $$ \begin{bmatrix} 4 \ 2 \end{bmatrix} x_1 + \begin{bmatrix} 4 \ -4 \end{bmatrix} x_2 = \begin{bmatrix} 5 \ 1 \end{bmatrix}\ ↓

$$

$$ \begin{bmatrix} 4 & 4 \ 2 & -4 \end{bmatrix} \begin{bmatrix} x_1 \ x_2 \end{bmatrix} = \begin{bmatrix} 5 \ 1 \end{bmatrix} $$

2.2 Matrices

matrix $A_(mn)$는 m개의 row와 n개의 column을 가지고 있다.

2.2.1 matrix addition and multiplication

def) Identity Matirx $$I_n = \begin{bmatrix} 1 & ... & 0 & 0 \ 0 & 1 & ... & : \ 0 & ... & ... & : \ 0&0&...&1 \end{bmatrix} $$

2.2.2 Inverse and Transpose

inverse) $AB = I_n$ 일때, $B$=$A^{-1}$이고, $A^{-1}$를 $A$의 inverse matrix라고 한다.

• inverser matrix가 존재한다면, $A$는 regular, invertible, nonsingular 하다고 한다.

• $A^{-1}$은 unique하다.

  역행렬은 $[A|I_n]$ → $[I_n|A^{-1}]$ 의 과정으로 구할 수 있다.

Transpose) $A,B \in R_{mn}$ 일때, $b_{ij}=a_{ji}$이면, $B=A^T$

Symmetric Matirx) $A=A^T$인 행렬

• $A$가 invertible하면 $A^T$도 invertible하다.

2.2.3 Multiplication by a scalar

2.3 Solving Systems of Linear Equations

2.3.1 Particular and General Solution

particular solution은 해가 여려 개일 경우, 특정한 하나의 해를 뜻한다. 해가 여려개인 경우 General Soultion을 찾는 방법은 다음과 같다.

1. $Ax = b$ particular solution 찾기
2. $Ax = 0$ particular solution 찾기
3. 두 해를 합쳐서 표현 → General Solution

2.3.2 Elementary Tansfomations

• exchange two equations(rows)
• multiplicate an equation(rows) with constant λ
• add two equations(rows)

위의 세가지 변환으로 row-echelon form(REF)형태로 만들 수 있다. pivot: REF의 row에서 0이 아닌 첫번째 값 reduced row echelon form: pivot은 모두 1이고, pivot외의 칼럼은 0인 REF

-> reduced row echelon form을 만듦으로 General Solution을 손쉽게 구할 수 있다.

2.3.3 The Minus-1 Trick

$m$ x $n(m<n)$ 행렬에서 비어있는 행의 pivot만 -1인 행을 곱해 $n$ x $n$ 의 정방행렬로 만들어서 $Ax = 0$ 해를 더욱 쉽게 찾을 수 있다.

2.3.4 Algorithms to solve

$Ax=b ↔ (A^TA)^{-1}A^Tb$ but, 계산이 너무 복잡함. Gaussian elimination을 통해 해결할 수 있으나, 변수가 많아지면 이것도 계산하기 힘들어짐. -> Richardson method, _Ja- cobi method, the Gauß-Seidel method, successive over-relaxation method, Krylov subspace methods, conjugate gradients, gener- alized minimal residual, biconjugate gradients_등의 방법들은 아래의 식을 통해 간접적으로 해결가능

2.4 Vector Spaces

{$V,+,∙$} 가 정의되는 공간 정의

2.5 Linear Independence

*Linear Combination: 벡터공간 $V$에 속해있는 벡터 $v$는 $V$에 속해있는 다른 벡터 $x_1, x_2, ..., x_k$들의 상수(λ)배로 나타낼 수 있다. *

*Linear dependence: $λ_kx_k\ (λ \neq0)$ 의합으로 0을 만들어 낼 수 없다면, 벡터 $x_1, x_2, ..., x_k$ 들은 서로 linarly independent 하다고 할 수 있다. *

2.6 Basis and Rank

2.6.1 Basis

basis: 벡터공간 $V$를 생성하는 선형독립의 최소단위의 벡터 집합 basis 의 집합을 $β$라고 하자.

• $β$가 벡터공간 $V$에 속할 때 $β$에는 더이상의 선형독립 벡터는 존재하지 않는다.
• $x\in V$인 벡터 $x$들은 $β$의 선형결합으로 나타낼 수 있다.

basis 결정하는법

pivot 이 있는 열에 해당하는 벡터가 기저이다.

2.6.2 Rank

rank: 한 행렬에서 linear independent 한 column의 수 = 한 행렬에서 linear independent 한 row의 수 = rk($A$)