1. 특잇값과 특이벡터

특잇값 분해(Singular value decomposition) = 특이분해(Singular decomposition) : NxM 크기의 행렬A를 다음과 같이 3개의 행렬 곱으로 나타낸 것

• 특이분해는 모든 행렬에 대해 가능하다

2. 특잇값 분해 행렬의 크기

특잇값 개수는 행렬의 열과 행 중 작은 값과 같다.

3. 특잇값 분해의 축소형

특잇값 대각행렬에서 0인 부분은 사실상 의미가 없기 때문에, 대각행렬의 0 원소 부분과 이에 대응하는 왼쪽(또는 오른쪽) 특이벡터들을 없애고 축소된 형태로 해도 마찬가지로 원래 행렬이 나온다.

+) 특잇값 분해, 축소형을 python으로 구현

import numpy as np
from numpy.linalg import svd

#특잇값 분해는 svd함수 사용
A = np.array([[3, -1], [1, 3], [1, 1]])
U, S, VT = svd(A)

#U출력
U

#<output>
# array([[-4.08248290e-01,  8.94427191e-01, -1.82574186e-01],
       [-8.16496581e-01, -4.47213595e-01, -3.65148372e-01],
       [-4.08248290e-01, -2.06937879e-16,  9.12870929e-01]])

  #S출력
S

 #<output>
 # array([3.46410162, 3.16227766])

#S의 특잇값을 대각성분으로 하는 대각행렬 생성
# 단, 행렬 A가 2X3이었다면 np.diag(np.append(S,0))[:2,:]

np.diag(S, 1)[:, 1:]

#<output>
#  array([[3.46410162, 0.        ],
#     [0.        , 3.16227766],
#     [0.        , 0.        ]])

#VT출력
  VT

  #<output>
  #  array([[-0.70710678, -0.70710678],
  #    [ 0.70710678, -0.70710678]])

  # 아래의 결과가 행렬 A와 같음
U @ np.diag(S, 1)[:, 1:] @ VT

  # <output>
  # array([[ 3., -1.],
  #     [ 1.,  3.],
  #     [ 1.,  1.]])

축소형의 경우 인수 full_matrices=False로 지정

U2, S2, VT2 = svd(A, full_matrices=False)
U2 @ np.diag(S2) @ VT2

#<output>
#array([[ 3., -1.],
#       [ 1.,  3.],
#       [ 1.,  1.]])

4. 특잇값과 특이벡터의 관계

i 번째 특잇값 σi와 특이벡터 ui, vi는 Avi=σiui(i=1,…,min(M,N))

(증명)

5. 특이분해와 고유분해의 관계

• 행렬 A의 특잇값제곱 = 분산행렬 A^TA 의 고윳값

• 행렬 A의 오른쪽 특이벡터 = 분산행렬 A^TA 의 고유벡터

데이터 사이언스 스쿨

위의 링크를 참고하여 학습했습니다:)

v와 방향이 같은 벡터는 모두 고유 벡터가 된다 => A(cv)=cAv=cλv=λ(cv)

+) 고유벡터를 표시할 때, 길이가 1인 단위벡터가 되도록 정규화함

2. 특성방정식(characteristic equaion)

고유값, 고유벡터는 구하는 방법은? => 특성방정식을 이용해서 고유값, 고유벡터 순서로 구함

• 특정방정식으로 고유값 구하기 ex1) ex2)

3. 고윳값의 개수

중복된 고윳값을 각각 별개로 생각하고, 복수인 고윳값도 고려한다면 고윣값은 항상 N개

4. 고윳값과 대각합, 행렬식

5. 고유벡터의 계산

고윳값을 알면 고유벡터 계산 가능 (A−λI)v=0

단, 고윳값이 중복이라도, 고유벡터가 항상 중복인 것 아님

데이터 사이언스 스쿨

위의 링크를 참고하여 학습했습니다:)

Development + Operations가 결합되어 일하는 문화

2. Devops 등장 배경

기존 방식에서 개발자와 운영자 역할 분리됨

개발: 요건 분석, 개발, 유지 보수 운영: 마이그레이션, 배포 관리, 모니터링, 서버 관리

개발자의 경우 새로운 시도 추구 <-> 운영자의 경우 안정추구 => 개발과 운영이 분리되면 고객의 신규 요구사항을 받아들이지 못함

3. Devops의 목적과 장점

목적

: 위의 문제들을 해결하며, 시장 진입까지 도달하는 비용과 시간 줄이는 것(-> 시장에서 효과적으로 경쟁 가능)

장점

• 작업 속도가 빨라져서 더 빠르게 혁신, 시장 변화에 잘 적응
• 릴리스의 빈도와 속도를 개선하여 제품을 좀 더 빠르게 혁신하고 개선 가능
• 최종 사용자에게 지속적인 긍정적인 경험 제공(CI/CD와 와 같은 방식을 사용하며, 모니터링을 통해 실시간으로 성능에 대한 정보를 얻을 수 있기 때문
• 규모에 따라 인프라와 개발 프로세스를 운영 및 관리하기 때문에 확장성있음
• 개발자와 운영팀이 많은 책임을 공유하며 workflow 결합함(-> 비효율성 줄이고 시간 절약)

4. Devops tool chain

: devops 적용을 위해 모든 과정에 필요한 도구의 묶음

5. Devops 엔지니어란?

지속적인 피드백과 문제 해결이 원활하게 이루어질 수 있도록 개발 cycle 전 과정에 걸쳐 참여하는 커뮤니케이터이자 엔지니어

6. Devops 엔지니어의 업무

“관찰&커뮤니케이션 > 의견과 조율 > 구축 > 피드백 > 개선” 업무의 순환

1) CI/CD

CI = Continuous Integration = 지속적 통합 :

자동화된 빌드 및 테스트가 수행된 후 개발자가 코드 변경사항을 중앙 리포지토리에 정기적으로 병합하는 소프웨어 개발 방식

목표 : 빌드 결과물 관리를 통한 릴리즈(=재품을 새롭게 만드는 것) 준비 시간 단축

CD(Continuous Delivery=지속적 전달/제공

or Continuous Development=지속적 배포)

• Continuous Delivery : CI과정을 거친 소스코드를 레포지토리에 자동으로 반영하는 단계
• Continuous Development : production 레벨까지 자동으로 Deploy(프로그램을 기기에 설치하여 작동가능하도록 함)

목표 : 프로덕션 환경으로 배포할 준비가 되어있는 코드베이스를 확보하는 것(신뢰도), 테스트 환경에 배포하여 추가적인 여러 사용자 차원에서 테스트를 검증할 수 있는 단계

2) Infrastructure as code

: 인프라 구성을 마치 소프트웨어 프로그래밍하는 것처럼 처리하는 방식

3) Monitoring

: 어플리케이션, 인프라 모니터링 어플리케이션 로그 포맷 정의와 로그 중앙 수집

벡터 공간 (vector space)

: 벡터 N개가 서로 독립일 때, 이 벡터들로 선형조합해서 만들 수 있는 모든 벡터의 집합 ( 이때, 벡터 공간은 N차원)

기저 벡터 (basis vector)

: 위의 벡터들을 벡터 공간의 기저벡터라고 함

2. rank와 역행렬

정방행렬이 full rank < = > 정방행렬 역행렬 존재

(증명)

3. 표준기저벡터 ( Standard basis vector)

: 기저벡터 중에서 원수 중 하나만 값이 1이고, 다른 값은 0으로 이루어진 벡터

4. 좌표 (Coordinate)

: 기저 벡터를 선형조합하여 그 벡터를 나타내기 위한 계수 벡터

5. 변환 행렬 (transform matrix)

6. 좌표 변환 (coordinate transform)

: 새로운 기저 벡터에 대한 좌표를 계산하는 것

데이터 사이언스 스쿨

위의 링크를 참고하여 학습했습니다:)

열랭크 (column rank)

: 행렬의 열벡터 중 서로 독립인 열벡터의 최대 개수

행랭크 (row rank)

: 행렬의 행벡터 중 서로 독립인 행벡터의 최대 개수

이때 주의할 점! 랭크 = 행랭크 = 열랭크

2. 풀랭크 (full rank)

: 랭크가 행의 개수와 열의 개수 중 작은 값과 같은 경우 rankA = min(N, M)

선형독립인 벡터들을 열 & 행으로 가지면 항상 풀랭크 예제) 랭크 구하기

위의 경우 rankA = 2 -> 풀랭크 아님

3. 로우-랭크 행렬 (low-rank matrix)

rank-1 matrix : N차원 벡터 x 하나를 이용하여 만들어지는 행렬

rank-2 matrix : 선형독립인 2개의 N차원 벡터 x1, x2를 이용해서 만든 행렬

rank-m matrix : 선형독립인 M개의 N차원 벡터 x1, x2, …, xm을 이용해서 만든 행렬

ex) x1, x2가 아래와 같을때 rank-2 matrix의 랭크가 2인 것을 확인하기

데이터 사이언스 스쿨 위의 링크를 참고하여 학습했습니다. 좋은 자료 감사합니다!

벡터 집합 x1, x2, …, xn을 이루는 벡터의 선형조합에서 영벡터가 되도록 하는 스칼라 c1, c2, …, cn이 존재하면 x1, x2, …, xn은 선형 종속

선형 종속인 경우?

Case 1) 벡터의 개수 > 벡터의 차원

Case 2) 값이 같은 벡터가 있으면 반드시 선형 종속 Case 3) 어떤 벡터가 다른 벡터의 선형 조합인 경우 ex) x1= x2-x3

2. 선형 독립 (Linear Independent)

3. 선형 독립과 선형연립방정식

선형 독립 관계를 행렬 * 벡터의 곱으로 나타내면,

데이터 사이언스 스쿨 위의 링크를 참고하여 작성했습니다:)

: 두 벡터가 가리키는 점 사이의 거리

2. 삼각함수

: 사인&코사인 함수 sin𝜃 는 0에 가까워질수록 0에 가깝고, 90에 가까워질수록 1에 가까워짐 cos𝜃 는 0에 가까워질수록 1에 가깝고, 90에 가까워질수록 0에 가까워짐

3. 벡터의 내적

: 𝑎^𝑇𝑏=‖𝑎‖‖𝑏‖cos𝜃

4. 직교

: 두 벡터 a,b가 이루는 각이 90도 = orthogonal = a⊥b

이때, 두 벡터의 내적은 0 (cos90= 0이기 때문)

5. 정규직교

: N개의 단위벡터 𝑣1,𝑣2,⋯,vN 가 서로 직교 ‖𝑣𝑖‖=1 𝑣𝑖^T𝑣𝑗=0(𝑖≠𝑗)

6. 코사인 유사도

7. 벡터의 분해와 성분

: 어떤 두 벡터 a, b의 합이 다른 벡터 c가 될 때 c가 두 벡터 성분(component) a, b으로 분해(decomposition)된다고 말함

8. 직선의 방정식

: 원점에서 출발한 벡터w를 지나면서 w에 수직인 방정식 구하기 : 원점 출발 조건 없이 벡터w에 수직인 직선방정식 구하기

데이터 사이언스 스쿨 위의 링크를 참고하여 학습했습니다:)

‖𝑎‖ -> norm 으로 정의 ‖𝑎‖ = sqrt(a1²+ a2² + a3² + … + an²)

2. 벡터 연산

a) 벡터의 곱 (스칼라*벡터)

양의 실수 * 벡터 a = 실수의 길이만큼 벡터 길이 증가 음의 실수 * 벡터 a = 방향 반대

b) 벡터의 합 (벡터+벡터)

의미 1) 두 백터를 이웃하는 변으로 가지는 평행사변형의 대각선 벡터 의미 2) 벡터를 더하고자 하는 벡터의 끝점으로 평행이동했을 때, 이동한 벡터가 가리키는 점의 위치

c) 벡터의 차 (벡터-벡터)

의미 : b가 가리키는 점으로부터 벡터 a가 가리키는 점을 연결하는 벡터

a-b = c b+c = b+(a-b) = a

_ word2vec에 적용_ : 한국-서울 = 서울에서 한국으로 향하는 벡터 => 도쿄-(한국-서울) =일본

d) 벡터의 선형 조합

: 여러 개의 벡터 * 스칼라를 더한 것 𝑐1𝑥1+𝑐2𝑥2+⋯+𝑐𝑁𝑥𝑁

3. 단위 벡터

: 길이가 1인 벡터

https://datascienceschool.net/02%20mathematics/03.01%20%EC%84%A0%ED%98%95%EB%8C%80%EC%88%98%EC%99%80%20%ED%95%B4%EC%84%9D%EA%B8%B0%ED%95%98%EC%9D%98%20%EA%B8%B0%EC%B4%88.html

위의 링크를 참고하여 학습했습니다:)