• 추천 시스템이 특정 항목을 추천할 때, 추천 이유를 함께 제공하는 방식
• 예를 들자면 "이 작품은 당신이 자주 본 장르와 관련이 있어 추천합니다." 이런 식이다
  
  
  

추천 이유를 왜 제공해야할까?

이건 추천 서비스를 제공하는 사람(개발자)과 이용하는 사람(유저), 2개의 관점으로 나눠 살펴볼 수 있는데:

• 서비스 공급자 관점:
  • "디버깅"을 위해 필요하다
  • 즉, 추천 시스템이 왜 특정 결과를 제공했는지 이해해야 문제를 개선할 수 있는 것
• 사용자 관점:
  • 추천 결과에 만족하지 않으면 서비스 사용을 그냥 중단해버릴 가능성이 높은데,
  • 같은 추천을 제공해도 추천 이유를 함께 제공하면 신뢰와 만족도를 높일 수 있아 잔여할 확률이 높아진다고 한다
    
    
    

그렇다면 추천 이유는 어떻게 만들 수 있는가?(Post-Hoc)

추천 이유를 만드는 방법은 크게 2가지

1. 알고리즘 자체가 설명 가능한 모델 사용 ⇒ 고차원 모델을 사용하는 이상 불가능이다
2. Post-Hoc: 추천 결과에 추천 이유 생성 (블랙 박스 모델에도 적용 가능) ⇒ ✔️
   
   

   Post-Hoc, 어떻게 구현할까?

• 카카오에서는 추천 이유를 두 가지 범주로 나누었다. '관련성'과 '인기도'
• 그리고 관련성과 인기도 각각에서도 다음과 같이 세부 라벨을 나누었다
  1. 관련성(Relevant):
     • Seen: 이전에 본 작품과 유사
     • Co-occurrence: 다른 사용자가 함께 본 작품
     • Preference: 선호도 기반
     • Interest-meta: 자주 보는 카테고리 기반
  2. 인기도(Popularity):
     • High-conversion: 전환율이 높은 작품
     • Popular: 전체적으로 인기 있는 작품
       
       

       그래서 이 라벨들을 어떻게 구분한다는 걸까?

       다음 이미지를 참고하자(출처: 카카오 웹툰)

여기서 헷갈렸던 게 있는데,

1. 추천 모델을 여러개 만들고 어떤 모델을 통해 얘를 추천하게 되었는지 말해주는 건가?
2. 아니면 모델은 1개만 쓰고 생성된 추천 결과를 이전 상호작용 이력과 비교(메트릭 계산 등)한다는 건가? ⇒ 다른 내용을 더 읽고 이 포스팅에서 말하는 건 2번 방법임을 알게되었다. 즉, 추천 이유 생성은 추천 모델과 별개로 작동하는 것!
   

준비물로 2가지 데이터가 필요하다

1. 사용자의 상호작용 이력 데이터
2. 상품에 대한 메타 데이터
   

구체적으로는 다음의 방식으로 작동한다 위의 데이터셋을 사용해 우리가 잘 알고있는 추천시스템 모델을 하나 개발한다. CF일수도 있고, DeepFM일 수도 있고, .. 이 부분은 개발자 나름대로 구현하겠지? 그런 다음 그 모델이 생성한 추천 결과를 사용자 소비 이력과 비교하여 왜 특정 항목이 추천되었는지를 분석하는 것. 이 때 다양한 메트릭을 사용한다. 이 부분에 대해서는 라벨별로 다음과 같이 정의할 수 있다 (참고로 High-conversion, Popular한 아이템은 사용자 이력 데이터가 아닌 아이템의 정보만을 사용하기에 따로 메트릭이랄게 없다)

*암튼 그러면 결과로 다음과 같은 reason, keyword 정보를 생성할 수 있고, *

추천과 함께 이유를 다음과 같이 띄울 수 있다

AB 테스트 결과

• 추천 이유를 표시한 실험군이:
  • 작품 열람수: +20% 증가
  • 열람 전환율: +19% 증가

결과 분석 EDA

이 주제를 수행할 경 대시보드를 만들어 우리가 만든 추천 시스템을 트래킹하고, 해석하기 좋아보인다 Tableau같은 BI 툴을 사용하는 것도 고려하기

예를 들면 이런 거:

• 추천 이유와 사용자 활동성

  • 활동성이 높은 사용자: 개인화된 추천(seen, co-occurrence)에 더 반응
  • 콜드 사용자: 인기 작품(popular)이나 다시보기(seen) 추천에 반응
  • 추천 작품의 관련성(Relevant)은 열람 전환율에 중요한 영향을 미침
    
    
    

• 아니면 이런 거:

  • 사용자의 작품 열람수를 기준으로 Lv1(낮음) ~ Lv7(높음) 7단계로 사용자 활동성을 구분
  • 사용자 활동성이 높아질수록 추천구좌의 열람 전환율이 지수적으로 높아진다.

• 아니면 이런 것도:

  • 콜드 사용자일수록 비 개인화 추천 작품(■popular)이 많이 추천되고, ■None(추천이유모름)의 비율이 높다.
  • 활성 사용자일수록 개인화 추천 작품(■seen, ■co-occurrence)의 노출 비중이 높아진다.
    
    
    

더 적용해볼만한 것

사용자 유형에 따른 추천 라벨 분석

• 콜드 스타트 유저와 이력이 충분한 유저는 각기 다른 라벨 선호 패턴을 보일 가능성이 크다
  • 예를 들어, 콜드 스타트 유저는 개인화된 추천보다는 열람수가 많은 인기 작품을 더 선호할 수 있다
• 이걸 개인화 하기 위해서는 다음을 고려할 수 있겠다:

1. 사용자 유형에 따른 선호 추천 라벨 분석: 단순하지만 구현이 쉬움
2. MAB를 활용한 실시간 최적화: 고도화된 알고리즘이지만 구현이 어려움
   ### MAB를 활용한 실시간 최적화

• 카카오는 토픽 모델링과 MAB를 융합해 토픽별로 상품을 나누고 배치를 최적화하는 방식을 사용했다
  • https://tech.kakao.com/posts/486
• 이를 변형하면 사용자 유형별 추천 라벨 배치를 최적화할 수 있다
• 스포티파이 역시 유사한 방식으로 추천 시스템을 운영 중이다
  ### MAB 구현 시 고려 사항 다만, MAB를 구현하려면 몇 가지 조건이 필요하다

1. 첫째, 실제 유저가 웹사이트에서 상호작용하며 데이터를 누적시키는 환경이 필요하다.
2. 둘째, 실시간 처리를 할 수 있어야 한다 → _이 부분은 추가 리서치를 해봐야한다 _
   
   
   

카카오웹툰의 설명 가능한 추천 시스템(Explainable Recommender System) 개발과정을 참고하여 작성함.

• 출처: 설명 가능한 추천 시스템 - 카카오웹툰

🔑 KEYWORD: 선형, Closed Form Solution, Item-Item Similarity

EASER는 선형 모델인 EASE를 발전시킨 모델이다.

최근 추천시스템에 딥러닝을 적용한 많은 모델들이 좋은 성능을 보여왔다. 그러나 타 AI분야(NLP, CV 등)와는 다르게 추천시스템에서는 적은 은닉층을 가진 모델이 더 좋은 성능을 보이는 경우가 많다. EASER는 그 중에서도 극단적으로 은닉층이 없는 선형 모델이다.
선형모델이기에 closed form solution을 가진다. 다시말해 ‘수식으로 표현할 수 있는’ 해를 가지며, 이를 ‘analytic 한 해를 가진다’ 고 표현하기도 한다.
전체적인 아이디어는 아이템과 아이템간의 유사도를 학습하여 사용자가 지금까지 소비한 아이템를 바탕으로 유사한 아이템을 추천해주는 것이다. item-item 쌍사이의 관계를 고려하여 사용자의 이전 상호작용 기록에서 두 아이템 이상의 조합이 더 높은 관련성을 갖는 경우를 식별한다. 때문에 CF같은 Neighbor Based 방법으로 볼 수도 있겠다. 이 때 아이템이 자기 스스로와 유사해지지 않도록 규제하여 일반화 성능을 올린다. 즉 weight matrix의 대각 성분 제로화하는 것. 아이템이 자기 자신과의 유사도가 과도하게 반영되면 다른 아이템들과의 상관관계를 제대로 학습하지 못할 수 있다. 따라서 이 규제는 모델이 다양한 상호작용 패턴을 학습하게 도와준다.
엄밀히 말하자면 이름에 나와있는 AE가 쓰이지는 않는다. AE처럼 유저 벡터를 압축하기 위해서 Dense Layer 가 존재하는가? 라고 묻는다면 그렇지 않다. 그렇기에 여타 딥러닝 기반의 추천시스템에 비해 상당히 간단한 모델이라고 할 수 있겠다. 대신, 출력 레이어의 B의 가중치를 저장한다.

✦ EASE 와는 어떻게 다를까?

Explicit FeedBack을 반영할 수 있는 EASER는
1️⃣ 먼저, 고차(Higher-order) 상호작용을 고려할 수 있다. 단순한 아이템 간의 쌍 관계만 학습하는 EASE와 다르게, 삼중(Triplet) 관계같은 고차 상호작용까지 학습하여 더욱 정밀한 추천을 제공할 수 있다. 2️⃣ 또한 네거티브(Negative)상호작용을 고려할 수 있다. 이는 사용자의 부정적인 선호도나 관심 부족을 표현하는 데 유용하다.
이를 통해 보다 복잡한 사용자 행동 양식과 선호도를 포착할 수 있다.

✦ EASER의 장점은?

그리고 논문 제목에서도 알 수 있듯이 Sparse 한 데이터에 강하다.
그 외의 장점은,

1️⃣ 하이퍼 파라미터는 람다 하나이며 그 값에 따른 성능차이가 미미하다는 것

2️⃣ 그리고 빠르다 것(몇 시간/일이 걸리던 것을 몇 분 만에 훈련한다)

3️⃣ 흔하지 않은 고유한 항목 추천할 수 있기에 ‘발견’을 중시하는 추천분야에서 좋게 작용할 수 있겠다.

4️⃣ implicit, explicit 데이터 모두에 사용 가능하다고 한다

✦ 그래서 어떻게 작동할까?

• 수식에 등장하는 주요 인자는 다음 3가지이다.

  X(인풋행렬) → U X I (input data, binary)

  B(가중치행렬) → I X I (model, weight, closed-form으로 훈련하는 모델)

  ⇒ 모델의 parameter, weight 이자 학습 대상이다. 
  ⇒ diag(B)는 0으로 제한되는 것이 특징이다

  S(예측행렬) → U X I (X⋅B해서 나온 predict)

  ⇒ 우리의 최종 예측 타깃으로, user *u*가 아이템 *i*에 관심이 있을 확률 정보를 가진다 

• 그럼 B를 구하려면(학습시키려면) 어떤 목적함수를 두어야할까? 수식은 다음과 같다. 목적식에서 L1이 아닌 L2, 즉 square loss 를 사용한 이유는 앞서 언급했던 closed form solution 을 구할 수 있도록 하기 위함이다. 여기서 등장하는 람다가 아까 언급한 정규화 파라미터(모델의 유일한 파라미터..!)이다.
  
  
• 그럼 위의 목적함수를 만족하는 B에 대한 Closed Solution은 어떻게 구해질까? 증명은 생략하고 그 구체적인 프로세스만 정리해보았다.

  

1. 그램 행렬을 작성 → G = X.t() * X
2. G의 대각선을 따라 정규화 값(람다)을 추가
3. P = G.inverse()
4. B = -P/diagonals(P)
5. B의 대각선을 0으로 설정

(여기서 G는 gram matrix로, co-occurence matrix이다. 예전에 강의에서 배웠던 A가 선택됐을 때 B, C가 선택되는 빈도를 item-item꼴로 나타낸 행렬)

RNN, 왜 필요할까?

기본적으로 RNN은 시계열 데이터를 처리하기 위한 모델이다. 기존의 다른 딥러닝 모델들은 독립적인 입력값에 대한 예측값을 반환한다. 따라서 Sequence 데이터의 처리를 위해 RNN이 고안되었다.

RNN은 어떻게 작동하는가?

• 핵심은 이전시점의 output이 다시 현재시점의 input으로 사용된다는 건데,
• 순전파에서는, 인풋과 전 단계의 hidden state에 각각의 가중치를 곱한다. 그리고 그걸 더해서 activation function(tanh)에 넣는다. 그 값을 다음 단계의 hidden state로 내보낸다.
• 역전파에서는, 현재의 hidden state를 전단계의 hidden state에 대해 미분한다.

  Vanilla RNN은 왜 현업에서 잘 안쓰일까?

RNN은 고정되지 않은 길이의 Input Sequence 처리 가능하며, 특정 시점에서 여러 단계 이전의 정보를 사용할 수 있다는 장점이 있다. 추가로 input x_t에 관계 없이 항상 같은 weight parameter를 이용하기 때문에 문장 기억에 효과적이기도 하다.

하지만 우리가 주목할 것은 단점이다. RNN은 단점이 매우 확실하고 치명적인데,

첫째, 병렬화가 불가능하며 Computation이 비싸다. 마치 재귀함수처럼 자신의 output을 다시 input으로 받는 Recurrent 구조를 가지기 때문이다.

둘째, Vanishing gradient/exploding 문제가 존재한다.

셋째, RNN의 Many-to-Many구조는 현실 데이터 모델링에 부적절하다 (예시) "I am Yusol"은 "나는 유솔이야"로 번역 가능하다. 이렇게 간단한 문장인데도 벌써 입력과 아웃풋 길이가 각각 2, 3으로 다르다.(인풋과 아웃풋은 1:1 대응관계를 이루기 힘들다) * 해결책: Seq2Seq

Vanilla RNN의 기울기 문제

h_t(t시점의 hidden state)에서 h_t-1로 역전파를 수행할 때에 아래 수식에서 볼 수 있는 W_hh가 곱해진다. 근데 역전파를 계속 수행함에 따라 이 W_hh가 입력 sequence의 길이만큼 곱해지게 된다. 이렇게 동일한 행렬이 반복적으로 multiplication되는 경우 다음 두가지 문제가 생긴다.

1. Exploding Gradient 문제

가장 큰 특이값 > 1 인 경우 누적하여 곱해짐에 따라 Gradient는 Explode한다. 즉, 큰 가중치는 극단값으로 발산한다.

2. Vanishing Gradient 문제

가장 큰 특이값 < 1 인 경우 누적하여 곱해짐에 따라 Gradient는 소멸된다. 즉, 작은 가중치는 0으로 수렴한다.

정리) RNN의 Backpropagation에서 FC(fully connected layer)를 통과하면서 같은 weight parameter가 입력 sequence만큼 곱해지기에 gradient vanishing/exploding 문제가 발생한다.

그게 왜 문제일까??

: 시퀀스 내 장거리 의존성(long-term dependency)를 모델링하는데 실패 → 여러 단계 이전의 정보에 접근하기 매우 힘들다.

해결책은 없나?

Solution 1. Gradient Clipping *큰 Gradient는 최대값(threshold)으로 클리핑되며, 각 Dimension은 기울기 방향을 유지하기 위해 비례적으로 축소된다. Exploding만 해결할 수 있는 줄 알았는데 Vanishing Gradient도 해결 가능하다고 한다. *Solution 2. LSTM, GRU

[2] LSTM

Hidden State 이전 타임 스텝의 정보를 현재 타임 스텝의 입력과 함께 보유하는 내부 메모리

Cell State FC를 우회하는 highway

Input Gate 현재 입력된 새로운 정보를 얼마나 사용할거야? 를 결정하며 0-1값을 가진다

Forget Gate 이전의 Cell State 정보를 얼마나 잊을거야? 를 결정하며 0-1값을 가진다

Output Gate 다음 층으로 전달할 Hidden State를 만든다

→ 셀 상태를 업데이트할 때나 출력 게이트를 통해 최종 출력을 계산할 때 tanh 함수가 적용

[3] GRU

일단, 선은 잊고 component 들만 보자. LSTM과의 차이는 Cell State가 없다는 것이다. 그만큼 parameter가 적고 연산량이 적다.

[4] Seq2Seq

각 입력토큰마다 출력 토큰을 생성하는 거, 가능한가? 불가능할 때도, 가능은 하지만 효과적이지 않을 때도 있다. So, Many-to-Many가 아닌 "Many-to-One(Encoder)", "One-to-Many(Decoder)"를 사용하는 Seq2Seq 모델이 고안되었다.

상세내용을 다이어그램으로 그려봤당!

📌오해했던 것: Context Vector와 y_t를 사용해서 y_t+1을 예측? NO!! context vector가 업데이트된 decoder의 hidden state s_t와 h_t를 사용해 y_t+1를 예측한다. 즉, context vector는 디코더 첫 부분에만 쓰이고 끝

💻 모델코드

Encoder Decoder *빈칸: self.dropout(self.embedding(x)) *

• Dropout: 과적합 방지용 정규화 기법이다. 특정 뉴런에 의존하지 않도록 일부 뉴런을 무작위로 비활성화(0으로 설정)한다. 시퀀스를 임베딩 공간으로 전환하는 Encoder와 Decoder 모두에 Dropout을 적용하면 다음가 같은 장점이 있다.
  • 일관성: 임베딩 벡터에 동일한 정규화 기법 적용한다.
  • 일반화 성능: 임베딩 벡터에 노이즈를 추가

Interface (A) source.shape[1], (B) target.shape[0] (B): 변수의 이름에서 언급된 target의 길이 = 출력 문장의 길이 (A): num_sentences = 한 배치(batch) 안에 있는 문장의 개수 = 배치 크기(batch size)를 나타냄

• 출처 https://colah.github.io/posts/2015-08-Understanding-LSTMs/ https://cs231n.stanford.edu/slides/2020/lecture_10.pdf

데이터 전처리(Data Preprocessing)

Zero-centering & Normalization

• 모든 입력값이 양수인 데이터에서 sigoid activation function을 사용하는 경우: upstream gradient의 부호가 바뀌지 않고 downstream gradient에 그대로 반영된다는 문제가 있음

Why Zero-centering

*(1)Weight의 작은 변화에 덜 민감해진다 * *출처: https://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture7.pdf

(2)효율적인 Optimization을 위해 필요하다

• 1.1에 제시한 상황의 경우 gradient descent가 굉장히 비효율적으로 업데이트 된다

  • optimal path를 따라가지 않고 아래처럼 됨 *출처:https://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture6.pdf

• data distribution의 center는 0이 되도록 하는 것을 권장함(zero centering)

  • 어떻게 해결해야하는가? : 모든 데이터포인트에서 데이터의 평균값을 빼주면 된다.

NN, Normalize는 필수 또한 NN이라는 모델 자체가 데이터의 정규성을 기본 전제로 하기에 normalize도 해주어야한다. computer vision 데이터도 예외가 아님 *출처: https://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture6.pdf

PCA & Whitening

• data compression 메서드 중 하나
• PCA: 데이터 분포에서 가장 분산이 넓은 축을 중심으로 rotate
• Whitening 그걸 variance로 나누어줌

데이터 증강(Data Augmentation)

• 실제 데이터셋은 적다. 레이블링 해야하기 때문이다.
• 데이터의 의미에 영향을 주지 않고 각각의 데이터를 수정할 필요가 있다.
• 그렇게 늘린 데이터로 training 을 진행한다.
• 약간 노가다스럽지만 Robust한 모델을 만드는 데에 굉장히 효과적이며 현업에서 매우 자주 쓰이는 방법들이다.
• 어려운 내용은 없어서 설명은 생략하였다.

Horizontal Flips

*출처:https://cs231n.stanford.edu/slides/2020/lecture_8.pdf

Random Crops

출처:https://cs231n.stanford.edu/slides/2020/lecture_8.pdf

*Translation in Variance**

Color Jitter

• 그 외 Scaling, Random Crops, Scaling도 있다. 원리는 간단하지만 생각보다 효과가 좋으니, CV 쪽 건드릴 때 써먹어보면 좋을듯!!

• 등장 배경: NN Classifier(가장 가까운 학습 데이터를 찾아 예측을 수행하는 알고리즘)의 한계를 극복하고자 parametric approach 사용.
• 이미지를 10개의 카테고리 중 하나로 분류하는 Task가 있다고 가정해보자.
• _y=Wx+b_라는 간단한 선형함수를 세워두자.
• 여기서 각 레이블이 올바른 이미지에 대해 가장 높은 점수를 받도록 W(Weigth Parameter)가 정해져야 한다.

차원 계산하기

• 각 term의 차원을 계산해보자_f(x,W) = Wx+b _

• 이미지 크기 = 32x32x3 (3072)

• x: 3072 x 1로, 이미지를 1차원을 flatten한 것이다.

• output: 10 x 1(10개의 클래스를 분류)

• W: 10x3072(행렬곱 규칙에 따라)

• b: 3072x1(bias term; input에 영향을 주지 않고 output에 영향 미침)

  • 편향의 역할: 데이터 레이블이 이분하게 분포하지 않고, 하나의 클래스에 치중되어 있는 경우가 있다(skewed distribution). 이럴 경우 나머지 parameter가 데이터 분포가 아닌 데이터 본연의 특성에 집중할 수 있도록 돕는 것이 bias term이다.
    • 예를 들어, training 데이터에 고양이가 많은 경우 데이터를 보지 않고도 '일단은' 고양이라고 예측하는 방향으로 작용한다. → W라는 행렬의 각 row는 각 레이블(클래스)의 weight라고 해석 가능

Softmax Classifier

• 등장 배경 : y는 점수. 근데 이 점수는 해석이 어렵다. 따라서 0과 1 사이의 경계 점수를 얻어서 확률로 해석할 수 있다면 더 좋을 것. 크게 2가지의 activation function이 있다.
• 시그모이드 : binary classification에 쓰임
• softmax : multi-label classification에 쓰임

Softmax Classifier 출력 확률의 수치적 불안정성 방지를 위한 방법

[문제] 소프트맥스 함수에서 지수화를 할 때 큰 수를 다루게 되면 수치적 불안정성이 발생할 수 있음 [해결] 입력 값의 최대값을 계산하여 모든 입력 값에서 이를 빼는 것입니다. (가장 큰 값이 0이 됨)

Loss Function

Discrete Loss Function

몇 가지 단점이 있어 주로 사용되지는 않음

1. 마진 기반 손실 (Margin-Based Loss):

   • 모델이 잘못된 예측을 했을 때 일정한 손실 값을 부여
   • 올바른 예측을 했을 때는 손실이 0
   • 따라서 이로 인해 미분 불가능하다는 단점이 존재 → 최적화 과정에서 제약으로 작용

2. 로그 손실 (Log Loss):

   • 모델의 예측이 정확할수록 손실 값이 낮아지고 미분 가능 → 최적화에 용이

3. 지수 손실 (Exponential Loss):

   • 로그 손실과 유사 잘못된 예측에 대해 더 큰 손실(페널티)을 부여(올바른 예측에 대해서는 반대)

4. 힌지 손실 (Hinge Loss):

   • 오류에 대한 loss가 선형적으로 증가
   • 정답에 가까운 예측에도 약간의 페널티 부여
   • SVM에서 사용(결정 경계에 가까운 데이터 포인트를 더욱 신중하게 다루는 것)

Cross Entropy Loss

사실 ML에서는 주로 확률적 손실 함수를 사용.

크로스 엔트로피 → 모델의 예측 확률과 실제 라벨 간의 차이를 측정 → 활성화 함수와 결합되어 사용됨

KL Divergence

KL Divergence는 두 확률 분포 사이의 차이를 측정하는 데 사용됩니다. 이 값이 작을수록 두 분포가 유사함을 나타내며, 이는 모델이 실제 데이터 분포를 얼마나 잘 따라가고 있는지를 평가하는 데 유용합니다.

최적화(Optimization)

: loss function(cost function, J())값을 이용해 parameter의 값을 update 하는 방법

1. 완전탐색, 랜덤탐색 → 잘 안됨

2. 그리디 탐색 → 나머지 weight parameter는 고정, 하나의 weight parameter 바꿔가면서 optimize → 두개 이상의 파라미터가 동시에 바뀌는 경우를 고려하지 않기에 잘 안된다고 함

3. Gradient Descent와 SGD Gradient Descent는 산의 최정상으로 올라가기 위해서, 현재 위치에서 가장 가파른 방향으로 발을 디디는 것과 같다.BUT 몇가지 한계를 가진다.

   • 볼록하지 않은 표면: 로컬최적점/새들 포인트에 빠질 수 있음
   • 미분 가능성: cost function이 미분 가능한 경우에만 적용 가능
   • 수렴 속도: 국부 최솟값으로 수렴하는 것의 속도가 느리다 (모든 방향에 대해 발을 디디는 것이니까)

그래서 사실 주로 확률적 경사 하강법(SGD, Stochastic Gradient Descent)을 사용.

• 일부 데이터에 대해서만 gradient descent 수행해서 속도 UP

Linear Classifier가 잘 안쓰이는 이유?

성능이 별로 좋지 않음

• 시각적으로 해석하자면, 각 클래스당 하나의 템플릿(weight parameter)만 학습이 가능하다
• 기하학적으로 해석하자면, linear한 decision boundary 만 생성할 수 있다

Featurization: linear boundary로는 해결못하는 분류 task 수행 가능

Featurization: 선형 경계로 해결할 수 없는 분류 작업

*출처: https://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture3.pdf 원본 feature space를 조작해 선형경계로 해결 불가능한 classification을 수행

1. 고차원 매핑: ex) 2차원 → 3차원
2. 비선형 변환:
3. 커널 트릭: SVM에서 사용
4. rule based featurization: 도메인 지식을 이용해 손으로 한땀한땀하는 rule based 특성화과정. 요즘엔 안쓰임.

💬 아무리 featurization을 해도 여전히 구리다 linear classification은! Activation Function이랑 Loss Function 헷갈리지 말기