Generator와 Discriminator가 서로 경쟁하며 데이터를 생성하는 모델

• 위조지폐범*(G) vs 경찰(D) 위조지폐범은 진짜같은 위조 지폐를 만들어서 경찰을 속이는 것이 목표 $\rightarrow$ 경찰은 위조지폐범이 만든 위조 지폐를 구별해내는 것이 목표 $\rightarrow$ 시간이 갈수록, 위조지폐범은 더욱 더 정교한 위조 지폐를 만들어낼 것이고, 경찰은 진짜와 위조 지폐를 구별하는 능력이 더 좋아질 것이다!

objective function

global optimality

• for D,
• for G,

Neural Collaborative Filtering Xiangnan He, Lizi Liao, Hanwang Zhang, Liqiang Nie, Xia Hu, Tat-Seng Chua arXiv:1708.05031

Recommendation System_추천 시스템이란?

사용자의 선호도 및 과거 행동을 토대로 사용자가 관심을 가질 만한 상품(영화/드라마/음악, 물건, 컨텐츠 등)을 제공하는 기계학습의 한 방법

RecSys의 목적

1. Prediction version of Problem (Matrix Completion Problem) : 학습을 통해 사용자의 선호도를 정확하게 예측하여, 하나의 결과를 도출하는 문제
2. Ranking version of Problem : 사용자의 선호도를 반영하는 top-k개의 상품을 예측하는 문제

RecSys의 종류

추천시스템 알고리즘은 크게 Content-based Filtering (콘텐츠 기반 필터링) 과 Collaborative Filtering (협력 필터링), 그리고 Hybrid Filtering 으로 구분된다.

1. Content-based Filtering (콘텐츠 기반 필터링) : 사용자가 과거에 선택하거나 구매한 상품과 비슷한 상품을 추천하는 알고리즘 방식
2. Collaborative Filtering (협력 필터링) : 비슷한 선호도를 가진 사용자들끼리 그룹으로 묶어, 같은 그룹에 속한 사람들이 과거에 선택하거나 구매한 상품을 사용자에게 추천하는 알고리즘 방식
3. Hybrid Filtering : 다양한 추천시스템들을 결합하여 만든 알고리즘 방식으로, 기존 알고리즘이 가지고 있는 단점을 보완하고 새로운 장점을 창출해낼 수 있다.

Matrix Factorization (MF)

• M = user의 수
• N = item의 수 $\Rightarrow$ Y = user-item 행렬

• 이 때의 1과 0은, '1 = user가 해당 item을 선택/구매한 적이 있다'는 의미이지 'user가 해당 item을 반드시 선호한다'는 의미는 아니다.

이 때, 행렬 Y의 y를 예측하는 하나의 방법으로 matrix factorization이 있다.

Matrix Factorization (MF) 행렬 Y를 보다 저차원인 두 행렬 P와 Q로 분해하여 표현하는 방법 하지만, MF는 linear 방식이므로 user-item의 복잡한 관계를 설명하는데 한계점이 존재한다. 위의 그림처럼 user 1,2,3의 관계가 이미 표현되어 있을 때, user 4가 추가된 상황을 생각해 보자. user 4 는 user 1 > user 3 > user 2의 순서대로 유사도를 가지지만, 기존 user들 사이에 이를 반영하여 user 4의 정보를 나타낼 수 있는 방법이 없다.

Neural Collaborative Filtering

MF 모델의 linear방식에 의해 나타난 한계를 NCF에서는 multi-layer perceptron를 통해 non-linear의 특성도 고려할 수 있게 하여 해결한다.

• input layer : user와 item 정보가 one-hot encoding되어 벡터로 입력된다.
• embedding layer : input 벡터를 dense 벡터로 mapping
• Neural CF layer : DNN을 통과
• output layer : (0,1)의 값으로 user과 item이 얼마나 관련되어 있는지 출력

기존의 MF는 NCF의 special case가 되며, 이를 GMF로 명명한다. 그리고, linear한 특성을 잘 반영하는 GMF와 non-lienar한 특성을 잘 반영하는 MLP를 결합한 모델을 제시한다.

참고자료

Rule Based classifier : 일련의 질문에 대한 답에 근거하여 데이터를 분류하는 모델 -classification, regression 모두 가능한 지도학습 모델

• attribute (질문, 속성) : 하나의 질문 (분기)마다 변수 영역을 두 개로 구분

구성

• node : 질문 or 정답

  • intermediate node
  • leaf node (terminal node) : 더 이상으 자손이 없는 노드
  • depth : 몇 개의 분기가 존재?

Decision Tree는 overfitting의 문제점을 가지고 있음. $\rightarrow$ Pruning을 통해 해결

1) 사전 가지치기 : 나무가 완성되기 전에,특정 조건을 만족하면 알고리즘 중단 2) 사후 가지치기 : 나무가 완성된 후,하단 노드부터 유의하지 않은 바로 위 나무의 node로 변환

사후 가지치기

$<$비용-복잡도 가지치기$>$ CC(T)=Err(T)+$\alpha$$*$L(T) 위의 함수를 최소화하는 방향으로 가지치기를 수행

좋은 Decision Tree란?

하나의 데이터를 통해 만들 수 있는 Decision Tree의 종류는 무한하다. 이 중, 각각의 attribute에 의해 분할된 영역에 class가 같은 데이터가 최대한 많이 존재할 수록 좋은 Tree라고 할 수 있다.

• Impurity (불순도) : 각 범주에 서로 다른 데이터가 얼마나 섞여 있는가? (=최대한 동일한 class끼리 구성되어 있어야 함) $\rightarrow$ impurity를 최소화 하는 방향으로 학습이 진행된다.

알고리즘 진행 과정

1) emtpy decision tree에서 시작 2) 다음 순서의 best attribute를 기준으로 split (이 순서에서 impurity지표 사용) 3) recurse  2)와 3)의 과정을 반복한다

VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION

(Karen Simonyan∗ & Andrew Zisserman+Visual Geometry Group, Department of Engineering Science, University of Oxford)

ILSVRC 2014년 대회에서 2등을 차지한 모델로, 모델의 깊이가 성능에 어떤 영향을 미치는지 보여준다. VGG 이전의 모델들은 8 layers정도의 깊이였던 반면, VGGNet은 이보다 훨씬 깊은 16 layers를 이용하여 깊이가 깊어질수록 모델의 성능이 향상되는 것을 확인할 수 있다. (하지만 무작정 모델을 깊게 만드는 것이 성능 향상을 보장하는 것은 아니다!)

Architecture

In this work we investigate the effect of the convolutional network depth on its accuracy in the large-scale image recognition setting. Our main contribution is a thorough evaluation of networks of increasing depth using an architecture with very small (3 × 3) convolution filters, which shows that a significant improvement on the prior-art configurations can be achieved by pushing the depth to 16–19 weight layers. The convolution stride is fixed to 1 pixel; the spatial padding of conv. layer input is such that the spatial resolution is preserved after convolution, i.e. the padding is 1 pixel for 3 × 3 conv. layers. Spatial pooling is carried out by five max-pooling layers, which follow some of the conv. layers (not all the conv. layers are followed by max-pooling). Max-pooling is performed over a 2 × 2 pixel window, with stride 2.

• input image 크기 = 224*224
• 13 convolution layers + 3 fc layers (VGG16)
• 3*3 크기의 convolution filters
• ReLU activation function
• 2*2 max pooling
  • max pooling을 한 번 진행할 때마다 image의 크기가 1/2으로 감소
• VGG block = convolution layers + max pooling
  • VGG block에서는 '1) 몇 개의 conv layers를 사용할지, 2) filter를 몇 개 사용할지' 결정

VGGNet의 핵심

Receptive field : 출력 layer의 뉴런 하나에 영향을 미치는 입력 뉴런들의 공간 크기 -convolution layer를 사용 할수록 1 pixel이 가지고 포함하고 있는 원본 이미지의 범위가 커짐.

• 첫 번째 3*3 conv layer $\rightarrow$ 1 pixel이 원본 이미지의 3*3 pixel의 정보를 가지고 있음
• 두 번째 3*3 conv layer $\rightarrow$ 1 pixel이 원본 이미지의 layerdml 5*5 정보를 가지고 있음
• 세 번째 3*3 conv layer $\rightarrow$ 1 pixel이 원본 이미지의 layerdml 7*7 정보를 가지고 있음

7 *7 filter 1개 vs 3*3 filter 3개

• 각각의 convolution 연산이 수행될 때마다 ReLU 함수가 적용된다. $\rightarrow$ 비선형성 증가
• 학습 파라미터의 수 감소 $\rightarrow$ 7*7 filter 1개 적용 시, 학습 파라미터의 수는 49개인 반면, 3*3 filter 3개 적용 시 필요한 학습 파라미터의 수는 27개이다.

실습 코드 자료

https://www.youtube.com/watch?v=ACmuBbuXn20

마크다운 사용법 https://velog.io/@yuuuye/velog-마크다운MarkDown-작성법/