• Interection이 오직 'click'으로 구성되는 것이 아닌 user과 관계있는 item들의 특징을 반영하여 내재된 정보를 파악한다.
• Knowledge Graph를 사용함으로써 추천에 대한 이유를 설명하고, Cold start 문제를 해결한다.

• 위의 그림에서 User는 'Alice'이고 이 유저가 'Castle on the Hill' 이라는 곡을 추천 받았을 때, 다음과 같은 경로를 볼 수 있다.

1. (Alice, Interact, Shape of You) -> (Shape of You, IsSongOf, divide(÷)) -> (divide(÷), ContainSong, Castle on the Hill) ==> 수록곡을 통한 Path
2. (Alice, Interact, Shape of You) -> (Shape of You, SungBy, Ed Sheeran) -> (Ed Sheeran, IsSingerOf, Castle on the Hill) ==> 가수(Ed Sheeran)를 통한 Path
3. (Alice, Interact, Shape of You) -> (Shape of You, Interacted By, Tony) -> (Tony, Interact, Castle on the Hill) ==> 유저를 통한 Path

• 이러한 연결들은 경로에서 정보를 종합하여 보이지 않는 user-item interaction을 추론한다.

KPRN

• 본 논문의 저자들은 모델 이름을 KPRN(Knowledge-aware Path Recurrent Network'라고 지었고, 지식그래프의 path에 RNN 모델을 적용하였다.
• 기존 아이템 간의 관계형 데이터베이스 정보에 User-Item interaction 정보까지 고려하여 Knowledge Graph를 형성하고, 이는 정형데이터 관계와 Sequence 관계를 모두 포함하게 된다.
• 또한, 사용자에게 특정 아이템을 추천할 때, 다양한 관계 중 어떤 것에 중점을 두는지 학습하기 위하여 Weight Pooling을 사용한다.
  • 위의 경우에서 가수(Sung by)때문에 Castle on the Hill을 듣는 다는 것에 대한 설명이 가능하도록, Sungby의 관계에 높은 가중치를 두고 학습한다.

2. Modeling

Embedding Layer

• Embedding을 할 때는, 동일한 entity-entity 쌍이 다른 의미(relation)을 가질 수 있고, 이러한 경우 다른 경로로써 포함한다.

LSTM Layer

• Input : x (entity, entity type, relation type)
• LSTM(Long Short Term Memory) : 장/단기 기억이 가능하게 설계 된 신경망 구조이며 1과 0으로 나타나는 Label을 기준으로 학습한다.
• Pos Path와 Neg Path를 학습하며 Neg Path는 label이 0인 즉 상호작용이 없는 Path이다.
• LSTM에 대한 설명 참고 : http://www.incodom.kr/LSTM

Weighted Pooling Layer

• (5)의 식은 path score들의 평균을 sigmoid 함수에 넣어준 값이 된다. 즉, path가 세개이고, 각각의 score가 [0.3, 0.6, 0.9]일 때, sigmoid(0.6)으로 약 0.64의 값이다.
• (6)의 식에서는 path score을 $\exp(s_k/\gamma)$ 로 사용하면, $\gamma$(가중치)가 작은 수 일수록 결과값이 커진다. 여기서 $\hat{y}_{ui}$값이 크다는 의미는 score가 강한 path가 더 큰 영향력을 가진다는 max pooling을 의미한다.
• (6)의 식에서 $\gamma$가 큰 수 일수록 $\hat{y}_{ui}$값이 작아지며 avg pooling에 가까워진다.

3. Experiments

3-1. DataSet

• IMDb의 knowledge graph data + MovieLens의 User-Item Interection인 MI(영화) 데이터와 음악 데이터 KKBox를 이용한다.
• noisy해지는 것을 방지하여 Path의 length는 최대 6으로 설정되었고, First Node가 User이고 Last Node가 Item인 Path들을 추출하여 사용한다.

3-2. Learning

1. Positive pair를 설정한 후 Pos Path를 추출한다.
2. Interaction이 없는 pair를 4개 설정한 후 Neg Path를 추출한다.
3. 1과 2로 나온 데이터를 80%는 train data로, 20%는 test 데이터로 사용하여 학습한다. 이때의 목적함수는 다음과 같다.

4. Test는 1개의 test set pair과 random 한 100개의 쌍을 사용하고, 이 101개의 score로 평가를 한다. 이때, 평가지표는 Hit ratio@K, ndcg@K이다.

RQ1

Compared with the state-of-the-art KG-enhanced methods, how does our method perform?

• MI와 KKBox 데이터에서 모두 가장 좋은 성능을 내는 것을 볼 수 있다.

RQ2

How does the multi-step path modeling (e.g., the incorporation of both entity and relation types) affect KPRN?

• KPRN-r은 KPRN에서 relation을 고려하지 않은 모델이다.

• MI 데이터 셋에서 relation을 고려하지 않았을 때 성능이 낮아지는 것을 미루어보아 relation을 고려해서 본 모델이 좋은 성능을 낸다고 말할 수 있다.

• 하이퍼파라미터가 크게 유의미하다고 보이지 않는다.

RQ3

Can our proposed method reason on paths to infer user preferences towards items?

• 이 논문의 가장 큰 Contribution은 Reasoning이다.
• 본 모델은 Knowledge Graph를 따라서 사용자의 관심을 확장할 수 있을 뿐만 아니라 사용자에게 Item이 왜 추천되었는지에 대한 적합한 설명을 제공 가능하다.

참고

http://dsba.korea.ac.kr/seminar/?mod=document&uid=387

• 기존 대화 context를 토큰의 선형 시퀀스로 보고 토큰의 self-attention을 통해 다음 단어를 생성하는 토큰 수준의 인코딩은 발언간 담화수준의 일관성 탐색을 방해한다.
• 이에 이전 PLM 기반 대화 모델을 향상시키는 새로운 대화 응답생성 모델인 DialogBERT를 제시한다.

Introduction

• 본 논문에서는 계층적인 트랜스포머 구조를 도입하고, 담화수준의 일관성을 모델링하기 위한 목적함수를 제안한다.

  • transformer 인코더를 통해 대화 발화를 인코딩 한 후, 담화수준(discourse-level)의 transformer를 사용하여 앞선 결과 벡터를 인코딩하여 전체 대화 context의 표현을 얻는다.

• BERT와 유사하게 두가지의 훈련 목표를 제안한다.

  • masked context regression : 무작위로 선택된 발화를 마스킹한 후 마스킹된 발화에 대한 인코딩 벡터를 직접 예측
  • distributed utterance order ranking : 무작위로 셔플된 대화의 일관된 대화 맥락으로 구성

Method

Approach

• 대화 : D

• 대화 맥락(history) : C ($u_T$는 답변)

• $u_i$ :발화

• $w_j^i$ : i번째 발화의 j번째 토큰

• 목표 1 : 대화 맥락 C를 represent하는 방법을 학습

• 목표 2 : 대화 맥락 C가 주어질 때, 답변 $u_T$를 생성하는 조건부 확률 학습

Hierarchical Transformer

• 1) Utterance Encoder f : 발화 인코더, C에 있는 각각의 발화를 벡터로 인코딩
• 2) Context Encoder g : 문맥 인코더, 문맥 속 주변 발화들에 대해 발화 representation을 학습

1) BERT에서와 같이 발화의 앞뒤에는 [cls]와 [sep] 토큰을 추가한다. 2) 임베딩 레이어가 각 발화에 있는 토큰을 연속적인 공간으로 매핑한다.(word embedding + positional embedding) 3) 발화 인코더는 임베딩을 input으로 받아 self-attention을 수행하고, 각 발화에 대한 첫번째 토큰([CLS])에 대한 벡터를 발화에 대한 representation으로 사용한다.

• 순서를 고려하기 위해 output representation에 positional embedding을 더한 final representation $u_i$를 구하게 된다.

4) 문맥 인코더는 발화에 대한 representation을 input으로 받아 문맥을 고려한 hidden state를 반환한다.

• 본 과정에서 나온 벡터는 계층적 transformer가 생성한 최종 대화 맥락 encoding 결과이다.

Training Objectives

담화 레벨에서의 일관성을 위해서 논문에서는 생성 loss에 더하여 두가지의 새로운 목적함수를 제안한다.

Next Utterance Generation (NUG)

• 응답 생성의 주요 목표이자 본 논문의 첫번째 훈련 목표는 대화 맥락이 주어진 후 다음 응답을 생성하는 것
• 계층적 transformer를 통해 맥락의 의미를 담은 발화인 H를 얻을 수 있다.
• NUG task에서는 디코더의 cross-entropy loss를 최소화 하는 것을 목적함수로 한다.

Masked Utterance Regression(MUR)

• BERT에서의 MLM 태스크와 유사하게 DialogBERT에서는 문맥 표현 학습을 향상하기 위한 보조 작업으로 MUR를 설계한다.

대화맥락 C 중에서 랜덤하게 하나의 발화를 선택한 후,

1) 80%의 확률 : Mask utterance로 대체 2) 10%의 확률 : 변화 x

3) 10%의 확률 : 학습 데이터 내의 랜덤한 발화로 대체

• 앞서 마스킹된 발화에 대한 벡터를 reconstruct하고, 마스킹된 문맥($Ctilde$)이 주어질 때, 모델은 원래의 발화 벡터를 예측하게 된다. -> 계층 encoder를 마스킹된 문맥에 적용하여 문맥의 의미를 담은 representation을 얻은 후, 원래 utterance vector에 매핑하는 FC layer를 연결한다.

  -> 예측한 hidden vector와 원래 C에서 얻어진 hidden layer의 MRS loss를 최소화하도록 학습한다.

Distributed Utterance Order Ranking (DUOR)

• 일관성 있는 담화에서는 발화들이 관계성이나 logic에 따라 특정 순서를 갖기에, 문맥에서 발화의 순서는 대화의 의미를 결정한다.
• 본 논문은 무질서한 일련의 발화를 순서화하는 것이 대화 맥락의 표현을 하습하는데 중요한 영향을 미칠 것이라고 가정한다.

• 대화문에 n개의 발화가 있을 경우 => n!가지의 발화문의 가지수이기에 그대로 사용하면 결과가 좋지 않을 수 있다.

[DORN]

• 문맥 encoder위에 distributed order ranking network(DORN) 을 붙이는 방식을 설계

• DORN은 순서가 섞인 발화문을 입력받아 각 발화문에 대한 점수를 예측하고, 이러한 점수를 정렬하면 re-ordering된다.

• self-attention 메커니즘에서와 같이, order prediction network는 hidden state간의 pairwise inner product를 계산하고, 각 발화문에 대한 점수는 다른 발화문과의 내적에 대한 평균으로 계산한다.

• 학습 과정에서는 learning-to-rank framework를 도입하여 예측된 점수를 어떤 context가 첫번째에 와야하는지에 대한 지표로 사용하여 rank-1 확률을 추정한다.

• Ground Truth Order는 원래의 순서를 고려하여 다음과 같이 계산된다.

본 문제에서는 위에서 계산한 ground truth 와 예측된 분포간의 KL divergence를 최소화하는 것을 목적함수로 한다.

total loss

• 각 loss에 대한 가중합을 사용하여 전체 loss를 계산한다.

Experiments

• 사람의 대답과 좀 더 근접한 결과를 볼 수 있다.

Conclusions

• 본 논문은 대화 context를 token의 선형 시퀀스로 인코딩 하는 방법 대신 계층적 transformer encoder architecture를 제안한다.
• 기존 BERT 훈련의 자연스러운 확장으로 MUR과 DUOR의 훈련 목표를 통하여 기준모델보다 좋은 성능을 내는 것을 보여준다.

Reference

https://arxiv.org/pdf/2012.01775.pdf https://littlefoxdiary.tistory.com/75

• 본 논문은 CNN을 사용한 분류, 위치 파악, 그리고 detection을 위한 통합 프레임워크를 제안한다.
• multiscale과 슬라이딩 윈도우 접근법이 ConvNet 내에서 효율적으로 구현될 수 있는 방법을 보여준다.
• 객체 경계를 예측하도록 학습하는 새로운 딥러닝 접근법을 소개한다.

Introduction

[ConvNet의 특징]

• 장점 : 많은 작업에 대해 전체 시스템이 raw 픽셀부터 최종 범주까지 end-to-end 방식대로 훈련 ⇒ 적합한 feature extractor를 수동으로 설계할 필요가 없음
• 단점 : 레이블이 지정된 훈련 샘플에 대한 굉장한 수요

[논문의 주요 포인트]

• 이미지에서 객체를 동시에 분류, 위치파악, 탐지 하기 위하여 합성곱 신경망을 훈련시키는 것이 모든 작업의 분류정확도, 탐지 및 위치파악 정확도를 향상시킬 수 있다는 것을 보여주는 것

  ⇒ 즉, 통합적인 접근법 제안

• 예측된 바운딩박스를 축적함으로써 위치 파악과 탐지에 대한 새로운 방법을 소개

  • 여러 localization prediction을 결합하며 배경 샘플에 대한 훈련 없이 탐지할수 있으며 시간이 많이 소요되고 복잡한 bootstraping 과정을 피할 수 있음
  • 배경에 대한 훈련을 하지 않는 것은 네트워크가 오로지 positive class 에만 집중할 수 있도록 함.

[데이터셋]

• ImageNet ILSVRC 2012, 2013 데이터셋에서 실험 수행

  • 대부분의 이미지를 거의 가운데에 가득 채우는 대상 객체가 포함되도록 선택됨

  • 때로는 크기와 위치에서 다양한 객체가 존재

    • 해결방법 1 : 여러위치에서 슬라이딩 윈도우 방식으로 ConvNet을 여러 스케일에서 적용

      • 분류는 괜찮지만 위치파악과 탐지에서는 좋은 성능을 보이지 않음

    • 해결방법 2 : 시스템을 훈련시켜 각 창에 대해 범주 분포뿐만 아니라 window와 관련된 객체를 포함하는 b-box의 위치와 크기를 예측하도록 하는 것

    • 해결방법 3 : 각 위치와 크기에서 각 범주에 대한 증거를 축적하는 것

      ⇒ 본 논문은 기존의 sliding window 방식을 ConvNet에 적용하여 연산 효율성을 높힘

Classification

Model Design and Training

• 각 이미지는 가장 작은 차원이 256 픽셀이 되도록 다운샘플링 → 221x221 픽셀 크기의 5개의 임의의 크롭을 추출하고 이를 128 크기의 미니 배치로 네트워크에 제공
  • 네트워크의 가중치는 (µ, σ) = (0, 1 × 10^−2)로 무작위로 초기화
  • 확률적 경사하강법에 의해 가중치가 갱신되며, 0.6의 모멘텀항과 l2 가중치 규제
  • 초기 학습률은 5 × 10^−2이며, (30, 50, 60, 70, 80) epoch 후에 0.5의 배율로 계속 감소
• 분류기의 완전 연결 계층은 Dropout을 0.5의 비율로 적용
• Layer 1~5를 Feature Extractor 라고 칭하며, AlexNet의 overlapped pooling대신 non-overlapped pooling

Feature Extractor

“OverFeat”

• 빠른 모델과 정확한 모델, 두 모델이 제공
• 정확한 모델은 빠른 모델에 비해 두배의 connection이 필요

Multi-Scale Classification

• multi scale을 입력받음으로써 이미지 내 존재하는 다양한 크기의 객체를 보다 쉽게 포착할 수 있다.

• cnn이 고정된 크기의 이미지를 입력받는 이유는 fc layer가 고정된 크기의 feature vector를 입력받기 때문 → overfeat 모델에서는 이 점을 고려하여 fc layer를 conv layer로 대체한다.

• 저자는 Convolutional Network를 사용하게 되면 전체 이미지를 각 위치 및 다양한 스케일에서 dense하게 탐색할 수 있다고 언급 → 효율력이 좋아지면서 견고

• 만약, CNN에서 subsampling ratio가 높아지면 객체와 feature map 사이의 정렬이 안맞기에 성능이 떨어진다고 언급

  → “Fast image scaning with max-pooling convolutional neural networks”의 논문과 유사한 방법으로 접근하여 해결

  

![](https://velog.velcdn.com/images/ji_pooh/post/b5e05983-b672-468c-9d04-194509f6c9b8/image.png)


- pooling을 실시할 때 offset {0,1,2}의 조합으로 총 9개의 output map을 만든다.

Results

• 많은 scale을 사용한 접근방식이 단일 스케일 모델보다 상위 오류율을 가지는 것을 볼 수 있다.

• overfeat 모델이 7개의 convnet 모델이 보팅에 의해서 13.6%의 error를 달성

ConvNets and Sliding Window Efficiency

• 다른 슬라이딩 접근 방식과는 달리 본 논문의 ConvNet은 전체 파이프라인을 한번에 계산하는 것이 아닌, 겹치는 영역에서 공통적으로 사용되는 연산을 공유하기에 convnet에서 효율적이다.
• 각 레이어의 출력이 새로운 이미지의 크기를 커버하도록 확장되며, 최종적으로 각 윈도우마다 공간위치가 있는 출력 클래스 예측 맵을 생성

Localization

본 논문에서는 분류기 레이어를 회귀 레이어로 대체하고, 각 공간 위치와 스케일에서 b-box를 예측하도록 훈련

Generating Predictions

• 객체 b-box를 예측 생성하기 위해 분류기와 회귀 네트워크를 모든 위치와 스케일에 걸쳐 동시에 실행
• 동일한 특징 추출 레이어를 공유하기 때문에 분류 네트워크 후에는 최종 회귀 레이어만 계산
• 각 위치의 클래스 c에 대한 최종 softmax layer의 출력은 해당 field에 클래스 c의 객체가 존재할 확률에 대한 신뢰도 점수

Regressor Training

• 회귀 네트워크는 layer 5의 풀링된 feature map을 입력으로 사용
  • 크기가 각각 4096과 1024인 fully connected hidden layer를 가짐
• 최종 출력 layer는 b-box의 가장자리 좌표를 지정하는 4개의 유닛을 가짐 ⇒ spatial output의 channel 수는 4*C

Combining Predictions (Greedy Merge Strategy)

• Overfeat는 객체 탐지시 각기 다른 6개의 scale에 대하여 굉장히 많은 예측된 b-box를 가짐.
• 논문의 저자가 정의한 offset조합에 의하여 예측 b-box수가 9배 더 증가

⇒ “ Greedy Merge Strategy”

1) $C_s$ 에 해당 scale의 spatial output에 대하여 각 pixel에서 가장 높은 confidence score를 가지는 class를 해당 location에 할당

2) $B_s$ 에 해당 scale의 spatial output에 bounding box 좌표를 할당

3) $B$에 모든 $B_s$를 할당합니다.

4) 결과가 산출되기 전까지 아래의 병합 과정을 반복합니다.

• $B$에서 $b1,b2$ 를 뽑아서 matchScore 적용 후 가장 작은 $b1,b2$ 를 $b1,b2$ 에 할당

• 만약 matchScore($b$1, $b$2 ) > t 이면 멈춤

• 그렇지 않으면 $B$ 에 $boxMerge(b1,b2)$ 를 $b1,b2$  대신에 넣음

• $matchScore$ : 두 바운딩박스 중심좌표 사이의 거리의 합과 IoU를 사용하여 측정

• $boxMerge$ : bounding box좌표의 평균 계산

• 위의 과정을 거쳐 병합된 바운딩 박스 중에서 confidence score가 높은 Box를 최종 예측으로 출력

• 본 논문은 PASCAL VOC에서 CNN을 활용한 Object Detection 성능을 극적으로 향상시킨 최초의 논문
• 본 논문의 초점 2가지
  • Deep Network을 활용한 객체 Localizing → 영역 제안에 cnn을 적용
  • 매우 적은 양의 주석이 달린 detected data로 높은 수용량을 가지는 model training → pretraining + fine-tuning

[본 논문의 주요 목표]

네트워크 구조가 이미지에서 시계열 데이터를 인식하도록 특별히 설계된 새로운 신경망 모델 ⇒ Region proposals + CNN ⇒ R-CNN

[Deep Network를 활용한 Localizing Object]

Object detection은 이미지 내의 객체를 localizing 하는 것이 필요하다.

CNN localization 문제를 “recognition using regions”로 해결

• Region Proposal : 이미지 안에서 객체가 있을 만한 후보 영역을 먼저 찾아주는 방법

  ⇒ 후보 영역을 바탕으로 객체 찾기 (ex. 선택적 탐색 … )

2. Object Detection with R-CNN

2.1 Module Design

[R-CNN 프로세스를 위한 세가지 모듈]

1. Region proposal

   • Object 영역의 후보를 찾는 모듈 (기존 Sliding window 방식의 비효율성 극복)
   • selective search 사용

2. Feature Extraction (CNN)

   • cnn의 입력 크기가 고정되어있지 않기 때문에 warp작업을 통해서 동일 input size를 만든다 ⇒ output 크기 고정

     

   • 각각의 영역으로부터 고정된 크기의 Feature Vector 추출

2.2 Test-time Detection

[R-CNN의 프로세스]

(1) 이미지를 입력받는다.

(2) input image에 대해 region proposals를 약 2000개 추출

(3) 추출한 regional proposals를 모두 동일한 사이즈로 만들어주기 위하여 warp

(4)warped image에 cnn을 적용하여 일정한 길이를 가진 feature vector를 추출

(3) 선형 SVM을 이용하여서 각 region을 카테고리별로 분류

2.3 Training

1. Supervised pre-training.

   • large auxiliary dataset ILSVRC에 pre-trained CNN 이용

2. Domain-specific Fine-Tuning

   • Domain-specific한 모델을 위하여 warped region proposals만을 이용하여 SGD를 사용해서 CNN 파라미터를 훈련(AlexNet)
   • classification layer 개수 = N(Object Class 개수) + 1(Background)
   • Mini-Batch = 128을 구성하기 위해 SGD iteration 마다, 모든 class의 positive sample 32개, 그리고 96개의 background(negative sample)를 사용한다.

3. Object category classifiers

   • positive / negative를 나누는 threshold를 정해는 것은 매우 중요하다. threshold에 따라 mAP가 증가하기도 감소하기도 한다.

     [Threshold 선정 방식]

   • Positive Sample : 각 class별 object의 ground-truth bounding boxes

   • Negative Sample : 각 class별 object의 ground-truth와 IoU가 0.3 미만인 region

2.4 Results on PASCAL VOC 2010-12

Table 1을 보면 R-CNN이 다른 방법들 보다 좋은 성능을 보이는 것을 확인할 수 있다. BB(Bounding Box regression)을 이용할 때, 성능이 더 올라감을 알 수 있다.

2.5 Results on ILSVRC2013 detection

PASCAL VOC에서 보다 분류해야 할 class가 더 많아서 mAP는 낮지만 다른 방법론들에 비해 R-CNN이 성능이 우수함.

3. Visualization, ablation, and modes of error

3.1 Visualizing learned features

region proposals에 대한 unit activation 계산 → activation내림차순 정렬 → non-maximum suppression 수행 → 고득점 region 표시

• 각 layer마다의 unit들에 대해 어떻게 학습하는지 볼 수 있음
• 네트워크는 모양, 질감, 색, 물성의 분산 표현에 영향을 받음

3.2 Ablation studies

[Performance layer-by-layer, without fine-tuning]

1~3줄을 보면 fc7이 fc6보다 성능이 낮음 → mAP가 줄어들지 않더라도 CNN의 파라미터를 줄일 수 있음

[Performance layer-by-layer, with fine-tuning]

4~6줄을 보면 도메인별 학습을 한 후에 개선이 된다는 점을 볼 수 있음

3.3 Network architectures

O-Net을 이용한 R-CNN이 T-Net을 이용한 R-CNN의 성능보다 좋음을 볼 수 있음

3.4 Detection error analysis

• background나 object classes에 대한 confusion보다는 Loc으로 나타나는 poor localization이 errors의 주요 원인임

• object의 특징들인 occlusion (occ), truncation (trn), bounding-box area (size), aspect ratio (asp), viewpoint (view), part visibility (part)의 문제가 있을때의 성능
• 이전의 방법론인 DPM 보다는 R-CNN이 더 나은 것을 볼 수 있고, finetuning, bounding-box regression을 활용했을 때 더 좋은 성능을 보인다.

3.5 Bounding-box regression

• DPM에서 사용한 bounding box regression 방식을 도입
• Bounding-box regression : localization 오류를 줄이기 위한 간단한 방법
  • 선택적 탐색으로 추출한 후보 영역 경계 박스를 실제 경계박스와 일치하도록 회귀 모델을 만들어 훈련
• Bounding-box : P
• Gounding-truth bounding box : G

• w∗ 는 각 함수 d∗(P)에 대한 ridge regression를 통해 학습되어지는 가중치 계수

• t : regression target