논문명: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks 학회(출판연도): NeurIPS 2020 연구분야: NLP, Retrieval-Augmented Generation (RAG), Information Retrieval, Knowledge-Intensive NLP

발표자료: https://canva.link/uqltbnklfi451am

논문명: DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning 학회(출판연도): arXiv, Nature (2025) 연구분야: LLM, Reasoning, Reinforcement Learning, Chain-of-Thought, Large Language Models

발표 자료: https://canva.link/5illk8xhlgr7kh4

논문명: SimCSE: Simple Contrastive Learning of Sentence Embeddings 학회(출판연도): EMNLP 2021 연구분야: NLP, Sentence Embedding, Contrastive Learning, Representation Learning

Abstract

• SimCSE(Simple Contrastive Sentence Embedding)이라는 새로운 문장 임베딩 학습 방법 제안

  • 당시 최고 수준의 Sentence Embedding 성능을 크게 향상 시킴

• 비지도 학습

  • 입력 문장을 받아서 대조학습 목적 함수 안에서 자기 자신을 예측하고 일반적인 Dropout만을 노이즈로 사용함

    ⇒ 이 방법은 기존의 지도학습 기반 방법들과 동등한 성능을 보임!!

• 본 연구에서 Dropout이 최소한의 데이터 증강 역할을 하고, 이를 제거하면 표현이 붕괴되는 현상이 발생된다는 것을 발견함

• NLI(자연어 추론) 데이터세트의 라벨이 달린 문장쌍을 활용한 지도학습 버전도 제안

  • Entailment쌍 → Positive Pair
  • Contradiction쌍 → Hard Negative pair로 사용

• SimCSE를 표준 의미적 유사도(STS) 과제에서 평가하였고, BERT-base를 사용한 비지도 모델과 지도 모델은 각각 평균 76.3%와 81.6%의 Spearman 상관계수 달성

  ⇒ Contrastive Learning은 BERT 임베딩 공간이 특정 방향으로 몰려 있는 비등방성 문제를 완화하여 임베딩을 더 균등하게 분포시키고, 지도학습에서는 의미가 같은 문장들을 더욱 가깝게 하여 배치한다는 사실도 확인함

1. Introduction

• 범용적인 문장 임베딩(universal sentence embedding)을 학습하는 것은 자연어 처리에 있어서 핵심 연구 주제이고, 지금까지 많은 연구가 이루어져 왔음

  → 본 논문에서는 BERT나 RoBERTa와 Contrastive Learning(대조학습)을 결합하면 Sentence Embedding 성능을 크게 향상시킬 수 있음을 보여줌

  • 또한, 이 방법은 비지도, 지도 데이터 모두에서 사용할 수 있고 두 경우 모두 뛰어는 Sentence Embedding을 학습할 수 있는 프레임워크임

Unsupervised SimCSE

• Dropout만을 노이즈로 사용하여 입력 문장 자기 자신을 예측함

  • 즉, 같은 문장을 2번 입력하고, Dropout도 2번 적용하여 서로 다른 임베딩을 얻고 이 차이만 이용해서 대조학습을 수행한다는 것

    → Positive Pair로 사용

  • 그리고 같은 미니배치 안의 문장들은 Negative로 사용하여, 여러 Negative 중에서 Positive를 맞추도록 학습

• 이 방법은 단순해보이지만, 다음 문장 예측, 단어 삭제, 단어 교체와 같은 기존 학습 방법보다 큰 폭으로 더 좋은 성능을 보이고, 심지어 기존 지도학습과 맞먹는 성능을 냄

  • Dropout이 hidden Representation에 대한 최소한의 데이터 증강 역할을 하고, 이를 제거하면 모든 문장이 비슷해지는 Representation Collapse가 발생함을 확인

Supervised SimCSE

• 최근 Sentence Embedding에서 성공적으로 사용된 NLI 데이터세트를 기반으로 라벨이 있는 문장쌍을 대조학습에 포함시킴
  • 기존 연구들은 Entailment, Neutral, Contradiction 3개의 클래스를 분류하는 문제로 다루었음 ↔ 본 연구는 Entailment Pair가 Positive Sample로 사용될 수 있음을 활용함
    • 또한, 대응되는 Contradiction Pair를 Hard Negative로 추가하면 성능이 더욱 향상됨을 발견

또한, 우리는 SimCSE가 왜 뛰어난 성능을 보이는지 확인하기 위해 Wang&Isola가 제안한 평가 기준을 차용함.

→ 의미적으로 연결되어 있는 ① Positive Pair가 얼마나 잘 모여있는지(Alignment)와 ② 전체 임베딩 공간이 얼마나 균등하게 퍼져 있는지(Uniformity)를 함께 측정하여 임베딩 품질을 평가함

⇒ [분석 결과]

• NLI 학습 신호는 Positive Pair 사이의 Alignment를 더욱 향상시키고, 더 좋은 Sentence Embedding을 생성한다는 것을 보여줌
• 사전학습된 Word Embedding이 비등방성(Anisotropy)문제를 겪는다는 최근 연구와 연결하여 스펙트럼 관점에서 대조학습 목적함수가
  • Sentence Embedding 공간의 Singular Value Distribution을 평탄하게 만들고,
  • 그 결과 Uniformity를 향상시킨다는 것을 증명함

⇒ SimCSE를 7개의 표준 STS 과제와 7개의 Transfer Task에서 종합적으로 평가함 — 기존 성능보다 각각 4.2%, 2.2% 향상

2. Background: Contrastive Learning

• 대조학습은 의미적으로 가까운 이웃은 서로 가깝게 끌어당기고, 가깝지 않은 데이터는 서로 멀어지게끔 학습하는 방법

  • $D={(x_i, x_i^+)}_{i=1}^{m}$ 라는 문장쌍 집합이 있다고 가정
    • 여기서 $x_i, x_i^+$는 의미적으로 관련된 데이터(Positive Pair)

• Chen et al.(2020)의 대조학습 프레임워크를 따랐고, 미니배치 안의 Negative Sample을 사용하는 Cross Entropy 목적 함수 사용

  • $h_i, h_i^+$를 각각 $x_i$와 $x_i^+$의 표현이라고 하자.

    → 즉, $h_i, h_i^+$는 각각 Anchor와 positive의 임베딩 벡터임. 이를 통해 Contrastive Loss를 계산함

  • N개의 쌍으로 이루어진 미니배치에서 $(x_i, x_i^+)$의 학습 목적함수

    $\ell_i=-\log\frac{\exp(\operatorname{sim}(h_i,h_i^+)/\tau)}{\sum_{j=1}^{N}\exp(\operatorname{sim}(h_i,h_j^+)/\tau)}$

    → Anchor가 자기 positive를 맞추도록 하는 Loss

    • τ : Temperature Hyperparameter(민감도 조절)

      → Similarity를 얼마나 강조할지를 결정

    • $\operatorname{sim}(h_i,h_i^+)$: 두 벡터 사이의 코사인 시밀러리티

• 본 연구에서는 BERT와 RoBERTa와 같은 사전학습 언어모델을 통해 $h = f_{\theta}(x)$로 인코딩하고, Contrastive Learning Loss(Eq.1)를 이용해서 모든 파라미터를 파인튜닝함

Positive instances

• 대조학습에서 가장 중요한 문제 중 하나는 Positive pair를 어떻게 만드는가임
  • 이미지: 같은 이미지에 crop, flip, 왜곡, 회전 등의 랜덤 변환을 적용하여 만듦
  • 언어: word deletion, word reordering, word substitution 같은 데이터 증강 기법을 적용
• 그러나 NLP에서 데이터 증강은 언어의 이산적인 특성때문에 본질적으로 어려움
  • 3장에서 말하겠지만, Hidden representation에 표준 Dropout만 적용하는 것이 이런 이산적인 Operator보다 더 좋은 성능을 냄
• NLP에서도 유사한 대조학습은 다양한 문제에서 연구되어 옴
  • 기존엔 질문-문서(QA)처럼 이미 짝이 정해진 데이터세트를 Positive pair로 사용했었음
    • Question과 Passage처럼 입력의 성격이 다르므로 각각을 처리하기 위해 2개의 인코더를 사용하는 듀얼 인코더 구조를 사용함

Alignment and uniformity

• 기존) Loss가 작으면 좋은 모델

  ↔ 좋은 임베딩은 Alignment와 Uniformity를 동시에 만족해야함

  • Alignment: 의미가 같은 데이터는 서로 가까워야함
  • Uniformity: 전체 임베딩은 공간 전체에 고르게 퍼져 있어야 함

• Positive Pair의 분포는 $p_{pos}$가 주어졌을 때, Alignment는 짝지어진 데이터들의 임베딩 사이의 기대 거리를 계산함

  • 단, 임베딩은 이미 정규화되어 있다고 가정

    $L_{\mathrm{align}}=\mathbb{E}_{(x,x^+)\sim p{\mathrm{pos}}}\left[|f(x)-f(x^+)|^2\right]$

    • $f(x)$: 문장을 Encoder(BERT)에 넣어서 얻은 embedding

    • $f(x^+)$: positive pair의 embedding

    • $|f(x)-f(x^+)|^2$: 두 임베딩 사이의 거리

      → 거리가 작을수록 좋음

→ 즉 결국은 alignment는 positive pair 거리의 평균

• 반면, Uniformity는 Embedding이 얼마나 균일하게 분포하는지를 측정함

  • 즉, 임베딩이 특정 방향으로 몰리지 않고 공간 전체에 얼마나 고르게 퍼져 있는지를 측정하는 지표임

    $L_{\mathrm{uniform}}=\log\mathbb{E}e^{-2|f(x)-f(y)|^2}$

    → 모든 데이터 쌍의 거리를 이용하여 Embedding이 얼마나 균등하게 퍼져있는지를 계산

    ** 여기서 주의해야할 것은 positive pair가 아니라 아무 문장이나 2개를 뽑아서 랜덤한 문장을 비교하는 것 ⇒ Uniformity는 전체 공간의 분포를 보기 때문

3. Unsupervised SimCSE

• 비지도 SimCSE의 아이디어는 매우 단순함

  • 문장 집합 ${x_i}_{i=1}^{m}$를 가지고 positive pair를 $x_i^+ = x_i$ 로 사용

    • Anchor : 오늘 날씨가 좋다

    • Positive : 오늘 날씨가 좋다.

      ⇒ 즉, 기존 대조학습에서 positive pair를 만들기 위해 crop, rotation, word deletion 같은 증강이 필요했음

      벗뜨, SimCSE는 ‘그냥 같은 문장 쓰자’ 라는 아이디어

  • 이걸 positive pair처럼 작동하기 위해서는 $x_i$와 $x_i^+$에 대해 서로 독립적으로 샘플링된 Dropout Mask를 사용

    $\ell_i = - \log \frac{ e^{\operatorname{sim}(h_i^z,h_i^{z'})/\tau} }{ \sum_{j=1}^{N} e^{\operatorname{sim}(h_i^z,h_j^{z'})/\tau} }$

• Transformer의 일반적인 학습에서 Dropout mask가

  • fully connected layer

  • attention probability 모두가 적용됨

  • 기본 dropout 확률은 0.1

    $h_i^z = f_{\theta}(x_i, z)$

    • $z$: Transformer의 기본 Dropout Mask (추가적인 Dropout은 x)

Dropout noise as data augmentation

• dropout을 본 논문에서는 가장 작은 형태의 data augmentation이라고 해석함
  • 문장은 전혀 바뀌지 않고, embedding만 약간 달라짐
• STS-B Development Set에서 이 방법을 다른 학습 방법으로 비교

• Crop, Word Deletion, Word Replacement 같은 일반적인 데이터 증강을 비교함

  • $h=f_\theta(g(x),z)$
    • $g$는 입력 문장에 적용되는 랜덤한 이산 연산을 의미함

• 실험결과, 단어 하나만 삭제하는 간단한 증강조차 성능을 떨어뜨렸고, 모든 텍스트 증강 기법보다 Dropout만 사용하는 SimCSE가 더 좋은 성능을 보였음

  

• 또한, 저자들은 SimCSE의 학습 방식(self-prediction)이 기존의 Next Sentence Prediction기반 대조학습보다 좋은지 확인하기 위해 비교 실험을 수행함
  • +) Encoder를 하나만 사용할 때와 두 개를 사용할 때도 같이 비교 진행
• SimCSE는 Next-Sentence 목적 함수보다 훨씬 좋은 성능을 보였음
  • 즉, 본 연구의 방법에서는 2개의 인코더보다 한 개의 인코더를 사용하는 것이 더 효과적임

Why does it work?

• 비지도 SimCSE에서 Dropout Noise역할의 중요성을 확인하기 위해 다양한 확률로 바꾸어 실험 진행 → p=0.1(기본값)이 가장 좋은 성능을 보였음
• 특히, ① Dropout을 완전히 제거한 경우 ② Dropout은 사용하지만 두 문장에 동일한 Dropout Mask를 적용한 경우(Fixed 0.1) 두 경우는 성능이 크게 감소
  • positive pair의 embedding이 완전히 동일해졌고, 그 결과 성능이 크게 감소했기 때문

• 학습과정에서 10 step마다 모델의 Checkpoint를 저장하고, Figure2 에서 Alignment와 Uniformity를 시각화함
  • 또한, “delete one word” 데이터 증강 모델도 함께 비교함
• pre-trained checkpoint에서 시작한 모든 모델은 uniformity를 크게 향상시킴
  • 즉, BERT에서 시작한 모든 모델은 대조학습을 하면서 임베딩이 더 균등하게 퍼짐
• dropout을 하지 않거나 Fixed 0.1 모델의 경우에는 Alignment가 크게 악화됨
  • 하지만 unsupervised SimCSE는 Dropout Noise 덕분에 Alignment를 안정적으로 유지함
• 또한, 사전학습된 모델로 시작하는 게 좋은게, 초기에 좋은 Alignment를 제공하기 때문
• Delete one word의 경우 Alignment를 향상시키긴 하지만, Uniformity는 조금만 향상됨

4. Supervised SimCSE

• 3절에서 Dropout Noise를 추가하는 것이 Positive pair$(x,x^+)$의 좋은 Alignmnet(적절히 가깝게 유지)를 유지할 수 있음을 확인할 수 있었음

  • 이번 절에서는 지도학습 데이터세트를 활용해서 Alignment를 더 개선해보겠다.

• 기존 연구에서는 지도학습 NLI데이터세트가 Sentence Embedding 학습에 효과적임을 보여주었음

  • Entailment (의미적으로 참)

  • Neutral (애매함)

  • Contradiction (모순)

    중 무엇인지 예측하도록 구성되어 있음

• 본 연구에서는 NLI를 분류 문제가 아니라 NLI 지도 데이터세트에서 Positive Pair를 사용하여 대조학습을 수행함

  ⇒ 즉, 분류 문제가 아니라 임베딩 학습

Choices of labeled data

• 지도학습 데이터세트라고 해서 모두 좋은 게 아니기 때문에, 어떤 데이터세트가 대조학습에 가장 적합한지를 비교 실험을 수행함
  • QQP: Quora question pairs — 같은 질문인지 아닌지 판별하는 데이터세트
  • Flickr 30k: 같은 사진을 설명하는 두 문장은 같은 의미를 담고 있으므로 positive pair로 사용
  • ParaNMT: 대규모 Back-Translation 기반 Paraphrase 데이터세트
  • NLI — SNLI, MNLI

• 동일한 대조학습 구조를 유지하고 데이터세트만 바꿔가며 성능 비교 진행
  • 학습 pair 수도 동일하게 맞췄음
• 모든 선택지 중에서 NLI (SNLI + MNLI)의 Entailment pair가 가장 좋은 성능을 보였음
  • NLI 데이터세트는 crowdsourcing 문장쌍으로 이루져 있고,
  • annotator들도 premise 기반으로 hypothesis를 직접 작성하기 때문에 두 문장은 Lexical Overlap이 적음

Contradiction as hard negatives

• NLI 데이터세트의 장점을 Entailment pair만 사용하는 것에 끝나는 게 아니라, contradiction pair를 hard negative로 사용하면서 더욱 활용함
  • 기존의 대조학습에서는 Anchor → positive → 같은 의미, Negative는 아무 문장임 — 이건 너무 쉽
  • 근데, contradiction pair에서는 “A dog is running” → “No Animal is moving” 처럼 비슷한 단어는 많지만 의미는 정반대인 hard negative를 활용함
• NLI 데이터세트의 경우에는 하나의 premise가 주어지면, Annotator는
  • 반드시 참인 문장(Entailment)
  • 참일 수도 있는 문장(Neutral)
  • 반드시 거짓인 문장(Contradiction)을 작성해야함
• 따라서, positive pair가 있으면 같은 premise에 대응하는 hard negative도 자동으로 존재함!
  • 그래서 $(x_i, x_i^+)$ → $(x_i, x_i^+, x_i^-)$로 확장함

$-\log \frac{ e^{\operatorname{sim}(h_i,h_i^+)/\tau} }{ \sum_{j=1}^{N} \left( e^{\operatorname{sim}(h_i,h_j^+)/\tau} + e^{\operatorname{sim}(h_i,h_j^-)/\tau} \right) }$

⇒ positive similarity는 크게 만들고, hard negative similarity는 작게 만듦

5. Connection to Anisotropy

• 기존의 BERT 같은 모델의 임베딩은 벡터 공간 전체에 퍼져있는 게 아니라 한 방향으로 몰려 있는 경향(Anisotropy)가 있음

  • 그래서 서로 다른 문장이 비슷한 벡터를 가지게 되어서 문장들을 잘 구분하지 못하는 문제가 존재함

• 그런데 이런 임베딩 행렬을 SVD로 분해해보면, 몇 개의 축(방향)만 매우 강하고 나머지 방향은 거의 사용되지 않음

  ✓ SVD 관련 내용

    https://darkpgmr.tistory.com/106

  • 즉 첫번째 방향만 거의 모든 정보를 가지고 있어서 임베딩은 그 쪽으로 몰리게 됨 = Anisotropy

    ⇒ 이 문제를 완화하는 간단한 방법은 후처리

  • 가장 큰 주성분을 제거하거나

  • 임베딩을 Isotropic Distribution으로 변환하는 것

    ✓ Isotropic Distribution

    • Iso = 같은(equal)

    • tropic = 방향(direction)

      ⇒ 즉, 모든 방향이 동일한 성질을 가진다.

    • 벡터 공간에서 임베딩들이 특정 방향에 몰리지 않고, 모든 방향으로 고르게 퍼져 있는 상태

• 대조학습은 Negative Instance를 서로 멀어지게 만들어서, 임베딩들이 공간 전체에 퍼질 수 있게 함

  • SVD(특이값 분해)를 이용하여 대조학습이 몇 개의 방향에만 집중된 임베딩을 여러 방향으로 고르게 사용

• Negative가 매우 많다고 가정을 한다면, Contrastive Loss를 2개의 항으로 나누어 해석할 수 있음

  • 실제로 SimCSE는 미니 배치 안의 모든 문장을 Negative로 사용함

  • Batch가 충분히 크면, 이론적으로는 Negative가 무한히 많다고 볼 수 있고 그래서 loss를 깔끔하게 분해할 수 있음

    ✓ 수식 상세히 설명

    $\ell_i = - \log \frac{ e^{\operatorname{sim}(h_i^z,h_i^{z'})/\tau} }{ \sum_{j=1}^{N} e^{\operatorname{sim}(h_i^z,h_j^{z'})/\tau} }$

    • $h_i = f(x_i)$
    • $h_i^+ = f(x_i^+)$
    • sim = cosine similarity
    • $τ$ = temperature

      • ✓ 이 식이 의미하는 것은

      • Anchor: “A dog is running”
      • Positive: “A puppy is running”
      • 배치 안에 Negative1 Negative2 Negative3 Negative4 … 와 같이 있다면, 분자는 Positive와의 similarity를 의미함
      • 분모는 배치 안의 모든 후보들과 similarity

    그래서 이 식에서 Negative sample이 무한히 많다고 가정을 해보자.

    즉, Batch가 엄청 크다고 생각을 하는건데,

    그러면 합(sum)이 기댓값(expectation)으로 바뀌게 됨

    ⇒ 위의 Loss 수식을 두 부분으로 나눔 (eq.6)

    $-\frac{1}{\tau}E_{(x,x^+)}\left[f(x)^T f(x^+)\right]$ + $E_x\left[\log E_{x^-}e^{f(x)^T f(x^-)/\tau}\right]$

    • 이때 첫 번째 항은 Positive를 의미함
      • 정규화되어 있으므로 $f(x)^Tf(x^+) = \cos(\theta)$ → 즉, cosine similarity임!
      • Loss는 앞에 마이너스가 있으므로 Similarity를 최대한 크게 만들려고 함
        • 즉, Anchor → positive를 계속해서 붙이면서 Alignment를 담당하는 항
    • 두번째 항은 Negative를 의미하는데
      • 만약에 Negative Similarity가 크다면 ex. $e^{0.95/\tau}$도 매우 커지게 됨
      • 그러면 Loss가 엄청 커지게되고, loss를 줄이기 위해 similarity를 줄여야함. 즉, negative를 멀리 보내야함!

• 이때, $P_{data}$가 유한한 샘플 {$x_i$} 위에서 균등분포라고 하면, $h_i = f(x_i)$일 때, Jensen 부등식을 이용하여 더 간단한 형태로 유도할 수 있음

  • $E_{x\sim p_{\mathrm{data}}} \left[ \log E_{x^{-}\sim p_{\mathrm{data}}} \left[ e^{f(x)^T f(x^-)/\tau} \right] \right]$ $= \frac{1}{m} \sum_{i=1}^{m} \log \left( \frac{1}{m} \sum_{j=1}^{m} e^{h_i^T h_j/\tau} \right)$ $\ge \frac{1}{\tau m^2} \sum_{i=1}^{m} \sum_{j=1}^{m} h_i^T h_j$

• $W$를 문장 임베딩 행렬이라고 하면, $W$의 i번째 행은 $h_i$

  • 행: 하나의 문장 임베딩
  • 열: 임베딩의 각 차원

• eq6의 두번째 항을 최적화 하는 것(Negative를 멀리 보내는 것)은 본질적으로 $WW^T$의 모든 원소의 합의 상한을 최소화하는 것

  • 즉, $\operatorname{Sum}(WW^T)=\sum_i\sum_j h_i^T h_j$ → 모든 문장 임베딩기리의 내적의 총합을 줄이는 것과 동일하다.
  • 이 값이 작다는 건 서로 덜 비슷하다는 뜻이니까, 공간 전체로 잘 퍼져있다는 것을 의미함(uniformity가 좋아짐)

• 또한, $h_i$를 정규화해놨기때문에, $WW^T$의 대각 원소는 모두 1임 → 모든 고유값의 합은 상수!!

  • 이때 $WW^T$의 모든 원소가 양수이면 $Sum(WW^T)$은 가장 큰 고유값의 상한이 됨 → 즉, 모든 내적의 합을 줄이면 가장 큰 고유값도 함께 줄어듦

⇒ 임베딩 공간의 Singular Spectrum이 평평해짐(여러 방향으로 퍼짐)

⇒ 그래서 결과적으로 대조학습은 문장 임베딩의 Uniformity를 향상시킬 것으로 기대됨

6. Experiment

6.1 Evaluation Setup

• 7개의 Semantic Textual Similarity(STS) 과제에서 실험 수행
  • 비지도 학습 — STS 데이터는 오직 “평가”에만 사용했음
• 지도학습 SimSCE에서도 STS의 정답을 이용해 학습하는 것이 아닌 SNLI, MNLI 같은 별도의 레이블 데이터만 사용함
• 목적: 의미적으로 비슷한 의미의 문장을 가깝게 표시하는 것

Semantic Textual Similarity Tasks

• 7개의 STS 벤치마크를 사용했음 + 기존 논문들이 STS를 사용하더라도 평가방법이 조금씩 달랐어서 Sentence-BERT 논문의 평가방식으로 통일하여 진행함
  • Regressor 사용 여부
  • Spearman 상관 계수 or Pearson 상관계수 사용
  • 결과를 평균내는 방법

Training Details

• 사전학습된 BERT 또는 RoBERTa를 사용하고, [CLS] Representation을 Sentence Embedding으로 사용하였음

• 비지도 SimCSE는 영어 위키피디아 문장 100만개 학습했고,

  지도 SimCSE는 MNLI와 SNLI를 합친 31만 4천 개 데이터로 학습함

6.2 Main Results

• 비지도 SimCSE와 지도 SimCSE를 STS 과제에서 기존 최신 SOTA 문장 임베딩 방법들과 함께 비교했음
  • 비지도 baseline
    • 평균 GloVe Embedding
    • 평균 BERT 또는 RoBERTa Embedding
    • BERT-flow
    • BERT-whitening 등이 포함됨
• 그리고 대조 학습 기반의 최신 모델들도 함께 비교를 진행했음
  • IS-BERT 는 문장 전체 정보(global)과 일부 토큰 정보(local)사이를 비슷하게 만드는 방식
  • DeCLUTR 는 같은 문서의 다른 구간(span)을 postive pair로 사용
  • CT 는 2개의 서로 다른 인코더에서 나온 같은 문장의 임베딩을 정렬함
• 지도학습에서는 대표적인 문장 임베딩 모델들과 비교를 진행했음
  • InferSent, Universal Sentence Encoder, SBERT, SRoBERTa, 후처리(BERT-flow, Whitening, CT)를 적용한 방법까지

• 결과적으로 SimCSE는 추가적인 NLI Supervision의 유무와 관계없이 모든 데이터세트에서 성능을 크게 향상시켰고 기존의 SOTA를 크게 능가했음

6.3 Ablation Studies

• 또한 다양한 Pooling 방법과 Hard Negative가 미치는 영향을 조사했음

  ✓ NLP에서도 Pooling을 적용하나?

  • NLP에서도 Pooling은 매우 많이 사용됨. 다만, CNN에서 사용하는 Pooling과는 목적이 조금 다른 편

  • 그러면 NLP에서 Pooling이 왜 필요할까? → BERT를 예로 들자.

    • 문장이 “I love BOAZ”라면, 토큰화 이후에는 [CLS] I love BOAZ . 로, BERT를 통과하면 각 토큰마다 하나씩 벡터가 나오게 됨

      • [CLS] → 768차원

      • I → 768차원

      • love → 768차원

      • BOAZ → 768차원

      • . → 768차원

        ⇒ 즉 결과는 5 x 768

    • 그런데 문장 임베딩은 문장 하나 = 벡터 하나이어야함

      → 여러 개의 토큰 벡터를 하나의 벡터로 합치는 과정이 필요!!

  • 대표적인 Pooling 방법

    • CLS Pooling
      • [CLS] 벡터만 사용
      • BERT의 경우 [CLS] 가 문장 전체 정보를 담도록 학습되어 있기 때문에 많이 사용됨
    • Mean Pooling
      • 모든 토큰 평균 내는 방법
    • Max Pooling
      • 각 차원마다 가장 큰 값만 선택

  • CNN의 Pooling과는 어떻게 다를까?

  CNN Pooling	NLP Pooling
  Feature map 크기 감소	여러 토큰 벡터를 하나의 문장 벡터로 합침
  공간 정보 요약	문장 의미 요약
  MaxPool, AvgPool 사용	CLS, Mean, Max Pooling 사용

Pooling Methods

• 기존 연구에서 사전학습 모델의 평균 임베딩(특히 첫번째와 마지막 layer)을 사용하는 것이 [CLS] 보다 더 좋은 성능을 낸다고 보고함
  • [CLS] 표현의 경우에는 원래 BERT 구현에서는 바로 사용하는 게 아니라 MLP(Dense layer)를 한 번 더 거치게 됨
  • 본 논문에서는 이 MLP를 언제 사용할 지에 대해 3가지 방법을 비교했음

1. keeping the MLP layer

• 학습과 테스트 모두 CLS → MLP → Embedding

1. no MLP layer

• 학습과 테스트 모두 CLS → Embedding

1. keeping MLP during training but removing it at testing time

• 학습 중에는 MLP 유지, 테스트에서는 MLP 제거

  ✓ 왜 이렇게 하지?

  • MLP는 대조학습을 조금 더 쉽게 만들어주는 역할임

  • 하지만, 최종적인 문장 임베딩의 경우에는 MLP를 제거한 원래 CLS가 더 일반화가 잘됨

    → 그래서 학습할 때만 MLP를 사용

  비지도 SimCSE는 Train에 MLP를 쓰고, Test에서는 제거하는 것이 가장 좋았고, 지도 SimCSE에서는 Pooling 방법에 따른 차이가 크지 않았음

  기본 Pooling 설정은 비지도: Train에서만 MLP, 지도: 항상 MLP

Hard Negatives

• Hard Negative는 Anchor와 주제가 비슷하면서 의미가 반대이므로 어려움
  • 따라서 Eq.5의 목적 함수를 각 Negative에 서로 다른 가중치를 주도록 확장함

$-\log
    \frac{
    e^{\operatorname{sim}(h_i,h_i^+)/\tau}
    }{
    \sum_{j=1}^{N}
    \left(
    e^{\operatorname{sim}(h_i,h_j^+)/\tau}
    +
    \alpha^{\,l_j}_i
    e^{\operatorname{sim}(h_i,h_j^-)/\tau}
    \right)
    }$

   - 여기서 $\alpha$가 hard negative의 가중치임! → 다양한 $\alpha$값으로 변환시켜서 학습!!

→ 결과적으로 $\alpha$=1이 가장 좋은 성능을 보였고, Neutral Hypothesis는 추가적인 성능향상을 가져오진 못했음

7. Analysis

• 본 절에서는 SimCSE가 왜 효과적인지에 대해 다양한 분석을 진행함
  • 대조학습이 Uniformity를 높인다
  • NLI가 Alignment를 높인다 등을 실제 데이터에도 맞는지 확인

Uniformity and Alignment

• 여러 문장 임베딩 모델들이 Uniformity와 Alignment, 평균 STS 성능을 비교했음

  • 일반적으로 Alignment와 Uniformity가 모두 좋은 모델이 더 좋은 성능을 달성함

  • 사전학습 임베딩은 좋은 Alignment를 가지고 있긴 하지만, Uniformity는 좋지 않았음

    → 즉, BERT는 의미가 비슷한 문장들을 잘 모아주긴 하는데, 벡터 공간 전체에 고르게 퍼져 있진 않더라

  • BERT-flow와 BERT-whitening같은 후처리 방법은 Uniformity를 크게 향상시키긴 하느데, Alignment는 약화됨

  • 비지도 SimCSE는 사전학습 임베딩의 Uniformity를 효과적으로 향상시키면서 좋은 Alignment를 유지함

  • SimCSE에서 지도 데이터를 추가하면 Alignment가 더 향상되더라

Qualitative Comparison

• SBERTbase와 SimCSE-BERTbase를 사용하여 작은 규모의 검색 실험을 수행함
  • Flickr30k 데이터세트의 15만개 Caption을 사용하고,
  • 임의의 문장을 Query로 사용하여
  • 코사인시밀러리티 기반으로 유사문장을 검색함

• 실제 검색 결과를 비교해보니 SimCSE가 의미적으로 더 적절한 문장을 찾아옴

8. Related work

• 초기 문장 임베딩 연구는 주변 문장을 예측하는 방식에 기반했음
• 최근 연구들은 대조학습을 도입해서 데이터 증강이나 인코더를 활용하여 Positive pair를 만들었음
• SimCSE는 위 방법들보다 더 단순하게 Dropout Mask만 적용하여 positive pair를 만들었음에도 STS에서 SOTA 달성
• 기존의 문장 임베딩은 NLI 데이터를 활용했고 또 다른 연구들은 BERT-flow나 BERT-whitening처럼 Anisotropy를 완화하는 방향으로 발전
• SimCSE는 대조학습 자체로 Alignment와 Uniformity를 동시에 개선하여 두 흐름을 효과적으로 연결한 모델이라고 할 수 있음

9. Conclusion

• 본 연구에서는 SimCSE라는 대조학습 프레임 워크를 제안했고 STS과제에서 SOTA 달성
  • Dropout Noise를 사용하여 입력 문장 자기 자신을 예측하는 비지도 접근법과
  • NLI 데이터세트를 활용하는 지도 접근법을 제시함
• SimCSE와 다른 Baseline 모델의 Alignment와 Uniformity를 분석함으로써 왜 효과적인지도 설명했음
• 해당 아이디어는 문장 임베딩뿐만 아니라 다른 연속 벡터 표현에도 적용할 수 있고, 앞으로는 언어 모델의 사전학습 과정에도 활용될 가능성이 있음

논문명: Mixtral of Experts 학회(출판연도): arXiv (2024) 연구분야: Large Language Models (LLM), Mixture of Experts (MoE), Efficient AI

Abstract

• Mixtral 8x7B라는 Sparse Mixture of Experts(SMoE)기반 언어모델 제안

  • 여기서 중요한 키워드는 Sparse인데,
    • 기존의 Transformer는 입력 → FFN으로 모든 FFN을 항상 계산함
    • 하지만, SMoE는 입력 → Router → Expert1 Expert5 처럼 필요한 Expert만 선택해서 계산해서 계산량이 크게 줄어듦

• Mixtral은 기본적으로 Mistral 7B와 동일한 구조를 사용하지만, 각 Transformer layer의 FFN 대신 8개의 Feed Forward Network(Expert)를 둔 것이 차이점

  • 기존 Transformer layer
    • Attention → FFN
  • Mixtral Transformer layer
    • Attention → Expert1 Expert2 Expert3 Expert4 Expert5 Expert6 Expert7 Expert8

• 각 토큰이 각 layer를 통과할 때마다, Router가 8개의 Expert 중 2개를 선택하고 선택된 Expert의 출력을 합쳐서 다음 layer로 전달

  • 그래서 토큰마다 선택되는 Expert가 달라질 수 있음

    • “The” → Router → Expert2 Expert6
    • “cat” → Router → Expert1 Expert8

  • 각 토큰은 항상 2개의 Expert만 사용하지만, 어떤 Expert를 사용할지는 토큰마다 다름

    ⇒ 각 토큰은 전체 47B 파라미터를 활용할 수 있지만, 실제 추론 시에는 13B정도의 파라미터만 활성화되어 계산됨

    ✓ 왜 13B일까?

    • Mixtral은 Expert x 8이 있지만, Top-2만 계산함

      • 즉, 전체 파라미터는 47B이고 실제 계산은 Expert 2개 ≈ 13B

        ⇒ 큰 모델의 표현력과 작은 모델 수준의 계산량을 동시에 얻을 수 있음

• 또한 Mixtraldms 32,000토큰의 긴 문맥을 처리할 수 있도록 학습됨

• 대부분의 벤치마크에서 Llama2 70B와 GPT-3.5 이상의 성능을 보임

  • 특히, 수학, 코드생성, 다국어에서는 Llama 2 70B보다 훨씬 우수한 성능을 달성함

• instruction tuning을 수행한 Mixtral 8x7B-Instruct도 함께 공개

• 사람이 평가한 벤치마크에서는 GPT-3.5 Turbo, Claude 2.1, Gemini Pro, Llama 2 70B Chat 보다도 높은 평가를 받음

1. Introduction

• 본 논문에서는 Mixtral 8x7B 라는 Sparse Mixture of Experts(SMoE)기반의 오픈소스 언어모델을 소개함(Apaceh 2.0 라이선스)

  ✓ SMoE(Sparse Mixture of Experts)**

  • MoE(Mixture of Experts)
    • 여러 개의 작은 전문가 모델(Expert)를 만들고, 입력마다 적절한 전문가만 선택해서 사용하는 구조
    • 라우터가 “누가 이 입력을 처리할지”를 결정함
  • Sparse
    • 모든 Expert를 사용하지 않고 일부 Expert만 사용한다

  • 해당 모델은 대부분의 벤치마크에서 Llama 2 70B와 GPT-3.5를 능가함
  • 각 토큰마다 자신의 파라미터 중 일부만 사용하기 때문에 작은 배치에서 더 빠른 추론 속도, 큰 배치에서는 더 높은 처리량 제공

• Mixtral은 Sparse Mixture-of-Experts 네트워크

  • GPT랑 똑같이 Decoder-only Transformer 구조이고, FFN(Feedforward block)부분에서 8개의 Expert 중 필요한 것만 선택함

    ✓ Transformer란?

    • 현재 대부분의 LLM의 기반이 되는 모델로, 기본적인 구조로는 입력 문장 — Encoder(여러 층) — Encoder Output — Decoder(여러 층) — 출력 문장

      !image.png

    ✓ Encoder은 무슨 역할을 할까?

    • 입력 문장을 이해하는 것

    • 예를 들어, The cat sat on the mat. 이라는 문장이 들어오면, 인코더에서는 The → 벡터, cat → 벡터 처럼 단어를 숫자로 바꿈

      • 각 단어가 무엇을 의미하는지, 다른 단어와 어떤 관계인지 학습

        → 그래서 BERT, RoBERTa 같은 모델을 사용함

    ✓ Decoder은 무슨 역할을 할까?

    • 다음 단어를 생성하는 것
    • 예를 들어, 오늘 날씨가 가 입력되면, 디코더에서는 좋네요 를 예측함. 이후 좋네요 를 생성하고 다음 단어를 생성

    ✓ 그러면 왜 GPT는 Decoder만 사용할까?

    • 원래 트렌스포머는 Encoder → Decoder 구조 이지만, GPT의 경우에는 Decoder만 사용함

      • 왜냐하면, GPT의 목표는 “다음 단어 맞추기” 이기 때문

        • 입력을 별도로 압축해서 전달할 필요가 없기 때문에 인코더를 제거함

          → GPT, Llama, Mistral, Mixtral 모두 디코더 온리 모델

    • 디코더 layer 하나를 보면, input → self attention -FFN → output 구조인데 이 layer가 여러번 반복됨

      • self attention: 문장 안에서 어떤 단어가 중요한지를 찾는 과정
      • FFN: 작은 신경망(MLP)
        • 입력 → linear → activation → linear → 출력

    • Attention과 FFN의 차이?

      • attention은 단어들끼리 관계를 찾는 것을 의미
      • FFN은 attention이 만든 표현을 더 좋은 표현으로 변환하는 것
      • 그래서 attention은 정보를 모으는 역할, FFN은 정보를 가공하는 역할

    • Mixtral에서는 FFN 하나가 하던 일을 여러개의 FFN(Expert)로 나눔(각 Expert는 독립적인 FFN)

      • 전체 구조를 살펴보면,
        • self-attention(다른 토큰과의 관계) → Router(어떤 Expert를 사용할지) → Top-2 Expert(각 Expert는 하나의 FFN) → 선택된 두 Expert 출력 가중합 → 다음 Decoder layer

2. Architectural details

• Mixtral은 기본적으로 Mistral과 같은 Transformer 구조를 사용하지만 크게 아래 두가지가 다름

  • 긴 문맥(32K 토큰)을 처리할 수 있도록 개선
  • ⭐️ 기존 FFN을 MoE Layer로 교체

• 모델 구조 파라미터

  

2.1 Sparse Mixture of Experts

• MoE Layer

• 입력 $x$에 대한 MoE 모듈 출력은 Expert들의 출력을 가중합해서 계산되며, 그 가중치는 Gating Network(라우터) 출력으로 결정됨

  • $\sum_{i=0}^{N-1} G(x){i} \cdot E{i}(x)$
    • $E_{i}(x)$: Expert의 출력
    • $G(x)_{i}$: 라우터가 준 점수

• ⭐️ 만약, Gating Vector가 Sparce하다면, Gate가 0인 Expert는 계산하지 않아도 됨 → 연산량 크게 줄어듦

• $G(x)$를 구현하는 방법은 여러 가지가 있지만, 간단하면서도 성능이 좋은 방법은 Linear layer의 Logit에 대해 Top-K softmax를 사용하는 것

  • $G(x) = \operatorname{Softmax}\left(\operatorname{TopK}(x \cdot W_g)\right)$
    • $x$: 현재 입력 토큰의 벡터(이미 attention을 거친 표현)
    • $W_g$: Router가 학습하는 가중치. 즉, 어떤 입력이 어떤 Expert로 가야하는가?

• $(\operatorname{TopK}(\ell))_i$

  • $\ell_i$가 상위 K개의 Logit 중 하나라면 그대로 유지하고, 그렇지 않다면 -∞로 설정
    • 그렇다면 왜 하필 -∞이냐라고 하면, Softmax에 넣었을 때 $e^{-∞}$=0이기 때문
  • K는 토큰 1개당 사용하는 Expert의 개수이고, 각 토큰을 처리하는 계산량을 조절하는 하이퍼파라미터임

• Expert 개수(n)를 늘리고 K를 그대로 유지하면, 모델 파라미터 수는 증가하지만, 계산 비용은 거의 일정하게 유지됨

  • Expert가 아무리 늘어나봐야 어차피 K개 만큼만 계산하니까

    ⇒ 따라서 모델 전체 파라미터 수와 토큰 하나를 처리할 때 실제로 사용하는 파라미터 수는 구분할 필요가 있음

• MoE layer는 Expert가 여러개라서 느릴 것 같지만, 고성능 특수 커널(GPU에 특화된 연산 방식)을 사용하면, 단일 GPU에서도 효율적으로 실행 가능

  • MegaBlocks
    • MoE Layer의 FFN 연산을 큰 Sparse Matrix Multiplication으로 변환해서 실행 속도를 크게 향상시키고, Expert마다 서로 다른 개수의 토큰이 할당되는 경우도 자연스럽게 처리
  • 일반적인 Model Parallelism과 Expert Parallelism(EP)를 활용하여 여러 GPU에 분산하기도 함
    • Model Parallelism: 모델 자체를 여러 GPU에 나누어 넣는 것
    • Expert Parallelism(EP): layer가 아니라 Expert를 나눔

• MoE layer를 실행할때 특정 Expert가 처리해야하는 토큰은 해당 Expert가 있는 GPU로 전달되고, 처리가 끝난 후, 원래 위치로 반환

  • 그런데, Expert Parallelism은 Load Balancing 문제를 발생시킴

    → GPU마다 작업량이 균등하게 분배하지 않으면, 일부 GPU가 과부하되거나 병목 현상이 발생할 수 있기 때문

    • 이게 무슨소리냐하면,

          Expert1은 10개의 토큰, Expert2는 500개의 토큰을 담당하고 있다고 하자. 그러면 Expert2가 있는 GPU는 엄청 바쁘고, Expert1이 있는 GPU는 거의 놀고 있겠죠?

      → 때문에 각 Expert들을 비슷하게 분배해야함!!

      ✓ 이렇게 Expert가 균등하게 사용되면 전문성이 떨어지는 것은 아닐까?

      • MoE는 2가지 목표를 동시에 만족해야함

        • 각 토큰에 적합한 Expert를 선택해서 성능을 높인다

        • Expert 사용이 한쪽으로 쏠리지 않게 해서 계산 효율을 유지한다

          ⇒ 그래서 실제 학습에서는 Load Balancing Loss 를 추가하여 특정 Expert만 계속 선택되는 것을 막음

          그렇다고 모든 Expert를 동일한 빈도로 사용하는 것은 아니고, Specialization과 Balance 사이의 적절한 타협점을 찾는 것이 핵심!

• Transformer 모델에서 MoE layer는

  • 각 토큰마다 독립적으로 적용
    • 예를들어, “I love BOAZ” 라고 했을 때, I | love | BOAZ 이렇게 토큰이 나뉘어서 각 토큰마다 router를 실행한다는 것
    • 이때, 문장 전체가 Expert 하나 선택하는 게 아니라 토큰마다 서로 다른 Expert를 선택 → Sparse Routing
  • Transformer block의 Feed-Forward(FFN) 서브 블록을 대체함
    • Transformer에서 토큰마다 router를 실행해서 Expert를 선택하고, 기존의 FFN 대신에 MoE를 넣음

• Mixtral에서는 Expert 함수 $E_i(x)$로 SwiGLU구조를 사용하고, 여기서 K는 2를 선택함

  • 이때 Expert는 Linear → SwiGLU → Linear 구조를 가지고 있음 → 즉, FFN과 거의 동일한 구조 but 차이점은 이게 1개가 아니라 8개라는 점

    ✓ SwiGLU?

    

    • SwiGLU = Swish + GLU(Gated Linear Unit) 를 결합한 활성화 함수 구조

    • 먼저 Transformer의 FFN구조를 보면 일반적인 Transformer의 FFN은 보통 입력x → Linear 1 → Activation → Linear2 → 출력 와 같이 생김

      • $FFN(x) = W_2\sigma(W_1x)$
      • Linear: 입력 벡터를 다른 공간으로 변환함
        • 768차원 → 3072차원 처럼 차원을 키움 (더 많은 특징을 표현하기 위함)

    • GLU는 일반적인 FFN에 Gate를 한 추가하는 구조

      → 일반적은 FFN의 경우에는 모든 특징을 동일한 방식으로 처리하지만, GLU의 경우에는 입력을 2번 Linear하여 하나는 실제 정보, 다른 하나는 그 정보를 얼마나 사용할지 결정하는 Gate가 있음(즉, 중요한 특징만 getget!)

      • ⭐️ 왜 그냥 Attention만으로 안되는지 의문이 생길 수 있는데, Attention의 경우에는 토큰 간의 관계를 학습하고, GLU의 경우에는 그 feature마다 사용량을 조절함

  • ✓ 예시를 들어보자면,*

    • Attention

      • I love BOAZ라는 문장이 있다고 할 때, love의 경우 I와 BOAZ를 많이 참고함

        • GLU
        • love라는 벡터 안에는 수천 개의 feature가 존재하는데 그 GLU가 그 feature마다 사용량을 조절함

             → 벡터 내부 특징 조절

        

        • 입력이 두 갈래로 나뉨

          → $\operatorname{GLU}(x) = (W_1x) \odot \sigma(W_2x)$

          • $W_1x$: 정보부분 — 이 정보를 전달할까?
          • $\sigma(W_2x)$: Gate부분 — 얼마나 열어줄까?

        • Swish(SiLU)는 Google이 제안한 활성화함수

        • $\operatorname{Swish}(x)=x \cdot \operatorname{sigmoid}(x)$

        • 중요한 값을 통과시키고 중요하지 않은 값은 줄이는 부드러운 Gate 역할

        • ⭐️ 그렇다면, SwiGLU는?

        • GLU의 Gate부분의 sigmoid를 Swish로 수정

        • $\operatorname{SwiGLU}(x)=\operatorname{Swish}(W_1x)\odot(W_2x)$

          • Gate가 있는 활성화 함수 부분

        • $\operatorname{SwiGLU}(x) = W_2\left(\operatorname{Swish}(W_1x) \odot W_3x\right)$

          • FFN은 $W_2\sigma(W_1x)$ 구조이므로, 위와 같은 식이 논문에 적혀 있는 것
          • $W_1$은 첫번째 변환으로 $x → W_1x$ 를 진행한 후 Swish를 적용
          • $W_3$는 Gate 역할, GLU의 핵심이고 “얼마나 통과시킬지”를 결정함
          • $W_2$는 출력 projection으로 곱한 결과를 다시 원래 차원으로 돌리는 역할

    ✓ 왜 SwiGLU?

    • 기존의 FFN은 하나의 변환 → Activation → 출력 이었다면,
    • SwiGLU는 2개의 변환 → 하나는 정보, 하나는 조절 → 결합 구조이므로, “어떤 정보를 얼마나 사용할지”를 더 세밀하게 학습할 수 있음

    ✓ Mixtral에서 SwiGLU는 어디에 들어갈까?

    • Mixtral 구조

      • Token → Attention → Router → Expert 선택 → Expert FFN → 출력
        • 여기서 Expert = SwiGLU FFN임
        • 즉, Expert마다 Linear → SwiGLU → Linear 과 같은 구조

    • 그러면 SwiGLU와 MoE는 무슨 관계인지!

      • SwiGLU는 FFN 내부 구조 개선 목적 → FFN을 어떻게 더 잘 만들지

      • MoE는 FFN을 여러 개 만들고 선택 → FFN을 여러 개 두고 어떤 것을 사용할지

        ⇒ 즉, SwiGLU는 Swish 활성화 함수와 GLU의 Gate 구조를 결합한 FFN 구조로, 중요한 정보를 선택적으로 통과시키는 능력을 높이는 방식임. Mixtral에서는 각 Expert가 하나의 SwiGLU기반 FFN으로 구성되고, Router가 각 토큰마다 8개의 Expert 중 2개를 선택함

• 이 구조는 GShared와 유사한데, Mixtral의 경우

  • 모든 FFN을 MoE Layer로 바꾸었고, GShard는 한 층 건너 하나씩만 바꾸었음

  • 그리고 GShard는 토큰에 할당되는 두 번째 Expert를 선택할 때 더 복잡한 Gating 전략을 사용함

    → Mixtral이 Router 구조를 더 단순하게 만듦

3. Result

• Mixtral과 Llama와 비교했고, 공정하게 비교하기 위해 모든 벤치마크를 자체 평가 파이프라인으로 다시 실행함
• 또한, LLM의 경우 한 가지 능력만 좋으면 안되기 때문에 (상식, 독해, 수학, 코딩 등 모든 영역에서 잘해야함) 여러 벤치마크를 활용했음
  • Commonsense Reasoning
    • 모델이 사람이라면 당연히 아는 상식을 이해하는지 평가
  • World Knowledge
    • 모델이 세상에 대한 지식을 얼마나 많이 알고 있는지를 평가
  • Reading Comprehension
    • 긴 글을 읽고 질문에 답할 수 있는지 평가
  • Math
    • 수학 성능은 GSM8K(초중등수준) MATH 데이터세트로 평가함
  • Code
    • 코드 생성 능력을 HumanEval과 MBPP로 평가
      • HumanEval은 OpenAI가 만든 python 코드 생성 벤치마크
      • MBPP는 간단한 Python 문제 모음
  • Popular Aggregated Results
    • 여러 분야를 한꺼번에 평가하는 종합 실험임
      • MMLU(57개 과목 — 의학, 법학, 역사, 철학 등)
      • BBH(매우 어려운 추론 문제)
      • AGI Eval(LLM 종합 시험)

• Mixtral은 대부분 평가 지표에서 Llama 2 70B를 능가함
  • 특히, 코드 생성 과 수학 벤치마크에서 더 뛰어난 성능을 보였음

Size and Efficiency

• Llama 2 계열 모델과 성능을 비교해서 Mixtral이 비용 대비 성능 측면에서 얼마나 효율적인지 분석함 (→ 즉, 같은 계산량이면 누가 더 성능이 좋을지)
  • Sparse MoE 모델인 Mixtral은 모델 자체는 47B이지만, 토큰 하나를 처리할 때 13B Active 파라미터들만 사용
    • Expert가 8개이지만, K=2로 실제 계산량은 13B정도
  • 또한, 이 분석은 계산량만 비교한 것
    • 추론 비용에는 계산량, 메모리, GPU 활용률 3가지 가 있는데, 여기서는 계산량만!
• Mixtral은 13B만 계산하지만, GPU에는 47B를 올려야 하긴함
  • Router가 어떤 Expert를 선택할지 모르기 때문임
  • 그럼에도 Llama2의 70B보다는 메모리가 작긴함
• 장치 활용 측면에서는 SMoE Layer는 Routing과 여러 Expert 실행 때문에 추가적인 오버헤드(본래 목적 외 추가적으로 드는 비용)를 발생시킴
  • MoE는 Arithmetic Intensity가 높은 Batch 작업에 더 적합함(→ 토큰이 많을수록 더 효율적)

Comparison with Llama 2 70B and GPT-3.5

• 대표적인 대형 오픈소스 모델인 Llama2 70B와 대표적인 폐쇄형 모델 GPT-3.5와 비교 진행

  

• 결과를 보면, Mixtral이 70B Dense 모델과 GPT-3.5를 따라잡거나 넘어섰음을 볼 수 있음
  • MMLU에서 Mixtral이 훨씬 작은 용량임에도 더 높은 성능을 보였음
  • MT-Bench 에서는 당시 사용가능한 최신 GPT-3.5-turbo-1106 성능과 비교함

Evaluation Differences

• 같은 모델이라도 평가 방식이 조금만 달라져도 점수가 달라질 수 있음
  • 일부 벤치마크에서는 본 논문의 평가 프로토콜과 Llama2논문에서 사용한 프로토콜 사이에 차이가 있다
    • MBPP에서는 hand-verified된 부분집합(subset)을 사용했음
    • TriviaQA에서는 위키피디아 문서를 제공하지 않았음

3.1 Multilingual Benchmarks

• Mistral 7B와 비교하여 사전학습 과정에서 다국어(multilingual) 데이터의 비중을 크게 늘렸음
  • 보통은 다국어를 많이 학습하게 되면 영어 성능이 조금 떨어질 수도 있지만, Mixtral의 경우에는 영어도 잘하고, 프랑스어, 독일어 등등 모두 잘했음
    • 왜그런가하면, Dense 모델의 경우에는 FFN 하나만 가지고 있지만, Mixtral의 경우에는 Expertrk 8개이므로 모델 전체 파라미터가 늘어나서임!

3.2 Long Range Performance

• Mixtral이 긴 문맥을 처리하는 능력을 평가하기 위해 Passkey Retrieval 이라는 테스트를 진행함
  • 32K Context는 30,000~40,000 단어 정도를 한 번에 읽을 수 있다는 의미인데, 읽는다고 해서 다 기억하는 건 아님 → 즉, 기억력을 테스트해봐야함
  • Passkey Retrieval은 긴 프롬프트 안에서 무작위로 삽입된 Passkey를 모델이 찾아낼 수 있는지를 측정하기 위한 Synthetic task임

• Mixtral이 context의 길이나 passkey의 위치와 관계없이 100%정확도 달성(모두 초록색 1.0)

  • passkey가 앞에 있어도, 뒤에 있어도 항상 다 찾아냄!

• Proof-Pile 데이터세트의 일부에서 Context 크기가 증가할수록 Mixtral의 Perplexity가 단조적으로 감소함

  • 즉, 문맥을 더 많이 보여줄수록 더 정확하게 다음 단어를 예측했다는 의미임

    ✓ Perplexity?

    • LLM이 다음 단어를 얼마나 잘 맞추는지를 측정하는 지표임
    • 이는 작을 수록 좋은데,

    | PPL | 의미 |
    | --- | --- |
    | 100 | 매우 나쁨 |
    | 20 | 보통 |
    | 10 | 좋음 |
    | 5 | 매우 좋음 

3.3 Bias Benchmarks

• 파인튜닝하고 preference modeling을 통해 수정해야할 결함을 찾기 위해서 base 모델 성능을 BBQ와 BOLD 벤치마크에서 측정함

  • BBQ는 사람이 직접 작성한 질문들로 이루어진 데이터세트이고,

    사회적으로 확인된 편향을 9개의 범주(나이, 장애 여부, 성 정체성, 국적, 외모, 인종/민족, 종교, 사회 경제적 지위, 성적 지향)에 대해 평가함

  • BOLD는 5개의 영역에서 편향을 평가하기 위한 23,679개의 영어 생성 프롬프트로 구성된 대규모 데이터세트임

    → BBQ는 질문-답변 구조인데, BOLD는 문장을 생성함

• Mixtral과 Llama2를 Evaluation Framework를 사용하여 평가함

  • BBQ의 경우, 점수가 높을수록 더 공정한 답변을 함

  • BOLD는 ① 평균 감성 점수 ② 표준편차를 활용함

    • 평균 감성점수는 높을수록 긍정적인 문장 생성

    • 표준편차는 낮을수록 사람마다 비슷하게 대함

      → 예를 들어, 여성에 대해서는 항상 긍정적으로 말하고 남성에 대해서는 항상 부정적으로 말한다면 평균만 보면 판단하기 어려움. 때문에 그룹마다 얼마나 차이가 나는지도 측정함

• 결과적으로, Mixtral은 전체적으로 더 긍정적인 표현을 사용했고, 특정 집단만 특별히 다르게 대하지도 않았음

4. Instruction Fine-tuning

• Mixtral-Instruct는 한 번에 만들어진 건 아니고 총 2단계로 학습 진행

  • Instruction dataset를 사용하여 supervised fine-tuninig(SFT)을 수행한 후,

  • Paired Feedback Dataset을 사용하여 Direct Preference Optimization(DPO)을 적용하여 Mixtral-Instruct를 학습시킴

    ⇒ 사람이 작성한 좋은 예시를 따라 배우고(SFT), 그 다음에는 사람이 더 선호하는 답변을 선택하도록(DPO) 추가학습

• Mixtral-Instruct는 MT-Bench에서 8.30점을 기록햇고, 23년 12월 기준으로 가장 우수한 Open-Weights 모델이 됨

• LMSys라는 기관에서 평가를 진행했을 때, 다른 모델들보다 더 우수한 성능을 보였음

5. Routing analysis

• 본 절에서는 “Router가 도대체 어떤 기준으로 Expert를 고르는지”
  • 특히 학습과정에서 일부 Expert가 특정 도메인(ex. 수학, 생물학, 철학 등)에 전문화되었는지를 확인하고자 함
• The Pile Validation Dataset의 여러 하위 데이터세트에서 선택된 Expert의 분포를 측정함
  • 0층, 15층, 31층을 분석함
  • transformer에서는 layer가 깊어질수록 표현이 바뀜
    • layer0 → 거의 단어 자체
    • layer31 → 의미가 많이 반영된 표현

• ⭐️ 결과적으론, 주제에 따라 Expert가 할당되는 명확한 패턴을 관찰하지는 못함 ⭐️
  • 모든 Layer에서 ArXiv 논문, 생물학 문서, 철학 문서는 모두 비슷한 Expert분포를 보였음

⇒ ❓ 그러면 어디에 특화된거지?

• Expert분포는 DM Mathematics에서만 다르게 나타났음, 근데 차이가 그렇게 크진 않았음
• 수학이라서 생긴 차이라고 보진 않았고, 그냥 데이터세트가 인위적이라서로 판단
• Expert분포의 경우에는 첫 번째 layer와 마지막 layer에서 특히 차이가 두드러졌음
  • 이 layer들의 hidden state는 각각 입력 임베딩과 출력 임베딩이 매우 높은 상관 관계를 갖기 때문
    • layer0의 경우에는 거의 입력 단어 그 자체이고(DM Mathematics의 특이한 입력 구조가 그대로 반영됨)
    • layer 31의 경우에는 거의 출력 단어 직전 상태임(수학 토큰 같은 특수 출력이 반영됨) ⇒ 즉, 그 차이가 가장 잘 드러나는 위치가 맨 앞과 맨 뒤 층이라는 것 ⇒ 이는 Router가 일정한 구문적 행동을 보인다는 것을 시사함
• 수학인지, 철학인지를 보는게 아니라 문법(구문)을 보고 있다는 것!!

✓ 왜 이런 결과가 나왔을까?

• FFN은 문장을 이해하는 곳이라기보단, 각 토큰의 표현을 변환하는 곳임

• 도메인 정보의 경우에는 Attention에서 처리될 가능성이 존재함

• 즉, FFN(MoE)은 “이 토큰이 어떤 종류의 표현 반환을 필요로 하는가?”에 더 집중할 가능성이 있음

  • 식별자, 들여쓰기, 함수호출, 조사 및 관사 처럼 비슷한 구조를 가진 토큰은 서로 비슷한 변환이 필요할 수 있음
  • 때문에 router가 구문적 특징을 기준으로 Expert를 선택하는 것이 자연스러운 결과라고 볼 수 있음

• 좀 더 자세히 설명해보자면~

  • Transformer

    • 하나의 layer에서는 input → multi-head self-attention → feed forward network(FFN) → output

  • Mixtral

    • Attention → MoE(=여러 Expert FFN)으로 바뀜

      ⇒ 즉, Attention은 FFN만 Expert 여러 개로 바뀐 것

  • Attention은 토큰끼리의 관계를 보는 곳임 → 즉, 문맥, 의미, 토큰 간의 관계를 만드는 것이 어텐션

  • 반면, FFN은 토큰 하나를 독립적으로 변환하는 역할 → Attention이 끝나면 각 토큰은 이미 cat → "고양이 + 주변 문맥" 을 가지고 있음

    → FNN은 그래서 이 표현을 더 좋은 표현으로 바꾸는 역할을 함(벡터를 더 유용한 벡터로)

    • 입력이 self 라고 하면, Attention이후에는 “python 코드 안의 self” 라는 의미를 가지고 있는데, FFN은 이 벡터를 더 코드에 적합한 표현으로 변환하는 역할
      • self → python 변수 → 클래스의 인스턴스 변수

  • 그러면 왜 self를 항상 같은 Expert가 처리를 할까.

    • router가 “python 코드다!!” 를 본게 아니라 ”self라는 토큰은 항상 비슷한 표현 변환이 필요하네” 라고 학습했을 가능성이 있기 때문이다.

✓ 그런데, 논문을 보면 self, 들여쓰기 와 같은 토큰은 Expert로 가는데, dog나 biology처럼 의미를 담고 있는 단어들은 같은 Expert로 가지 않는다. 왜 그럴까?

• 일단 먼저, Router의 목표는 무엇일까?

  • 수학 → 수학 Expert라고 생각하지만, 실제로는 그렇지 않음

  • router은 도메인을 분류하는 모델이 아니다.

    ⇒ Router의 목표는 “이 ‘토큰’을 가장 잘 처리할 Expert가 누구인가”

  • 예를 들면, python 코드가 아래와 같이 있다고 하자.

    class Dog:

    def bark(self):
        print("멍")

    ⇒ Router는 문서전체를 보고 “이건 python이다.”라고 판단하지 않고, 대신 토큰 하나하나를 보는 편

    • class → 어떤 Expert?, def → 어떤 Expert? …

    • 이때 self 를 보면, 역할이 거의 동일함(”현재 객체 자신”) → 때문에 표현을 변환하는 방식도 비슷

      ⇒ 그래서 Router의 입장에서는 self → 항상 Expert3으로 보내는 것이 학습하기 쉬울 것

  • 반면, dog와 같이 의미가 담긴 토큰이라면, dog과 hotdog는 같은 dog가 들어가더라도 전혀 다른 의미를 가지고 있음 ⇒ 때문에 항상 같은 Expert로 보낼 이유가 없음!!

• 각 토큰은 자신이 선택된 Expert에 대응하는 배경색으로 표시되어 있음

  • 즉, Router가 실제로 어떤 토큰을 어떤 Expert로 보내는지에 대해 나와있음

  • python의 self, 영어의 Question 같은 단어가 여러 번 등장하더라도 같은 Expert로 라우팅됨을 보여줌

    • 이때, LLM은 단어(word)가 아닌 토큰(token)을 처리하는데, 이때 단어가 토크나이저에 의해 Quest/ion 처럼 2개 이상의 토큰으로 분리될 수도 있음에도 각 토큰들이 같은 Expert를 선택

  • 들여쓰기 토큰들도 항상 같은 Expert에 할당됨

  • 연속된 토큰들도 종종 같은 Expert에 할당됨을 확인할 수 있었음

    • 토큰 하나만 같은 Expert가 아니라 옆에 있는 토큰들까지도 같은 Expert로 가능 경우도 있었음

      ⇒ Positional Locality

      ✓ Positional Locality가 뭘까?

      • 결과적으로 옆에 있는 토큰들이 같은 Expert를 선택하는 경우가 많았다는 관찰 결과임

      • 본 논문에서는 왜 이런 현상이 나타났는지에 대해 나와있진 않고, 일반적인 연구자들의 해석은 어떻냐 하면!!

        • 문장이 I am glad to be a BOAZ member. 라고 하면, 토큰은 I am glad to be a BOAZ 가 됨

        • Attention을 거친 후에는 이 토큰들의 hidden state가 완전히 독립적이지 x

          • glad는 am도 보고 to 도 보고 be도 봄.

          • a 도 be 를 보고 있음

            ⇒ 즉, 연속된 토큰들은 비슷한 문맥을 공유함

          ⇒ 그래서 **hidden state가 비슷하면** 선택되는 Expert도 비슷해질 가능성이 높아짐

      ✓ Positional Locality가 모델 성능 관점에 있어서도 괜찮을까?

      • 같은 Expert만 사용하게 된다면 다양성이 떨어지면서 더 낮지 않을까 라는 생각을 했었음

        • 논문에서는 성능이 떨어진다는 증거는 없었음 오히려, 더 좋은 성능을 냄

          → 하지만, Router는 학습됨 즉, 성능이 떨어지면 역전파를 통해 Router의 가중체 $W_g$도 함께 수정됨

      • 시스템 측면에서는 장단점이 존재함

        • 같은 Expert를 계속 사용하면 GPU가 계속 같은 Expert를 실행하면됨
          • Expert3 → Expert3 → Expert3 이렇게 되면 메모리나 캐시를 재사용하기 쉬워서 추론이 빨라질 수 있음
        • 반면, Expert Parallelism에서는 문제가 될 수 있음
          • GPU마다 Expert 하나씩 있다고 할 때, 토큰 1000개가 모두 Expert3로만 가면 GPU3만 엄청 바빠지게 됨

6. Conclusion

• 본 논문에서는 Mixtral 8x7B를 소개했음
  • 오픈소스 모델 중 SOTA 성능을 달성한 최초의 Mixture-of-Experts 네트워크
  • 사람들이 평가한 벤치마크에서도 당시의 대표적인 상용 LLM보다 더 좋은 평가를 받았었음
• 또한, Mixtral은 매 시점마다 2개의 Expert만 사용하기 때문에 토큰당 13B의 Active Parmeters만 사용하면서도, 토큰당 70B파라미터를 사용하는 기존 최고 모델(Llama2 70B)보다 더 뛰어난 성능을 달성함

논문명: OpenVLA: An Open-Source Vision-Language-Action Model 학회(출판연도): IEEE International Conference on Robotics and Automation (ICRA 2025) 연구분야: Vision-Language-Action(VLA) 모델, 로봇 조작(Robot Manipulation), 멀티모달 로보틱스, 로봇 파운데이션 모델

Background

VLA의 등장 배경

• LLM(Large Language Model)
  • GPT처럼 텍스트 → 텍스트를 처리하는 모델로 언어만 이해하고, 언어만 생성함
    • 입력: 고양이를 설명해줘 → 출력: 고양이는 포유류,,,
• VLM(Vison-Language Model)
  • 이미지 + 텍스트 → 텍스트
  • CLIP, BLIP, LLaVA, GPT-4V
  • 이미지를 이해할 뿐, 실제 행동까지는 x
• VLA(Vision-Language-Action)
  • 이미지 + 텍스트 → 행동

Abstract

• 기존에는 로봇에게 새로운 작업을 시킬 때마다 그 작업만을 위한 모델을 새롭게 학습했어야 했음

  • 하지만, 이미지-텍스트 데이터와 실제 로봇 데이터를 함께 학습한 대규모 VLA 모델이 있다면, 기존 모델을 파인튜닝하는 것만으로도 새로운 작업을 잘 수행하는 로봇을 만들 수 있지 않을까?

• 하지만, 기존 로보틱스 분야에서 ① 대부분 비공개로 일반 연구자가 접근할 수 없고, ② 기존 연구는 새로운 작업에 대해 VLA를 효율적으로 fine-tuning하는 방법을 충분히 연구하지 않았었음

  ⇒ 이런 문제를 해결하기 위해 97만 개의 실제 로봇 시연 데이터로 학습된 70억(7B) 파라미터 규모의 오픈소스 VLA인 OpenVLA를 제안

  • LLaMa2 언어 모델을 기반으로 하여, DINOv2와 SigLIP에서 사전 학습된 특징을 융합하는 시각 인코더를 결합한 구조임

• OpenVLA는 RT-2-X보다 훨씬 가볍고, 메모리도 적게 쓰는데 성능은 더 우수했음

• 여기에 더불어 OpenVLA를 새로운 환경에서 fine-tuning할 수 있음을 확인했고, 여러 객체가 포함된 다중 작업 환경에서도 뛰어난 일반화 성능과 언어 명령을 이해하는 능력도 굿굿!

• 거대 GPU가 아닌 일반 소비자용의 GPU로도 가능하다!

1. Introduction

• 기존의 로봇 정책은 학습 데이터를 넘어서 일반화하는데에는 아쉬움이 있었음

  • 기존에는 물체의 위치나 조명이 조금 달라지는 경우에는 어느정도 대응을 할 수 있지만, 장면 속에 방해 요소나 새로운 물체가 등장, 혹은 이전에 보지 못했던 새로운 작업 명령을 받게 되면 성능이 크게 떨어졌음

• 반면, 로보틱스 분야 밖의 CLIP, SigLIP, LLaMa2와 같은 비전 및 언어 파운데이션 모델 같은 경우에는 일반화 성능뿐 아니라, 그 이상의 능력도 갖추고 있음

  • 인터넷 규모의 사전 학습 데이터세트로 인한 사전 지식 덕분

• 로보틱스 분야에서도 이러한 규모의 사전학습을 재현하면 좋겠지만, 로보틱스에서 가장 큰 데이터 세트인 로봇 조작에서도 10만~100만개 정도의 예제만 포함되어 있음

  ⇒ 그러면 이미 학습된 vision-language 파운데이션 모델을 핵심 구성 요소로 학습해보면 어떨까?

• 물론 기존에도 사전 학습된 언어모델과, vision-language 모델을 로봇 표현 학습에 활용하거나, 작업 계획 및 실행을 위한 모듈형 시스템의 구성 요소로 활용하긴 했었음

  • 즉 VLM은 단순 “설명”을 하고 실제 행동은 다른 모델이 담당

• 최근에는 제어를 위해 VLA모델을 직접 학습하는데 사용

  • PaLI같은 VLM을 직접 파인튜닝해서 로봇 제어 행동을 생성하고, 이를 통해 사전학습된 비전 및 언어 파운데이션 모델을 로보틱스에 직접 활용하는 방식
  • 이렇게 인터넷 규모로 학습된 모델을 기반으로 하다보니, RT-2와 같은 VLA는 기존의 로봇보다 일반화 성능이 좋았음

• 그러나 기존 VLA가 널리 활용되지 못하는 이유가 2가지 있음

  • 현재 모델의 대부분은 비공개이고, 모델 구조, 학습 방법, 데이터 구성에는 정보가 제한적
  • 새로운 로봇, 환경, 작업에 VLA를 적용하고 적응시키는 방법, 특히 일반 소비자용 GPU와 같은 하드웨어에서의 적용 방법을 제시하지 않음

2. Related work

Visually-Conditioned Language Models

• 입력 이미지와 언어 프롬프트로부터 자연어를 생성하도록 인터넷 규모의 데이터로 학습된 VLMs → 시각 질의응답(VQA)부터 객체 위치 추정(Object Localization)에 이르기까지 다양한 응용분야에서 활용됨

  • 최근 VLM의 발전을 이끈 핵심 요소 중 하나는 사전 학습된 비전 인코더의 특징과 사전 학습된 언어 모델을 연결하는 구조임!

  • 초기 연구는 이미지와 텍스트를 연결하는 복잡한 구조를 많이 연구했었지만, 최근에는 더 단순한 방식이 주류가 됨 → Patch-as-token

    ⇒ 이러한 방법을 사용해서 OpenVLA도 기존의 성능이 좋은 VLM을 가져와서 백본으로 활용할거임~!

    • DINOv2(저수준 공간 정보) + SigLIP(고수준 의미 정보)

Generalist Robot Policies

• 최근 로보틱스에서 다양한 로봇 데이터세트를 이용하여 여러 작업을 수행할 수 있는 범용 로봇 정책을 학습하는 방향으로 연구가 진행되고 있음
  • 기존 범용 로봇 정책 Octo 도 유연하게 새로운 환경에서도 파인튜닝 가능했었음
• 다만, 기존 연구와 OpenVLA의 핵심적인 차이는 모델 구조
  • 기존의 연구: 여러 사전학습 모듈을 조합한 뒤 새로운 모듈을 추가하여 학습
  • OpenVLA: 직접 파인튜닝해서 로봇 행동 생성

Vision-Language-Action Models

• 여러 연구에서 VLM을 로봇에 활용하고 있었음(시각 상태 표현, 객체 검출, 고수준 계획, 피드백 신호 등)
  • 하지만, 복잡한 구조 또는 정밀하게 보정된 카메라를 필요로 했었음
• VLA란, 기존에는 image → text 였다면, 이제는 image → action 로 바뀐 것을 의미한다. 즉 로봇 제어 행동을 VLM 백본에 통합함

⇒ VLA의 장점

• 이미지와 언어가 이미 인터넷 규모에서 잘 정렬되어 있다.
• VLM 구조를 그대로 사용한다.
• VLM이 발전하면 VLA도 자동으로 발전한다.

3. The OpenVLA Model

• OpenVLA

  • Open X-Embodiment 데이터세트의 97만 개 로봇 시연으로 학습된 70억 파라미터 규모의 VLA 모델

• VLA 모델을 개발할 때, 최적의 방법에 대해서 아직 충분히 연구되지 않은 질문들이 존재함

  • 어떤 모델의 백본? 어떤 데이터세트? 어떤 하이퍼 파라미터?

    → VLA가 새로운 분야라서 아직 명확한 기준이 없다

3.1 Preliminaries: Vision-Language Models

• VLM의 구조

  • 이미지를 여러개의 이미지 패치 임베딩으로 변환하는 Visual encoder

    • 대표적으로는 CLIP, DINOv2, SigLIP

  • Visual Encoder의 출력을 언어 모델의 입력 공간으로 변환하는 Projector

    • visual encoder와 llm의 사용하는 feature 공간이 다르기때문에 맞춰주기 위한 목적

  • LLM 백본

    • Llama2가 이미지 정보를 포함하여 텍스트 생성

    ⇒ VLM 학습 과정에서 모델 전체가 End-to-End 방식으로 학습 + 인터넷에서 수집한 이미지 - 텍스트 쌍을 이용하여 다음 텍스트 토큰을 예측하는 목적 함수로 사용

• 본연구에서는 Prismatic-7B VLM 기반(backbone)으로 사용

  • Prismatic-7B

    • 표준 VLM 구조를 따름

      • 600M 파라미터의 Visual Encoder
      • 2층 MLP Projector
      • 7B Llama2 Backbone

    • 다른 점은 두 부분으로 구성된 비주얼 인코더를 사용하며, SigLIP, DinoV2를 함께 사용함

      • 입력 이미지 패치는 각각 두 인코더를 통과하여 생성된 feature를 채널 방향으로 concatenate함

      • 일반적으로는 CLIP 또는 SigLIP 1개만 비주얼 인코더로 사용을 하는데, DINOv2를 추가함으로써 공간적 추론 향상 가능

        ✓ DINOv2를 추가하면 왜 공간적 추론 향상?

        • 물체가 어디에 있는지, 얼마나 떨어져 있는지와 같은 공간정보를 잘 표현하기 때문
        • 로봇은 단순이 “컵이다”를 아는 것보다는 “컵이 왼쪽으로 15cm 있다”를 아는 것이 더 도움이 되기 때문이다.

  • 사전 학습된 SigLIP, DinoV2, Llama2를 사용

  • 또한, 단순히 Llama2와 DINOv2를 연결한게 아니라 LLaVA 1.5에서 사용한 약 100만 개의 이미지-텍스트, 텍스트 전용 샘플을 활용하여 파인튜닝 진행

    ✓ 학습 과정을 조금 더 상세히 말하자면

    [ Llama2(인터넷 텍스트) + SigLIP(인터넷 이미지-텍스트) + DINOv2(인터넷 이미지) ] → Prismatic (LLaVA 1.5 데이터로 파인튜닝) → OpenVLA (Open X-Embodiment의 97만 개 로봇 시연 데이터로 다시 파인튜닝)

3.2 OpenVLA Training Procedure

• OpenVLA를 학습하기 위해 사전학습된 Prismatic-7B VLM 백본을 로봇 행동 예측을 하도록 파인튜닝 진행

• 행동 예측 문제를 Vision-Language 문제로 정의

  • 입력 이미지 + 자연어 작업 지시 → 예측된 로봇 행동을 문자열로 출력하도록
  • 즉, 로봇 행동도 하나의 “문장”처럼 생성하도록 함

• LLM이 로봇 행동을 예측할 수 있도록 연속적인 로봇 행동을 언어 모델의 토크나이저가 사용하는 이산 토큰으로 변환(256개의 bin 중 하나로, 1~99% 범위만)

  • LLM은 원래 “apple”, “robot”과 같은 단어(token)만 출력할 수 있는데, 로봇의 행동은 x=0.43, y=-0.12와 같이 실수로 되어 있다

  • 즉, 이 실수를 토큰으로 바꾸는 과정이 필요한 것!

    → 0.73이라는 값을 Token #182처럼 바꿔 출력함

• (P)그런데, Llama 토크나이저가 새롭겍 추가할 수 있는 스페셜 토큰을 100개만 제공을 하는데, Action을 표현하기 위해서는 256개의 토큰이 필요한 것!

  → (S) 가장 사용 빈도가 낮은 256개의 토큰을 Action Token으로 덮어씀

  • 즉, 새로운 토큰을 만드는대신, 거의 사용하지 않는 토큰을 action 토큰으로 교체
  • 이렇게 행동 토큰 시퀀스로 변환되면, OpenVLA는 다음 토큰 예측 방식으로 학습 진행 (loss도 Action 토큰 내에서만 계산)
    • 즉, 학습 방식은 GPT와 동일한데, text token을 맞추는 것이 아닌 action token을 맞추도록 학습한다는 점이 다른 점!

3.3 Training Data

• OpenVLA 학습 데이터의 목표

  • 다양한 로봇 종류

  • 다양한 장면

  • 다양한 작업 을 포함하는 것

    ⇒ 하나의 로봇만 학습하게 되면 다른 로봇에서는 잘 작동하지 않기 때문에 최대한 다양한 데이터를 활용하려고 했음(Franka, WidowX, Google Robot)

• Open X-Embodiment(OpenX)를 기반 데이터세트로 사용

  • 70개 이상의 로봇 데이터세트
  • 200만개 이상의 로봇 trajectory를 포함

• 위 데이터세트를 여러 단계에 걸쳐 정제를 진행했는데, 데이터 정제의 목표에는

  • 모든 데이터가 같은 입력과 출력 형식을 갖도록

  • 특정 작업만 너무 많지 않도록 데이터를 균형 있게 2가지가 있음

    • Manipulation 데이터세트만 사용, Third-person Camera, Single-arm End-effector Control을 사용하는 데이터만 선택

      → 데이터 균형을 맞추기 위해서 Octo에서 사용한 Mixture Weight를 활용함

    • 데이터가 너무 많은 데이터세트는 비중을 줄이고, 다양성이 높은 데이터세트는 비중을 높이는 방식

• 추가적으로 DROID 데이터세트도 10% 비율로 실험했지만, 학습 과정에서 Acition Token 정확도가 낮게 나타났음

3.4 OpenVLA Design Decisions

• OpenVLA 모델을 개발하는 과정에서 바로 거대한 OpenVLA를 학습한 것이 아닌 먼저 작은 규모의 실험을 반복하며 어떤 설계가 가장 좋을지를 확인해봄
  • 계산 비용을 줄이고 실험 속도를 높이기 위해 OpenX 데이터세트 전체를 활용하는 대신 BridgeDataV2에서 OpenVLA를 학습하고 평가함

VLM Backbone

• Prismatic외에도 IDEFICS-1과 LLaVA를 로봇 행동 예측에 파인튜닝해 봄

  • 두 모델 모두 물체가 하나만 있는 작업에서는 비슷한 성능을 보였음

  • 여러 물체가 있는 경우에는 LLaVA가 좀 더 뛰어난 언어 grounding 성능을 보임

    ⇒ 언어-객체 연결에서 LLaVA가 더 뛰어났다는 뜻

• BridgeData V2의 5개 언어 이해 작업에서 LLaVA가 IDEFICS-1보다 평균 35% 높은 절대 성공률 기록함

• 파인튜닝된 Prismatic은 이러한 LLaVA보다도 10% 높은 절대 성공률 기록!

  → SigLIP과 DINOv2를 함께 사용하는 구조라서 공간 추론 능력이 더 좋아서라고 판단

  +) Prismatic은 코드 구조가 모듈화 되어 있고 사용하기 쉬워서 최종적으로 선택

Image Resolution

• 입력 이미지 해상도는 학습 계산량에 큰 영향을 미침

  • 해상도가 높을수록 패치 토큰이 많아지고 context 길이가 증가해서 계산량이 제곱으로 증가

• 실험결과, 224x224와 384x384 해상도를 비교했지만, 성능 차이는 없었음

  → 즉, 해상도를 높이더라도 큰 차이가 없었다는 뜻

  (로봇의 경우, “뭐가 있다”가 중요하지 해상도가 크게 중요하지 않다)

Fine-Tuning Vision Encoder

• VLM 연구에서 Vision Encoder를 고정하는 것이 더 좋은 성능을 내는 경우가 많아서 보통을 이 부분은 잘 건들이진 않음

  • 그런데, VLA의 경우, Vision Encoder를 같이 학습하는 게 좋은 성능을 내는데에 있어 중요하다는 것을 발견함

    ✓ 왜 그럴까?

    • 인터넷에서 학습한 Vision Encoder는 “고양이”, “자동차”와 같은 일반적인 특징은 잘 알지만,
    • 로봇의 경우에는 “컵 손잡이 위치”, “집을 부분”, “미세한 거리” 이런 정보들이 더 중요하기 때문에 로봇 데이터에 맞게 다시 학습해야한다는 것

Training Epochs

• 일반적은 LLM과 VLM의 경우, 1-2epoch 정도만 학습 진행

  ↔ VLA는 훨씬 많은 epoch 필요, Action Token 정확도가 95% 넘을 때까지 실제 로봇 성능이 계속 향상되었음 (최종적으로는 27epoch 학습)

Learning Rate

• 여러 Learning Rate를 실험한 결과 2x10^(-5)가 가장 좋은 성능을 보였음
• 또한 대부분의 Transformer는 초기에 Warmup을 사용하지만 OpenVLA에서는 필요하지 않았음

3.5 Infrastructure for Training and Inference

• 학습시

  • 64개의 NVIDA A100 GPU로 14일동안 학습
  • 총 21,500 A100 GPU-hours 사용됨

• 추론시

  • bfloat16으로 약 15GB GPU 메모리가 필요하며, RTX 4090에서 6Hz로 동작

    (학습은 고성능의 컴퓨팅 자원이 필요하지만, 실행에 있어서는 일반적인 GPU에서도 ok)

  • 양자화를 적용하면 메모리 사용량을 더 줄일 수 있고, 로봇 성능도 유지됨

    ✓ 왜 양자화를 하는걸까?

    • “양자화”라고 하면 물리학에서 쓸 법한 용어같지만, 딥러닝에서는 모델을 더 작고 빠르게 만드는 압축 기술이라고 할 수 있음

    • 먼저, OpenVLA의 경우에는 70억 개의 파라미터를 가지 모델임 → 즉, 파라미터 하나하나가 숫자인데, 이런 숫자들이 70억개 있다고 보면 됨. 이 숫자들을 저장해야하니까 모델은 엄청 커질 수 밖에 없는 상황

      • 이때, 숫자를 32bit(float32)로 저장하게 된다면, 0.123456789 처럼 소수점을 굉장히 자세히 저장하게 되는데,
      • 실제로는 0.12만 저장해도 성능 차이가 거의 없는 경우가 많음

      ⇒ 그래서 “굳이 이렇게 정밀하게 저장할 필요가 있을까?” 라는 생각에서 나온 것이 양자화

    ✓ 양자화의 정의

    • 연속적이고 정밀한 숫자를 더 적은 비트로 표현하는 기술

      • 즉, 숫자 표현을 더 단순하게 만드는 것

    • OpenVLA의 경우,

      • 70억 파라미터를

        • float32로 표현했을 때, 32bit ≈ 28GB

        • float16 ≈ 14GB

        • int4 ≈ 3.5GB

          와 같이 양자화를 진행하게 되면 GPU 메모리를 거의 절반 이하로 줄일 수 있다.

4. The OpenVLA Codebase

• VLA 모델을 학습하기 위한 모듈형 PyTorch 코드베이스 공개: https://openvla.github.io/

  • 본 코드베이스는 단일 GPU에서 VLA 파인튜닝부터 여러 노드의 GPU 클러스터에서 수십억 파라미터를 가진 VLA를 학습하는 것까지 확장 가능함

  • 또한 대규모 transformer 모델 학습을 위한 최신 기술인 Automatic Mixed Precision(AMP), FlashAttention, Fully Sharded Data Parallelism(FSDP)을 지원함

    ✓ AMP(Automatic Mixed Precision)?

    • 자동 혼합 정밀도 학습

      • 기존에는 Float32만 사용을 했는데, AMP의 경우에는 Float32+Float16(BF16)를 자동으로 섞어서 사용

      • 즉, 필요한 계산은 32bit로, 덜 중요한 계산은 16bit로 자동 처리하는 기술임

        → GPU 메모리 절약, 학습속도 증가, 성능은 거의 유지됨

    ✓ FlashAttention?

    • Transformer에서 가장 많은 계산을 차지하는 부분이 Attention 연산 부분
      • FlashAttention은 이 Attention을 더 효율적으로 계산하는 알고리즘임

    ✓ FSDP(Fully Sharded Data Parallelism?

    • 대형모델은 GPU 한 장에 모두 올릴 수 없는 경우도 많음

      → 그래서 FSDP는 모델을 여러 GPU에 조각을 내어 나누고 저장하고 학습하는 기술임

      • GPU1 → 모델 1/4, GPU2 → 모델 1/4, … 이렇게 나누어 저장한 후 필요할 때만 데이터를 주고 받으며 학습!

• 그리고 해당 코드베이스는 기본적으로 별도의 추가 작업없이, OpenX 데이터세트로 바로 학습을 시작할 수 있고, Hugging Face의 AutoModel 클래스와 통합되어 있어서 쓰기에 용이함

  +) LoRA 파인튜닝과 양자화된 모델 추론도 지원

5. Experiments

• 실험 평가 목표는
  • OpenVLA가 추가 학습 없이 학습 직후 그래도 사용해도 잘 동작하는지?
  • 새로운 환경에서 조금만 파인튜닝하면 더 잘 적응하는지?
• 그래서 아래의 3가지 연구 질문을 검증하고자 함
  • 여러 로봇과 다양한 일반화 상황에서 평가했을 때, OpenVLA는 기존 범용 로봇 정책과 비교했을 때 어떠한 성능을 보이는지
    • RT-2, Octo, RT-1
  • OpenVLA는 새로운 로봇 환경과 작업에 효과적으로 파인튜닝될 수 있는지, 그리고 imitation learning 방법과 비교했을 때 어떤 성능을 보이는지
    • Diffusion Policy, Octo Fine-tuning
  • 적은 GPU에서도 사용 가능한가?, 성능과 계산량 사이에서 어떤 트레이드 오프가 존재하는가?
    • 즉, LoRA와 Quantization을 사용했을 때 성능이 얼마나 유지되고, GPU 사용량은 얼마나 줄어드는지를 확인하고자 함

5.1 Direct Evaluations on Multiple Robot Platforms

Robot Setups and Tasks

• 추가학습없이 여러 로봇에서 얼마나 잘 동작하는지 평가하기 위함

• OpenVLA의 out-of-the-box 성능을 두 가지 로봇 플랫폼(robot embodiments)에서 평가

  • BridgeData V2의 WidowX 로봇

  • RT-1 및 RT-2에서 사용된 Google Robot

    ✓ 여기서 robot embodiments는?

    • 단순 로봇이라는 의미가 아니라 “로봇의 물리적 형태와 하드웨어 구조 전체”를 의미함

      • WidowX → 작은 로봇 팔

      • Google Robot → 이동 가능한 모바일 매니퓰레이터

        는 서로 다른 embodiment임

        ⇒ 즉, 하나의 모델이 서로 다른 하드웨어에서도 잘 동작하는지를 확인하려는 것

• 본 플랫폼 2개에서 다양한 일반화 능력을 평가할 수 있도록 포괄적인 평가 작업들을 구성함

  • 시각적 일반화
    • 훈련 때 보지못했던 배경, 방해 물체, 물체 색깔, 물체 외형에서도 잘 동작하는지
    • 예를 들어 훈련 때에는 빨간 컵만 봤었는데 테스트에서 파란 컵이 나와도 집을 수 있는지를 평가함
  • 동작 일반화
    • 훈련 때와 다른 위치에 물체가 있어도 잘 집는가
    • 예를 들어, 훈련때에는 컵이 가운데에 있었는데 테스트 때에는 컵이 오른쪽에 있다고 해도 잘 집을 수 있는지 평가
  • 물리적 일반화
    • 훈련에서 보지 못한 크기, 모양의 물체도 잘 다룰 수 있는지를 평가
    • 학습 때는 작은 컵만 봤었는데 테스트에서 큰 컵이 나왔을 때에도 집을 수 있는지 평가
  • 의미적 일반화
    • 훈련때 없는 새로운 물체, 명령, 인터넷 개념도 이해하는지
    • 훈련때 바나나가 없었는데, 명령어가 바나나를 집어라 라고 했을 때에도 수행할 수 있는지 → VLM의 사전지식 사용

• 또한, 여러 개의 물체가 있는 장면에서 사용자의 프롬프트에 지정된 올바른 물체를 조작할 수 있는지도 평가 → 언어 조건 능력 측정

  • 그러니까 책상위에 빨간컵, 파란컵, 초록컵이 있을 때 명령어가 “빨간 컵을 집어” 라고 하면 정말 빨간색 컵만 집는지를 확인

    ⇒ 전체적으로 BridgeData V2에서는 17개의 작업 x 10번의 시도 = 170회 rollout, Google Robot에서는 12개의 작업 x 5번의 시도 = 60회의 rollout으로 각 방법을 평가함

    ✓ Rollout이란?

    • 강화학습과 로봇분야에서 하나의 작업을 처음부터 끝까지 실제 수행한 한 번의 실행을 의미함
    • 예를 들어, “컵을 집어서 상자에 넣어”라고 하면,
      • 카메라 입력 → 컵 탐색 → 컵 집기 → 상자로 이동 → 놓기 → 종료 이 전체 과정에 1rollout

• 평가는 모두 A/B 평가 방식으로 수행되었고, 공정한 비교를 위해 동일한 작업(task)과 동일한 초기 로봇 및 물체 상태를 사용

  ✓ A/B Evaluation?

  • 같은 환경에서 모델 A와 모델 B를 직접 비교하는 평가 방식

    

Comparisions

• OpenVLA를 기존의 3가지 범용 조작 정책과 비교함
  • RT-1-X, RT-2-X, Octo
• RT-1-X(3,500만 파라미터) & Octo(9,300만 파라미터)
  • OpenX 데이터세트 일부를 이용하여 처음부터 학습된 Transformer기반 정책
  • Octo는 오픈소스 조작 정책 중 SOTA
• RT-2-X(550억 파라미터)
  • 사전학습된 Vision 및 Language Backbone을 사용하는 SOTA의 비공개 VLA

[실험결과]

• RT-1-X와 Octo는 복잡한 환경(방해 물체가 존재할 때)에서 성능이 많이 떨어졌음
  • 기존 논문보다 더 어려운 task로 진행했기 때문에, 인터넷 사전학습을 사용하지 않은 모델이 성능이 낮게 나타나는 것은 당연하다
• 반면, 인터넷 사전학습된 RT-2-X는 위 두 모델보다 훨씬 뛰어난 성능을 보였음
• 특히, OpenVLA는
  • GoogleRobot 평가에서 RT-2-X와 비슷한 성능
  • BridgeData V2에서는 RT-2-X보다 훨씬 뛰어난 성능
  • 그럼에도 불구하고 모델크기는 7B/55B로 약 1/10 수준!

Qualitative Results

• 단순 성공률뿐만 아니라 행동 자체도 RT-2-X와 OpenVLA는 다른 모델들보다 훨씬 안정적인 행동을 보임

  • 방해 물체가 있어도 올바른 물체에 접근하고,
  • 목표 물체의 방향에 맞게 로봇의 말단을 적절히 회전시키며
  • 물체를 불안정하게 집었을 경우에도 이를 다시 잡는 행동을 수행함

• RT-2-X는 Semantic Generalization 작업에서는 더 높은 성능을 보임

  • 즉, 새로운 개념을 이해하는 능력은 RT-2-X가 조금 더 좋더라~~

    ⇒ RT-2-X가 더 큰 규모의 인터넷 사전 학습 데이터를 사용했고, 로봇 데이터뿐 아니라 인터넷 데이터도 같이 사용해서 사전학습을 더 잘 유지했을 것이라고 예상

• 하지만, 그래도 OpenVLA는 나머지 모든 작업에 있어서 BridgeData V2와 Google Robot 모두 RT-2-X와 비슷하거나 더 뛰어난 성능을 보였음

  • 그 이유로는

    • 더 많은 학습 데이터(로봇)

    • 더 깨끗한 데이터 → Bridge Dataset에 있는 All-zero Actions를 제거함

      ✓ All-zero Action

      • 예를 들어, 로봇 Action이 [0,0,0,0,0,0,0] 이면, 아무것도 하지 않는 건데, 이런 데이터가 많게 되면 모델은 “가만히 있는 것이 정답”이라고 잘못 학습할 수 있게 됨
      • 그래서 이걸 제거해서 데이터 품질을 높였다고 할 수 있음

    • 더 좋은 Vision Encoder → OpenVLA는 SigLIP + DINOv2 함께 사용

      즉, Semantic 정보와 Spatial 정보를 동시에 활용하여 로봇 제어에 유리

5.2 Data-Efficient Adaptation to New Robot Setups

• 기존 연구들은 주로 VLA를 추가 학습 없이(out-of-the-box) 평가하는데 집중 → 우리는 새로운 로봇 환경에 대한 효과적인 파인튜닝에 대한 연구를 진행함

  • 즉 쉽게 말해 OpenVLA가 Google Robot으로 학습되었지만, 실제 사용자는 Franka Robot을 사용할 수도 있음. 때문에 새로운 로봇에 얼마나 쉽게 적응하는지가 중요한 것!

• OpenVLA에 대해 간단한 파인튜닝 방식을 사용

  • 즉 모든 모델 파라미터를 대상으로 목표대상에 대한 10-150개 시연만을 사용하여 학습

• OpenVLA를 2가지 환경에서 평가함

  • Franka-Tabletop

    • 고정된 테이블 위에 설치된 Franka Emika Panda 7자유도(7-DoF, 7개의 관절) 로봇 팔

      → 움직이지 않는 일반적인 연구실 로봇

  • Franka-DROID

    • 최근 공개된 DROID 데이터세트에서 사용된 Franka 로봇 환경으로 이동 가능한 책상 위에 설치되어 있음

    ⇒ 각 환경은 5Hz와 15Hz의 non-blocking controller 사용

Comparisons

• OpenVLA와 현재 SOTA인 imitation learning 방법인 Diffusion Policy와도 비교 진행

  • 공정한 비교를 위해서 입출력 조건도 맞춘 버전으로 진행

• 또한 파인튜닝을 지원하는 범용 정책인 Octo도 동일한 데이터로 파인튜닝하여 비교 진행

  • 동일 데이터세트로 OpenVLA 파인튜닝해서 이를 OpenVLA라고 표기

• 마지막 Ablation 실험으로 OpenX로 사전학습된 OpenVLA 대신 Prismatic VLM을 바로 파인튜닝한 모델과도 비교 진행

  • Prismatic → 새작업 → OpenVLA Sacratch

  • Prismatic → OpenX 학습 → OpenVLA → 새 작업

    ⇒ 이렇게 비교 진행 — “OpenX 사전 학습이 도움이 되는가?”

Results

• 두 가지 Diffusion Policy는
  • "Put Carrot in Bowl", "Pour Corn into Pot" 와 같은 단일 명령의 작업에서는 Octo와 OpenVLA보다 경쟁력이 있거나 더 우수한 성능을 보였음
• 하지만, 여러 물체가 존재하고 언어 조건이 복잡한 작업에 있어서는 사전학습된 범용 정책(OpenVLA, Octo)이 더 좋은 성능을 보였음
  • 또한 OpenX로 사전학습하지 않은 OpenVLA Scratch에서도 낮은 성능을 보였음
  • OpenVLA가 모든 평가 작업에서 최소 50%이상의 성공률을 달성한 유일한 방법이었음
  • 섬세한 작업에 있어서는 Diffusion Policy가 더 부드럽고 정밀했음
• [향후 연구 과제] Diffusion Policy에서 사용하는 Action Chunking과 Temporal Smoothing을 OpenVLA에 적용한다면, 동일한 수준의 정교한 작업을 얻을 수 있지 않을까?

5.3 Parameter-Efficient Fine-Tuning

• 이전 절에서 수행한 OpenVLA의 Full Fine-tuning은 높은 성능을 달성하기 위해 작업마다 그리고 데이터세트 크기에 따라 8개의 A100 GPU를 사용하여 5-15시간동안 학습 진행
  • VLA를 처음부터 사전학습하는 것에 비하면 휠씬 적은 계산량이긴하지만, 본 절에서는 계산량과 학습 파라미터를 더욱 줄일 수 있는 파인튜닝 방법을 탐구해볼 것

Full Fine-tuning

• 파인튜닝 과정에서 모든 가중치를 업데이트하는 것

Last layer Only

• OpenVLA Transformer의 마지막 레이어와 token embedding matrix만 파인튜닝
  • 즉 출력에 가까운 부분만 학습한다는 뜻

Frozen Vision

• Vision Encoder를 고정하고 나머지 가중치는 파인튜닝하는 것
  • 즉, 이미지 특징은 그대로 두고, LLM만 학습

Sandwich Fine-tuning

• Vision Encoder, Token Embedding Matrix, 마지막 layer만 학습 가능하게 함
  • 즉, 앞과 뒤만 학습한다는 것

LoRA

• Hu 등의 Low-Rank Adaptation 기법을 사용하여 여러 rank 값 $r$을 적용하여 모델의 모든 Linear Layer에 적용

결과

• 마지막 레이어만 학습하거나 비전 인코더를 고정하는 방법의 경우에는 성능이 낮았음

  • 이는 목표 환경에 맞게 Vision Feature를 추가적으로 적응시키는 것이 매우 중요함을 의미함

• 반면 Sandwich Fine-tuning은 비전 인코더를 파인튜닝하기 때문에 더 좋은 성능을 달성함

  • 또한, 전체 LLM Backbone을 Fine-tuning하지 않기 때문에 GPU 메모리도 덜 사용하는 편

• 마지막으로 LoRA는 성능과 학습 메모리 사용량 사이에서 가장 좋은 trade-off를 달성했음

  • 전체 파라미터 1.4%만 학습하면서도 Full fine-tuning과 동일한 성능

  • LoRA의 Ranke 값은 정책 성능에 거의 영향을 주지 않았음 → 기본 Rank값으로 r=32를 사용하는 것을 권장

    ⇒ LoRA를 사용함으로써 단일 A100 GPU 한 장만으로도 10-15시간 안에 OpenVLA를 새로운 작업에서 Fine-tuning할 수 있었으며, 이는 Full fine-tuning과 비교하여 계산량을 8배 줄인 것

5.4 Memory-Efficient Inference via Quantization

• OpenVLA는 70억 개의 파라미터를 가진 모델로 1억 파라미터를 가진 Octo와 같은 기존 오픈소스 범용 정책보다 추론시 더 많은 메모리를 사용함
  • OpenVLA를 bfloat16 정밀도로 저장하고 불러와 추론을 수행(일반적인 방법)
  • 메모리 사용량을 절반으로 줄여서 16GB GPU메모리 만으로도 OpenVLA를 실행할 수 있게 함
• 본 절에서는 LLM추론을 위해 개발된 양자화 기법을 사용해서 정책 추론에 필요한 메모리를 줄이고 VLA의 접근성을 높일 수 있는지 평가
  • 네트워크 가중치를 더 낮은 정밀도로 불러오고
  • 그 결과 메모리 사용량은 감소하지만 추론 속도와 정확도가 일부 감소할 수 있는 trade-off 발생

실험

• 8-bit와 4-bit 정밀도로 OpenVLA를 실행하여 BridgeDataV2의 대표적인 8개 작업에서 평가
  • INT8, INT4

• 비교 기준은 메모리, 실제 성공률임, 다양한 소비자용 및 서버용 GPU에 달성 가능한 제어 주파수도 표에 제시함

결과

• 대부분의 GPU에서 8비트 양자화 추론 속도를 느리게 만든다는 것을 관찰함
  • 추가적인 양자화 연산 때문
• 반면, 4비트 추론은 더 높은 처리량을 달성함
  • GPU메모리 전송량이 크게 줄어들어서 양자화 연산의 오버헤드를 상쇄하기 때문
  • 추론 속도가 감소한 결과, 8비트 양자화에서는 성능이 크게 감소했음
• 4비트 양자화 모델은 A5000 GPU에서 3Hz로 실행될 수 있었으며, 이는 데이터 수집 당시의 시스템 동작(5Hz)에 더 가까움

⇒ 즉, 무조건 더 높은 비트(INT8)가 좋은 게 아니라 OpenVLA에서 INT4양자화가 메모리 절감과 성능 유지에 있어 가장 좋은 균형을 보였음

6. Discussion and Limitations

• 본 논문에서 SOTA OpenVLA를 공개하며, 다양한 로봇에 대한 추가학습이 없더라도 좋은 성능을 냈음
• 또한, OpenVLA가 5.3절의 Parameter-efficient Fine-tuning 기법을 사용하여 새로운 로봇 환경에서도 쉽게 적응할 수 있음을 보였음

하지만 한계도 존재했는데,

• 현재는 한 장의 이미지만을 입력으로 사용할 수 있다

  • 실제 로봇 환경은 매우 다양하고 사용 가능한 센서 입력 또한 매우 당야함
  • 그래서 OpenVLA가 여러 장의 이미지, 고유 감각 정보, 그리고 과거 관측까지 지원하도록 확장하는 것이 중요한 미래 연구 방향이라는 것
  • 이미지와 텍스트를 번갈아 포함된 데이터로 사전학습된 VLM을 활용하면 더 유연한 VLA를 만들 수 있지 않을까?

• OpenVLA의 추론 처리량을 높이는 것이 50Hz로 동작하는 ALOHA와 같은 고주파 제어 환경에서 VLA를 사용하기 위해 매우 중요함

  • 현재 논문은 대부분 한 팔인데, 앞으로는 양 팔을 활용하여 복잡한 작업도 가능해질 것이다.
  • 또한 속도를 높이기 위해 Speculative Decoding같은 최적화 기법이 이러한 문제를 해결 할 수 있을 것

• 계산 자원의 한계때문에 많은 VLA 설계 문제들이 충분히 연구되지 못했음

  • 기본 VLM의 크기는 VLA의 성능에 어떤 영향을 미치는지

  • 로봇 행동 데이터와 인터넷 규모의 vision-language 데이터를 함께 학습하면 VLA 성능이 크게 향상 되는지

  • 어떤 시각 특징이 VLA에 가장 적합한지

    ⇒ 때문에 우리가 이 코드 베이스르 공개하니까 연구 커뮤니티가 함게 연구했으면 좋겠다~~

논문명: DeepAR: Probabilistic Forecasting with Autoregressive Recurrent Networks 학회(출판연도): International Journal of Forecasting (2020) 연구분야: 딥러닝 기반 시계열 예측 및 시계열 표현 학습

Background

• Deep AR

  • 수많은 time series를 동시에 학습하는 autoregressive RNN기반 global neural forecasting model

    ⇒ 이후 DeepState, DeepFactor, Transformer-based forecasting, Temporal Fusion Transformer, PatchTST 등장

• Time Series Forecasting

  • 과거 데이터를 이용해 미래 값을 예측하는 문제
    • $sales_t → sales_{t+1}, salse_{t+2}, …$
  • 왜 중요한가?
    • 기업에서 거의 모든 의사결정에 사용
      • 재고 관리, 서버 load, 전력 소비, 교통량

• Probabilistic Forecasting

  • 미래 값을 하나의 숫자가 아닌 확률 분포로 예측하는 것
  • 현실 세계에서는 불확실성이 존재하기 때문에 중요하다

• Autoregressive Model

  • 현재 값을 이전 값으로 예측
    • AR

• Recurrent Neural Network (RNN)

  • 시간 순서 데이터를 처리하는 neural network

• Likelihood Modeling

  • DeepAR은 확률 분포를 직접 예측
    • 가우시안, Negative Binomial

• 연구 흐름

- 기존에는 single time series models로 각 모델 간 데이터 공유가 없고 학습 데이터가 부족하다는 문제가 있었음

    - ARIMA for series1
    - ARIMA for series2
    - ARIMA for series3


- 이 논문에서 Power-law scale distribution이 중요한데

몇몇 상품만 huge scales를 가지고 있어서 scale imbalance한 문제가 있음

→ 그래서 small series와 large series를 같은 모델에 넣으면 gradient imbalance 한 문제 발생

Abstract

• Probabilistic forecasting(확률적 예측)

  • 과거 시계열 데이터를 기반으로 미래 값의 확률 분포를 추정하는 것

  • 비즈니스 프로세스를 최적화하는 데 중요한 역할

    ex. 소매(retail) 산업에서 수요 예측이 적절한 재고를 적절한 장소에, 적절한 시점에 확보하기 위해 매우 중요

• DeepAR

  • 많은 관련 시계열 데이터를 이용해 자기회귀(auto-regressive) 구조의 순환 신경망(RNN)을 학습시켜 정확한 확률적 예측을 생성하는 방법

    ✓ 자기회귀(auto-regressive)

    • 현재의 값을 과거의 값들의 함수로 표현하는 모델

    ✓ 순환신경망(RNN)

    • DeepAR의 경우 RNN의 구체적인 구현으로 LSTM 사용

    • Vanilla RNN은 gradient vanishing 문제로 인해 long term dependency로 학습이 어려움

      → LSTM은 memory cell을 가지고 있어서 long-term pattern을 잘 학습

    • time series의 dynamics를 잘 학습함

    • DeepAR

      • 입력

        • $z_{t-1}, z_{t-2}$: previous value - 바로 이전 값
          • 자기상관모델이기때문에 이전 값이 다음 값을 설명한다고 가정
        • covariates
          • 시간 t에 알려진 외부 변수(feature)
          • 예를 들어 주말이면 판매가 증가한다
        • previous hidden state
          • RNN의 지금까지 기억하고 있는 과거 정보 요약

      • 계산

        !image.png

        • $z_{t-1}, z_{t-2}$, seasonality, trend, covariates 같은 정보를 hidden state에 저장함

          !image.png

        • hidden state에서 확률 분포 파라미터 계산 - fully connected layer로 계산

      • 확률분포 출력 → 예측(샘플을 뽑아서)

  • 이전 전통적인 방식은 시계열 하나 → 모델 하나에 대응시켰다면 DeepAR의 경우 수 천개의 시계열을 하나의 딥러닝 모델로 대응시켜서 패턴을 공유하고 학습

    • 전통적: ARIMA, exponential smoothing, classical statistical models

      → ① 많은 시계열 처리, ② 비선형 패턴 처리의 어려움과 ③ feature engineering 필요

      ⇒ 딥러닝은 이런 문제를 자동으로 학습

• 여러 실제 예측 데이터셋에 대한 실험을 통해 최신 방법과 비교하여 약 15%의 정확도 향상을 보였음

1. Introduction

• 예측(forecasting)은 대부분의 기업에서 운영 프로세스를 ① 자동화하고 ② 최적화하는데 중요한 역할을 하며, ③ 데이터 기반의 의사결정을 가능하게 함

  • 소매산업 → 공급과 수요의 확률적 예측을 통해 재고관리, 직원 스케줄링, 물류 네트워크 설계 등에 사용

    ⇒ 공급망 최적화의 핵심 기술

• 기존: 개별 시계열 또는 소수의 시계열을 예측하는 환경에서 개발

  • 각 시계열마다 모델 파라미터를 과거 데이터로부터 독립적으로 추정

  • 이렇게 되면 상품이 1000개라고 했을 때 모델이 1000개 필요한 비효율 발생 + 신제품의 경우에는 데이터가 적어서 모델이 불안정

  • 모델은 자기 상관 구조, 추세, 계절성, 기타 설명 변수 등을 고려해서 수동으로 선택(사람이 설계해야함)

    • 학습된 모델은 모델의 동적 구조에 따라 ① 미래 값을 예측, ② 시뮬레이션

      예측 분포의 닫힌 형태(closed-form expression)을 통해 확률적 예측 생성 가능

      ✓ 모델의 동적 구조(dynamic structure)

      • 동적구조: 시간이 흐르면서 값이 어떻게 변화하는지를 정의하는 규칙

        • 현재 값 → 다음 값이 어떻게 만들어지는지 정의하는 수식 구조

        • 시간 의존성이 존재하기 때문에 동적 모델 state_t = f(state_{t-1})

          ↔ 정적 모델 y=f(x)

      ✓ 예측 분포의 닫힌 형태

      • 적분이나 시뮬레이션없이 수식 하나로 바로 계산할 수 있는 형태

        • 가우시안, 이항분포, 포아송

          ↔ 시뮬레이션: 샘플을 많이 만들어서 근사

          ex. GAN, Diffusion, DeepAR sampling

      • Box-Jenkins 방법론, 지수 평활법 또는 상태 공간 모델(state space model) 기반

• Deep AR

  • 몇 개의 시계열이 아닌 가정별 전력 소비 예측, 데이터센터 서버 부하 예측 등 수천개~수백만개의 관련 시계열을 예측해야함

    ⇒ autoregressive recurrent network 기반의 예측 방법인 DeepAR 제안

2. Related work

• 기존의 예측 방법

  • ARIMA, Exponential smoothing

    ✓ Exponential smoothing

    • 최근 데이터에 더 큰 가중치를 주는 방법

  • 한계

    • 수요 예측 매우 불규칙적이고, 간헐적이며, 갑자기 급증하는 데이터 多

      → 전통적 모델의 핵심 가정을 깨뜨림

    • 데이터 전처리 방법도 위 문제를 충분히 해결하기 어려움

      ⇒ 분포: zero-inflated Poisson, negative binomial

    • 여러 시계열간 정보를 공유하면 예측 정확도를 향상시킬 수 있으나 구현의 어려움

      (각 시계열이 매우 이질적이기 때문)

      ⇒ matrix factorization, Bayesian Hierarchical models

• RNN
  • 예측 분야는 아니지만 nlp, audio 등 다양한 분야에서 성
• DeepAR의 설계
  • 확률 예측에서는 단일값이 아닌 전체 확률 분포에 관심이 있음
  • count data의 정확한 분포를 얻기 위해서 Negative Binomial likelihood 사용

3. Model

• 모델링 목표

  • 시계열 i의 시간 t에서의 값을 $z_{i,t}$라고 할 때, P(미래값 | 과거값, 외생변수) 조건부 확률 분포 모델링

    !image.png

    • 각 시계열의 미래 값: $z_{i,t_0:T}$ ⇒ prediction range(모델이 예측해야 하는 구간)

    • 과거값: $z_{i,1:t_0-1}$ ⇒ conditioning range (모델이 조건으로 사용하는 구간)

      → $t_0$는 예측 시점에서 값이 알려지지 않은 시점의 시작점 의미

      → $X_{i,1:T}$: 모든 시점에서 알려져있다고 가정되는 외생 변수(conditioning, prediction 모두 주어짐)

• 학습

  • conditioning range와 prediction range 모두 과거에 위치해야 함 → $z_{i,t}$ 값 모두 관측

    but, 예측 단계에서는 conditioning range에서만 관측!

  • t는 상대적인 값 → t=1은 시계열 i마다 서로 다른 실제 시간을 가질 수 있음

• Model distribution을 likelihood의 곱으로 분해 가능하다고 가정

• Q의 분포에 대해 t_0부터 T시점까지 하나씩 보면 곱으로 보고 최종적으로 p라는 분포를 통해 계산 가

  ⇒ chain rule

• Prediction process
  • $h_{i,t}$에 conditioning range의 t를 순차적으로 대입하여 $h_{i,t_0-1}$을 구함
  • prediction range의 t에 대해 틸다 $z_{i,t}$를 sampling
  • smapling을 통해 예측을 진행하므로 quantile 정보 예측 가능

3.1 Likelihood model

• 데이터의 노이즈 모델 결정하고, 데이터의 통계적 특성에 맞게 선택되어야 함

  • Deep AR은 예측값을 직접 출력하지 않음 → likelihood(확률분포) 출력

• 신경망이 다음 시정의 확률 분포의 모든 파라미터(ex. 평균과 분산)를 직접 예측함

• 사용하는 likelihood 2가지

  • 실수 데이터 → 가우시안

    • 가우시안

      

    - Distribution Parameter

       ![](https://velog.velcdn.com/images/hyooo__s/post/e5313cd0-2872-470b-b199-90a2408d123e/image.png)


- 양의 정수 데이터 → negative binomial likelihood
    - negative binomial likelihood
        - 판매 데이터 특징상 variance > mean
        - 포아송은 var = mean이므로 사용하기 부적합하고 
        negative binomial은 Var = μ + μ²α로 더 유연함
        - 분산이 mean보다 클 수 있다는 특징을 잘 표현 - **retail demand**
- beta distribution, bernoulli, mixture distributions 와 같은 다른 likelihood 모델도 쉽게 사용 가능

    단, 해당 분포에서 샘플링이 쉽고, log-likelihood 와 그 gradient를 계산할 수 있어야 함

3.2 Training

• 시계열 데이터셋 {$z_{i,1:T}$}${i=1,...,N}$ 과 covariates $x{i,1:T}$가 주어졌다고 하면 모델 파라미터는 log-likelihood를 최대화하는 방식으로 학습

  

- 어떤 확률분포 p에서 $h_{i,t}$라는 특정 파라미터가 주어졌을 때  $z_{i,t}$가 나올 확률이 가장 높도록 학습
- 세타에 대한 학습을 할 것 이기 때문에 세타에 대한 stochastic gradient descent를 통해 학습 진행

    ⇒ 모델이 예측한 분포에서 실제 값이 얼마나 가능성이 높은지

• DeepAR은

  • latent variable inference 필요없음 → direct likelihood optimiztion 이므로!

  • training window sampling → data augmentation 가능

    • window1 → 2013 start
    • window2 → 2013+1 start
    • window3 → 2013+2 start

• training 과 predition의 mismatch한 문제가 있긴 하지만 큰 문제는 안 됨

3.3 Scale handling

• power-law 규모 분포를 가진 데이터에 모델을 적용하면 2가지 문제 발생

• 문제1

  • autoregressive 구조 때문에 입력 $z_{i,t-1}$과 네트워크 출력 모두 관측값에 비례해 스케일이 커짐

  • 신경망의 비선형 함수들의 작동 범위가 제한적이라 gradient 문제 발생

    → 추가적 조치가 없다면 (P) 입력을 적절한 범위로 스케일링 하는 방법을 학습해야함

**⇒ (S) 아이템별 scale factor vi로 나누어 해결**

(각 아이템별로 고유한 특성이 있을 것이기 때문)

µ = νi * softplus(oµ)

→ 네트워크 output을 scaled parameter로 하는 데에 중요

→ 평균값을 scale factor로 사용하는 방법 잘 작동

• 문제2

  • 데이터 불균형으로 인해 큰 scale 시계열이 학습에서 거의 선택되지 않을 수 있음

    → weigthed sampling을 통해 scale이 큰 아이템을 더 자주 학습함

3.4 Features

• covariate $x_{i,t}$는 item feature(product categroy, brand, size), time feature(weekday, month, holiday) 모두 가능

• 모든 실험에서 age feature 사용

  • age = 현재 시점 - 시계열 시작 시점

    → new item behaviour 학습 가능

• categorical item feature 사용, 모델은 embedding 학습

• 모든 covariates는 평균 0, 분산 1로 정규화

4. Applications and Experiments

• 실험 환경

  • Framework: MXNet

  • Machine: AWS p2.xlarge

    • CPU 4개
    • GPU 1개

• 성과

  • 500,000개의 시계열을 학습하는데 10시간 이하 → 매우 큰 데이터에서도 학습 가능하다

• 사용 데이터셋

  • parts(자동차 부품 판매량/1046개의 시계열, 50 time steps)

  • electricity(전력 사용량/370 households, 시간 단위)

  • traffic(도로 점유율/963 freeway lanes, 시간 단위)

    → 전력과 도로 점유율은 rolling window forecast 방식 사용

    ✓ rolling window forecast

    • rolling window
      • 여러 시점에서 반복 평가
      • 모델을 다시 학습하지 않음 - 한 번 학습된 모델로 여러 forecast 수행

    ✓ ec(아마존 판매 데이터), ec-sub(아마존 판매 데이터 subset)

    • time series가 매우 다양 - slow moving item, fast moving item

      즉, 판매량 scale 차이가 매우 큼

    • 새 상품의 경우 history가 거의 없다는 문제 → cold start problem

• DeepAR의 경우 global model로 모든 시계열을 같이 학습하기 때문에 패턴 공유 가능

  → probabilistic forecasting(불확실성 모델링)

  → scale normalization(power-law 문제 해결)

4.1 Accuracy comparsion

• parts와 ec/ec-sub 데이터셋에서 baseline 모델 비교

• baseline 모델

  • Croston - 간헐적 수요 예측을 위해 개발된 방법
  • ETS - Error Trend Seasonality 대표적인 Classical forecasting 모델
  • Snyder - Negative Binomial 기반 autoregressive 모델
  • ISSM - covariates를 사용하는 state space model

  ---

  [RNN기반] ← DeepAR의 구성요소가 실제로 중요한지 검증 목적

  • RNN-Gaussian
    • DeepAR과 동일한 구조 but 가우시안 분포 사용
  • RNN-negbin ← DeepAR의 design 요소 검증 목적
    • negative binomial 분포 사용
    • scale normalization, weighted smapling 사용 x

• 평가지표: p-risk metric (quantile loss) ← parts, ec, ec-sub

  • prediction range의 특정 구간인 L,L+S)를 지정하고 평가

    

- eletricity와 traffic은 ND와 RMSE로 평가

4.2 Quantile analysis

• ISSM 모델은 uncertainty가 선형적으로 증가한다고 가정하지만 DeepAR은 uncertainty 증가 패턴을 데이터로부터 학습 → 시간이 지날수록 uncertainty가 증가한다는 패턴 학습

  • uncertainty는 4분기(Q4)에 증가하고 이후 다시 감소 - retail의 특징 (수요변동성 증가)

• ISSM모델과 비교했을 때 DeepAR이 calibration이 전반적으로 good

• shuffled forecast calibration 곡선

  • 예측 샘플을 시간 순서 없이 섞음으로써 시간 간의 상관관계 제거

  • 짧은 구간에서는 큰 차이가 없지만 긴 예측 구간에서는 상관관계를 제거하면 calibration이 더 나빠짐

    → 모델이 시간 간 중요한 상관관계를 잘 학습하고 있음을 알 수 있음

5. Conclusion

• DeepAR모델은
  • 여러 시계열로부터 global model을 학습하고
  • rescaling과 velocity 기반 smapling으로 다양한 규모를 처리한다
  • calibrated probabilistic forecast를 생성하고
  • 데이터로부터 seasonality와 uncertainty 증가 패턴 학습
• 또한 다양한 데이터셋에서 하이퍼파라미터 튜닝을 거의 하지않더라도 잘 작동함
• 몇 백개정도의 중간 규모의 데이터셋에서도 good

논문명: Visual Instruction Tuning 학회(출판연도): NeurIPS (2023) 연구분야: 딥러닝 기반 멀티모달 표현 학습 및 비전-언어 모델

Background

• GPT-4는 이미지를 이해할 수 있지만, 학습방법은 공개되지 않았었음

  → LLM이 instruction tuning으로 똑똑해졌듯, 이미지도 instruction tuning을 하면 GPT-4V처럼 만들 수 있지 않을까?

  ✓ instruction tuning

  instruction(사용자의 지시) + tuning(이미 학습된 모델을 특정 목적에 맞게 추가로 학습)

  → 즉, 사용자의 다양한 지시를 잘 따르도록 추가 학습시키는 것을 의미함

  ✓ 이게 왜 필요하냐하면~

  일반적인 언어모델의 경우에는 인터넷 문서를 보고 학습을 하게 되는데, 학습데이터는 대부분

  대한민국의 수도는 서울이다.

  또는

  고양이는 포유류다.

  이런 데이터는 지식을 배우는데에는 좋은데 사람의 질문에 대답하는 방법은 배우지 못한다는 단점이 있다.

  그래서 instuction tuning을 통해서 학습데이터를 아래와 같이 바꾼다.

  instruction: 대한민국의 수도가 어디야?
  answer: 서울입니다.

  또는

  instruction: 다음 문장을 영어로 번역해줘
  input: 안녕하세요
  answer: hello.

  와 같이 질문-답변 형태를 수십만~수백만개를 학습시키는 것

  • 그러면 모델은 사람이 이런 지시를 하면 이렇게 대답해야한다는 것을 배우게 된다

  ✓ visual instruction tuning

  기존의 instruction tuning은 “질문-답변”처럼 텍스트만 활용했었는데, visual instruction tuning은 “이미지 + 질문 → 답변”을 학습한다.

  예를 들어,

  (강아지 사진)
  질문: 강아지가 지금 뭐하고 있어?
  답변: 공을 보고 있습니다.

  또는

  (도로 위 사진)
  질문: 왜 차들이 지금 멈춰 있어?
  답변: 빨간불이기 때문입니다.

  정리하자면,

  • instruction tuning은 사용자의 지시를 이해하고 적절히 수행하도록 언어 모델을 추가 학습시키는 과정이고
  • visual instrucion tuning은 여기에 이미지 정보를 함께 입력받아서 이미지를 이해하고 사용자의 질문이나 지시에 맞게 학습시키는 방법을 의미한다

  ⇒ 텍스트만 이해하는 AI를 이미지를 보고 대화할 수 있는 AI로 확장

• 기존의 VLM의 문제

  • 이전에는 이미지를 보고,

    • 저게 뭐야? - 강아지요. 까지는 대답을 잘했는데,

    • 왜 강아지가 위를 쳐다보고 있어? 라고 하는 추론이 필요한 질문에는 대답을 하기 어려웠음

      ⇒ 그래서 필요한 것이 instruction 데이터

  • instruction 데이터를 활용해서

    • 왜 강아지가 위를 쳐다보고 있어? - 저 위에는 공이 있기 때문이야와 같이 질문-답변 형태로 학습하도록 함

  • 그런데, 이러한 instruction 데이터를 사람이 만들게 되면, 비용이 너무 많이 들게 된다는 단점이 존재함

    ⇒ GPT-4를 이용하자

    • GPT-4를 활용하게 되면,

      [이전]

      • 이미지 하나 → 캡션 1개(강아지가 공원에서 놀고 있어요!)

      [GPT-4]

      • 캡션 1개(강아지가 공원에소 놀고 있어요!)

        →

        • 어떤 동물이야? - 강아지요
        • 강아지가 뭐하고 있어? - 놀고 있어요
        • 어디에서? → 공원에서요
        • 강아지가 지금 실내야? - 아니요

        와 같은 대화를 자동 생성을 하면서, 캡션 1개로 instruction dataset을 만들 수 있다.

Abstract

• GPT가 생성한 instruction 데이터를 활용하여 LLM을 튜닝시키면 새로운 작업(Zero-shot)에 대한 성능이 향상된다는 사실이 알려져 있지만, 멀티모달 분야에서는 충분히 연구되지 않았음

  ✓ Zero-shot

  쉽게 말해, 학습 데이터가 0개인 상태로도 새로운 작업을 수행할 수 있는 능력을 의미함

  예를 들어,

  • instruction tuning을 하지 않은 모델

    → 번역 o, 요약 △, 설명 x

  • instruction tuning을 한 모델

    → 번역 o, 요약 o, 설명 o, 코드 작성 o 처럼 새로운 작업에도 적응을 잘함

  ✓ Zero-shot, One-shot, Few-shot

  방식	학습 예시 수	예시
  Zero-shot	0개	"이 문장을 번역해."
  One-shot	1개	예시 하나를 보여준 뒤 수행
  Few-shot	몇 개(2~10개 정도)	예시 몇 개를 보여준 뒤 수행

  • Zero-shot

    • 오늘 정말 행복해 → 감정을 분류해!

  • One-shot

    • 오늘 너무 좋다 - 긍정

      → 오늘 정말 행복해 - ??

  • Few-shot

    • 좋다 - 긍정, 싫다 - 부정, 행복하다 - 긍정

      → 오늘 정말 행복해 - ??

• 본 연구에서는 텍스트만 활용하는 GPT-4를 활용하여 이미지와 텍스트 기반의 멀티모달 instrction 데이터를 생성을 제안함 → LLaVA

  • LLaVA: 비전 인코더에 LLM을 결합하여 범용적인 이미지와 언어 이해를 수행하는 end-to-end 방식의 대규모 멀티모달 모델

    ✓ end-to-end

    입력(input)부터 출력(output)까지 하나의 모델이 전체 과정을 한 번에 학습하는 것

    ✓ 참고

    이전

    • 이미지 → 사람이 특징 추출(귀 모양, 털 색 등) → 분류기 → 고양이
    • 즉, 여기에서 귀 길이를 측정하자, 색깔을 활용하자. 같은 규칙을 사람이 정해야 했음
    • 입력 → feature engineering(사람) → ML → 출력

    딥러닝에서는

    • 이미지 → 신경망 → 고양이
    • 모델이 스스로 어떤 특징을 볼 지, 어떻게 판단할지를 학습함

    LLaVA에서도

    입력: 이미지+질문 → 출력: 답변
    과 같이 중간에 사람이 객체를 검출하거나 caption을 만들거나하는 과정이 없음

    • 이미지 → CLIP → Vicuna → 답변

    • end-to-end의 핵심은 최종적인 loss가 어디에서 계산되느냐임

      end-to-end가 아닌 경우

      • 이미지 → YOLO → BBox 저장 → 캡션 모델 → 텍스트 저장 → GPT → 답변
        과 같이 각 모델이 독립적으로 동작하는 경우

      • YOLO는 객체 탐지만, Caption모델은 BBox만, GPT는 텍스트만 보기

        → 하나의 loss로 연결되어 있지 않음

      end-to-end이려면

      • 이미지 → CLIP → projection → Vicuna → Answer → Loss 하나

  • 모델뿐만 아니라 평가용 데이터세트도 함께 만들었음

• 실험결과, 멀티모달 대화 능력이 우수했고, 새로운 이미지나 질문에서도 GPT-4V와 비슷한 수준을 보이기도 했음

  • GPT-4V의 성능을 100이라고 했을 때, LLaVA는 85.1%정도
  • ScienceQA 데이터세트로 파인튜닝한 결과, 92.53%로 SOTA 달성

1. Introduction

• 사람이 시각과 언어 여러가지 채널을 통해 상호작용하는 것처럼 인공지능 또한 시각과 언어를 모두 포함하는 멀티모달 지시를 효과적으로 따르고, 인간의 의도와 일치하게 실제 환경에서 다양한 작업을 수행하는 것을 목표로하고 있음

  • 그래서 최근에, 언어가 결합된 비전 모델 개발에 대한 관심이 증가하고 있음

    • 분류(classification), 객체 탐지(detection), 분할(segmentation), 이미지 설명(captioning), 이미지 생성(generation), 편집(editing) 등 다양한 곳에서 뛰어난 성능을 내고 있음

  • 하지만 이러한 연구들은 end-to-end 형식이 아니라 각 작업들이 하나의 대형 모델에서 독립적으로 해결이 되고 있음

    • 분류 모델 → 분류만, 객체 탐지 모델이면 → 탐지만

    • 언어도 이미지 내용을 설명하는 것에만 그쳤었음

      즉, 왜 그런지, 다른 방법은 없는지, 비슷한 예시는 뭔지? 등에 대한 질문에서는 잘 대응하지 못했었음

• 이때, LLM은 언어가 다양한 작업 지시를 할 수 있고, end-to-end로 학습된 신경망이 원하는 작업으로 전환하여 문제를 해결할 수 있도록 함을 보여줌

  • 그래서 오픈소스 LLM에 대한 관심이 높아졌고, 그중 LLaMA는 GPT-3에 준하는 오픈소스 LLM
    • instruction tuning 덕분에 오픈소스 모델도 GPT와 비슷한 성능을 낼 수 있게 되었음

• 하지만, 그동안은 텍스트만을 대상으로 연구가 진행되어 왔었고, 본 연구에서는 instruction tuning을 언어-이미지 멀티모달 공간으로 확장하는 visual instruction tuning을 제안함

  • 멀티모달 instruction 데이터가 부족하기 때문에 ChatGPT/GPT-4를 이용하여 이미지-텍스트 쌍을 적절한 instruction 형식으로 병형하는 데이터 재구성 방법과 파이프라인을 제안
  • CLIP의 개방형 시각 인코더와 Vicuna 언어 디코더를 연결하여 대규모 멀티모달 LLM을 개발하고, 시각-언어 instruction 데이터로 end-to-end 미세 조정 수행

2. Related Work

Multimodal Instruction-following Agents

• 컴퓨터 비전 분야에서 instruction-following agents를 구축하는 기존 연구들은 크게 두가지 범주로 나눌 수 있음
  — ① end-to-end 모델, ② 여러 모델을 연결한 시스템

[end-to-end 모델]

• 각각의 특정 연구 주제마다 별도로 개발되는 편
  • VLN(Vision Language Navigation) & Habitat에서
    Embodied AI Agent가 자연어 지시를 따르고, 시각 환경에서 목표를 달성하기 위한 일련의 행동을 수행해야함
  • 예를 들어, 사람이 “주방에서 컵을 가져와”라고 했다면,
    AI가 앞으로 이동 → 오른쪽으로 회전 → 컵 찾기 → 집기를 수행
• 이미지 편집 분야에서
  입력 이미지와 사람이 작성한 지시문을 입력 받아서 InstructPix2Pix는 이미지 편집 수행

[여러 모델을 연결한 시스템]

• LangChain이나 LLM을 이용하여 여러 모델을 조정하는 시스템
  • Visual ChatGPT, X-GPT, MM-REACT, VisProg, ViperGPT

⇒ 두 범주 모두 instruction-following agent를 구축한다는 목표를 가지고 있지만, 본 연구에서는 여러 작업을 수행할 수 있는 end-to-end 방식의 언어-비전 멀티모달 개발에 초점을 맞출 것

Instruction Tuning

• 자연어 처리 분야에서는 GPT-3, T5, PaLM, OPT와 같은 LLM이 자연어 지시를 따르고 실제 작업을 수행할 수 있도록 하기 위해 instruction tuning 방법을 연구함

  • InstructGPT/ChatGPT, FLAN-T5, FLAN-PaLM, OPT-IML

  • instruction tuning을 통해 LLM의 Zero-shot, Few-shot 일반화 능력이 향상

    ⇒ 때문에 해당 아이디어를 NLP뿐만 아니라 CV에도 적용해보자!

• 넓게보면, foundation model을 이용한 Teacher-Student Distillation 아이디어는 이미지 분류와 같은 다른 분야에서도 연구되어 옴

  • Flamingo

    • Zero-shot 작업 전이와 In-context Learning에서 뛰어난 성능을 보였음 → 멀티모달 분야의 GPT-3

      ✓ In-context Learning(ICL) — Few-shot learning

      모델 파라미터를 업데이트하지 않고, 프롬프트에 예시를 넣어 새로운 작업을 수행하게 하는 방법

      파인튜닝은 데이터를 넣음으로써 모델을 다시 학습시킴. 즉, 가중치가 바뀜

      • 데이터 → 모델학습 → 파라미터 변경 → 새로운 모델

      반면, ICL은 학습은 안하고, 프롬프트만 변경

      한국어 : 감사합니다.
      영어 : Thank you.

      한국어 : 좋은 아침입니다.
      영어 : Good morning.

      한국어 : 안녕하세요.
      영어 : ??

      ⇒ GPT는 Hello.로 답하는데 이건 학습한 것이 아니라 “지금 이 번역 패턴을 따라가면 되는구나”를 프롬프트에서 이해한 것

  • BLIP-2, FROMAGe, KOSMOS-1

    • 이미지-텍스트 쌍으로 학습된 대규모 멀티모달 모델

  • PaLM-E

    • Embodied AI를 위한 대규모 멀티모달 모델

• 오픈 소스 LLM인 LLaMA를 기반으로 OpenFlamingo와 LLaMA-adapter는 LLaMA가 이미지 입력을 사용할 수 있는 오픈소스 연구이며 오픈소스 LLM 개발의 기반을 마련

  • 기존의 모델은 이미지를 이해하긴 하지만, instruction tuning을 하지 않았고, 멀티모달 성능이 일반 텍스트 전용 작업보다 부족하다는 문제

    ⇒ 본 논문에서 이러한 공백을 메우고자 함

• 주의해야할 점은

  • Visual instruction tuning과 visual prompt tuning은 다르다.
    • visual instruction tuning은 모델의 instruction 수행 능력 향상 목적
    • visual prompt tuning은 모델을 새로운 작업에 적응시킬 때 적은 수의 파라미터만 학습하여 효율성을 높이는 것이 목적

3. GPT-assisted Visual Instruction Data Generation

• CC와 LAION 등 이미지-텍스트 상으로 이루어진 공개 멀티모달 데이터세트는 풍부하지만, instruction-tuning에 필요한 멀티모달 instruction-following 데이터는 제한적

  • 부분적으로 사람들이 크라우드소싱을 통해 데이터를 만드는 것도 비용이 많이 듦

    ⇒ 본 논문에서는 이미지-텍스트 데이터를 기반으로 ChatGPT/GPT-4를 활용하여 멀티모달 instruction-following 데이터를 수집하는 방법을 제안함

• 이미지 $X_v$와 여기에 대응하는 캡션 $X_c$가 주여졌을 때, 이미지 내용을 설명하도록 Assitant에 지시하는 질문 집합 $X_q$를 만듦

  • 본 논문에서는 GPT-4에게 이러한 질문 목록을 생성하도록 프롬프트를 제공함(부록 참조)

  • 이미지-텍스트 쌍을 instruction-following 형태로 확장하는 가장 간단한 방법은

    human: $X_q$ $X_v$ <STOP>
    Assistant: $X_c$ <STOP>

    ⇒ 즉, 원래는 image → caption 구조였는데, 이제는 질문 + image → caption 구조로!

  • 하지만, 이런 단순작업으로는 질문과 답변 모두에서 다양성과 깊이 있는 추론을 하기엔 부족해짐

• 이러한 문제를 해결하기 위해, 텍스트만 입력받는 GPT-4 또는 ChatGPT를 강력한 Teacher 모델로 활용하여 시각정보를 포함하는 Instruction 데이터를 생성함

  • 이미지를 텍스트 전용 GPT가 이해할 수 있도록 2가지 기호적 표현 사용

    ✓ 기호적 표현이란

    캡션과 BBox는 이미지를 그대로 사용하는 것이 아니라, 이미지를 “기호”나 “텍스트” 형태로 표현하는 것이라서 기호적 표현이라고 부름

    이미지

    • 픽셀들의 집합 (숫자 배열)

    [[123, 45, 200],
    [132, 50, 190],
    ...
    ]

    캡션

    • 강아지가 공원에서 놀고 있어요! 와 같이 언어로 변환한 것
    • 이미지 → 텍스트 이므로 기호를 이용한 표현

    BBox

    • BBox는 객체 이름(dog)와 위치좌표($x_1$,$y_1$,$x_2$,$y_2$)로 이미지 표현

    Dog : (120, 50, 280, 320)
    
    Ball : (330, 210, 380, 260)
    
    Person : (20, 10, 170, 400)

    • 픽셀 자체가 아니라 추상화된 정보이므로 기호적 표현

  • 캡션은 일반적으로 다양한 관점에서 시각 장면을 설명함

  • BBox는 장면 속 객체 위치를 나타내며, 각 박스는 객체의 종류와 공간적 위치를 함께 표현함

    • 예시(부록)

      !image.png

  ⇒ 이러한 기호적 표현을 통해 LLM이 이해할 수 있는 시퀀스로 인코딩할 수 있게 됨

• 본 논문에서는 COCO 데이터를 활용하여 세 종류의 instruction 데이터를 생성함

  • 사람이 몇 개의 예시(ICL의 seed example)를 설계하면, 그 예시를 보고 GPT가 나머지를 보고 스스로 생성함

[Conversation]

• 사진에 대해 질문하는 사람과 Assistant 사이의 대화 설계
  • 답변은 assistant가 실제 이미지를 보고 답하는 것처럼 작성
  • 질문은 객체 종류, 객체 개수, 객체의 행동, 객체 위치, 객체간 상대적 위치 등 다양한 시각 정보를 담았음 + 명확한 답이 존재하는 질문만 활용

[Detailed Description]

• 이미지에 대해 풍부하고 포괄적인 설명을 포함하기 위해 관련 질문 목록 설계
  • 각 이미지마다 질문 목록에서 하나를 무작위로 선택하여 GPT-4가 상세 설명을 생성하도록 함

[Complex Reasoning]

• Conversation 과 Detailed Description은 시각적 내용에 집중하고 이를 바탕으로 깊은 추론 질문 생성

  • 답변은 일반적으로 엄격한 논리를 따라 단계적으로 추론하는 과정

    ex. 왜 그 사람은 우산을 쓰고 있을까? → 비가 오고 있고, 우산을 쓰는 게 자연스럽다 와 같은 추론 필요

⇒ 158,000개 고유한 언어-이미지 instruction 데이터 수집

• 58,000개 → Conversation

• 23,000개 → Detailed Description

• 77,000개 → Complex Reasoning

• ChatGPT와 GPT-4를 모두 활용하여 데이터를 생성해 본 후 성능 비교함

  • 객체 간의 위치 관계나 공간 추론이 필요한 질문에서는 GPT-4가 훨씬 정확하고 일관된 데이터를 만들어냄 → 최종 데이터 생성에는 GPT-4 사용!

  ✓ GPT-4 vs ChatGPT

  GPT-4는 언어 모델이고, ChatGPT는 그 모델을 이용하여 대화할 수 있도록 만든 서비스

  • 비유하자면, A18칩 = GPT-4, 아이폰 = ChatGPT

4. Visual Instruction Tuning

4.1 Architecture

• 주요 목표는 사전학습된 LLM과 비전 모델의 능력을 모두 효과적으로 활용하는 것

• 구조

  image → CLIP 비전 인코더 - Visual Features → Projection layer - vision tokens → Vicuna → answer

• 파라미터 $ϕ$를 갖는 LLM $f_ϕ$(⋅)로 Vicuna 모델 선택 → 당시 가장 뛰어난 instruction following 능력을 가지고 있었음

  ✓ 왜 Vicuna

  Meta의 LLaMA를 기반으로 Instruction Tuning하여서 만든 오픈소스 대화형 언어모델

  • CLIP이 이미지를 feature로 바꾸고, projection layer가 Vicuna가 이해할 수 있는 형태로 변환

  [상세]

  모델	역할
  CLIP	이미지를 Feature로 변환
  Projection Layer	이미지 Feature를 Vicuna가 이해할 수 있는 형태로 변환
  Vicuna	질문을 이해하고 자연어 답변 생성
  GPT-4	학습용 Instruction 데이터 생성

  • 당시 GPT-4는 폐쇄형으로 가중치, 모델이 공개되어 있지 않아 공개된 Vicuna를 활용함
    • GPT-4는 데이터생성기 역할만 수행

• 입력 이미지 $X_v$에 대해 사전학습된 CLIP ViT-L/14 비전 인코더를 사용

  → 시각 특징 $Z_v$ = $g$($X_v$)를 생성함

  • 즉, 이미지를 CLIP에 통과시키면서 이미지를 숫자로 표현 → $Z_v$
    • $X_v$ : 입력 이미지
    • $g(⋅)$ : CLIP
    • $Z_v$ : 이미지 특징(feature)

• 마지막 transformer 층 이전과 이후에 Grid feature를 모두 고려함

  • CLIP내부에는 transformer가 여러 층이 있는데 논문에서는 마지막 층의 직전 feature과 직후 feature 둘 다 실험해봤다는 뜻

• CLIP에서 뽑은 이미지 특징을 단어 임베딩 공간으로 연결하기 위해 간단한 선형층 사용

  • Vicuna는 단어 임베딩 공간, CLIP의 feature는 이미지 feature공간에 있으니까 둘의 좌표계가 다르다는 문제 → 선형층에 넣자!

  • CLIP → 선형층 → LLM 구조라고 이해하면 됨

    ⇒ 즉, 우리가 학습가능한 projection matrix $W$를 적용해서 이미지 특징인 $Z_v$를 언어 임베딩 토큰 $H_v$로 변환
    → 이 임베딩 토큰 $H_v$는 단어 임베딩과 동일한 차원을 가짐

    • 여기서 projection matrix $W$는 학습되는 가중치를 의미함

      CLIP → W → LLM 토큰

      ✓ LLM이 사용하는 임베딩 크기와 완전히 동일한 차원으로 만든다는 것이 핵심!

  $H_v = W ⋅ Z_v,$ $with$ $Z_v = g(X_v)$

  ⇒ 이렇게 시각 토큰의 시퀀스 $H_v$를 얻게 됨 (이미지를 하나의 단어처럼!)

  • 이러한 projection 방식(선형층 1개)은 매우 가볍기 때문에 실험을 빠르게 진행 가능하다!!

• 이미지와 언어 표현을 연결하는 방법에는 선형층 1개만 사용하는 것뿐만 아니라, Flamingo의 Gated Cross-Attention이나 BLIP-2의 Q-former와 같은 방법도 있긴하다~ 이런 더 효과적이고 정교한 LLaVA 구조를 탐구하는 것은 향후 연구 과제로 남겨두겠다.

✓ 이 Architecture의 핵심 아이디어

• 새로운 거대한 모델을 만드는 것이 아니라 이미 강력한 두 모델(CLIP, Vicuna)을 간단한 projection layer 하나로 연결했다는 것
  • CLIP은 이미지 숫자 특징 $Z_v$로 변환
  • projection Matrix $W$는 이 특징을 LLM이 사용하는 단어 임베딩 공간으로 옮김
  • 이렇게 변환된 visual token $H_v$를 vicuna에 입력하면, vicun는 이미지를 단어처럼 처리해서 질문에 답할 수 있음
• 즉, LLaVA의 가장 큰 특징은 복잡한 멀티모달 구조가 아니라 간단한 연결만으로 사전학습된 모델을 잘 결합했다 라는 것

4.2 Training

• 각 이미지 $X_v$에 대해서 우리는 multi-turn 대화 데이터 $(X_q^1, X_a^1, … , X_q^T, X_a^T)$를 생성함

  • T는 전체 대화(turn)의 수

  • $X_q^t$ : t번째 질문

  • $X_a^t$ : t번째 답변

  • 이게 무슨 말이냐하면, 하나의 강아지 사진이 있을 때,

    • Q1: 어떤 동물? - A1: 강아지

    • Q2: 뭐하고 있음? - A2: 공보고 있음

    • Q3: 공은 무슨 색? - A3: 노란색!

      과 같이 여러번 이어지는 대화(Multi-turn 대화)를 하나의 학습 데이터로 활용함

• 이때, 모든 답변을 assistant의 응답으로 간주해서 하나의 시퀀스로 구성

  → 질문과 답을 모두 이어 붙여서 하나의 긴 문장으로 만든다는 의미

  : LLM은 원래 토큰들의 긴 문장을 입력으로 받기 때문에 위와 같은 작업 수행

• t번째 instruction (t번째 턴에서 human이 입력한 질문, 지시문)

  • 다시 한 번, 개념을 짚자면,

    Q1, Q2, Q3 = instruction

    A1, A2, A3 = assistant response

  • $X_{instuct}^t$ $=$ $\begin{cases} \text{Randomly choose } [X_q^1, X_v] \text{ or } [X_v, X_q^1], & t=1 \ X_q^t, & t>1 \end{cases}$

    → 첫 번째 턴(t=1)에서는 $[X_q^1, X_v] \text{ or } [X_v, X_q^1]$ 중 하나를 무작위로 선택한다.

    즉, Question → image 도 사용하고, image → Question 도 사용한다는 것(순서에 너무 민감하지 않도록 하기 위함)

    → 두번째 질문부터는 이미지는 이미 앞에서 입력했기 때문에, Q - A 구조만 넣음

    ⇒ 멀티모달 instruction-following 시퀀스 형식 완성!

  

• LLM은 원래의 자기 회귀(Auto-regressive) 학습 목표를 사용해서 prediction token에 대해 instruction tuning을 사용함

  ✓ Auto-regressive

  이전에 생성한 단어(토큰)을 이용하여 다음 단어를 하나씩 순차적으로 생성하는 방식

  • 즉, 앞에서 생성한 결과를 다시 입력으로 사용하면서 문장을 이어가는 방식을 의미함

  ✓ GPT vs BERT

  GPT (Auto-regressive)	BERT (Auto-encoding)
  다음 토큰 예측	가려진 토큰 예측
  왼쪽 → 오른쪽 생성	문장 전체를 동시에 봄
  텍스트 생성에 강함	이해(분류, 검색 등)에 강함

  • 길이가 L인 시퀀스에 대해 목표 답변 $X_a$가 생성될 확률은
    이미지 $X_v$, instruction, 이전까지 생성된 답변 토큰들을 조건으로 각 토큰의 확률을 모두 곱한 값으로 정의

    $p(X_a \mid X_v, X_{\mathrm{instruct}}) = \prod_{i=1}^{L} p_\theta!\left( x_i \mid X_v, X_{\mathrm{instruct, <i }}, X_{a,<i} \right)$

    • $\theta$ : 학습 가능한 파라미터
    • $X_{\mathrm{instruct}, <i}$ : 현재 예측 토큰 $x_i$ 이전까지의 instruction 토큰
    • $X_{a,<i}$ : 현재 예측 토큰 $x_i$ 이전까지의 answer 토큰

    ⇒ 보면 GPT의 Next Token Prediction과 유사한데,
    Question → <Image> → The → dog → is → running이면, LLM은 The를 맞추고 그 다음 dog, 다음에 is를 맞추는 형식.
    : 답 전체를 한 번에 맞추는 것이 아니라 토큰 하나씩 예측

  • 구현에 있어서,

    • Vicuna-v0를 따라 system message를 설정하고 <STOP> 토큰을 ###으로 설정

    • 모델은 assistant의 답변과 어디에서 멈출지()을 예측하도록 학습되고, 자기회귀 모델에서는 초록색 토큰(assistant의 답변 부분)만 Loss 계산에 사용됨

      (질문은 이미 입력으로 주어지니까)

• LLaVA 모델 학습은 2단계의 instruction tuning 절차를 사용한다

Stage1: pre-training for feature Alignment

→ 이미지 특징(CLIP 출력)과 LLM의 단어 임베딩 공간을 서로 맞춰주는 것(Aligment)

• 개념의 다양성 + 학습의 효율성을 고려하여 CC3M 데이터 세트를 필터링하여 59만 5천개의 이미지-텍스트 쌍 사용 (필터링과정은 부록에)

• 이미지-텍스트 쌍은 3절에서 이야기한 것과 같이 단순 확장 방법을 이용하여 instruction-following 데이터로 변환

  • image → caption 을
    Human: Image + 이미지를 묘사해!(질문)
    → Assistant: Caption 형태

    ⇒ 이 하나의 쌍을 single turn 대화로 간주

• $X_{instuct}^t$ $=$ $\begin{cases} \text{Randomly choose } [X_q^1, X_v] \text{ or } [X_v, X_q^1], & t=1 \ X_q^t, & t>1 \end{cases}$

  의 입력 $X_{instuct}^t$을 구성하기 위해, 이미지 $X_v$에 대해 간단히 설명하라는 질문 $X_q$를 무작위로 하나 선택

  → 정답 답변인 $X_a$는 원래 caption으로!

  즉, 질문은 새로 만들지만 정답은 원래 데이터세트에 있던 caption을 그대로 활용

• 학습에 있어서 비전 인코더와 LLM의 가중치는 모두 고정(frozen)하고, projection matrix $W$만 학습 가능한 파라미터로 둬서

  $p(X_a \mid X_v, X_{\mathrm{instruct}}) = \prod_{i=1}^{L} p_\theta!\left( x_i \mid X_v, X_{\mathrm{instruct, <i }}, X_{a,<i} \right)$ 의 우도를 최대화 시킴!

  → CLIP의 특징을 Vicuna가 이해할 수 있는 형태로 변환하는 것만 배우면 되니까, $W$만 학습시킴

  ⇒ 이렇게되면 이미지 특징 $H_v$가 사전학습된 LLM의 단어 임베딩과 정렬될 수 있음

  ⇒ 즉, 고정된 LLM이 읽을 수 있도록 Visual tokenizer를 학습하는 과정

  (이미지를 LLM이 읽을 수 있는 시각 토큰으로 변환하는 방법을 배우는 것)

Stage2: Fine-tuning end-to-end

→ 본격적으로 LLaVA를 학습하는 단계

• 비전 인코더(CLIP)의 가중치는 계속해서 고정해 놓고, projection layer와 LLM의 가중치를 함께 업데이트! (이제는 vicuna도 이미지를 잘 이해하도록 fine-tuning)
  • 학습가능한 파라미터 $\theta = {W, \phi}$

[Multimodal Chatbot]

• 3절에서 생성한 15만 8천개의 언어-이미지 instruction 데이터로 fine-tuning을 진행하여 챗봇 개발
  • Conversation → multi-turn
  • Detailed description → single turn
  • Complex reasoning → single turn

[ScienceQA]

• 정답뿐아니라 자세한 강의와 설명이 포함된 최초의 대규모 멀티모달 과학 문제 데이터세트
  • 각 문항에는 자연어 또는 이미지 형태의 문맥이 함께 제공됨
• Assistant는 자연어로 추론 과정을 설명하고, 여러 선택지 중에서 하나를 정답으로 선택함
• 이 데이터세트의 경우에는 single turn으로 구성되고, 문제와 문맥을 $X_{instruct}$로, 추론과정과 정답을 $X_a$로 사용

5. Experiments

• 평가
  • LLaVA의 instruction-following 능력과 시각적 추론 능력을 multimodal chatbot 데이터세트와 scienceQA 데이터세트를 통해 확인
    • Multimodal chatbot: 사람처럼 이미지에 대해 대화할 수 있는지
    • ScienceQA: 이미지를 보고 과학 문제를 추론할 수 있는지
• 학습환경
  • Vicuna의 하이퍼파라미터를 따라서, 모든 모델을 A100 GPU 8개를 사용해서 학습함
  • Stage1: 사전학습
    • 필터링된 CC-595K 데이터세트에서 1epoch, learning rate = 2x10^{-3}, 배치사이즈 = 128
  • Stage2
    • LLaVA-instruct-158K 데이터세트에서는 3epoch, learning rate = 2x10^{-5}, 배치사이즈 = 32로 fine-tuning 진행

5.1 Multimodal Chatbot

• LLaVA의 이미지 이해 능력과 대화 능력을 보여주기 위해 챗봇 데모를 개발함
  • 시각적 입력을 얼마나 잘 이해하는지
  • instruction-following 능력을 잘 보여주는지를 연구
• 이때, GPT-4논문에 제시된 이미지 문제를 가져와서 비교 진행
  • 멀티모달 GPT-4의 질문(prompt)와 응답(response)을 그대로 인용
  • 또한, BLIP-2와 OpenFlamingo 모델과도 같은 질문을 입력하여 응답 얻음

⇒ 즉, GPT-4 논문의 이미지와 질문을 활용하여, GPT-5, BLIP-2, OpenFlamingo, LLaVA의 응답을 비교함

• LLaVA는 비교적 작은 멀티모달 instruction-following 데이터세트(약 8만장의 고유 이미지)로 학습되었음에도, 이러한 예시들에서 멀티모달 GPT-4와 상당히 유사한 추론 결과를 보여줌
  • 도메인 밖의 이미지였음에도 굿굿!
• 반면, BLIP-2와 OpenFlamingo는 단순 이미지 설명에 불과했음

Quantitative Evaluation

• LLaVA의 성능을 체계적으로 이해하기 위해서 멀티모달 데이터에서의 instruction-following 능력을 측정하는 정량적 평가 지표 제안
  • 이때, GPT-4는 생성된 응답의 품질을 평가하는 역할
  • 평가 데이터: 이미지, 정답 텍스트 설명, 질문으로 구성
• 이론적인 상한선을 근사하기 위해서 텍스트 전용 GPT-4가 질문과 정답 텍스트 설명을 이용해서 생성한 답변을 레퍼런스로 사용
  • 그니까 이미지를 텍스트로 잘 설명한 정보를 GPT-4가 받아서 답을 내놓기 때문에 이를 레퍼런스로 삼는다는 뜻
• 두 모델의 응답을 얻은 후,
  질문, 시각 정보, 두 assistant의 응답을 텍스트 전용 GPT-4(judge)에 입력함
  • Question, Caption, LLaVA의 답변, GPT-4의 래퍼 답변 → 이렇게 받음
  • 그래서 도움이 되는 정도, 관련성, 정확성, 상세함 등을 평가하여 1-10점까지의 점수 부여 및 왜 이렇게 평가했는지에 대해서도 설명

[LLaVA-Bench(COCO)]

→ COCO 데이터세트를 활용하여 연구진이 새롭게 만든 평가용 벤치마크

• COCO-Val-2014에서 30장의 이미지를 무작위로 선택

  → 3절에서 제안한 이미지 생성 파이프 라인을 통해 3가지 유형의 질문(conversation, detailed description, complex reasoning) 생성

  ⇒ 총 90개의 질문

• 해당 벤치마크를 통해서 동일한 시각 입력(이미지)에 대해 모델의 정렬 특성과 능력을 평가함

• 서로 다른 유형의 instruction-following 데이터 효과를 분석하기 위해서 학습 데이터세트를 변경하며 실험했음
  • instruction tuning을 적용하면 사용자 지시를 따르는 능력이 50점 이상 크게 향상됨
  • 소량의 detailed description과 complex reasoning 질문을 추가하는 것만으로도 모델의 전체 성능이 약 7점정도 향상됨
  • conversation 질문에 대한 성능도 향상 → 추론 능력 향상이 대화 능력을 보완함을 알 수 있음
  • 3가지 유형을 모두 사용했을 때, 85.1%로 가장 성능이 좋았음

[LLaVA-Bench(In-the-wild)]

→ COCO같은 일반적인 사진이 아니라 더 어려운 실제 이미지 사용

• 실내, 실외 장면, 밈, 그림, 스케치 등 다양한 종류의 24개의 이미지와 60개의 질문을 수집하여 각 이미지마다 사람이 작성한 매우 상세한 설명과 적절한 질문을 연결함

• visual instruction tuning 덕분에 LLaVA는 BLIP-2보다 29%, OpenFlamingo보다 48% 더 높은 성능을 달성
• 정답 레이블을 입력으로 사용하는 텍스트 전용 GPT-4와 비교했을 때, LLaVA는 복잡한 추론 문제에서 81.7%의 상대 성능을 달성했고, 전체 점수는 67.3%정도

[Limitations]

• LLaVA-Bench(In-the-wild)는 의도적으로 어렵게 설계되어 있고, 모델의 약점을 드러내기 위한 목적

• 왼쪽 예시에서 식당 이름을 맞추기 위해서는

  • 광범위한 지식과 다국어 이해 능력이 있어야함
  • 반찬이 뭔지 설명하려면 모델이 인터넷에서 관련 멀티모달 정보를 검색할 필요가 있을 수도

• 오른쪽 예시에서 요거트 브랜드를 정확히 인식하기 위해서는

  • 모델은 고해상도 이미지를 처리할 수 있어야하고 폭넓은 지식을 가지고 있어야함

  • 또한, 주목할만한 사례는 냉장고에 딸기, 요거트가 있는데 딸기맛 요거트가 있다고 판단함

    ⇒ LLaVA는 이미지를 패치들의 집합으로 인식해서 이미지 안의 복잡한 의미적 관계를 제대로 이해하지 못함

• 본 연구의 LLaVA가 baseline이 되길 바라며, 본 연구가 LLM 개발에 도움이 되길 바람~!

5.2 ScienceQA

• ScienceQA는 21,000개의 멀티모달 객관식 문제를 포함하고 있음
  • 3개의 과목, 26개의 주제, 127개의 카테고리, 379개의 기술에 걸쳐 다양한 도메인 포함
• 데이터세트
  • 학습용: 12,726개
  • 검증용: 4,241개
  • 테스트용: 4,241개
• 평가: 아래 모델들과 비교
  • GPT-3.5(chain-of-thought 사용/미사용)
  • LLaMA-Adapter
  • MM-CoT(Multimodal Chain-of-Thought) → 당시 SOTA

• LLaVA

  • 마지막 레이어 이전 시각 특징 사용
  • 모델이 먼저 이유를 예측하고, 정답을 예측하도록
  • 12 epoch동안 학습

  ⇒ 결과적으로 90.92%의 정확도, 당시 SOTA 91.68%와 유사한 수치

• LLM의 한계를 확인하기 위해

  • GPT-4에도 2-shot in-context learning을 적용하여 82.69%의 정확도를 달성함

    ⇒ GPT-3.5의 75.17%보다 절댓값 기준 7.52% 향상

• 상당수의 문제에서 GPT-4는 이미지나 그래프 등의 문맥이 부족하다고 판단하여 답변하지 못했었음

  • 즉 GPT-4의 성능이 낮은 이유는 추론 능력이 부족한게 아니라 이미지를 볼 수 없기 때문

  ⇒ 그래서 LLaVA와 GPT-4의 결과를 결합하는 2가지 방법!

1. GPT-4 보완방식

• GPT-4가 답변하지 못하는 경우에는 LLaVA의 예측 결과 사용
• 90.97%의 정확도를 달성했고, 이는 LLaVA만 사용하는 것과 거의 동일

⇒ 그닥 효과x

2. GPT-4를 judge로 활용하는 방법

• GPT-4와 LLaVA의 답이 다른 경우, GPT-4에 질문과 두 모델의 답변을 보여주고 최종 답을 선택하도록

  → chain-of-thought와 유사하지만 다른 모델의 외부 지식을 활용한다는 점에서 다름

• 해당 방법은 92.53%의 SOTA 달성!

  ⇒ 어떻게 텍스트 전용 GPT-4가 이미지를 포함한 문제에서 전체 성능을 올릴 수 있었을까?

  • ex. 태양은 어느 방향에서 뜨는지와 같은 이미지없이 풀 수 있는 문제들도 있어서, GPT-4 judge가 이러한 경우를 식별해서 LLaVA의 일부 오류를 수정함

    ⇒ GPT-4를 앙상블에 활용한 최초의 사례

[Ablations]

• Visual features

  • CLIP 비전 인코더의 마지막 레이어 특징을 사용하여 89.96%의 정확도를 얻었음

  • 즉, 마지막 이전 레이어의 특징을 사용했을 때보다 0.96% 낮음

    ⇒ CLIP의 마지막 레이어는 전역적이고 추상적인 이미지 특성에 더 집중하지만, 그 이전 레이어는 구체적인 이미지 세부 정보를 이해하는데 유용한 지역적 특징에 집중하기 때문!

• Chain-of-thought

  • 모델이 정답을 먼저 생성할지 또는 추론과정을 먼저 생성할지를 결정하기 위한 실험

    • 정답먼저: 12epoch에서 89.77% 최고 정확도
    • 추론먼저: 6epoch에서 89.77%도달, 이후 더 오래 학습해도 추가적인 향상은 x

    ⇒ 수렴속도는 향상시키지만, 최종 성능 향상에는 크게 기여하진 않음

• pre-training

  • pre-training을 제외하고 scienceQA에서 처음부터 학습시켜봤을때 정확도가 85.81%로 감소

• model-size

  • 13B와 7B 비교
  • 89.84%로, 90.92%보다 1.08% 낮은 성능

6. Conclusion

• Visual instruction tuning 효과 입증
• 언어-이미지 기반의 instruction-following 데이터를 자동으로 생성하는 파이프라인 제안
  • 이를 바탕으로 사람 의도를 이해하고 시각적 작업을 수행하는 멀티모달 모델 LLaVA를 학습시킴
• LLaVA는
  • ScienceQA에서 fine-tuning했을 때, SOTA 달성
  • multimodal chatbot로 fine-tuning 했을 땐 뛰어난 visual chat 능력을 보여줌
• 또한, 멀티모달 instruction-following 능력을 평가하기 위한 최초의 벤치마크 제시
• 우리 연구가 visual instruction tuning의 첫 번째 단계이고, 앞으로 추가적인 연구하시길~

논문명: FinBERT: Financial Sentiment Analysis with Pre-trained Language Models 학회(출판연도): arXiv (2020) 연구분야: 딥러닝 기반 금융 자연어 처리 및 도메인 특화 언어모델

Background Concepts

• 기존의 NLP모델은 뉴스, 위키 등 일반 텍스트를 학습하는데 금융 텍스트는 완전히 다른 언어이며 전문 용어, 미묘한 표현 등으로 인해서 일반적인 BERT는 금융 sentiment 성능이 낮았음 ⇒ Domain Shift(도메인 불일치)

① BERT(Bidirectional Encoder Representations from Transformers)

• 정의: 양방향 문맥을 이해하는 Transformer기반 언어 모델
• 중요성: 거의 모든 NLP task의 baseline
• 비유: 문장을 왼쪽 → 오른쪽이 아니라 “전체 문맥을 동시에 읽는 독자”

② Domain Adaptation

• 정의: 특정 분야 데이터로 모델 다시 학습
• bullish, liability 같은 단어는 금융에서 의미가 다르기 때문

Abstract

[문제]

• 금융 텍스트 감정 분석 어려움
  • 금융 분야는 전문 용어가 많고 라벨된 데이터도 부족하기 때문
• 일반적인 NLP는 금융분야에서 성능이 그다지 좋지 못함
  • 도메인 차이

[해결]

• pre-trained language model
  • 적은 데이터로도 학습이 가능하며
  • 금융 데이터로 추가적으로 학습도 가능하기 때문

⇒ FinBERT

• SOTA 달성
• 적은 데이터 및 일부만 fine-tuning해도 기존 모델보다 좋음

1. Introduction

• 공개시장에 대한 가정: 가격은 모든 정보를 반영함
  • 새로운 정보가 나오면 바로바로 반응하면서 가격이 변동됨
• 이때 “새로운 정보”는 기술의 발전에 따라 의미가 달라질 수 있고 이걸 빨리 쓰는 사람은 이득을 볼 수 있을 것

• 뉴스, 리포트 같은 금융 텍스트 분석은 새로운 정보의 원천
  • 텍스트가 너무 많아서 사람이 직접 분석하는 것은 불가능
  • 때문에 NLP 기반의 감정 분석이 많이 연구되고 있음

2. Related Literature

2.1 Sentiment analysis in finance

• 감정 분석: 글에서 사람의 감정이나 의견을 뽑아내는 작업

• 기존의 연구: ① 단어 개수 기반 머신러닝(bag of words) ② 임베딩 기반 딥러닝(embedding)

  ⇒ [한계]

  • word counting: 의미를 잘 못 잡음
  • deep learning: 데이터가 너무 많이 필요함

• 금융 감정 분석의 경우 도메인뿐만 아니라 목적도 일반적인 감정분석과 다름

  • 목적: 시장이 어떻게 반응할 지 예측하는 것

[기존 - ① ML]

• bag of words 나 사전 기반 방법(lexicon-based) 많이 활용

  → 금융 단어 사전을 만들어서 단어 개수로 감정 판단

• N-gram 뽑아서 ML모델로 감정 분류

✓ N-gram: 연속된 단어 묶음

n	이름	결과
1	unigram	I / love / financial / markets
2	bigram	I love / love financial / financial markets
3	trigram	I love financial / love financial markets

→ 문맥을 일부 반영하기 위함

[기존 ② - DL]

[딥러닝 기반]

• LSTM

  • 기업 공시 분석해서 주가 예측

  • 여기서도 pre-training을 하긴 했지만 label 데이터로 했어서 한계 존재

    ↔ [Fin-BERT] unlabeled data로 진행

• 다양한 딥러닝 모델 관련 연구

  • 다른 NN 모델들 중에서 CNN이 가장 성능 굿
  • StockTwits(금융 SNS 데이터) 이용

✓ CNN?

• 문장 → embedding → Convolution → max pooling → classification
• 텍스트 CNN의 경우에는 단어 패턴 n-gram을 찾음
• 금융 SNS의 특징이 짧은 문장, slang, 강한 표현이 많음
  → CNN은 짧은 문맥에 최적화되어 있으며 핵심 키워드 중심, 노이즈에 강하기 때문에 굿굿이었음

[임베딩 기반]

• Doc2Vec
  • 문장 벡터 만들고 주가 예측

✓ multi-instance learning - representation learning 중요

• Doc2Vec은 문서 전체를 하나의 벡터로 표현하는 방법임
• 즉, 여러 개의 데이터가 모여 하나의 라벨을 가지게 되는 것임
• 문장이 여러개라서 단순히 평균내는 것이 아닌 중요한 문장을 더 많이 반영하도록 해야함 ⇒ 그래서 좋은 representation(벡터표현)이 필요한 것

• 텍스트 단순화 + LSTM으로 좋은 성능을 내기도 함

But, 금융 데이터는 라벨이 부족해서 딥러닝을 제대로 쓰기 어려움

✓ 왜 라벨이 부족?

• 라벨을 만들기에 전문가가 필요하기 때문에 비용이 큼
• 정답이 애매함
  • sentiment는 주가에 영향을 주기 때문에 같은 문장이라도 실제로 annotator agreement도 낮음
  • 금융 특성상 같은 뉴스라도 시장 상황에 따라 의미가 달라진다. - 금리 인상만하더라도 어떤 시기에는 긍정, 어떤 시기에는 부정을 의미하기 때문

→ 첫번째 레이어(word embedding)를 pretrain을 하더라도 나머지 모델은 여전히 데이터 부족 문제

⇒ 때문에 모델 대부분을 pretrain을 하고 fine-tuning하는 것이 더 좋음

2.2 Text classification using pre-trained

• 언어 모델링은 “다음 단어 맞추기” 문제

• 최근 NLP에서의 중요한 발견은 언어 모델을 조금만 수정하면 다른 task에도 잘 쓸 수 있다는 것

  • downstream tasks: 감정분석, QA 등
  • 큰 데이터(위키피디아, books)로 먼저 학습하고 작은 데이터로 task-specific하게 조정 → 데이터 부족 문제 해결 가능

• ELMo

  • 양방향 언어 모델을 큰 데이터로 학습 (BERT 이전 모델)

  • 각 단어는 문맥을 반영한 벡터로 표현

  • 문맥 기반 임베딩을 만들 수 있고 word2vec보다 성능 굿

  • But, partial transfer는 부족(모델 전체에 정보가 퍼지지X)

    → ULMFiT 등장

• ULMFiT: Transfer learning 처음으로 성공

  • discriminative fine-tuning: layer마다 다른 LR

  • gradual unfreezing: layer마다 점진적으로 학습

  • 모델 전체를 fine-tuning, 도메인 데이터로 추가적으로 pretraining 진행

    ⇒ General BERT + Financial data로 추가학습 (FinBERT의 핵심 아이디어)

• BERT

  • 다음 단어가 아니라 가려진 단어를 맞추고 문장 관계 학습(MLM)

  • 매우 큰 모델이고 매우 큰 데이터

    ⇒ 때문에 NLP task에서 SOTA 달성

• 하지만 BERT를 텍스트 분류에 어떻게 fine-tune할지는 아직 연구 부족한 상황

3. Method

3.1 Preliminaries

3.1.1 LSTM

• 정의: 과거 정보를 오래 기억할 수 있도록 하는 RNN

• 활용 범위: 주가, 텍스트 같은 순차 데이터에 많이 사용

• 텍스트는 단어들의 순서이므로 어떻게 표현할 지가 중요함

  → 임베딩 문제로 자연스레 연결

  • 보통 단어 표현은 미리 학습된 것을 사용함

• GLoVe

  • 대표적인 단어 임베딩
  • 단어들이 같이 등장하는 빈도를 이용해서 벡터 만듦
  • 벗, 문맥 반영X

  ⇒ GLoVe의 한계때문에 LSTM 성능 제한

3.1.2 ELMo

(LSTM + contextual embedding)

• 주변 단어를 고려하여 단어 의미 만듦 → 양방향 LSTM

  • 단어 시퀀스의 확률 학습

  • 앞단어 + 뒤 단어를 이용해서 현재 단어 이해함

  • 여러 layer 정보를 합쳐서 하나의 임베딩을 만듦

    → 이 임베딩을 다른 task에 사용 가능

3.1.3 ULMFiT

• pretraining 기반 NLP 모델

  ↔ ELMo와 달리 전체 모델을 fine-tuning 하는 방식

• AWD-LSTM 사용 (기존의 LSTM보다 개선되어 있음) + 분류 목적으로 마지막에 layer 추가함

• 특별한 전략을 사용 → FinBERT에서도 이를 사용함

  • Discriminative Fine-tuning

    • 레이어마다 다른 learning rate 사용

      • 아래 레이어 → 일반 언어 지식

      • 위 레이어 → task - specific 정보

        ⇒ 똑같이 학습하게 되면 중요한 정보가 망가지기 때문에, low-level일 때는 작은 LR, high-level의 경우 큰 LR을 사용

    • 안정적인 학습, catastrophic forgetting 방지

  • Slanted Triangular Learning Rates

    • learning rate를 빠르게 올리고 천천히 줄임

      !image.png

      • 초반에 빠르게 방향을 잡고 후반에 미세조정

  • Gradual Unfreezing

    • 레이어를 한 번에 다 학습하지 않음
      • step1: 마지막 레이어만 학습
        step2: 마지막 2개 레이어
        step3: 전체 레이어 …
      • 한 번에 다 학습하면 기존의 knowledge가 붕괴될 수 있고 점진적으로 하게 되면 안정적으로 적응할 수 있기 때문

3.1.4 Transformer

• 인코더-디코더 구조로 만들어짐

• attention 기반의 모델

  • 각 layer는 어텐션 + feedforward 기반

  • ✓ 단어들끼리 서로 얼마나 관련있는지 계산

    → 이 단어가 다른 단어를 얼마나 참고해야 할까? 를 고려함

  • 여러 관점을 동시에 보는 모델

• RNN은 느리고 long-distance 관계를 잡기 어렵기 때문에 Transformer기반이 성능 굿

3.1.5 BERT

• BERT는 Transformer의 encoder을 여러 개 쌓은 모델

  • mask로 15%의 토큰을 가리며 맞추는 방법을 사용

  • 문장 연결 여부도 학습

    → 단어 + 위치 정보를 같이 사용함

  • CLS, SEP 토큰 사용

    • CLS : 전체 문장의 대표 벡터

• 2가지 버전 - BERT-base, BERT-large

• 약 3.3 billion words로 학습(BookCorpus(800M words), Wikipedia(2500M words))

• 추가 부연설명

  ① General Pretraining(BERT)

  • 언어 자체를 이해하게 만들기
    • MLM: 특정 단어 가리고 맞추기
    • NSP: 문장 A가 문장 B와 이어지는가?
  • Input→Transformer layers→Dense →prediction

  ✓ Dense는 어디에 붙는가?

  • Dense layer는 “예측이 필요한 위치에만” 붙는다.
  • 때문에 MLM의 경우 mask된 위치마다 붙음
    • [MASK] → Dense → softmax → 단어 예측
  • CLS 토큰
    • [CLS] → Dense → binary classification

  ② Domain Pretraining(FinBERT)

  • 금융 언어 이해하기
  • 언어 → 금융언어로 specialization

  ③ Fine-tuning(Sentiment)

  • 실제 task 수행 목적
  • [CLS] → Dense → 3-class classification

3.2 BERT for financial domain: FinBERT

[KEY]

① further pre-training, ② classification, ③ regression, ④ catastrophic forgetting

3.2.1 Further pre-training

• 특정 도메인 데이터로 추가 학습하면 성능이 좋아지긴 하지만, BERT에서 이게 확실히 검증된 건 아님
  → 본 논문에서 2가지 방법으로 실험해보겠슨

  • 큰 금융 텍스트 데이터로 BERT 추가 학습

  • 학습 데이터 자체로만 pretraining

    → 데이터는 적지만 task에 더 직접적이라 효과가 있을 수 있지 않을까?

3.2.2 FinBERT for text classification

• CLS 벡터 뒤에 FC layer 붙여서 분류 (BERT의 표준 방식)
  • 입력 → BERT → CLS →Dense → Softmax
• 이후, 라벨 데이터로 학습

3.2.3 FinBERT for regression

• 회귀 - 분류와의 차이는 loss함수 뿐

3.2.4 Catastrophic Forgetting

[문제]

• fine-tuning을 하게 되면 모델이 기존 지식을 잊어버릴 수 있음
  • 새로운 task에 맞추다 보니 기존의 언어 이해를 잊을 수 있음

[해결]

• Slanted Triangular LR

  • LR을 올렸다가 내리는 방식으로 안정적인 학습 가능

• Discriminative Fine-tuning

  • 아래 layer는 조금만 바꾸고 위 layer는 많이 바꿈

    (하위 layer는 언어 이해 부분이므로 건드리지 않고, 상위 layer의 경우에는 task이므로 많이 학습하자)

  • 아래는 언어, 위는 task 정보 담당

• Gradual Unfreezing

  • 처음에는 classifier만 학습

  • 위에서부터 조금씩 layer을 학습(freeze를 풀어줌)

    ⇒ 기존의 언어 지식을 유지할 수 있음

4. Experimental Setup

4.1 Research Questions

[RQ1] FinBERT는 ELMo와 ULMFiT보다 성능이 좋은가?

[RQ2] FinBERT는 기존 최고 성능 모델보다 좋은가?

[RQ3] 금융 데이터로 추가 학습하면 성능이 좋아질까?

[RQ4] 학습 전략 성능과 forgetting에 어떤 영향을 줄까? (forgetting 방지 전략 효과)

[RQ5] 어떤 layer가 가장 중요할까?

[RQ6] 몇 개 layer만 fine-tuning해도 충분할까? (얼마나 파인튜닝해야할까?)

4.2 Datasets

4.2.1 TRC2-financial

• BERT 추가 학습용 금융 데이터 사용
• Reuters 뉴스 데이터 일부 사용
  • 약 180만개의 기사 중 금융 키워드를 필터링하여 금융 관련 기사만 추출
• 최종적으론 46,143 documents와 29M+ words 사용

4.2.2 Financial PhraseBank

• 4,845개의 문장, 16명의 annotator가 라벨링함

  • documents가 아니라 문장 단위이며 금융 뉴스에서 추출

• 일반 sentiment의 경우에는 happy, bad이지만, FinBERT에서의 sentiment는 up/down/neutral 이렇게 3가지로 나뉨

  • 예를 들면 Company profit fell less than expected 라고 하면
    일반적으로는 negative(profit fell) 이지만, 금융감정에서는 positive(예상보다 덜 떨어짐→ 주가 상승 가능) 으로 해석

  ⇒ 감정분석이라기보단 시장 반응 예측에 가까움

• 데이터는 60% train, 20% validation, 20% test에 사용

  • 때문에 실제 데이터는 약 3100개 뿐 → pretraining 필요!!

4.2.3 FiQA Sentiment

• 단순 데이터가 아닌 금융 QA + sentiment 분석 대회에서 나온 데이터

• ✓ sentiment를 연속값으로!

  • 일반 sentiment는 positive/neutral/negative (classification)으로 하지만
  • FiQA의 경우 -1~1 사이의 regression으로

  ⇒ 현실에서는 단순 positive와 negative가 중요한게 아니라 강도(strength)가 중요함

• 1,174 samples: 뉴스와 트윗 사용

4.3 Baseline Methods

• LSTM + GloVe, ELMo, ULMFit 3가지 baseline 사용
• 이 baseline은 BERT만큼 충분히 튜닝하지 않았기 때문에 결과를 절대적인 성능 비교로 해석하기엔 어려움

LSTM classifier

• Embedding → BiLSTM → FC layer → 3-class output

• 양방향 LSTM을 사용하여 2개의 분류기로 구현

  • hidden size = 128

  • 양방향구조이므로 마지막 hidden state 크기는 256

    (Forward LSTM + Backward LSTM의 두 결과를 합치니까 128 x 2 = 256)

  • 완전 연결된 feed-forward layer는 마지막 hidden state를 3차원 벡터로 변환하며 3개의 라벨에 대한 확률(가능성)을 나타냄

  • GloVe 임베딩과 ELMo 임베딩에서만 차이

  • 2개 모델 모두 dropout=0.3, LR = 3e-5 사용

  ⇒ 즉, embedding만 바꿔서 성능 차이 확인

ULMFiT

• Text → AWD-LSTM → hidden → FC → output

• 3단계로 구성

• 첫 번째 단계인 언어 모델의 사전 학습은 이미 완료

  (학습 가중치는 Howard와 Ruder(2018)에 의해 공개)

• AWD-LSTM 언어모델을 TRC2 금융 코퍼스에서 3 epoch동안 추가로 학습

• 그 다음 Financial PhraseBank 데이터셋에서 분류 작업을 위해 모델 fine-tuning

• 이때 사전 학습된 언어 모델 출력에 FC layer 추가

4.5 Implementation Details

• 구현
  • dropout = 0.1
  • warm-up = 0.2
  • 최대 시퀀스 길이 64 토큰
  • LR = 2e-5
  • 미니배치 = 64
• 6개의 에포크동안 학습하고 validation set에서 가장 성능 좋은 모델 선택
• 처음 classification layer만 unfrozen 상태로 두고 학습을 시작하고 각 epoch 1/3 지날때마다 다음 레이어를 순차적으로 unfreeze 진행
• NVIDIA K8 GPU 1개, 4 vCPU, 64GB 메모리를 가진 아마존 p2.xlarge EC2 인스턴스 사용

5. Experimental results (RQ1&RQ2)

• 전체 데이터&100% annotator 데이터 둘 다 평가 진행

• LSTM

  • pretraining을 하지 않은 LSTM은 최악,,

  • accuracy는 나쁘지 않은데, F1-score가 낮음

    → neutral class(60%)가 많아서(찍기를 잘하는 모델)

• ELMo

  • 성능이 좋아지기진 했는데 여전히 F1 낮음

• ULMFiT

  • 성능이 크게 향상되었고 특정 class에 치우치지 않음

  • 기존 ML보다 훨씬 좋음 → pretraining이 효과적이다

  • 모델이 커서 overfitting 위험이 존재함

    벗뜨, pretraining 덕분에 적은 데이터셋에서도 잘 작동하는 편

• FinBERT

  • 데이터 크기별 실험을 진행했는데 250개부터 성능이 급 상승 (80%)

  ⇒ pretraining 매우 중요하다~

• FiQA(회귀결과)

  • 회귀에서도 SOTA

  

6. Experimental analysis

6.1 Effects of futher pre-training(RQ3)

• 추가 domain pretraining이 성능에 어떤 영향을 주는지 보여주는 섹션

• 일반 BERT, task데이터로 pretrain, 금융데이터로 pretrain 3가지 모델로 진행

• 이때 금융 데이터로 pretrain한 것이 가장 좋더라~

  • 하지만 차이가 크진 않았음

  ⇒ ① 도메인 분포가 다를 수 있음

  → 금융 데이터와 실제 task 데이터는 다를 수 있기 때문
  (pretrain: 뉴스 task: PhraseBank(짧은 문장) - mismatch)

  ② BERT는 이미 충분히 강력함

  ③ 짧은 문장은 pretraining 효과가 적음

  → 복잡한 language modeling이 필요없음, domain pretraining 효과 제한됨

  ④ 이미 성능이 너무 높음

  → 이미 97%정확도를 가지고 있기 때문에 +1% 올리기 어려움

  ⇒ 즉, 작은 데이터, 쉬운 task에는 효과가 작다.

6.2 Catastrophic Forgetting(RQ4)

• NA, STL, STL + GU, STL+GU+DF 이렇게 4가지 방법으로 진행

  ⇒ 3개를 다 쓰는 게 좋더라

  • STL, GU, DF는 위에서 설명했던 3가지 방법
    • STL = Slanted Triangular Learning Rate
    • GU = Gradual Unfreezing
    • DF = Discriminative Fine-tuning

• DF만 쓰면 오히려 안 좋고, 가장 중요한 건 GU

• forgetting은 validation loss 증가로 나타남

6.3 Choosing the best layer(RQ5)

• BERT는 12layer로 되어 있고 마지막 layer가 항상 최고 성능을 낸다고 단정지을 수 없음

  • 각 layer의 CLS 토큰 뒤에 classification layer을 붙여서 분류
  • 모든 레이어 layer의 출력값을 평균 내는 방법

  ⇒ 그 결과 마지막 layer가 가장 큰 기여를 하고 가장 좋은 성능

  ① 상위 layer는 더 큰 모델의 일부이기 때문에 더 강력하고

  ② 하위 layer는 보다 일반적인(기초적인) 의미 정보를 포착하기 때문

6.4 Training only a subset of layers(RQ6)

• BERT는 매우 큰 모델이라서 전체를 fine-tuning 하기엔 비용이 너무 크다.

  → 일부만 파인튜닝해서 약간 낮은 성능을 얻더라도 어떤 상황에선 그게 더 좋을 수도 있음

  특히, 학습 데이터셋이 매우 큰 경우에는 이게 더 나을 수도

  ⇒ 마지막 k개의 layer만 학습 진행

  그렇다고 해서 classifier만 학습하면 성능 안 좋음

  • 근데 마지막 layer만 파인튜닝하더라도 HSC같은 기존 SOTA 머신러닝 방법보다 훨씬 뛰어난 성능이긴 함

• layer 9 이후부터는 성능이 거의 동일하지만 전체 모델을 fine-tuning한 경우만 약간 더 높은 성능을 보임

  → 즉 전체 학습은 꼭 필요하진 않음,, 적은 비용으로도 비슷한 성능 가능!!

6.5 Where does the model fail?

• annotator간 100% 일치한 financial phrasebank subset에서 97% 정확도를 달성했기 때문에 정답을 맞추지 못한 사례를 한 번 분석해보겠다.

✓ annotator 간의 불일치는 대부분 positive와 neutral 사이에서 발생

• 기업에서 흔히 사용하는 긍정적인 표현(glitter)과 실제로 긍정적인 정보를 구분하기 어렵기 때문

→ FinBERT에서도 동일한 현상이 일어나는 지 confusion matrix 제시

• 세전 손실은 30만 유로, 이는 2005년 1분기의 220만 유로 손실보다 감소한 수치이다.

  • 정답은 P, 예측은 N으로

  → loss 단어를 보고 N으로 판단(숫자 reasoning 부족)

• 이 구현은 운영자에게 매우 중요하며 브라질에서는 fixed-to-mobile 서비스를 출시할 예정

  • 정답 Neutral, 예측은 P

  → important를 보고 P로 판단, 실제로는 정보 전달(Neutral)

• 코팅 잡지용 인쇄용 종이 시장 상황은 계속 약세일 것이다.

  • 정답 N, 예측은 Neutral

  → 도메인 이해 부족으로 인함

• 대부분의 오류(73%)는 positive와 negative 사이에서 발생함
• 어떤 문장은 긍정적인 전망을 의미하는지, 단순한 사실 서술인지 구분하는 것은 어려움

7. Conclusion and future work

• BERT를 금융 데이터로 추가학습해서 FinBERT를 만듦
• pretraining이 효과적이며 특히 데이터가 적을 때 굿굿
  • 데이터가 500개만 있어도 SOTA달성 가능
• domain pretraining 효과는 그다지 크진 않았음
• upper layer을 많이 fine tune하는 게 좋았고 마지막 2개의 layer만 학습해도 충분하더라

• 감정분석자체가 목적은 아니고 주가예측에 활용 가능
• 물론 아직 숨겨진 의미까지 이해하는 건 어려움

논문명: N-BEATS: Neural Basis Expansion Analysis for Interpretable Time Series Forecasting 학회(출판연도): ICLR (2020) 연구분야: 딥러닝 기반 시계열 예측 및 시계열 표현 학습

Background Concept

Basis Expansion

• 복잡한 시계열을 여러 기본 함수(basis)의 조합으로 표현하는 것

• 하나의 복잡한 곡선을 “조각”으로 나눠서 설명
  • 직선, 사인파, 작은 변동을 다 더하면 원래 데이터가 됨
  • 수식

  | 기호 | 의미 |
  | --- | --- |
  | ( $\phi_i(t$) ) | basis function (기본 함수) |
  | ( $\theta_i$ ) | weight (얼마나 쓸지) |
  | ( K ) | basis 개수 |

• 기존에는 푸리에 방식으로 사람이 직접 basis를 정했는데 N-BEATS의 경우 네트워크가 직접 $\theta$ 학습하는 방식

✓ N-BEATS에서는 어떻게 쓰는가?

• 총 2가지 모드 - Generic / Interpretable mode
• Generic (Black-box)
  • basis 없음 (learned)
  • 그냥 Neural Net
• ✓ Interpretable mode ← 여기에 basis 등장
  • Trend basis: ϕ(t)=[1$,t,t^2,t^3$] → 다항식
  • Seasonality basis: ϕ(t)=[$\sin(2πt),\cos(2πt)$] → 주기패턴

Abstract

• 연구목표: 단변수 시계열 예측(한 개의 값만 있는 시계열)를 딥러닝으로 해결하자!

  • Point forecasting: 미래의 값을 “하나의 숫자”로 예측 (확률 분포 X, 단일 값O)

  ✓ 현실에서 단변수 시계열을 많이 쓰는가?

  • N-BEATS의 목표는 “복잡한 구조 없이도 SOTA 성능 + 해석 가능성”

    • 입력 : 하나의 시계열
    • 구조: 매우 단순(MLP + residual)

  • 수요 예측(상품 하나의 판매량), 에너지(특정 지역 전력 소비), 금융(특정 주식 가격) 등 다양한 분야에서 사용

    • 하지만 실제로 단변수처럼 보이지많 다변수 문제인 경우도 있음

      → 매출 = 가격 + 날씨 + 이벤트 영향 받음

  • 다변수 시계열

    

    • 여러 변수가 동시에 존재 $x_t$=[$x_t^{(1)},x_t^{(2)},...,x_t^{(n)}$]

  • N-BEATS는 다변수에 최적화된 모델은 아님

  • 그래서 다변수 시계열 문제를 풀기 위해서는

    • 모델 자체가 multivaritate한 LSTM, RNN, Transformer기반의 DeepAR이나 Temporal Fusion Transformer 사용
    • 피처엔지니어링을 할 수도
    • 앙상블
      • N-BEATS + XGBoost, RNN + Transformer

• forward / backward residual 연결 구조를 가진 아주 깊은 fully-connected 네트워크 제안

  • residual links(잔차연결) - 입력을 그대로 더해주는 skip connection
  • forward&backward residual - 단순히 앞으로만 흐르는 게 아니라 예측 및 보정(backcast) 구조를 동시에!
  • fully-connected layers - CNN이나 RNN없이 MLP만 사용

  → 즉 일반적으로 시계열에서는 RNN과 LSTM을 쓰는데 여기서는 그게 필요없다는 도전적인 주장 준비중!

• 기여

  • ① Interpretable (모델 내부가 왜 이렇게 예측했는지 설명 가능하고)

  • ② Applicable without modification (도메인별 feature engineering 필요없음)

  • ③ Fast to train (FC기반으로 구조가 단순해서 계산 효율이 좋음)

    ↔ 기존 시계열 모델들을 복잡하고 도메인 의존적이며, 느리다..

• 실험

  • M3, M4, TOURISM 같은 유명한 시계열 데이터셋에서 테스트

  • 2가지의 N-BEATS 모델 설정으로 모든 데이터셋에서 SOTA 달성

    • 기존 통계 모델보다 11% 더 좋고
    • M4 대회 우승 모델보다 3% 더 좋다

  • 첫번째 모델은 시계열 전용 구조(RNN, seasonal component 등)없이도 다양한 데이터에서 잘 작동

    → 시계열은 특별한 구조가 필요하다는 기존 생각과 달리 단순한 딥러닝 구조(residual block 같은 기본 building block)만으로도 충분하다는 것을 보여줌

  • 해석가능한 결과를 만들면서도 성능도 거의 유지!

    → 성능과 해석가능성은 보통 trade-off관계인데 이 논문에서는 둘 다 가능하다!

1. Introduction

• 시계열예측은 ① 비즈니스에서 매우 중요하고 ② 머신러닝이 잘 활용되는 대표적인 분야

  • 재고관리, 고객관리, 생산 및 유통, 금융, 마케팅 등 거의 모든 비즈니스 핵심 영역에서 사용됨

  • 예측정확도가 조금만 올라가도 수백만 달러의 규모의 경제적 효과 발생 가능!

  • CV나 NLP에서는 딥러닝 good, 시계열에서는 딥러닝보단 전통 통계 모델 多

    → 실제 M4대회에서 상위 모델은 대부분 통계 모델의 앙상블

    • 우승모델은 딥러닝(LSTM+어텐션) + Holt-winters 통계모델의 하이브리드 모델

• 핵심 주장

  • 기존까지는 DL 단독으로는 어렵고 섞어야 한다는 것이 주된 흐름이었지만 통계 모델 없이 DL모델만으로도 충분하다
  • 단순 성능뿐만 아니라 해석 가능성도 보여줄 것

1.1 Summary of contributions

• Deep Neural Architecture
  • 시계열 전용 구조 없이 딥러닝만으로도 기존 통계 모델보다 더 좋은 성능
  • M4기준
    • 통계 베이스라인보다 11% 향상
    • 최고 통계 모델보다 7% 향상
    • 대회 우승 모델보다 3% 향상
• Interpretable DL for Time Series
  • 성능뿐아니라 해석가능한 딥러닝 모델 가능
    → 전통적인 trend + seasonality 분해 방식처럼 사용 가능

✓ Depcomposition(분해)

• 시계열을 trend (장기 증가/감소), seasonality (주기성), level (기본값)로 나누는 방식

2. Problem statement

• 문제 정의

  • ① 이산 시간(discrete time)에서 ②단일 변수 시계열 예측 문제를 다룸

    → 즉, continuous time 문제, multivariate 문제는 고려하지 않겠다.

  • 길이 T의 과거 데이터가 주어지면 앞으로 H개 미래 값 예측

    • $y_1~y_T$ : 과거 / $y_{T+1} ~ y_{T+H}$ : 미래

  • 실제 모델 입력(Loockback window)은 전체 과거(T)가 아니라 최근 t개만 사용

    → 먼 과거는 중요하지 않을 수 있음, sliding window방식 사용

• 평가지표

• sMAPE: 실제값과 예측값의 차이를 두 값의 평균으로 나눈 값

  • 데이터의 크기에 영향을 받지 않음

  ⇒ (상대 오차 측정) 작은 값/큰 값 모두 공정하게 평가하려는 의도

• MASE: 예측 오차를 naive 모델의 평균 오차로 나눈 값

  • Naive predictor: y(t) = y(t-m)

  ✓ Naive 모델?

  • “다음 값 = 바로 이전 값”이라고 예측하는 가장 단순한 모델

    

  • 왜 이렇게 멍청한 모델을 쓰는가?

    • baseline: 이것보다 못하면 모델 쓸 이유 없음
    • 많은 시계열에서 변화가 느리고 패턴이 단순한 경우가 많기 때문에 naive가 꽤 잘 맞음

  ⇒ seasonality 고려한 baseline

  ✓ MAPE, sMAPE, MASE 비교

  Metric	핵심 아이디어	장점	단점
  MAPE	실제값 기준 비율 오차	직관적	0에서 터짐
  sMAPE	평균 기준 비율 오차	대칭적, 안정적	약간 해석 어려움
  MASE	naive 모델 대비 성능	dataset-independent	직관성 낮음

  • MAPE: 실제값 대비 몇 % 틀렸나?

    

  • sMAPE(Symmetirc MAPE)

    

  • MASE: 이 모델이 naive보다 얼마나 좋은가?

    

• OWA: sMAPE와 MASE를 baseline 대비 정규화해서 합친 metric

  • naive 모델 기준으로 정규화되고 naive 모델인 경우 OWA = 1

3. N-BEATS

• 모델 설계의 원칙

  • 구조는 단순해야하지만(simple&generic), 표현력은 충분히 커야 한다 (깊어야 한다)

  • 시계열 전용 feature engineering이나 특별한 scaling없이 동작해야한다.

    ⇒ 순수한 딥러닝의 가능성 테스트

  • 모델이 해석 가능하도록 확장 가능해야함

3.1 Basic block

• 블록

  • 첫번째 블록 입력: 전체 모델 입력(최근 t개의 시계열)

    

    • 입력 길이: H의 배수로 보통 2H~7H 사용

      ex. 월요일~일요일(7일)까지의 일별 기온을 예측하고 싶다 → 2H:과거14일간의 기온 데이터 사용

      → 미래 길이(H) 대비 충분한 과거 필요(과거 데이터에서 시계열의 잠재적인 패턴, 추세, 계절성 등 미래를 예측하는 데 필요한 정보를 학습하기 위함)

  • 다음 블록 입력: 이전 블록의 residual

    • residual: 아직 설명되지 않은 부분

      → 즉 각 블록은 “남은 정보만 처리”

• 블록 내부

  

• 첫 번째 부분: FC 네트워크로(-> 복잡하고 비선형적인 특징을 추출하고 데이터를 고차원으로 표현하기 위함) θf (forecast 계수), θb (backcast 계수)를 만듦
• 두 번째 부분: basis function을 이용해서 실제 output을 만듦

• 출력은 그냥 값이 아니라 basis 벡터들을 $\theta$계수로 가중합해서 만듦

  → 모델을 “패턴들의 조합”으로 예측 ⇒ trend, seasonality 해석 가능한 구조!

  • basis 함수는 학습할 수도 있고 미리 정할 수도 있으며 특정 구조(trend, seasonality)를 반영할 수 도 있음

3.2 Doubly residual stacking

• 기존

  • ResNet: 입력을 출력에 더해서 다음 레이어로 넘기는 방법

  • DenseNet: 모든 레이어의 출력이 이후 모든 레이어의 입력으로 연결

    ⇒ 이러한 구조는 깊은 네트워크를 학습하기 쉽게 만듦
    하지만, 해석하기는 어려운 구조,,(블랙박스)

• 그래서 이중 residual 구조 제안

  • backcast쪽의 residual

    

    • 입력을 계속 “빼면서” 정제
    • 설명한 부분을 제거하고 남은 것만 다음 블록으로

  • forecast쪽의 residual

    

    • 예측을 계속 “더하면서” 생성
    • 각 블록이 일부를 예측하고 모두 합쳐서 최종 결과

• ✓ 모델의 핵심 아이디어 → 입력을 점점 분해한다

  

  • 햇 $x_{l-1}$ (backcast) → 설명된 부분
  • residual → 아직 설명 안 된 부분
  • 최종 예측은 모든 블록의 예측을 더한 값
    • 각 블록은 부분 예측만 담당

  ⇒ 이전 블록이 잘 설명할 수 있는 부분을 제거하면 다음 블록은 더 쉬운 문제만 남음

  ⇒ 즉 각 블록의 예측이 계층적으로 합쳐짐

• basis 함수가 자유롭게 학습되면 gradient 흐름이 더 좋아지고, 반대로 basis를 특정 구조로 제한하면 의미 있는 해석이 가능해짐

  • 자유: FC network($\theta$ 생성 부분)
  • 제한: basis function($g^b$, $g^f$) ← 사람이 설계 (trend, seasonality … )

3.3 Interpretability

• basis함수 ($g^b$, $g^f$)를 어떻게 선택하느냐에 따라 2가지 모델 구조 제안

  → 해석 가능성은 basis 선택에 달려있음

  • $g^b$ → backcast 생성 함수
  • $g^f$ → forecast 생성 함수

• 하나는 일반 딥러닝 모델, 다른 하나는 특정 구조를 넣어 해석 가능하게 만든 모델

Generic Model ← 성능에는 짱!

• 시계열 지식을 전혀 사용하지 않는 모델
• $g^b$, $g^f$ ← 그냥 linear layer로 설정
• basis matrix: V와 $\theta$의 곱으로 생성

• FC 네트워크: basis $V^f$를 학습하고 그 basis의 조합으로 예측

  • $V^f$

    → 시간길이 H x basis 개수 크기

    → 행은 시간 (t=1~H), 열은 basis 함수 index (하나의 파형)

    이때, 아무 제약이 없기 때문에 학습된 wave는 의미없는 형태일수도,,

  ✓ 왜 generic모델에서는 의미없는 wave가 나올까?

  • 같은 데이터를 설명하는 방법이 너무 많아서 모델이 굳이 의미 있는 방식으로 표현할 필요가 없기 때문
  • 각 부분이 표현할 수 있는 형태를 제한하면, 그 역할이 강제되기 때문에 나누면 의미가 생김

  ⇒ 즉 basis가 자유로워서 해석이 불가능

Interpretable Model ← 해석 가능!

• 해석 가능한 모델은 basis에 구조를 넣어서 만듦
  • 시계열을 trend + seasonality로 나눠서 이걸 모델에 넣음
  • y = trend + seasonality

Trend Model - 해석가능성

• trend는 천천히 변하는 함수 → basis를 저차 다항식으로 제한

  

• t는 0~1로 normalize된 값

  • basis matrix는 polynormal basis

  ⇒ 즉 trend는 smooth + polynomial 로 충분하다

✓ Polynomial

• 변수의 거듭제곱들의 합으로 이루어진 함수
• trend는 보통 천천히 증가하거나 감소 = smooth + low-frequency
  • $y = a + bt + ct^2 + dt^3$ - 부드럽게 변하고 갑자기 진동 불가능
• 간단하고 과도한 복잡성이 없으며 느린 변화에 딱 맞음

Seasonality Model - 해석가능성

• seasonality는 반복되는 패턴 → periodic 함수로 제한

• 푸리에 basis 사용

  

⇒ Seasonality는 주기이므로 푸리에가 자연스러움

✓ N-BEATS 구조에서 일어나는 일

• Stack1 (trend)
  • polynomial만 학습 가능
  • trend만 설명
• Stack2 (seasonality)
  • 푸리에만 가능
  • 남은 periodic만 설명

• 즉 모델은 trend stack + seasonality stack으로 구성됨

  • 먼저 trend를 먼저 제거하고 나머지로 seasonality 처리

    → trend와 seasonality를 각각 따로 볼 수 있음

• 각 스택은 여러 블록으로 구성되어 있으며 같은 basis를 stack 내에서 공유함

  • 각 stack에는 3개의 블록이 있음
  • weight공유가 성능에 좋은 영향을 줌

3.4 Ensembling

• M4대회 상위 모델들이 모두 앙상블 사용했음 → 우리도 공정한 비교를 위해 앙상블진행

• 앙상블은 dropout이나 L2 보다 훨씬 강력한 regularization(오버피팅 방지)임

  • dropout과 L2는 개별 모델 성능은 올리지만 앙상블 성능은 오히려 떨어짐

    → dropout과 L2는 모델을 더 안정적이고 비슷하게 만듦
    그래서 개별 모델이 좋아질수록 서로 비슷해지고 다양성이 줄어듦

    → 앙상블에서는 모델 간 다양성이 더 중요함

    (앙상블에서 중요한 것은 모델이 얼마나 잘 맞추냐보다 모델들이 얼마나 다르게 틀리냐이다)

    ✓ 왜 다르게 틀리는 게 중요할까?

    • 모델이 다 같이 똑같은 걸 틀려버리면 아무런 소용이 없음
    • 서로 다른 걸 틀려서 오차가 서로 상쇄,,

    ---

    이 논문에서 dropout보다 앙상블이 강한 이유는 dropout은 하나의 모델을 안정화(variance 줄임)인 반면, 앙상블은 여러 모델을 평균 즉, variance를 크게 줄여서 오차를 상쇄시킴

• 다양성을 만드는 방법

  • 서로 다른 loss function으로 학습 → sMAPE, MASE, MAPE

    • loss가 다르면 모델이 다른 방향으로 학습됨

  • 입력 길이를 다르게 해서 학습 (다양한 시간 범위 고려)

    • 2H,3H, … , 7H

      → 짧은 window (최근패턴), 긴 window (장기패턴)

    ⇒ 전체 모델은 multi-scale 특성을 가짐

  • random initialization을 다르게 해서 여러 모델 만듦 (id = “m4l3)

    ⇒ 총 180개의 모델을 앙상블

    • 3가지 loss x 6가지 window x 여러 seed
    • 이때 결과는 평균이 아닌 median 사용
      → median은 이상치에 강하기 때문

4. Related work

• 시계열 예측 방법에는 몇 가지 주요 카테고리로 나눌 수 있음

Statistical Methods

• exponential smoothing(최근 데이터에 더 큰 가중치를 주는 방식)기반 통계 모델은 산업에서 기본 선택
• Theta method → 시계열을 여러 구성 요소로 나눠 예측
• ARIMA계열 → state-space 모델(다양한 모델을 하나로 설명하는 framework)로 통합 가능

ML+TS Hybrid

• 최근 통계 모델 출력과 ML을 결합한 방식이 등장
  • 2등 모델은 gradient boosting 방식으로 결합

Deep Learning(RNN 계열)

• 딥러닝 기반 시계열 모델은 대부분 RNN기반
• 주로 전력 수요 예측과 같은 multivariate 문제에서 사용
• 일부에서는 dilation, residual, attention을 결합

M4 Winner

• Holt-Winters + 딥러닝 결합 → 통계 모델에 크게 의존하는 hybrid 구조

5. Experimental results

• 각 데이터셋마다 기존 top-5 모델들과 비교

  • M4 → OWA, sMAPE
  • M3 → sMAPE
  • TOURISM → MAPE

• 3가지 모델로 비교:
  ① N-BEATS(generic), ② N-BEATS-I(interpretable) ③ N-BEATS-I+G(앙상블)

  ⇒ generic vs interpretable vs ensemble

• 모든 데이터셋에서 N-BEATS가 SOTA 달성

5.1 Datasets

• M4데이터셋
  • 1982년부터 이어진 가장 영향력있는 시계열 대회 시리즈의 최신 버전
  • 10만 개의 시계열, 매우 다양한 도메인을 가지고 있으며
  • 시간 단위부터 연 단위까지 포함되어 있음
• M3 데이터셋
  • M4와 비슷하지만 더 작음
  • 통계 모델 발전에 많이 사용됨
  • 최근 연구에서 ML이 통계보다 못하다고 나왔음,, → 본 연구에서 뒤집으려는 것
• TOURISM
  • 관광 관련 시계열 데이터
  • 다양한 시간 단위 포함

5.2 Training Methodology

• 데이터 → train/validation/test로 나눔

  • test는 기존의 brench mark 그대로 사용

  • train 데이터는 다시 나눠서 validation생성하고 validation으로 튜닝

  • 튜닝 후 전체 train으로 다시 학습

    ⇒ train → validation (튜닝) → full train → test (평가)

• TensorFlow로 구현하고, horizon마다 같은 구조를 사용함 → horizon별로 따로 학습

  • 각 시계열을 하나의 task로 본다면 multitask learning으로 볼 수도 있음

• 학습 방식

  • 배치 사이즈 = 1024

  • 랜덤하게 시계열 선택

    • 각 시계열에서 랜덤 시점 선택

  • lookback 범위 튜닝

  • 데이터가 많으면 짧은 window, 데이터가 적으면 긴 window

    → 데이터가 많으면 최근 정보만으로도 충분하고, 데이터가 적으면 더 많은 과거가 필요하기 때문

  • 입력: 과거 window, 출력: 미래 H

  • Adam 사용

  • sMAPE는 unstable하기때문에 학습 시 분모 gradient를 차단

5.3 Interpretability results

• generic 모델의 출력은 의미 없이 섞여있음

  • trend와 seasonality가 아무 stack에나 섞여 있음
  • 두 번째 stack 출력은 더 작은 값
  • residual 구조 때문에 뒤로 갈수록 남는 정보가 적음

• Interpretable 모델은 명확한 패턴을 가짐

  • trend는 천천히 변하고 부드러움

  • seasonality는 반복적이고 주기적임

    ⇒ seasonality가 강하면 변동폭이 크고, trend가 없으면 trend 출력도 작음

    ⇒ 따라서 trend와 seasonality로 분해 됨 - 즉 딥러닝도 해석 가능하도록 할 수 있음

    • 구조에 적절히 bias를 넣어서,,! + 해석가능하면서 성능도 유지!

6. Discussion: Connections to meta-learning

• 메타러닝은 내부학습과 외부학습과정으로 나눌 수 있음

✓ meta-learning

• epoch학습과 메타러닝의 차이

구분	Epoch 학습	Meta-learning
데이터	하나	여러 task
목표	정확도 ↑	적응 속도 ↑
일반화	같은 task	새로운 task

• 한 번의 학습으로 끝내는 게 아니라 여러 task를 통해 학습 능력을 일반
  • 쉽게 말해 문제를 푸는 게 아니라 문제 푸는 방법을 배우는 것
• 2단계 학습
  • Inner loop (task 학습) : 각 task에서 모델 학습
  • Outer loop (meta 학습) : 어떻게 학습할지 업데이트

• inner learning은 outer learning에 의해 파라미터화되거나 조건화되거나 혹은 다른 방식으로 영향 받을 수 있음

• 내부 파라미터(ex. 시냅스 가중치): 내부 학습 과정에서 변화

• 외부 파라미터 또는 메타 파라미터(ex. 유전자): 외부 학습 과정에서만 변화

• N-BEATS도 메타러닝의 한 사례라고 볼 수 있다 → gradient descent를 통해 학습

• 내부 학습 과정

  • 기본적인 블록의 집합으로 구성

  • basis 함수 $g^f$의 입력으로 확장계수 $\theta^f$수정

  • 여러 단계로 학습이 이루어지는데, 각 단계는 아키텍처 스택 안의 하나의 블록에 해당

    ① 각 블록은 하나의 업데이트 단계처럼 작동하고

    ② 확장계수 $\theta^f$를 점진적으로 수정하고

    ③ 이 계수들은 각 블록에서 $g^f$에 입력되어 최종적으로 합쳐져 예측 생성

• 해석 가능한 모델의 경우 $g^f$가 고정되어 있어 메타 파라미터는 FC레이어에만 존재

  ↔ Generic 모델은 $g_f$를 정의하는 행렬V 역시 학습되므로 이 또한 메타 파라미터에 포함됨

• 스택 내 블록 수나 스택의 개수를 증가시키면 일반화 성능이 향상되는 이는 내부 학습 과정의 반복 횟수 증가로 해석 가능

7. Conclusions

• 핵심 가설
  • 시계열 도메인 지식 없이도 순수 딥러닝 접근이 다양한 단변량 시계열 예측 문제에서 매우 뛰어난 성능을 낼 수 있다.
  • 딥러닝 모델에 추가적인 제약을 가함으로써, 예측을 사람이 이해 가능한 구성 요소로 분해하도록 만들 수 있다.
• 또한 딥러닝 모델이 여러 시계열을 동시에 학습하는 멀티테스크 방식으로 학습할 수도 있고, 이 과정에서 개별 시계열 간의 학습 내용을 효과적으로 공유할 수 있음!
• 이 모델이 성능이 좋은 이유는 meta-learning과 유사한 과정을 수행하기 때문일 것이고 추후 더 깊은 분석을 하겠다.

논문명: Attention Is All You Need 학회(출판연도): NeurIPS (2017) 연구분야: 딥러닝 기반 시퀀스 모델링 및 자연어 처리

Abstract(초록)

✓ 지난주 복습~

✓ 기존 시퀀스 변환 모델

• 인코더와 디코더를 포함하는 복잡한 순환신경망(RNN) 기반
• 합성곱 신경망 기반
• [SOTA]: 어텐션 매커니즘을 통해 인코더와 디코더를 연결하기도 함

✓ 어텐션 매커니즘을 통해 인코더와 디코더를 연결한다.

→ 디코더가 단순히 인코더의 마지막 hidden state 하나만 참고하는 게 아니라, 인코더 전체 출력(hidden state sequence)을 보고 필요한 정보를 가중치로 뽑아온다.

---

✓ Attention이 없는 경우 vs 있는 경우 (RNN Seq2Seq)

• Attention이 없는 경우

  • 인코더는 입력 시퀀스를 다 읽고, 마지막 hidden state 하나를 context vector로 만들어 디코더로 전달
  • 긴 문장일수록 정보가 압축되면서 정보 손실 발생

• Attention이 있는 경우

  • 인코더는 입력 시퀀스의 각 단어마다 hidden state를 출력(ex. h1, h2,,,hn)

  • 디코더는 단어를 하나 생성할 때마다, 어텐션 메커니즘이 인코더의 모든 hidden state를 확인하고, 현재 시점에 필요한 정보(h1~hn)를 가중 평균으로 뽑아와 context vector를 만듦

    ⇒ 이 과정이 “인코더와 디코더를 어텐션으로 연결한다”라는 의미

⇒ 순환 및 합성곱을 완전히 없애고 어텐션 메커니즘만을 기반으로 하는 새로운 단순 네트워크 아키텍쳐인 Transformer 제안

✓ 어텐션 매커니즘 기반 Transformer의 등장

• 병렬화 더욱 용이
• 훈련시간 훨씬 적게 소요

✓ 성능

• WMT 2014 영어-독일어 번역 작업
  • 28.4 BLEU 달성 (기존 + 2BLEU)
  • 8개의 GPU에서 3.5일동안 훈련한 후 41.8의 새로운 단일 모델 최고 수준의 BLEU 점수 확립
  • 다른 작업에도 잘 일반화 됨(constituency parsing)

1. Introduction

✓ 기존의 모델과 한계점

• 순환 신경망 RNN, LSTM, GRU
  → 언어 모델링 및 기계 번역과 같은 시퀀스 모델링 및 변환 문제에서 최첨단 접근 방식으로 확고히 자리 잡음

✓ 순환 모델의 특성

• 일반적으로 입력 및 출력 시퀀스의 심볼 위치를 따라 계산 분할

  • symbol position: 의미론적 위치X, 순서상 위치O

    • 입력 시퀀스가 “ I love bitamin”이라면,

      → Symbol = “I”, “love”, “bitamin” (토큰 단위)

      → Position = 1, 2, 3 (순서)

    • 출력 시퀀스가 “나는 비타민을 사랑해” 라면,

      → Symbol = “나는”, “비타민을”, “사랑해”

      → Position = 1, 2, 3

• RNN은 시퀀스를 순차적으로 처리하기 때문에, 각 시간 단계 t에서 “위치 t의 입력 심볼”을 받아 hidden state h_t를 갱신

---

즉, 심볼 위치는

→ 몇 번째 토큰을 처리하는지 (시간 step t)를 가리키는 것

• 순차적인 특성으로 인해 훈련 예제 내 병렬화 불가능

  → [P] 시퀀스 길이가 길어질수록 메모리 제약 조건으로 인해 예제 간의 배칭(batch size) 제한

✓ 배칭(batch size)이 제한된다

→ GPU 메모리 한계 때문에 동시에 처리할 수 있는 문장(시퀀스) 수가 줄어든다

---

✓ 왜 그런 일이 생길까?

1. RNN의 순차적 특성

• RNN은 입력 시퀀스를 토큰 하나씩 순서대로 처리해야 해서
  각 단계의 hidden state가 메모리에 유지되어야 다음 단계 연산 가능

2. 시퀀스 길이가 길어지면

• 더 많은 hidden state를 저장해야 함 → 메모리 사용량 급증
• 따라서 GPU에서 동시에 여러 시퀀스를 처리하기 어려워짐

3. 결과적으로

• batch size(한 번에 학습하는 문장 수)를 줄일 수 밖에 없음
• batch가 작아지면 학습이 느려지고, 통계적으로 안정적인 gradient 추정도 어려워짐

→ [S] factorization tricks + condition computation을 통해 계산 효율성 및 성능 향상

✓ factorization tricks → 큰 연산(ex. 가중치 행렬)을 수학적으로 쪼개서 효율화

• RNN의 계산 분해 (factorization of computation)

  • RNN (순환신경망)은 입력 시퀀스를 시간축(순서)에 따라 하나씩 처리

  • 즉 h_t = f(h_t-1, x_t) 처럼 현재 시점의 은닉 상태가 바로 이전 시점에 의존하는 구조

    ⇒ 계산을 시퀀스 위치별로 분해(factorization)

    • 병렬처리X, 반드시 순서대로 계산해야 해서 학습 속도가 느림

• factorization tricks

  • 큰 가중치 행렬을 작은 행렬곱으로 쪼개서 연산 효율을 높이는 기법
    • 가중치 행렬 W 크기가 n x n 이라면
      2개의 작은 행렬 A(n x k), B(k x n)로 분해 → W = AB로 근사하면 연산량⬇️
    • 메모리 효율성 good + RNN의 근본적인 순차성도 그대로~

✓ condition computation → 입력에 따라 필요한 연산만 선택적으로 실행해서 효율화

• 모델의 모든 파라미터를 항상 전부 사용하는 대신,
  입력 데이터나 상황(condition)에 따라 일부 파라미터만 활성화하여 계산하는 방식

  ⇒ 조건에 따라 계산을 다르게 수행함으로써, 불필요한 연산을 줄이고 효율을 높임

BUT, 순차적 계산의 근본적인 제약은 여전히 남아 있음

✓ Attention 매커니즘의 등장

• 입출력 시퀀스에서 거리에 무관하게 종속성 모델링 가능 → 다양한 시퀀스 작업에 필수적인 구성요소
• 대부분, RNN과 함께 사용 됨

✓ Transformer

• 순환을 완전히 제거하고 어텐션만으로 ‘입력 - 출력’ 간 전역 종속성을 학습하는 transformer

✓ 전역종속성

• 시퀀스 안의 멀리 떨어진 단어들 사이 관계까지 직접적으로 학습할 수 있다

• 병렬화에 유리 + 8개의 P100 GPU에서 12시간 학습만에 기계 번역에서의 SOTA 달성

2. Background

✓ CNN기반의 시퀀스 모델

✓ CNN기반 시퀀스 모델의 기본 구조

① 입력 임베딩

• 글자/단어를 one-hot 이나 embedding 벡터로 변환
• 이제 시퀀스는 [ 토큰1, 토큰2, … , 토큰n] 형태의 벡터 행렬이 됨

② 합성곱 레이어 (Convolutional layers)

• 1D convolution을 사용
  • 시퀀스는 시간/순서축이 1차원
    → 단어가 시간축을 따라 나열되어 있으므로, 1D conv 필터를 슬라이딩하면서 국소 패턴 잡음
  • 커널 크기 k → k개의 연속된 토큰을 한 번에 보고 특징 추출
• 윈도우 크기 k (ex. 3,5)를 정해 연속된 토큰 k개를 한 번에 보고 특징 추출
• 여러층을 쌓으면 receptive field (한 위치가 볼 수 있는 범위)가 넓어짐 → 긴 문맥도 처리 가능

③ 비선형 변환 (ReLU 등)

• 합성곱 결과에 활성화 함수를 적용해서 비선형성을 주입

④ Pooling/Residual/Attention (모델에 따라 다름)

• ConvS2S 같은 모델은 convolution stack 위에 attention layer를 붙여 인코더-디코더 연결

⑤ 출력 (디코더)

• 인코더에서 추출한 hidden representation을 기반으로 디코더가 한 글자/단어씩 예측
• softmax 함수를 거쳐 다음 글자/단어의 확률 분포를 출력

---

✓ 어떻게 글자를 알아맞추는가?

① 인코더 CNN

• 입력 문장 (ex. 영어) convolution layers로 통과시켜 문맥 정보를 담은 hidden representation을 만듦
• CNN은 이 단어 주변의 패턴을 통해 n-gram 특징을 잡고, 여러 층을 쌓으며 장거리 의존성도 점점 반영

② 디코더 CNN

• 디코더는 이미 생성한 출력 단어들 (ex. 독일어 번역 앞부분)을 입력으로 받아 다음 단어 예측

• 각 단계에서 softmax를 사용해 다음에 올 단어의 확률 분포를 계산

• 확률이 가장 높은 단어를 선택하거나, beam search로 더 나은 문장 후보 탐색

  • beam search: 매번 확률이 높은 상위 k개(beam size) 후보를 유지하면서 문장 확장

    → k=2라면, “I am happy..”와 “I am sad…” 2가지 경로를 동시에 추적

    → 다음 단계에서도 각각 여러 후보를 붙여서 가장 유망한 k개만 남김

  • (↔) Greedy search: 매번 확률이 가장 높은 단어 하나만 고름

• Extended Neural GPU, ByteNet, ConvS2S : RNN의 순차 연산을 줄이기 위해 CNN을 기본블록으로!

• 입력/출력 위치 전체에 대해 병렬로 hidden representation 계산 가능

  BUT, 두 위치 사이 거리가 멀수록 신호 연결에 필요한 연산 수 증가

  • ConvS2S: 선형적 증가 (입력이 증가하는 비율과 결과가 증가하는 비율이 일정한 “직선적인” 성장)
  • ByteNet: 로그 증가 (입력이 증가하더라도 결과의 증가 속도가 점점 느려지는 “증가율 둔화”)

✓ 왜 CNN이 RNN보다 순차 연산을 줄일까?

• 수식 구조 자체가 CNN은 동시 계산을 허용

  • RNN

    

    • h_t를 구하려면 반드시 h_t-1이 먼저 있어야 하므로,, 순차 계산

  • 1D CNN

    

    • 각 위치 t의 출력은 같은 층의 이웃 입력에만 의존
    • 모든 위치 t =1,,,n를 한 번에 계산 가능

• CNN 기반이 RNN보다 훨씬 큰 배치와 병렬처리가 가능해서 학습속도 빠름

• 디코더가 자기회귀(다음 토큰을 이전 토큰에 의존)여도,

  • RNN: teacher forcing을 써도 hidden state 의존성 때문에 시간축 순차 연산 남음
  • CNN(masked conv): 같은 레이어 안에서 모든 위치를 병렬로 동시에 처리 가능

• 인코더의 경우, CNN은 전체 입력 시퀀스를 한 번에 컨볼루션 스택으로 통과시킬 수 있음

✓ 두 위치의 거리가 멀다는 것

• 시퀀스(sequence): 토큰들의 나열(ex. 단어, 음소, 글자)

• 위치의 거리: 시퀀스 상에서 토큰 간의 인덱스 차이

  I [1] really [2] like [3] bitamin [4]

  • I (1번 위치) ↔ bitamin (4번 위치)의 거리는 3
  • 가까운 단어는 거리 1~2, 멀리 떨어진 단어는 거리 10, 100 이런식으로

✓ 왜 연산 수가 증가할까?

• CNN 기반 모델은 “합성곱 필터”로 시퀀스 처리

  • 1-layer convolution: 윈도우 크기(k) 안에 있는 인접 토큰만 한 번에 연결 가능

  • 멀리 떨어진 단어는 여러 층을 거쳐야 연결 됨

    ⇒ 즉, 두 위치가 멀수록 그 정보를 서로 전달하려면 여러 convolution layer를 통과해야 한다 → 연산 수 증가

✓ ConvS2S의 선형적 증가

• ConvS2S는 contiguous convolution (연속된 커널) 사용

• 윈도우 크기가 k라면, 거리가 n인 두 단어를 연결하려면 대략 n/k개의 층 필요

  → 거리 n에 비례(선형)하게 연산 깊이 늘어남

  ex. 커널 크기 k=3일 때,

  • 거리가 3 → 1층 convolution으로 연결 가능
  • 거리가 9 → 최소 3층 필요

  

✓ ByteNet의 로그 증가

• ByteNet은 dilated convolution (팽창 합성곱) 사용

• dilation을 늘리면 한 층에서 더 넓은 범위의 토큰을 커버할 수 있음

  → 거리 n에 대해 로그(logarithmic) 스케일로 증가
  → 거리가 멀어져도 ConvS2S보다 훨씬 적은 층 수로 커버 가능

  <참고> https://zzsza.github.io/data/2018/02/23/introduction-convolution/

⇒ 장거리 의존성 학습이 여전히 어려움

✓ Transformer

• 일정한 수의 연산으로 줄어듦 but, 어텐션 가중치가 적용된 위치의 평균화로 (P)유효 해상도 감소

  → 3.2절 Multi-Head Attention으로 상쇄

✓ Self-Attention

• 한 시퀀스 내 서로 다른 위치를 연결해 표현을 계산하는 매커니즘
• 독해, 요약, 텍스트 함의, 문장 표현 학습 등 다양한 작업에서 성과 입증

• End-to-End memory networks
  • 시퀀스 정렬된 RNN 대신, self-attention 메커니즘 기반
  • 간단한 언어 질의 응답 및 언어 모델링 작업에서 우수한 성능

⇒ Transformer: RNN, CNN에 전혀 의존하지 않고 self-attention만으로 입출력 표현을 학습한 최초 모델

3. Model Architecture

✓ 기존 신경 시퀀스 변환 모델

• 대부분 인코더-디코더(encoder-decoder)구조 채택
  • 인코더: 입력 심볼 시퀀스 (x1, ,,, , xn) → 연속 표현 시퀀스 (z1, ,,, zn)로 변환

✓ 연속 표현 시퀀스

• 기호(symbol) 시퀀스
  • 우리가 다루는 원래 데이터: 단어, 글자 같은 이산적인 symbol
    • i love bitamin → [”i”,”love”,”bitamin”]
• 연속 표현?
  • 이산적 토큰을 실수 벡터로 바꾼 것
  • 보통 임베딩을 통해 변환
    • love → [0.12, -0.845, 0.33,….]
• 연속 표현 시퀀스
  • 입력 전체 문장을 바꿔 놓은 결과, 즉 각 단어가 임베딩된 벡터들의 시퀀스

---

✓ 연속 표현 시퀀스로 바꿔야, 모델이 벡터 공간에서 연산(내적, 합성, 어텐션 등) 수행 가능

즉, 인코더의 역할은 입력을 풍부한 의미적 벡터 시퀀스로 바꿔주는 것!!

• 디코더: 인코더의 표현 z를 바탕으로 출력 심볼 시퀀스 (y1, ,,, ym) 하나씩 순차적으로 생성
  • 새로운 심볼 생성할 때, 이미 생성된 심볼들을 추가 입력으로 활용

✓ Transformer

• 인코더-디코더 전체 구조는 동일하게 유지

  

• 단 인코더, 디코더 내부 구성 요소를 self-attention + position-wise feed-forward layer로 대체

  ⇒ 관계 학습(self-attention) + 개별 토큰 변환(FFN) 두 층을 교차로 쌓음

✓ Position-wise feed forward layer

• Feed-Forward Neural Network (FFN): 선형 변환 + 비선형 변환(ReLU 등)으로 구성된 작은 신경망
• Position-wise: 시퀀스의 각 위치(토큰)에 대해 독립적으로 동일한 FFN 적용한다

---

[수식]

• x: 한 토큰의 벡터 표현 (차원 = d_model)
• W1, W2: 학습 가능한 가중치 행렬
• b1, b2: 편향
  • w1,b1: 첫 번째 선형 변환으로 차원 늘림
  • w2,b2: 두 번째 선형 변환으로 차원 줄임
• ReLU 활성화(max) → 비선형성 부여

---

✓ 왜 position-wise라고 할까?

• Transformer는 시퀀스 전체를 동시에 처리하기 때문에, 각 토큰은 행렬 X = [x1, x2, ,,, , xn]로 들어옴

  but, FFN은 각 xi에 동일한 가중치를 적용해 독립적으로 처리

즉, 시퀀스 길이와 상관없이 각 위치별로 같은 작은 신경망을 복사해 놓은 것처럼 동작

---

• Self-Attention은 각 토큰이 다른 토큰과 관계를 맺는 과정

• 그 뒤 FFN은 각 토큰 벡터를 비선형적으로 변환해 표현력 강화

  ⇒ 시퀀스의 각 단어 벡터를 독립적으로, 동일한 작은 신경망(2층 FFN)으로 변환

3.1 Encoder and Decoder Stacks

✓ 인코더

✓ Sub-layer

• 하나의 큰 레이어(층) 안에 들어있는 구성 요소 블록
  • 하나의 레이어 안을 이루는 모듈을 의미

✓ Embedding layer

• 이산적 심볼(단어/토큰)을 모델이 쓸 수 있는 실수 벡터로 바꿔주는 층

• 구성: 동일한 레이어 6개 (stack)

• 각 레이어 (2개의 sub-layer)

  • Multi-Head Self-Attention
  • Position-wise Feed-Forward Network

• Residual Connection + Layer Normalization

  • 각 sub-layer 출력: $LayerNorm(x + Sublayer(x))$
  • sub-layer 결과와 입력을 더한 뒤 정규화

• 출력 차원: 모든 sub-layer 및 embedding layer는 d_model = 512

  → residual connection을 용이하기 위함

✓ 디코더

• 구성: 동일한 레이어 6개(stack)
• 각 레이어
  • Masked Multi-Head Self-Attention - 미래 토큰 참조 금지
  • Encoder-Decoder Multi Head Attention - 인코더 출력 참조
  • Position-wise Feed Forward Network
• Residual Connection + Layer Normalization: 인코더와 동일하게 적용
• Masking
  • 시점 i에서 예측은 반드시 이전 위치 (<i) 출력에만 의존
  • auto-regressive 성질을 보장

3.2 Attention

✓ Attention function

✓ Key와 Value의 차이

• Key (K) - 유사도 측정용
  • 내가 어떤 정보를 가지고 있는지 설명하는 label (책의 제목, 주제어 같은,,)
  • Query와 내적되어 “이 토큰을 얼마나 참고할지” 점수 계산에만 쓰임
• Value (V) - 정보 전달용
  • 내가 실제로 제공할 정보(content)
  • Attention 가중치가 곱해져 최종 출력에 반영되는 실질적인 정보

---

✓ 정리

• K와 V는 인코더 hidden state에서 각각 다른 projection으로 나온 것

  • K = 색인(검색용)

    • $k = hW^K$

  • V = 내용(전달용)

    • $v=hW^V$

  • $W^K, W^V$ : 학습되는 가중치 행렬

  • hidden state $h$ (차원 d_model)

---

• projection: hidden state를 W행렬에 곱해서 Q/K/V로 바꾸는 과정 (선형변환)

• Dot product: Attention 단계에서 Q와 K 사이 유사도를 계산하는 연산

• 그래서 같은 소스에서 나오지만,
  attention에서 “누굴 참고할지”와 “실제로 무슨 정보를 가져올지” 역할이 갈라짐

✓ Projection 개념

• 수학/기하학에서의 projection
  • 어떤 벡터를 다른 공간이나 축(axis)에 비춰 나타내는 것
  • ex. (3,4)라는 2D 벡터를 x 축에 projection 하면 → 3, y축에 투영하면 → 4
  • 원래 벡터의 “한 방향 성분만 뽑아내는 것”
• 선형대수학에서의 projection
  • 보통 행렬 곱으로 표현: $y=xW$
    • W: 특정한 선형 변환 행렬
    • 결과 y는 원래 x를 새로운 공간/차원에서 사상(mapping)
• 머신러닝/딥러닝에서의 projection
  • 가중치 행렬을 곱해서 벡터를 다른 차원 공간으로 보내는 것
    • word embedding: 단어 ID(원-핫, 10만 차원) → 저차원(300차원)으로 projection
    • attention: hidden state(512차원)를 Q/K/V 각각으로 projection

⇒ projection = 선형변환을 통해 차원과 의미를 바꿔주는 과정

✓ 선형변환

• f(x+y) = f(x) + f(y)

• f(cx) = cf(x)

• Attention에서 projection

  • 인코더 출력(hidden state, 차원 d_model)을 그대로 쓰지 않고,

    $Q = HW^Q$, $K=HW^K$, $V=HW^V$ 이렇게 다른 3가지 공간으로 투영(projection)

• Attention function: 입력 쿼리와 키-값(key-value) 쌍을 받아 출력을 만들어 내는 함수

  • Query, Key, Output 모두 벡터로 표현됨

    

• 출력: value의 가중합으로 계산

  • value에 할당된 가중치는 해당 key와 query의 호환성 함수에 의해 계산

3.2.1 Scaled Dot-Product Attention

✓ 입력

• 쿼리 Q: 차원 $d_k$
  • 내 목적이 뭔지? - 문장구조를 보고 싶어! 에 맞는 걸 하겟다고 하면
• 키 K: 차원 $d_k$
  • 문장구조 특징이 담겨있는 벡터로 표현되어 있는거고
  • 그걸 내적하면 문장 구조에 대한 목적을 가지고 있는 단어들 간의 유사도를 뽑아냄
• 값 V: 차원 $d_v$
  • value는 목적과 관계없이 단어가 임베딩상의 위치, 이 단어가 어떤 놈인지 단순 정보를 표현하는 것 아닐까?

✓ 계산 과정

① 쿼리와 모든 키의 내적(dot product) 계산 → 유사도 점수

✓ 왜 내적이 유사도 검사가 되는 것일까?

• 두 벡터 a,b

  !image.png

  • 세타가 작아 두 벡터가 비슷한 방향 → 내적 값이 큼

  • 세타가 커서 방향이 다르면 → 내적 값 작음 (심지어 음수)

    ⇒ 방향이 얼마나 비슷한지 (코사인 유사도)를 자연스럽게 반영 가능

✓ 왜 쿼리(Q)와 키(K)로 하는 걸까?

• Query(Q): 지금 위치에서 “내가 찾고 싶은 정보”
• Key(K): 각 입력 토큰이 가진 색인(label)
• Q와 K의 내적 → 현재 위치(query)가 특정 토큰(key)과 얼마나 잘 맞는지를 수치화
  • 이 유사도를 softmax에 넣어서 가중치로 사용

⇒ 내적(Q,K)로 어떤 V를 참고해야 할 지 결정 → 그 가중합이 최종 결과

+) V는 실제 “정보 내용”이라서 유사도를 잴 필요X

Q와 K의 유사도로 가중치를 얻어서 이 가중치로 V를 섞어주는 것이 핵심!

---

② 내적 값을 $sqrt(d_k)$로 나눔 (스케일링)

: $d_k$ 가 커질수록 내적 값이 커져 softmax가 매우 작은 기울기를 갖게 되므로 학습이 어려워짐
→ 안정화 필요

③ softmax 적용 → 가중치(확률 분포) 획득

④ 그 가중치로 값 V들의 가중합 → 최종 출력

✓ 왜 굳이 softmax → 가중치 획득 → V의 가중합 과정을 지나는가?

• 단순 내적만 하면 생기는 문제

  • q와 k의 내적한 값 → 유사도 점수
  • 점수자체는 음수/양수 크기만 있을 뿐, 그 자체로 확률적 의미는 없음

• Softmax로 바꾸는 이유

  • 점수들을 확률 분포로 변환 → 항상 0~1 사이의 값, 전체 합 = 1
  • 각 key에 어느정도 집중(attend)할지를 확률처럼 해석 가능
    • 문장에서 “it”이라는 단어가 등장할 때, 모델이 “dog”라는 단어에 0.8, “ball”에 0.1, tree에 0.1만큼 주목한다 → 직관적인 해석 가능

• Value V들의 가중합을 취하는 이유

  • Key: “어디를 볼지”를 정하는 역할

  • Value: “그 위치의 실제 정보”

  • softmax로 나온 가중치를 Value에 곱하면

    

    • 알파i 는 해당 위치를 얼마나 참고할지(집중할지) 나타내는 확률

    ⇒ 단순히 가장 큰 Key 하나만 뽑는 게 아니라, 여러 위치의 정보를 부드럽게 섞어서 사용 가능

  • 자연어 문장은 여러 단어들이 맥락적으로 영향을 주기 때문에 중요함

✓ 정리

• 입력: “나는 비타민을 사랑해”

  • 토큰 단위로 나누면 [ x1 = 나는 , x2 = 비타민을, x3 = 사랑해]
  • 각 토큰은 임베딩 벡터가 되고, 그걸 모아둔 게 행렬 H

• H^(0)

  • 0번째 레이어에서의 표현
    • 토큰 임베딩 + 포지셔널 인코딩을 합친 초기 입력 표현
  • H^(0) = [h1(0), h2(0), h3(0)]
    • h1(0): “나는”의 초기 벡터
    • h2(0): “비타민을” 의 초기 벡터
    • h3(0): “사랑해”의 초기 벡터

• H^(1)

  • 첫 번째 레이어를 통과한 후의 표현

  • 여기서 self-attention과 feed forward를 거치면서,
    각 단어 벡터가 다른 단어들과의 관계 정보를 섞은 새로운 표현으로 바뀐 상태

    ⇒ “나는” 벡터도 여전히 h1(1)에 있지만, 이 안에 “비타민을”, “사랑해”와의 관련성 반영

---

✓ 층이 깊이질수록

• H(2), H(3), ,,, H(N) 이렇게 갈수록 점점 더 풍부한 문맥 정보가 추가된 표현

✓ Attention function

• additive attention

  

  • 단일 hidden layer를 가진 feed-forward network를 사용하여 호환성 함수 계산

• dot-product (multiplicative) attention

  

• $1/sqrt(d_k)$의 스케일링 인자를 제외하고 알고리즘 동일

  ⇒ additive attention과 dot-product attention 이론적인 복잡성은 유사하지만,

  dot-product attention은 최적화된 행렬 곱셈 코드를 사용하여 구현 가능 → 빠르고 공간 효율적

✓ 성능 차이

• $d_k$ 가 작을 때: additive와 dot-product 성능 비슷

• $d_k$가 클 때: 스케일링 없는 dot-product는 성능 저하 → additive가 더 유리

  ⇒ Transformer는 스케일링 factor $1/sqrt(d_k)$를 넣어 안정적으로 학습

3.2.2 Multi-Head Attention

• 단일 어텐션은 입력(Query, Key, Value)을 d_model 차원에서 직접 계산

• 이렇게 하면 표현력은 제한되고, dot-product(내적) 크기가 커지는 문제 발생

  → $d_k, d_k, d_v$ 차원으로 서로 다른 학습된 선형 투영을 통해 h번 선형적으로 투영하는 것이 유용하다는 것을 발견

✓ Multi-head → 서로 다른 부분 공간/ 단일 head → 평균화

• Multi-head

  • 각 head는 projection 행렬 Wq, Wk, Wv가 다름

  • 즉, 같은 입력 hidden state라도 head마다 다른 “안경”을 끼고 해석

  • 어떤 head는 구문에, 어떤 head는 의미에 민감 등 → 다양하게 볼 수 있음

    ⇒ 다양한 관점에서 계산된 정보를 종합해서 더 풍부한 표현 얻음

• Single-head

  • 한 번만 attention을 하면, 다양한 관계를 모두 한 분포에 “평균”시켜야 함
    • 문장의 문법적 요소, 구조적인 요소들을 나눠서 봐야하는데, 하나로 되어 있으면 구조적인 요소가 합쳐진 것을 분석해야하는데, 이걸 평균낸 것처럼 보인다고?
  • 결과적으로, 여러 패턴(문법, 의미, 참조 관계)를 동시에 학습하기 어려워

✓ 차원축소와 병렬화

• Q, K, V를 각각 서로 다르게 학습된 선형 변환 행렬($W_i^Q, W_i^K, W_i^V$)

• 투영 차원

  d_k = d_v = d_model / h

  • Base 모델: d_model = 512, h = 8 → d_k = d_v =64

    ⇒ 전체 벡터를 여러 “부분 공간(subspace)”로 쪼개 병렬로 attention 수행

✓ 병렬 Attention 후 결합

• 각 head에서 어텐션 결과(출력값, 차원 d_v)를 구한 뒤
  Concat(head1, ,,, ,headh) → W^O 선형 변환 → 최종 출력

⇒ Q, K, V를 여러 부분 공간으로 선형 변환해 병렬 어텐션을 수행하고, 이를 합쳐 최종 출력으로 만드는 방식

✓ 정리

• 입력(Q, K, V) - 차원 d_model(512)

• 선형변환

  • 각 head마다 서로 다른 가중치 행렬을 사용해 Q,K,V 투영
  • 같은 입력이더라도, head마다 다른 부분 공간(subspace)으로 변환됨

• 각 head의 attention 계산

  • head = attention(Q Wq, K Wk, V Wv)

    변환된 Q,K,V를 가지고 Scaled Dot-product attention 수행

  • 출력 차원: d_v

• 모든 head 결합(Concat)

  • h개의 head 출력을 이어붙여서 하나의 큰 벡터 만듦

• 최종 선형변환

  • 결합된 벡터를 W^o로 다시 투영
  • 최종 출력 차원을 모델 크기 d_model로 맞춤

3.2.3 Applications of Attention in our Model

✓ Transformer의 Attention 활용 방식 3종류

① Encoder-Decoder Attention

• Query: 이전 디코더 레이어 출력
• Key, Value: 인코더 출력(memory)
• 기능: 디코더가 출력 단어를 생성할 때 입력 시퀀스 전체를 참고할 수있도록 함
• 기존의 seq2seq 모델의 encoder-decoder attention 계승

② Encoder Self-Attention

• Query, Key, Value: 모두 인코더 이전 레이어 출력

• 기능: 입력 시퀀스의 각 위치가 다른 모든 위치와 상호작용 할 수 있음

  → 입력 문장 내 단어 간 전역 문맥 학습

③ Decoder Self-Attention

• Query, Key, Value: 모두 디코더의 이전 레이어 출력
• 기능: 디코더 각 위치가 자신 포함 모든 이전 위치를 참고할 수 있음
• masking: 미래 단어로 정보가 흘러가면 안됨
  • softmax 입력에서 불법 연결에 해당하는 값을 -무한대로 설정
  • auto-regressive 성질 유지

3.3 Position-wise Feed-Forward Networks

✓ 구조

• Attention sub-layer 외에, 인코더와 디코더의 각 레이어는 FFN 포함

• Feed-Forward sub-layer // Encoder-Decoder Attention sub-layer

• 각 토큰 위치별로 독립적이지만 동일한 방식으로 적용

  !image.png

  • 2개의 선형 변환 + ReLU 활성화
  • x는 어텐션 결과값, w1을 곱하고 b1 을 더해줌

✓ 특징

• 위치마다 같은 가중치를 적용 → 병렬화 용이

• 단, 레이어마다 다른 파라미터 학습

  → 즉, 인코더 6개층에 들어간 FFN은 각각 고유의 W1, W2를 가짐

  ⇒ 커널크기 1인 2개의 convolution으로 설명

  입력 및 출력 차원 d_model = 512, inner-layer 차원: d_ff = 2048

  → 즉 512 차원을 2048차원으로 확장했다가 다시 512로 압축 (표현력 강화 목적)

3.4 Embedding and Softmax

① 입력/출력 임베딩

• 다른 시퀀스 변환 모델과 마찬가지로 입력/출력 토큰을 학습된 embedding layer로 변환

② 출력 예측

• 디코더의 출력을 학습된 선형 변환 + softmax를 통해 다음 토큰 확률 분포로 변환

③ 가중치 공유

• 입력 임베딩, 출력 임베딩, softmax 직전 선형 변환의 가중치 행렬 공유

④ 스케일링

• Embedding 벡터에 sqrt(d_model)을 곱해 스케일 조정
  • 초기화시 임베딩 벡터 크기가 너무 작아지는 것을 방지하고 안정적 학습 유도하기 위함

3.5 Positional Encoding

✓ P

• Transformer는 RNN이나 CNN처럼 순차 구조가 없음

  → 토큰 순서 정보가 사라질 수 있어서 “위치정보” 주입해야함

✓ S

• 인코더와 디코더 스택 하단의 입력 임베딩에 “positional encodings” 추가

  • 임베딩과 동일한 차원인 d_model을 가져서 두 값 합산 가능

• 구현 방법: ① 학습형 ② 고정형 2가지 有

  • 서로 다른 주파수의 사인 및 코사인 함수 사용

    

    • pos = 시퀀스 상 위치
    • i = 임베딩 차원 인덱스

  • 각 차원은 다른 파장의 정현파 가짐 (2pi ~ 10000x2pi까지 기하급수적 증가)

    ⇒ 특정 위치 오프셋 k에 대해 PE_pos+k 를 PE_pos의 선형함수로 표현 가능해서 상대적인 위치 관계를 모델이 쉽게 확인 가능하다고 가정했음

  • 사인버전 채택 → 훈련보다 더 긴 시퀀스를 일반화 가능하기 때문

4. Why Self-Attention

→ Self-Attention vs RNN/CNN 비교 정리

• 계산 복잡도
• 필요한 최소 순차 연산 수로 측정되는 병렬화할 수 있는 계산량
• 네트워크에서 장거리 의존성 간의 경로 길이(주요과제)
  • 순방향 및 역방향 신호가 통과해야하는 경로 길이 - 길이가 짧을 수록 학습에 쉬움

** n: 시퀀스 길이, d: 차원

✓ Recurrent layer (RNN)

• 계산 복잡도: O(nd^2)
• 순차 연산: O(n) (모든 단계가 직전 hidden state에 의존 → 병렬화 불가)
• 경로 길이: O(n) (멀리 떨어진 단어 간 의존성 학습이 어려움)

✓ Convolutional layer (CNN)

• 계산 복잡도: O(knd^2) (커널 폭 k에 비례)
• 경로 길이
  • 일반 convolution: O (n/k) - 선형
  • dilated convolution: O (logk(n)) - 로그
• 특징
  • 장거리 의존성은 여러 층을 쌓아야 겨우 연결 가능
  • RNN보다 병렬화는 유리하지만, 계산량은 더 클 수 있음
  • Separable convolution을 쓰면 복잡도를 줄일 수 있으나, 여전히 self-attention보다 비효율적

✓ Self-Attention Layer

• 계산 복잡도: O(n^2d)
  • 보통 n < d이라서 RNN보다 효율적 (ex. word-piece, Byte-pair 표현)
• 순차 연산: O(1) (모든 위치를 병렬 연산으로 연결 가능)
• 경로 길이: O(1) (임의의 두 위치가 한 번의 attention으로 직접 연결)
• 장점
  • 장거리 의존성 학습에 유리
  • Attention head 별로 다른 역할을 학습해 해석가능서이 높음
  • 필요 시 local attention (크기 r의 neighborhood)으로 제한 가능 → 계산량 절약, 경로 길이 O(n/r)로 증가

5. Training

→ regime에 대해 설명

5.1 Training Data and Batching

• 영어-독일어
  • WMT 2014 데이터셋 (약 450만 문장 쌍)
  • Byte-Pair Encoding, 공유 어휘 37,000개 사용
• 영어-불어
  • WMT 2014 데이터셋 (약 3600만 문장 쌍)
  • WordPiece, 어휘 크기 32,000 사용
• Batch 구성
  • 문장 길이를 기준으로 대략 정렬 후 배치
  • 각 배치: 약 25000 source 토큰 + 25000 target 토큰

5.2 Hardware and Schedule

• 하드웨어: NVIDA P100 GPU x 8
• Base 모델
  • Step당 약 0.4초
  • 100,000 steps 약 12시간 학습
• Big 모델
  • step당 약 1초
  • 300,000 steps 약 3.5일 학습

5.3 Optimizer

• Adam optimizer
  • 베타1 = 0.9, 베타2 = 0.98, 에러 = 10^(-9)
• 학습률

• 초반 warmup 단계(4000 steps): 선형 증가
• 이후: 단계수의 역제곱 비율로 감소

5.4 Regularization

• Residual Dropout
  • 각 sub-layer 출력에 dropout 적용 후, sub-layer에 입력 추가 및 정규화
  • 인코더, 디코더의 임베딩 + positional encoding 합에도 dropout 적용
  • Base 모델 P_drop = 0.1
• Label Smoothing
  • els = 0.1
  • 모델이 과도하게 확신하지 않도록 → perplexity(복잡)는 다소 높아지지만 정확도 BLEU 향상

6. Result

6.1 Machine Translation

✓ 영어-독일어(EN-DE : WMT 2014)

• Transformer (big): BLEU 28.4
  • 당시 보고된 모든 모델(앙상블 포함) 대비 +2.0 BLEU 향상 → 새로운 SOTA 달성
  • 학습 비용: P100 GPU 8개 x 3.5일
• Transformer (base model)도 기존의 단일 모델, 앙상블 능가

✓ 영어-프랑스어(EN-FR : WMT 2014)

• Transformer (big): BLEU 41
  • 기존 최고 단일 모델 성능 초과
  • 학습 비용: 경쟁 모델의 1/4 미만
  • dropout 비율 0.1 사용 (기존 0.3 대신)

✓ 학습/추론 세부 설정

• checkpoint averaging

✓ checkpoint

• 모델을 학습할 때, 일정 step마다 가중치를 저장함
  • 이 저장본 하나하나를 체크포인트라고 부름

✓ checkpoint averaging

• 마지막에 모델 하나만 쓰는 게 아니라, 여러 개의 최근 체크포인트를 불러와서 가중치 평균

  ⇒ 훈련 후반부에는 손실이 출렁출렁할 수있다.

  이때, 체크포인트 평균을 하면 잡음을 줄이고, 일종의 앙상블 효과도 기대 가능

• base 모델: 마지막 5개 체크포인트(10분 간격) 평균
• big 모델: 마지막 20개 체크포인트 평균
  • Beam Search
• Beam size =4
• Length penalty 알파 = 0.6
• 출력 최대 길이 = 입력 데이터 + 50 (조기 종료 허용)
  • 학습 비용 추정
• FLOPs = 학습 시간 x GPU 수 x GPU 성능(단정밀도 기준)

6.2 Model Variations

✓ 실험 설정

• 데이터셋: newtest 2013 (EN-DE 개발셋)
• 체크포인트 평균화는 사용하지 않고, beam search만 적용

✓ 결과

(A) Attention Heads & 차원 분할

• 연산량 일정하게 유지하면서, 어텐션 헤드 수, 어텐션 키, 값 차원을 다양하게 변경

• 단일 헤드 어텐션 → 최적 설정보다 BLEU -0.9

• Head 수가 지나치게 많아도 성능 저하

  → 적절한 head 수 (기본 설정 h=8)가 가장 효과적

(B) Attention Key 차원 d_k

• d_k를 줄이면 품질 저하 발생

  → 단순 dot product만으로는 충분하지 않을 수 있고, 더 정교한 호환성 함수가 유용할 수도~

(C)&(D) 모델 크기와 Dropout

• 더 큰 모델일수록 성능 향상
  • dropout은 과적합방지에 매우 효과적

(E) Positional Encoding

• 사인파 기반 positional encoding를 학습형 위치 임베딩로 대체

  • 성능 차이 거의 없음

  → 논문에서는 사인파 채택 (긴 시퀀스로 일반화 가능해서)

6.3 English Constituency Parsing

✓ 목적

• Transformer가 번역 외 다른 작업에도 일반화 가능한지 평가하고자 함
• 구문 분석(Parsing)은 출력이 입력보다 훨씬 길고 구조적 제약이 강함
  • 특히, RNN, seq2seq 모델은 소규모 데이터 환경에서 좋은 결과를 내지 못했던 과제

✓ 데이터 및 모델 세팅

• 데이터: Penn Treebank WSJ (약 40,000 문장) + high-confidence + Berkeleyparser 코퍼스 (약 1700만 개 문장, 준지도 학습)
• 모델: 4-layer Transformer, d_model = 1024
• 어휘크기: WSJ 전용(16,000 토큰 어휘), 준지도(32,000 토큰 어휘)
• 추론(decoding)
  • 최대 출력 길이 = 입력 + 300
  • Beam size = 21, length penalty 알파 = 0.3
• 하이퍼파라미터: dropout, attention, residual, learning rate 등은 EN-DE 번역 기본 설정과 동일

✓ 결과

• RNN, seq2seq 모델보다 훨씬 우수
• WSJ 40,000 문장만 학습해도 BaerkeleyParser보다 성능이 높음
  • recurrent neural network grammar 보다는 ,, ⬇️

7. Conclusion

• Transformer는 인코더-디코더 아키텍쳐에서 RNN을 완전히 제거하고

  multi-head self-attention만으로 구성된 최초의 sequence transduction 모델 제안

  • 성능 조아요~

• Transformer를 텍스트 말고 modality에 확장해고 싶고, 대규모 입출력을 효율적으로 할 수 있도록 하고 싶다, 더 병렬적으로 하고 싶다

논문명: Sequence to Sequence Learning with Neural Networks 학회(출판연도): NeurIPS (2014) 연구분야: 딥러닝 기반 시퀀스 표현 학습 및 시퀀스-투-시퀀스 모델

Abstract(초록)

✓ 토큰(Token)

• 더 이상 분해할 수 없는 텍스트의 기본 단위
  • 단어, 문자, 문장의 일부
    • 단어단위 토큰화: i love bitamin → [”i”, “love”,”bitamin”]
    • 문자단위 토큰화: i love bitamin →[”i”,”l”,”o”,….,”n”]

✓ 토큰화(Tokeniazation)

• 텍스트를 토큰들로 나누는 과정
  • 토큰화 이후, 단어 임베딩이나 벡터화 등의 작업을 통해 텍스트 분석
  • 긴 문장을 의미있는(정보단위로 기능, 쓸모있는) 기본 단위인 토큰들로 분해하는 작업

✓ NLP에서 “의미있다”

→ 모델이 학습하거나 예측하는데 쓸모가 있다

• 문자 단위의 토큰화의 경우(”b”,”i”,”t”,”a”,”m”,”i”,”n”)
  • 각 문자는 독립적으로 의미가 없지만, 모델이 이 문자들을 조합해서 bitamin이라는 단어를 이해하거나 예측할 수 있다면 의미가 있다 봄

✓ 시퀀스

• “순서”가 중요한 데이터 집합(순서가 바뀌면 의미가 달라질 수 있음)

✓ 기존 DNN의 문제점

• 대규모의 라벨이 붙은 학습 데이터가 주어질 때 잘 동작하더라도, 시퀀스를 시퀀스로 매핑하는 문제에는 적용할 수 없음

✓ 시퀀스를 시퀀스로 매핑하는 문제 (ex. 영어문장 → 프랑스어로 번역)

• 입력문장(영어)이 다른 시퀀스(프랑스어)로 변환되는 문제
  • 여기서 영어 문장: 하나의 시퀀스(단어들의 연속), 이를 변환해 프랑스어 시퀀스 생성

✓ LSTM 기반 시퀀스-투-시퀀스 학습

• 시퀀스 구조에 최소한의 가정만 두는 end-to-end 시퀀스 학습 방법 제안

• 다층 LSTM(Long Short-Term Memory)

  ① 입력 시퀀스 → 고정 차원의 벡터로 변환

  ② 또 다른 심층 LSTM이 이 벡터로부터 목표 시퀀스를 디코딩

✓ 시퀀스 구조에 최소한의 가정만?

• 일반적인 시퀀스 문제(ex. 문장 번역)에서는 입력과 출력 시퀀스 간의 길이나 구조가 복잡
  • 기존 - 단어별 대응 규칙 or 정렬 정보 같은 가정을 많이 두고 모델링
  • 논문 - 최소한의 가정만 → 입력시퀀스와 출력시퀀스가 어떤 관계인지 미리 정하지 않겠다

✓ end-to-end

• 입력 문장 → 출력 문장 전체 과정을 한 번에 학습
• 인코더 LSTM과 디코더 LSTM을 나누지만, 전체 모델이 하나의 목표 함수를 기준으로 동시에 학습
  • 따로 전처리 단계에서 규칙을 넣거나, 중간 단계에서 사람이 개입할 필요X

✓ 입력 시퀀스를 고정 차원의 벡터로 변환?

• 입력 시퀀스를 인코더 LSTM에 넣어서 마지막 은닉상태나 출력벡터로 고정 크기의 벡터 만듦

  → 이 벡터는 문장 전체 정보를 압축한 컨텍스트 벡터

✓ 또 다른 심층 LSTM이 이 벡터로부터 목표 시퀀스를 디코딩?

• 디코더 LSTM은 이 고정 벡터를 받아서 순차적으로 출력 시퀀스를 생성

  ex. 영어 → 프랑스: 디코더는 벡터 기반으로 프랑스어 문장을 한 단어씩 생성

✓ 실험

• WMT`14 데이터셋 영어 → 프랑스어 번역 (기계번역)

  ① 성능 향상 - BLEU점수

  • BLEU 점수 34.8 (↔ 기존 SMT BLEU 33.3)
    • 논문의 LSTM을 통해 SMT 1000개의 가설 재순위화 → BLEU 36.5로 향상
  • 긴 문장도 ok~

  ② 단어 순서 뒤집기

  • LSTM은 단어 순서에 민감하지만, 능동태와 수동태에서는 비교적 강건

    • 능동,수동 → 문장 구조가 달라도 핵심 의미는 비슷하게 벡터로 표현

  • 단기 의존성을 증가시켜 LSTM이 더 효과적으로 학습할 수 있게 도와줌

    ✓ 단기 의존성(short-term dependency)

    • 번역에서 첫 번째 단어와 마지막 단어 사이의 거리를 생각해보면,

      • 원래: i love bitamin → 출력 첫 단어와 대응되는 입력 단어 멀리 떨어져 있음

        ⇒ 장기 의존성 문제(기울기 소실 문제로 어려움)

    • 단어를 뒤집으면

      • 출력 문장의 첫 단어와 대응되는 입력 단어가 가까워짐 → 단기 의존성

        ⇒ 단기 의존성이 많아지면, 역전파를 통한 학습이 쉬워짐

1. Introduction (서론)

✓ DNN

✓ N개의 N-비트 숫자

• N개의 숫자가 각각 N비트로 표현되는 숫자들 의미
  • N=4 → 4비트로 표현되고 총 4개의 숫자들로 이루어진 집합

✓ N개의 N-비트 숫자 “정렬”

• N개의 N-비트 숫자들을 오름차순이나 내림차순으로 정렬해야하는 문제

  → 이 숫자들을 정렬하는 기능을 신경망이 수행할 수 있는데 2개의 은닉층만으로도 해결 가능

• 음성인식, 시각적 객체 인식과 같은 어려운 문제에서 매우 뛰어난 성능

• 비교적 적은 단계만으로도 임의의 병렬 연산 가능

  • 2개의 은닉층만으로도 N개의 N-비트 숫자 정렬 가능 → 복잡한 문제를 단순한 구조로 해결가능

    

    ✓ 왜 신경망으로 정렬이 가능할까?

    • 신경망은 입력 데이터를 처리하고 패턴을 학습할 수 있는 능력有
      • DNN은 선형적이지 않은 연산을 반복적으로 적용하여 복잡한 문제를 풀 수 있음
    • 정렬문제=순서를 파악하고 비교하는 작업: 2개의 은닉층으로 순서, 비교 패턴 학습 가능

    ✓ 왜 2개의 은닉층만으로 가능한가?

    • 기본적인 신경망 구조는 선형 연산만으로는 해결할 수 없는 문제들을 다룰 수 있게 해줌

      → 은닉층을 추가함으로써 비선형적인 문제도 해결할 수 있음

      • 단일층: 선형변환만 가능 - 직선적일 수 밖에 없음

      • 3번이상의 은닉층: 상대적으로 더 복잡한 문제나 큰 데이터셋에서 필요, 과적합 위험

        ⇒ 2개의 은닉층이 학습 효율성과 성능면에서 최적의 균형을 제공하는 경우가 많음

(P) DNN의 한계

• 입력과 출력이 고정된 차원의 벡터로 인코딩될 수 있는 문제에만 적용 가능

  • 시퀀스-투-시퀀스 문제(ex. 기계 번역, 질의응답 등)에서는 한계 존재

    → 길이가 고정된 데이터(ex. 이미지나 고정된 길이의 텍스트 등)에는 잘 작동하지만,

    길이가 달라질 수 있는 시퀀스 데이터에는 적합X

✓ (S) LSTM을 이용한 시퀀스-투-시퀀스 학습

• LSTM: 시퀀스를 처리하는데 강력한 신경망

  • 장기의존성을 학습하는데 능숙하여, 시간 지연이 있는 입력과 출력 간의 관계를 잘 모델링 가능

  • 시퀀스-투-시퀀스를 해결하기 위해 2개의 LSTM 사용

    • 인코더 LSTM

      → 입력 시퀀스를 한 번에 한 단어씩 읽어서 고정된 크기의 벡터로 변환(입력시퀀스 요약정보)

    • 디코더 LSTM

      → 인코더에서 생성한 고정된 벡터를 받아 출력 시퀀스 생성 후 차례대로 예측

      → 입력 시퀀스를 조건으로 하는 순환 신경망 언어 모델

      ⇒ 장기 의존성 문제 해결

  

<참고> [세션 PPT]

✓ 관련 연구

✓ re-ranking 실험

• abstract랑 똑같은 이야기
  • LSTM 순서 뒤집는 트릭으로 단기의존성을 만들어서 최적화 쉬워짐
  • SGD로 학습해도 긴 문장 잘 처리 가능

2. The model

<참고>

✓ (P)

• RNN은 ①입력과 출력이 같고, ②정렬이 이미 알려져 있는 경우에는 시퀀스 투 시퀀스로 쉽게 매핑 가능

  BUT, ①입력과 출력 길이가 다르거나, ② 복잡하고 비단조적인 관계를 가지는 경우에는 적용 어려움

  ✓ 비단조적인 관계

  • 변수 간의 관계가 일정한 방향으로만 변화하지 않고, 증가와 감소가 반복될 수 있는 경우
    • 변수 간의 증가나 감소가 일관X(변동적)
    • 다른 요인에 의해 영향을 받을 수 있음

✓ (S)

• 입력 시퀀스를 하나의 고정 길이 벡터 v로 매핑 (첫 번째 RNN)

• 그 벡터를 기반으로 출력 시퀀스 생성 (두 번째 RNN)

  BUT, RNN은 장기 의존성 문제로 학습이 어려움 → LSTM으로!

  • 아마 v: 컨텍스트벡터, 첫 번째 RNN: 인코더 LSTM, 두번째 RNN: 디코더 LSTM

• 방법
  • 입력 시퀀스를 LSTM으로 인코딩하여 “마지막 hidden state = v”로 고정 길이 벡터를 얻음
  • 이후, 디코더 LSTM이 v를 초기 hidden state로 설정한 뒤, 출력 시퀀스를 생성
  • 이때 각 단어의 확률 분포 p(y_t|v,y1,y2,,,yt-1)는 소프트맥스(softmax)로 표현

✓ 개선점 3가지

① 입출력에 서로 다른 LSTM 사용

• 인코더 LSTM(입력용), 디코더 LSTM(출력용) 분리
• 파라미터 수를 늘리면서도 연산비용이 크게 늘지X
• 다국어 학습에도 자연스럽게 확장 가능

② 깊은 LSTM 사용 (deep LSTM)

• 얕은 LSTM보다 깊은 LSTM이 성능이 훨씬 우수
• 4층 LSTM 사용

③ 입력 문장 단어 순서 뒤집기 (reverse input sentence)

• 입력 (a,b,c) → 출력(알파,베타,감마) 대신
  입력 (c,b,a) → 출력(알파,베타,감마)

  → 단기 의존성! (장기 의존성 문제 해결)

  알파가 난이도 결정 → 초기 출력이 잘 맞으면, 뒤 토큰들도 쉽게 맞아 떨어진다~(가장어려운 부분을)

3. Experiments

✓ SMT(Statistical Machine Translation)

• 확률적 모델 기반으로 한 기계 번역 방식

• 대규모의 평행 코퍼스(같은 의미를 가진 두 언어로 된 문서)에서 얻은 통계적 규칙을 사용하여 한 언어에서 다른 언어로 번역

  • 주어진 입력 문장을 단어와 구문으로 나누고, 이를 확률적 규칙에 따라 번역
  • 번역할 때 가장 가능성이 높은 번역을 선택하는 방식으로 작동

• 문법적 정확성보다 빈번한 단어 및 구문 패턴을 기반으로 작동하여 번역 수행

  → 단어 순서가 중요한 언어적 맥락을 다루는 데에는 한계

✓ n-best 리스트

• 번역 시스템에서 생성한 상위 n개의 번역 후보 리스트
• 시스템이 제공할 수 있는 여러 가지 번역 결과 중 가장 확률이 높은 번역 나열

✓ WMT’14 영어 → 프랑스어 기계번역(MT) 방법

• SMT 시스템없이 직접 번역 (Direct translation)
• SMT baseline의 n-best 리스트를 재점수화(rescoring)

3.1 Dataset details

✓ 데이터셋

• WMT`14 영어 → 프랑스어 데이터셋

✓ 학습 데이터

• 1200만 문장 쌍, 프랑스어 3.48억 단어, 영어 3.04억 단어
  • [29]에서 제공하는 clean selected subset 사용
    • baseline SMT 시스템이 토크나이즈된 train/test 셋과 1000-best 리스트가 공개되어 있어서

✓ 어휘집

• 소스 언어(영어): 160,000개 가장 빈도 높은 단어
• 타깃 언어(프랑스어): 80,000개 가장 빈도 높은 단어
• 어휘 외 단어(OOV)는 모두 특별한 UNK 토큰으로 대체

3.2 Decoding and Rescoring

✓ 학습 목표

• 대규모 deep LSTM을 문장 쌍으로 학습

• 목적함수: 소스 문장 S가 주어졌을 때 올바른 번역 T의 로그 확률을 최적화

• 번역생성과정: 소스 문장 S가 주어졌을 때 올바른 번역 T의 로그 확률 최대화

  • 모델의 예측이 훈련 데이터에서 실제 출력과 가까워지도록 학습
  • 로그 확률의 합이 최대화하는 것을 목표

  

• 로그 확률을 사용하는 이유 예시

  

✓ 번역 생성 과정

• 학습 완료 후, 가장 가능성 높은 번역 선택

  

✓ 디코딩 방법

✓ Partial Hypothesis

• 출력 시퀀스를 완전히 생성하기 전에 현재까지 생성된 부분적인 번역 결과 의미
• 번역을 순차적으로 생성할 때, 시스템은 출력 시퀀스의 일부를 미리 생성하고, 그 결과를 바탕으로 다음 단어 예측
  • 이 부분적인 출력 → Partial hypothesis

✓ Beam Search Decode

• 출력 시퀀스를 생성하는데 사용되는 탐색 알고리즘

  • 다양한 후보 번역을 생성하고 평가하는 방식

    → 현재까지의 번역 후보 중에서 가장 가능성 높은 후보들을 유지하면서 번역을 계속 생성

• 작동예시

  • 모델이 i를 예측하고 beam width가 3이면 i 다음에 올 수 있는 3가지 단어 예측
  • 이전 단계에서 예측된 i 뒤에 올 3개의 단어 후보를 각각 확장하여, 3개의 새로운 partial hypothesis 만듦 + 각 후보에 대한 확률 계산
  • 각 후보에서 또 다른 단어들을 예측하여, 최고 확률을 가진 3개의 후보를 계속 유지
  • 전체 시퀀스가 완성되면, 가장 확률이 높은 시퀀스를 최종 출력으로 선택

• 좌 → 우 beam search decoder 사용

• beam search는 B개의 partial hypothesis 유지

• 각 시점마다 가능한 모든 단어로 확장 → 후보 수 급증

• 상위 B개만 남기고 나머지는 제거 (로그 확률 기준)

• <EOS>가 나오면 beam에서 제거하고 complete hypothesis 집합에 추가

• 근사적이지만 구현이 단순하고, beam size = 1로도 좋은 성능, beam size = 2어도 대부분의 성능 향상

  

✓ 재점수화(rescoring)

• baseline SMT가 만든 1000-best 리스트를 LSTM으로 재점수화
  • 각 후보 번역의 로그확률을 LSTM으로 계산하고, 원래 SMT 점수와 평가

3.3 Reversing the Source Sentences

✓ LSTM

✓ 최소 시간 지연

• 입력 시퀀스의 단어가 출력 시퀀스의 대응되는 단어와 시간적으로 가까운 관계를 유지하도록 함

  즉, 입력 단어와 출력 단어가 서로 가깝게 위치하도록!!

---

• 왜 중요할까?
  • [기계번역시스템] 입력 문장과 출력 문장 사이에 단어의 순서와 문맥적 관계를 잘 반영해야 함
  • 최소 시간 지연을 고려하면 입력 문장에서의 각 단어가 출력 시퀀스의 대응되는 단어와 가까운 위치에 배치되어야 함

• 장기 의존성 문제 해결 가능하긴 한데, 소스문장(입력)을 역순으로 뒤집으면 훨씬 더 잘 학습하더라~

  ✓ 타깃 문장(출력)은 뒤집지 X

  • perplexity 5.8 → 4.7
  • BLEU 점수 25.9 → 30.6

  ⇒ 많은 단기 의존성을 도입했기 때문이 아닐까~? (최소 시간 지연_minimal time lag 해결)

  • 평균 거리 자체는 변하지X

    • 소스 언어 앞쪽의 단어와 타깃 언어의 앞쪽의 단어가 가까워지면서
      ① 최소 시간 지연이 줄어들고
      ② 역전파가 소스 문장과 타깃 문장 사이에 “의사소통”을 수립하기 훨씬 쉬워짐
      ⇒ 전반적인 성능향상

  • <초기>에는 입력 문장을 뒤집는 게 타긴 문장의 앞부분에서 더 자신 있는 부분을 예측하고, 뒷부분에서는 덜 자신있는 부분을 예측하는 것이라고 생각했음

    → 문장을 뒤집으면, 앞부분의 단어들이 뒤쪽 단어들보다 더 간단하게 예측될 듯?
    뒷부분이 덜 확실하니까 더 많은 예측 오류가 있을 것이라 생각했었음

  • <실험결과> 뒤집은 문장이 더 좋은 성능

  • <결론> LSTM의 메모리 활용의 개선 때문

    • LSTM 모델은 기억을 잘해야하는데, 입력 문장의 순서를 뒤집으면 초기 단어들이 후속단어들과 더 가까운 위치에 배치되므로, 초기 상태의 의존성이 더 짧아지게 됨

3.4 Training details

✓ 모델 설정

• 4층 deep LSTM, 각 층은 1000개의 셀, 단어 임베딩 차원 1000차원

• 입력 어휘집 160,000, 출력 어휘집 80,000

• 8,000개의 실수 → deep LSTM 문장을 표현하기 위함

  ⇒ 얕은 LSTM보다 훨씬 뛰어난 성능

  • LSTM은 총 3억 8400만 개의 파라미터
  • 이 중 6400만 개는 순수 recurrent 연결
  • encoder LSTM 3200만 개, decoder LSTM 3200만 개

✓ 학습설정

• 파라미터 초기화

  • 모든 파라미터를 [-0.08,0.08] 구간의 균일분포로 초기화

• 최적화 방법

  • Momentum없이 SGD 사용
  • 학습률 0.7로 고정
  • 5 epoch 이후부터는 0.5 epoch마다 학습률 절반으로 감소
  • 총 학습 epoch = 7.5

• 미니배치 설정

  • batch size = 128 시퀀스
  • gradient를 batch size(128)로 나누어 정규화

• gradient clipping (폭발 방지)

  • LSTM은 기울기 소실 문제는 적지만, 기울기 폭발 문제는 발생 가능

    → gradient norm을 제한(hard constraint)

  • 각 배치에서 gradient g (128로 나눈 값)를 구해 s = ||g||^2 계산

  • 만약 s>5 이면 g ← 5/sqrt(s) x g

• 문장 길이 처리

  • 문장 길이 다양함 (짧은 문장: 20-30 단어, 긴 문장: 100+ 단어)

  • 무작위로 128개 문장을 선택하면 대부분 짧은 문장이라 긴 문장 학습 시 연산 낭비 발생

  • minibatch 내 문장들이 비슷한 길이를 갖도록 구성

    → 약 2배 이상 속도 향상 얻음

3.5 Parallelization

✓ 병렬화

• (P) 단일 GPU_C++로 구현된 deep LSTM 약 1,700단어/초 (느림)

  → (S) 8개의 GPU를 사용하여 모델 병렬화

  • 4개 LSTM: 각기 다른 GPU에서 실행 - 계산된 활성화 값은 다음 GPU/층으로 즉시 전달

  • 나머지 4개 LSTM: softmax 병렬화 - 각 GPU가 1000x20000행렬 곱 연산 담당

    ⇒ 6,300 단어/초 속도 기록, 미니배치 128, 학습 약 10일 걸림

3.6 Experimental Results

• cased BLEU score 사용
• WMT`14 시스템 37.0 BLEU 얻음

• 순수 LSTM direct translation: BLEU 34.81, SMT baseline(33.30) 초월
• 앙상블 효과: 모델 5개 앙상블 시 성능 크게 향상
• reverse input: 성능 개선

3.7 Performance on long sentences

• 입력 문장을 역순으로 넣어서 최소 시간 지연이 줄어들어서 장기 의존성 학습하는게 쉬워짐

3.8 Model Analysis

4. Related Work

• RNNLM (RNN-Language Model) 이나 NNLM (Feedforward Neural Network Language Model)

  • MT baseline의 n-best 리스트를 재점수화(rescoring) → 성능 안정적으로 개선

• 소스 언어 정보 ⊂ NNLM

  • Auli et al [1]: 입력 문장의 토픽 모델(topic model)과 결합하여 rescoring 성능 향상
  • Devlin et al [8]: NNLM&MT의 디코더에 통합, 디코더의 정렬 정보를 이용해 입력 문장의 유용한 단어들을 NNLM에 제공

• Kalchbrenner and Blunsom[18] ← 밀접하게 관련

  • 최초 입력 문장을 벡터로 매핑 → 다시 문장으로 복원
    • CNN 사용 (단어의 순서 잃음,,)

• Cho et al [5]: LSTM과 유사한 RNN 구조를 사용해 문장의 벡터로 매핑하고 다시 복원

  ** 신경망을 SMT시스템에 통합하는 것에 초점

• Bahdanau et al [2]: 어텐션 메커니즘 도입

  • Cho et al [5]의 메모리 문제 해결 - 구문 기반 접근과 유사
  • 역순 소스 문장으로 학습해도 유사한 개선을 얻었을 것이라 추측

• End-to-end

  • Hermann et al [12]: 공간상의 유사한 지점으로 매핑, 사전에 계산된 데베에서 가장 가까운 벡터를 검색하거나 문장을 재점수화해야만 번역 얻을 수 있음

5. Conclusion

• 대규모 deep LSTM: 제한된 어휘, 문제 구조 거의 가정X
  →무제한 어휘 SMT보다 대규모 MT 과제에서 우수

  ⇒ 충분한 학습 데이터가 있다면, 다른 시퀀스 학습 문제에도 효과적일 가능성⬆️

• 소스 문장 역순 처리
  • 단기 의존성 증가로 학습 용이
• 긴 문장 번역
  • 제한된 메모리에도 불구하고 정확히 번역 가능

논문명: Deep Residual Learning for Image Recognition 학회(출판연도): CVPR (2016) 연구분야: 딥러닝 기반 컴퓨터 비전 백본 네트워크

Abstract(초록)

✓ 기존 신경망의 문제점

• 신경망을 깊게 쌓으면 이론적으로 성능이 좋아야 하지만, 실제로는 성능 저하 발생
  • 단순히 층을 더 깊게 하면 학습이 잘 안되고, 오히려 오류율 증가

✓ ResNet의 등장

→ Residual Learning(잔차 학습) 프레임워크 제안

• 레이어가 입력과 무관한 함수를 직접 학습하는 대신, 입력을 기준으로 한 잔차 함수를 학습하도록

  → ① 네트워크 쉽게 최적화 + ② 정확도 향상

  [실험 결과] VGG네트워크보다 8배 깊은데 연산 복잡도는 더 낮음

  → ImageNet

  • VGG네트워크보다 8배 깊은데 연산 복잡도는 더 낮음
  • 오류율 3.57% (잔차 네트워크 앙상블) - ILSVRC 2015 분류 과제 1위

  → COCO 28% 성능 향상 (깊은 표현 가능)

1. Introduction(서론)

✓ CNN

→ 이미지 분류 분야에서 획기적인 성과

• 깊은 네트워크

  • 저, 중, 고수준 특징 통합 후, 다층 방식으로 종단간(end-to-end) 학습
  • 층⬆️ → 표현할 수 있는 특징 수준⬆️

  [최근 연구] 16~30층에 이르는 “매우 깊은” 모델 활용

(P)

✓ 그렇다면, 단순히 층을 쌓는 것만으로 더 좋은 네트워크를 만들 수 있는가? - NO!

→ ① 기울기 소실/폭발 문제 ② 성능 저하 문제(Degradation Problem)

(P1) 기울기 소실/폭발 문제

→ (S) 정규화된 초기화 기법 + 정규화 레이어로 역전파 기반 SGD에서 안정적으로 수렴 가능

✓ SGD (확률적 경사하강법)

• 손실함수를 최소화하는 방향으로 가중치를 업데이트하는 최적화 알고리즘
• 경사하강법의 변형으로,
  전체 데이터가 아닌 “일부 데이터(미니배치 or 1개 샘플)”만 보고 업데이트 하는 방식
  → Stochastic(확률적)

BUT!

(P2) Degradation Problem(성능 저하 문제)

→ 깊이가 늘어날수록 정확도가 일정 수준에서 포화된 뒤, 성능이 빠르게 저하

→ (이론적 S) 추가된 층은 항등 매핑으로, 나머지는 이미 학습된 얕은 모델에서 복사

✓ 항등 매핑(identity mapping)

• 입력 = 출력

  !image.png

  ⇒ ResNet에서 Skip Connection을 통해 구현

  • 새로 추가된 층이 꼭 유용한 걸 못 배우더라도 F(x)=0만 학습하면 입력을 그대로 출력

✓ 추가된 층을 항등 매핑(identity mapping)으로 두는 것

• 얕은 모델에서 이미 잘 학습된 가중치가 있다고 가정
• 모델을 더 깊게 만들고 싶을 때, 새로운 층들을 항등 매핑으로 두면, 입력을 그대로 출력으로 흘려보내는 상태가 됨
• 깊은 모델 = 얕은 모델 + 항등 매핑 층(아무 일도 안하는 층)

⇒ 하지만,
[실험 결과] 현재 최적화 기법은 이론적 해법만큼 좋지도 않고, 현실적인 시간 안에 찾는 건 불가능

즉, 깊은 네트워크가 얕은 네트워크만큼 성능을 내는 쉬운 방법은 존재하지만, 실제 알고리즘이 그걸 찾아주지 못해서 성능 저하가 발생함

✓ (S) Deep Residual Learning Framework

→ 여러 층이 직접 목표 함수를 학습하게 하는 것이 아닌 “잔차함수(residual mapping)”를 학습하도록

✓ 기존 방식(Plain Network) vs. ResNet 방식(Residual Network)

우리가 원하는 함수가 H(x)라고 했을 때,

1. 기존 방식(Plain Network)

• 여러 층을 합쳐서 곧장 H(x) 자체를 학습
  • 각 층이 독립적으로 목표 함수 학습하는 것이 아닌, 여러 층이 순차적으로 쌓여서 전체적으로 H(x)를 근사

2. ResNet 방식

• 여러 층이 합쳐져서 F(x) = H(x) - x (잔차: 입력 대비 변화량)만 학습

  • 최종 출력은 F(x)+x 로 표현

    → 즉, 기존의 입력을 조금 보정하는 역할

[가정] 잔차 함수를 최적화하는 것이 원래 함수를 직접 학습하는 것보다 더 쉽다

→ 극단적인 경우) 항등 매핑이 최적이라면,
비선형층 여러 개로 항등 매핑을 학습하는 것보다 잔차를 0으로 만드는 것이 훨씬 쉬움

✓ Shortcut connection

→ 하나 이상의 층을 건너뛰어 연결하는 방식

• 추가적인 파라미터나 연산복잡도 늘리지 X
• SGD와 역전파를 통한 end-to-end 학습 가능
• 일반적인 딥러닝 라이브러리(caffe 등) 손쉽게 구현 가능

✓ SGD와 backprop으로 end-to-end 학습이 가능하다

1. 신경망 학습

일반적인 신경망 학습 과정	Residual block에서 추가된 shortcut
✓ 입력 x → 여러 층(Conv,ReLU 등) → 출력 y ✓ 순전파: 데이터를 위로 흘려보내고 ✓ 역전파: 손실의 미분값(gradient)을 아래로 보내 면서 가중치 업데이트 → 이때, SGD(확률적경사하강법)같은 최적화 알고리즘이 gradient를 사용해 파라미터 갱신 ⇒ 즉, 학습은 항상 “출력에서 입력까지 gradient가 잘 전파되는가?”에 달려 있음	✓ y = F(x) + x ✓ F(x)는 학습해야 하는 비선형 변환이고, x는 단순히 바로 더해주는 identity connection - 추가경로는 파라미터 X (그냥 입력을 더해줌) - 연산은 단순히 덧셈이고, 미분도 매우 간단!

2. 역전파에서 어떻게 작동?

y=F(x) + x에 대해, 손실 L의 gradient를 계산한다고 해보자

3. end-to-end 학습 가능?

• shortcut connection은 추가 파라미터도, 특수 알고리즘도 필요없음
• 기존의 backprop과 SGD로 진행
• Residual Network는 일반 신경망처럼 처음부터 끝까지 한 번에 학습 가능하다는 뜻

✓ 실험

• ImageNet 데이터셋

  ① 매우 깊은 잔차 네트워크: 최적화가 쉬움

  ↔ 단순히 층을 쌓은 일반 네트워크: 깊이가 증가할수록 훈련 오류가 커짐

  ② 잔차 네트워크는 깊이가 크게 늘어나도 쉽게 정확도 높일 수 있음 + 기존의 네트워크보다 뛰어난 성능

  • 152층 잔차 네트워크: VGG보다 깊지만 계산 복잡도는 낮음
  • 앙상블 모델 결과 : 뭐 1등함

• CIFAR-10 데이터셋

  • ImageNet과 비슷한 결과
  • 100층 이상의 네트워크 성공적으로 학습 + 1000층이 넘는 모델도 실험

2. Related Work

✓ Residual Representations

• VLAD, Fisher Vector

  • 기존 이미지 인식에서 원래 벡터 대신 잔차벡터(residual vector)를 활용해 특징을 인코딩

    → 원래 벡터를 직접 쓰는 것보다 잔차 벡터를 쓰는게 더 효과적

• 저수준 비전/그래픽스

  • PDE - Multigrid, Hierarchical basis : 스케일 간 잔차 활용 → 훨씬 빠르게 수렴!

⇒ 잔차 기반 표현은 최적화를 단순화하고 수렴 속도를 높임!

즉, 잔차를 다루는 방식은 이전부터 효과적임이 입증되어 왔다

✓ Shortcut Connections

<초기 연구>

• [MLP] “입력 → 출력” 직접 연결되는 선형 레이어 추가
• 중간 레이어를 auxiliary classifier와 직접 연결하여 기울기 소실/폭발 문제 완화
• 레이어 출력, 기울기, 오류를 정규화(centering)하기 위한 shortcut 기법 연구
• GoogLeNet의 inception에서도 얕은 branch(지름길)와 깊은 branch를 함께 사용

• 게이트(gating function)로 제어되는 shortcut 제안
  • 게이트 닫히면(출력이 0에 가까워질 때) → 일반 함수를 나타냄 (잔차X)
  • 극단적으로 깊은 네트워크 → 성능 향상을 보여주진 못함

<ResNet과 차별점>

① ResNet은 항등 shortcut 사용! → 항상 입력을 그대로 출력으로!, 파라미터 없음

② 언제나 잔차 함수 F(x)를 학습하고, 입력 정보가 항상 손실없이 전달됨

✓ Shortcut의 두 가지 방식

1. Highway Networks (ResNet 이전 연구)

• shortcut에 gate(게이트)를 둠

  • 게이트 값 1 → 입력이 그대로 전달

  • 게이트 값 0 → 입력 차단(shortcut 닫힘)

    → 데이터마다 “shortcut를 통과할지 말지”를 선택하는 구조

2. ResNet (항등 Shortcut)

• 게이트 없음 → 무조건 입력 그대로 전달

• 파라미터 X, 학습할 것 X

  → 입력 x는 언제나 output으로 직접 더해짐

✓ 항상 열려 있다?

• 입력 x가 shortcut을 통해 항상 출력 쪽으로 전달된다는 뜻

• 네트워크가 “입력을 통과시킬지 말지” 선택하는 것이 아니라, 무조건 통과시킴

  • 그 위에 residual F(x)가 더해져 최종 출력이 됨

  ⇒ 최소한 항등 함수( F(x) =0 )는 언제나 보장됨 → 학습 실패(수렴 실패)를 피할 수 있음

3. Deep Residual Learning

3.1 Residual Learning (잔차학습)

✓ 용어 정리

• H(x) : 몇 개의 누적된 레이어(꼭 전체 네트워크일 필요X)가 근사해야하는 목표 함수
• x : 레이어들의 입력

✓ 잔차 학습

(P)

• 목표 함수 H(x)를 여러 층이 직접 근사하려면 학습에 어려움 → Degradation problem

[가정]

• 여러 개의 비선형 레이어가 복잡한 함수를 점근적으로 근사할 수 있다

  = 잔차함수( H(x)-x )를 근사할 수 있다

✓ 딥러닝의 기본 전제

• 여러 비선형 레이어를 많이 쌓으면, 이론적으로 어떤 복잡한 함수 H(x)도 근사할 수 있다.

✓ ResNet의 관점

• 복잡한 함수 H(x)를 직접 근사할 필요가 있을까?
• H(x)를 근사할 수 있다면, 똑같이 H(x)-x(즉, 잔차함수 F(x))도 근사 가능
  • H(x)와 H(x)-x는 단순히 항등항을 뺀 것이므로, 난이도 면에서 차이X
  • 단, 입력과 출력 차원이 같아야 H(x)-x 정의 가능

---

✓ Plain Net

• 층이 곧바로 H(x)를 배워야 함

✓ Residual Net

• F(x) = H(x) - x 만 배우고, 최종 출력이 y = F(x) + x
  • 네트워크에 전체 함수를 배우라는 대신 항등에서 벗어난 나머지만 배우라고 하는 것

---

✓ 왜 이렇게 할까?

• H(x)가 항등에 가까운 경우, F(x)는 아주 작은 값

  → 작은 보정만 배우면 되어 최적화가 훨씬 쉬움

• Plain Net은 항등 매핑까지 포함해서 전부 학습해야해서 어려움

• ResNet은 문제를 재정식화해서 풀기 쉽게 만들겠다는 것이 요지

✓ Degradation problem

• 추가된 층들이 항등 매핑으로 구성될 수 있다면, 더 깊은 모델의 훈련 오류

• 항등 매핑이 최적이라면 H(x) =x

  • F(x)=0이면됨
  • 최적화 알고리즘(ex. SGD)은 “여러 층의 weight를 0 근처로 보내기만 해도” 쉽게 항등 매핑 가능

• 실제로 항등이 최적일 가능성은 낮겠지,,

  • 근데, 항등매핑을 “출발점”으로 두면 문제를 풀기에 쉬워진다

  • 우리가 찾고 싶은 H(x)가 0 mapping보다 항등에 더 가까운 함수라면 H(x)를 새로 배우는 것보다
    ”항등 + 작은 잔차”로 학습하는게 더 쉽다

  • 실제로 실험해보니, 학습된 F(x)값들의 크기는 작았고,
    대부분의 네트워크는 “항등에 가까운 함수 + 약간의 보정”꼴로 학습됨

    ⇒ 항등 매핑이 좋은 시작점(precondition)임이 실험적으로 확인

3.2 Identity Mapping by Shortcuts

✓ Residual Block

3.3 Network Architectures

✓ 설계규칙

① 출력 특성 맵 크기가 같으면, 해당 층 필터 개수도 동일하게 유지한다

② 특징맵 크기가 절반으로 줄어들면, 연산 복잡도를 층마다 일정하게 유지하기 위해 필터 개수를 2배 늘림

✓ Residual Network

(A) shortcut이 여전히 항등 매핑을 수행하되, 차원을 늘리기 위해 0값을 채워 넣음

(B) projection shorcut을 사용하여 차원을 맞춤( 1x1 합성곱으로 수행)

• (A) (B) 모두 서로 다른 크기의 특성맵을 가로 지를 때 stride = 2

3.4 Implementation (구현)

✓ 데이터 전처리 & 증강

✓ 스케일 증강

• 학습용 이미지의 크기를 무작위로 다른 크기로 리사이즈해서 네트워크에 넣는 방법

  → 원래 이미지는 한 가지 고정된 크기(224x224)로만 학습시키지 않고, 입력 이미지를 여러 크기(스케일)에서 보여주어 네트워크가 크기 변화에 강건하도록!

• scale augmentation

  • 이미지의 짧은 변을 [256,480]범위 내에서 랜덤하게 선택

• crop & flip

  • 224x224 크기의 영역을 원본 이미지나 좌우 반전된 이미지에 무작위로 잘라냄

    • 한 번은 짧은 변이 256으로 맞춰진 이미지에서 crop, 다른 한 번은 480으로 크게 맞춘 뒤 crop

      → 이미지의 불변성을 가지게 됨

      ex. 항상 같은 크기의 고양이 사진만 보여주면 “고양이는 딱 이 크기”라고 잘못 배움.

      크기를 줄였다 키웠다 하면서 보여주면 “고양이는 크기가 달라도 같은 고양이~”

• 정규화 (→학습 안정화 목표)

  • 픽셀별 평균값 빼주기

    • 각 픽셀의 RGB값에서 전체 학습 데이터셋의 평균값을 빼주는 작업

      → 입력 데이터 분포가 0 근처로 맞춰져서 학습이 더 안정적이고 빠르게 진행

      ✓ 왜 입력 분포를 0 근처로 맞추면 학습이 안정적일까?

      • 뉴런의 활성화함수(특히 ReLU, sigmoid,,)는 입력분포가 너무 크거나 치우치면, gradient가 죽거나 폭발
      • 평균이 0에 가깝게 맞춰지면 양수/음수가 균형있게 섞여서 가중치 업데이트에 원활

    ⇒ 정규화(평균 0 분산 1)는 기울기 소실/폭발을 막고 최적화를 쉽게 함

• color augmentation (색상 증강)

  • [21]에서 사용된 표준 방식 따름

✓ 네트워크 구성 & 초기화

• 모든 합성곱 뒤, 활성화 함수 전에 Batch Normalization(BN) 적용
• 가중치 초기화 [13]의 방식
• 모든 plain/residual 네트워크는 처음부터 학습(pretrain 안씀)

✓ 학습 세팅

• Optimizer : SGD (미니배치 =256)
• learning rate : 0.1에서 시작, plateau(수렴상태)마다 10배씩 감소
• Iteration(반복) : 최대 60만 회
• Weight decay(가중치 감쇠) : 0.001, Momentum : 0.9
• Dropout 사용 안함

✓ 테스트 세팅

• 10-crop testing : 표준 평가 방법 사용
• Fully convolutional 구조 사용
• 여러 스케일(224,256,384,480,640)에서 결과를 평가

4. Experiments

4.1 ImageNet Classification

• 1000개 클래스 포함된 ImageNet 2012 분류 데이터셋 제안 방법 평가
  • 128만개 학습 이미지로 훈련 + 5만개의 검증이미지로 평가

✓ Plain Networks → 18-layer & 34-layer 네트워크 평가

• 34-layer plain net이 훈련/검증 오류 모두 높음 → Degradation problem

  • 18층 네트워크의 해 공간 ⊂ 34층 네트워크의 해 공간

• BN 사용으로 forward/backward 신호 소실은 아님 → 기울기는 정상

  ✓ [원인 추측] 지수적으로 낮은 수준의 수렴 속도 → 최적화가 어려움

• 34층도 일정 수준의 정확도는 달성(= 최적화 알고리즘이 어느정도는 작동함을 시사)

✓ Residual Networks → 18-layer & 34-layer 네트워크 평가

• Plain Net + 3x3 필터쌍마다 shortcut 추가(항등 매핑 + zero padding; 차원증가)

① 깊이 증가 효과 (18층 vs. 34층)

• Plain Net: 34층 → 18층보다 성능저하 (Degradation problem)

• ResNet: 34층 → 18층보다 2.8% 성능 향상

  → 잔차 학습이 깊어질수록 성능을 높여주더라~

② 훈련 오류 & 일반화

• 34층 ResNet은 훈련 오류⬇️

• 검증 데이터에도 잘 일반화

  → Degradation problem 해결 + 깊이 증가로 정확도 이득

③ Plain Net vs ResNet(동일 깊이, 34층)

• ResNet이 PlainNet보다 Top-1 오류율 3.5% 감소

  → 매우 깊은 네트워크에서도 residual learning의 효과 입증

④ 18층 모델 비교

• 정확도는 Plain과 ResNet 거의 동일
• 그런데 ResNet이 수렴속도가 훨씬 빠르더라~

✓ Identity vs. Projection Shortcuts

✓ A/B/C shortcut 비교

(A) : (차원 증가시) 0-padding 지름길 사용, (나머지) 항등 지름길 사용 / 모든 지름길 파라미터X

(B) : (차원 증가시) projection 지름길 사용, (나머지) 항등 지름길 사용

(C) : (모든 지름길) projection 지름길 사용

⇒ A<B<C 이긴 하나, 성능 차이 크지 X - projection이 필수적이진 않다~

✓ A<B: 0으로 채운 차원은 실제로 잔차학습이 일어나지 않기 때문

✓ B<C: 다수(13개)의 projection 지름길로 인해 추가 파라미터가 도입되었기 때문

✓ 왜 projection을 사용할까?

• 입력과 출력 차원이 같은 경우 → Identity shortcut 이 효율적
• 입력과 출력 차원이 다를 경우
  • Zero padding → 채널 부족분을 0으로 채움(파라미터X)
  • Projection shortcut → 1x1 Conv로 변환해서 정확히 맞춤(파라미터, 연산량 O)

---

• Zero padding은 단순히 빈 채널을 0으로 두기 때문에, 그 채널에서는 학습이 전혀 안 일어남
• Projection은 1x1 Conv를 통해 실제로 의미있는 학습된 변환을 넣어줌
  • 보통 차원이 바뀔 때 projection을 쓰는 게 더 안정적

⇒ Zero padding은 단순히 모양 맞추기인 반면, projection은 단순히 크기만 맞추는 것이 아닌 차원을 늘리거나 줄일때 중요한 특징을 보존/강조하는 방향으로 학습

✓ Deeper Bottleneck Architectures

→ 훈련시간의 부담을 줄이기 위하여 기본블록 → 병목 구조로 수정

✓ Identity shortcut vs. Projection shortcut

• Identity shortcut: 입력 x를 그대로 더함 → 파라미터 X, 연산량 X

  

• Projection shortcut: 입력을 1x1 conv 등으로 변환하여 더함 → 파라미터, 연산량 추가

  

  • 입력과 출력의 shape(특히 채널 수)가 다를 때, 그냥 더하면 안 맞음
  • 1x1 conv → 픽셀 위치(공간좌표)는 그대로, 채널 차원에서 선형결합하여 새로운 채널공간으로 매핑
    • 입력을 원하는 차원으로 바꾼 뒤 더함

✓ 복습

• 1x1 conv: 채널 변환
• 3x3 conv: 채널 변환 + 공간

→ projection shortcut은 공간은 건드리지 말고 채널만 맞추자!

---

원래 shortcut은 “연결선”처럼 아무것도 안하는 통로인데, projection을 쓰면 그 통로 안에 1x1 conv라는 작은 layer 추가

즉, shortcut 경로도 단순한 선이 아니라 연산을 수행하는 새로운 레이어가 되는 것!

✓ Projection shortcut이 비효율적인 이유

• Identity shortcut은 입력을 통과시키면 끝이지만,
• Projection shortcut은 1x1conv를 고차원 feature에 적용해야함
  • 블록의 입력/출력은 보통 채널수가 많은 고차원 feature map
  • shortcut 연결은 블록의 입력x와 출력y를 바로 더해야 함

---

• 고차원 feature에 1x1 conv를 적용하면 연산량이

  

  이라서 파라미터와 연산비용이 큼 → bottleneck 구조는 중간(3x3 conv)에서 채널을 줄여 효율적으로 계산하려고 만든건데, → projection은 블록 양 끝 고차원 부분에 직접 1x1 conv를 때려야 하니까 연산량⬆️

✓ 50-layer ResNet

• 34층 네트워크의 2층 블록을 3층 블록으로 교체하여 50층 ResNet 구성

✓ 101-layer and 152-layer ResNets

• 더 많은 3층 블록을 사용하여 101층과 152층 ResNet 구성
  • 깊이가 크게 증가했음에도 VGG-16/19보다 복잡도 낮음
  • 깊이 늘릴수록 성능 향상(degradation problem X)

✓ Comparisons with State-of-the-art-Methods (최신기법과 비교)

• 152층 단일 모델 → 기존 앙상블보다 우수~
• 깊이가 다른 6개의 모델 앙상블(152층 2개 포함) → 테스트 셋 Top-5 오류율 3.57%
  • ILSVRC 2015 1위~

4.2 CIFAR-10 and Analysis

✓ CIFAR-10 실험 결과

• 목적: 최고 성능 기록 갱신 X, 극도로 깊은 네트워크 동작 특성 관찰
  • 의도적으로 단순한 아키텍처 사용
• 구조
  • 입력: 32 x 32 이미지, 첫 층 3x3 conv
  • 그 다음에 3개의 stage (32→16→8)
    • Stage 1: 특성맵 크기 32x32, 2n개의 3x3 conv 층 - 필터 16개
    • Stage 2: 특성맵 크기 16x16, 2n개의 3x3 conv층 - 필터 32개
    • Stage 3: 특성맵 크기 8x8, 2n개의 3x3 conv층 - 필터 64

✓ 왜 2n개일까?

• ResNet은 기본적으로 Residual Block 단위로 쌓임
  • 3x3 conv → 3x3 conv (2개) 로 구성 → Residual Block

✓ 왜 3개의 stage?

• CIFAR-10 입력은 32x32로 작음

  → 다운샘플링을 너무 많이 하면 feature map 1x1 수준까지 금방 줄어들어 학습이 힘들어짐

• 전체 층 수: 6n+2(첫 conv 1개+각 stage 6n개 + 마지막 FC 1개)
• 다운샘플링(8→4): stride=2 conv로 처리
• 마지막: global average pooling → 10-way FC → Softmax (10-way FC: 출력노드가 10개인 FC, 10개의 클래스 분류 문제에 사)
• Identity shortcut만 사용 → plain과 resnet의 깊이/너비/파라미터 수 정확히 동일해서 “잔차 연결 유무”만의 효과를 공정하게 비교 가능
• 학습
  • weight decay 0.001, 모멘텀 0.9, BN사용, dropout 없음
  • 미니배치 128, GPU
  • 학습률 0.1 시작 → 32k/48k반복에서 10배 감소 → 64k 반복에서 종료
• 결과
  • plain net: 깊어질수록 훈련/테스트 에러⬆️ → 최적화 난이도 증가
  • ResNet: 깊어질수록 최적화 문제를 극복하고 정확도⬆️
  • 110층 ResNet(n=18): 잘 수렴, SOTA 수준 달성
  • 1202층 ResNet(n=200): 학습은 성공했으나 110층보단 별루
    • 과적합

⇒ Plain 네트워크는 깊어질수록 오히려 성능 저하, ResNet은 깊어질수록 정확도 향상

✓ Analysis of Layer Responses (레이어 반응 분석)

• ResNet이 일반 네트워크보다 전반적으로 더 작은 반응값을 가짐
  • 잔차함수가 일반함수보다 보통 0에 가깝다는 가설 뒷받침
• 깊어질수록 반응이 더 작아짐

✓ Exploring Over 1000 layers ( 1000층 이상 네트워크 탐구)

• 1202층 네트워크 110층과 훈련 오류는 유사, 테스트 성능은 낮음
  • 과적합때문

4.3 Object Detection on PASCAL and MS COCO

• R-CNN 사용
• 깊은 잔차 네트워크를 기반으로 1위 차지 했다~

논문명: YOLOv11: An Overview of the Key Architectural Enhancements 학회(출판연도): arXiv (2024) 연구분야: 딥러닝 기반 객체 탐지 및 컴퓨터 비전(Object Detection & Computer Vision)

Abstract(초록)

✓ 아키텍쳐적 분석

• 모델 구조를 세부적으로 뜯어 보겠다~
• 보통 논문에서 “아키텍처 분석”이라고 하면
  → 이 모델이 왜 빠른지? 어떤 모듈이 정확도를 높였는지? 기존 아키텍처와 비교해 어떤 구조적 차이가 있는지? 같은 걸 따져 보겠다

✓ 인스턴스 세그멘테이션

• 물체를 픽셀 단위로 잘라내면서 동시에 “각 객체(인스턴스)”를 구분
  • 각 클래스 내에서도 개별 객체를 분리한다는 점에서 단순 semantic segmentation과 다름

✓ 포즈 추정

• 객체(특히 사람)의 관절/키포인트 위치를 추정해 “자세”를 파악

[방식]

① Top-down

• 객체(사람) 탐지 → 그 영역에서 관절 좌표 추정

② Bottom-up

• 이미지 전체에서 관절 후보 검출 → 이들을 연결하여 각 사람의 포즈 구성

✓ Oriented Object Detection(OBB, 방향성 객체 탐지)

• 객체의 기울어진 바운딩 박스 검출
  • 기본 Object Detection은 축과 평행한 직사각형 박스만 가능 → 기울어진 물체 표현⬇️
• 중심 좌표(x,y), 폭, 높이, 회전각(세타) 예측 → 박스를 물체 방향에 맞게 회전

✓ YOLOv 11

• C3k2 블록(Cross Stage Partial with kernel size 2), SPPF(Spatial Pyramid Pooling-Fast), C2PSA(Convolutional block with Parallel Spatial Attention) 구성요소의 도입
• 객체 탐지 + 인스턴스 세그멘테이션, 포즈 추정, Oriented Object Detection(OBB)
• mAP & 계산 효율성 개선 + 파라미터 수와 정확도 사이의 trade-off
• nanoextra-large 모델 크기까지 제공 → 엣지 디바이스고성능 서버 환경까지 가

1. Introduction(서론)

✓ 배경

• CV에서 중요한 건 “객체 탐지(object detection)”
  • 이미지, 비디오 스트림 속 객체를 정확히 식별하고 위치를 찾는 것까지 포함

✓ YOLO

• 전체 이미지 한 번만 처리 → 객체와 객체의 위치 탐지
• 회귀문제로 정의 → 1 stage
  • CNN → 바운딩 박스 + 클래스 확률 동시 예측 : 훨씬 단순화된 파이프라인

✓ YOLOv 11

• 고도화된 특징 추출 기법 → 파라미터 수를 최소화하면서 정교한 세부 정보를 포착 가능해짐

2. Evolution of YOLO models

• <초기 YOLO> single-stage 객체 탐지 방식 ~ NMS-free 학습방식까지
• 특징추출, 효율성, 멀티태스크 처리 능력 향상

3. What is YOLOv11?

✓ 차별화

→ ① 포즈 추정(posture estimation) ② 인스턴스 세그멘테이션(instance segmentation)

⇒ 모델의 적용 가능성 확장가능

✓ 설계

→ ① 성능 ② 실용성의 균형 에 중점 → 더 높은 정확성과 효율성 해결 목표

4. Architectural footprint of YOLOv11

✓ YOLO 프레임 워크

: BBox 회귀와 객체 분류 작업을 동시에 처리할 수 있는 통합 신경망 구조의 도입 → 객체 탐지의 혁신

① Single-stage(↔ 2단계 탐지 방식)

② 완전 미분 가능 설계 → end-to-end 학습 가능

✓ YOLO 아키텍처의 핵심, 3가지 구성요소

✓ 다중 스케일 특징맵

• CNN은 레이어를 거치면서 “특징맵(feature map)”의 크기가 점점 작아짐(해상도⬇️)
  → 채널 수, 추상적 의미⬆️

  • 얕은 레이어(앞단): 해상도 높음, 세부 디테일(모서리,질감,작은 물체) 잘 보존

  • 깊은 레이어(뒷단): 해상도 낮음, 의미적 정보(ex. 이건 고양이) 잘 표현

    → 작은 물체는 앞단 feature에서 잘 보이지만, 뒤로 갈수록 사라짐

    → 큰 물체는 뒷단 feature에서 잘 잡히지만, 앞단에서 구분이 어려움

⇒ 여러 스케일의 feature map을 동시에 활용하는 것이 필요!

• 대표적인 3가지 구조
  • FPN(Feature Pyramid Network)
    • 깊은 feature와 얕은 feature를 top-down + lateral 연결해서 결합
    • 작은/중간/큰 객체를 모두 잡도록 설계
  • PANet
    • FPN에 bottom-up 경로 추가 → 정보 전달 더 강화
  • YOLO 계열
    • YOLOv3부터 3가지 크기의 feature map 사용(13x13, 26x26, 52x52)
    • 작은 grid → 큰 객체 탐지/큰 grid → 작은 객체 탐지

✓ Grid와 Feature Map 관계

✓ 에서 grid = 최종 feature map의 ”cell”

⇒ grid가 작아질수록, 한 칸이 보는 영역(receptive field)가 훨씬 넓어짐

✓ 큰 객체: 넓은 영역을 커버해야하므로, 작은 grid가 유리

✓ 작은 객체: 세밀한 픽셀 차이까지 잡아야하므로, 큰 grid가 유리

① 백본(backbone): 주요 특징 추출기로 작동/CNN을 통해 원본 이미지를 다중 스케일 특징 맵으로 변환

② 넥(neck): 중간 처리 단계로 기능/특수화된 층을 사용해 서로 다른 스케일 특징을 통합 및 강화

✓ 서로 다른 스케일 특징을 통합 및 강화?

• 특수화된 층: FPN, PANet, C3k2, Attention 모듈

  → 이 층들은 서로 다른 깊이(스케일)에서 나온 특징들을 합치고(aggregation),
  중요한 정보는 강조(attention/weighting)해서 모델이 더 잘 인식하도록 도움!

⇒ 작은 물체, 큰 물체 각각에 맞는 정보를 잘 쓰기 위해 다양한 깊이에서 뽑힌 특징들을 합쳐서(통합) 중요한 부분은 더 강조(강화)하는 층들을 사용한다

③ 헤드(head): 예측 매커니즘/정제된 특징맵을 바탕으로 객체 위치(localization)과 분류 결과 최종 출력

✓ YOLOv 11

→ YOLOv 8을 확장 및 개선

4.1 Backbone

→ 입력 이미지로부터 다중 스케일 특징 추출하는 역할 담당

• 합성곱 층과 특수 블록을 적층하여 다양한 해상도의 feature map 생성!

4.1.1 Convolutional Layers

• 초기 합성곱(Conv)층을 사용해 이미지를 다운샘플링하면서 특징 뽑음
  • 해상도⬇️ 채널 수⬆️ → 점점 더 추상적인 특징맵 get!

✓ 주요 개선점

✓ C3k2 블록 도입

• CSP 병목구조를 더 효율적으로 구현
• 하나의 큰 합성곱 대신 작은 합성곱 2개 사용

4.1.2 SPPF & C2PSA

✓ SPPF(Spatial Pyramid Pooling-Fast) → 멀리 가까이 동시에 보기

→ 다양한 크기의 객체를 잘 잡기 위해 여러 크기의 receptive field를 동시에 보는 블록

• 구조
  • 보통 하나의 5x5 max pooling을 반복해서 9x9, 13x13 같은 큰 커널 효과 얻음
  • 마지막에 concat해서 채널 방향 합침

→ ✓SPPF 이거 다시 보기,, 뭔 구조야

✓ C2PSA(Cross Stage Partial with Spatial Attention) → 중요한 부분에 초점

→ “공간적 주의집중(spatial attention)”을 도입해서, 이미지 안에서 어디가 중요한 영역인지 강조

→ CSP(Cross Stage Partial) 구조 위에 어텐션 모듈을 얹은 것

• 구조

  • C2f(CSP 변형 블록) + Spatial Attention 모듈

  • Spatial Attention은 보통 “어떤 위치가 중요할까?”를 학습해서 중요도 맵(heatmap)을 곱해줌

    ex. 배경은 약하게, 객체는 강하게

• SPPF 블록 → 다양한 크기의 객체에 잘 반응하도록 만드는 블록

  • YOLOv5, v8에도 있던 블록인데, v11에도 유지됨

• SPPF 블록 뒤에 C2PSA 블록 추가

  • C2PSA = CSP구조(C2f와 비슷) + 공간적 어텐션(spatial attention)

  • 단순 특징맵을 합치는 것이 아닌 어떤 위치/공간이 중요한 지 강조하는 기능 추가

    ⇒ 모델이 이미지 전체를 균등하게 보는 것이 아니라,

    중요한 부분(=관심영역, object 후보 위치)에 집중 가능

    ⇒ 작은 물체나 복잡한 배경 속에 물체 탐지 정확도가 향상될 수도 있음

4.2 Neck

→ 여러 스케일의 특징을 결합하여 헤드(head)에 전달해 예측에 활용

• 업샘플링과 다른 레벨의 특징맵의 연결을 통해 다중 스케일 정보를 효과적으로 포착하도록!

4.2.1 C3k2 block

• C2f → C3k2 블록으로 교체
• 업샘플링, 연결 후 속도와 성능 강화

✓ 다운 샘플링

→ feature map 크기를 줄이는 것

---

✓왜 할까?

• 계산량 줄이기: 이미지가 클수록 연산량이 커짐
• 추상적 특징 학습: 국소적인 정보(edge, pattern)를 점차 요약해서 의미적 정보로 변환
• 큰 수용영역 : 더 큰 맥락 파악

✓ 업 샘플링

→ feature map 크기를 늘리는 것

---

✓왜 할까?

• 해상도 복원: 세그멘테이션에서 원본 크기와 같은 출력 필요
• 작은 객체 탐지 강화: 해상도를 키워서 세밀한 디테일 다시 확보
• feature fusion: 깊은 층(추상적 의미) + 얕은 층(디테일)을 합칠 때 크기를 맞춰야 함

✓ Backbone과 Neck 모두 C3k2? → YES!

• Backbone
  • 기존 YOLOv의 C2f 블록을 C3k2 블록으로 교체
  • 초기 단계부터 <특징 추출>을 더 가볍고 효율적으로 수행
• Neck
  • 마찬가지로 기존 C2f → C3k2로 교체
  • 멀티스케일 <특징을 합치는 과정>에서 연산량을 줄이고 속도를 높임

4.2.2 Attention Mechanism

• C2PSA 모듈을 통한 공간적 어텐션 강화

  → 이미지 내의 중요 영역 집중할 수 있게 해서 작거나 부분적으로 가려진 객체 탐지 정확도 향상

4.3 Head

→ 객체 탐지의 분류에 대한 최종 예측

Neck에서 전달된 특징맵을 처리해, 최종적으로 이미지 내 객체의 바운딩 박스가 클래스 레이블 출력

4.3.1 C3k2 block

• 헤드 내 여러 경로에 배치되어 다양한 깊이의 다중 스케일 특징을 처리하는 역할(효율적)
• 파라미터 값에 따라 유연하게 동작
  • C3k = False: C3k2모듈이 C2f 블록과 유사하게 동작(기본적인 bottleneck 구조)
  • C3k = True: 병목 구조가 C3 모듈로 대체되어, 더 깊고 복잡한 특징 추출 가능

✓ C3k=True/False와 add=True/False 비교

• C3k=True/False
  • C3k2 블록의 구조를 어떤 식으로 쓸 지 선택(C2f형 vs C3형)
• add=True/False
  • skip connection에서 덧셈을 할 지, concat을 할 지 연결 방식 제어

⇒ C3k는 블록 내부 구조 선택

⇒ add는 연결 방식 선택

✓ C3k2 블록의 주요 특징

• Faster processing
  • 2개의 작은 합성곱을 사용하여 큰 합성곱 하나보다 계산 부담⬇️
  • 특징 추출 속도 빨라짐
• Parameter efficiency
  • C3k2는 CSP 병목 구조의 더 간결한 버전
  • 학습 가능한 파라미터 수 측면에서 아키텍처를 더 효율적으로
• 커널 크기 사용자가 정의 가능 → 유연성⬆️
  • 더 세밀한 특징 추출하는데 유

4.3.2 CBS blocks

• C3k2 블록 이후 여러 개의 CBS 레이어 포함
• 특징추출, 탐지과정 ← 기초적인 구성요소로 작동
• 정제된 특징맵 이후 레이어로 전달되어 바운딩 박스와 분류 예측에 활용될 수 있도록 보장

✓ 특징맵 정제 방법 (Conv → BN → SiLU)

① 관련 특징 추출

② BN을 통해 데이터 흐름을 안정화 및 정규화

③ SiLU(Sigmoid Linear Unit) 활성화 함수를 사용해 비선형성 도입 → 모델 성능 향상 기

4.3.3 Final Convolutional Layers and Detect Layer

• 각 detection branch는 Conv2D 레이어 집합으로 끝
  → 이 레이어들이 특징맵을 줄여서 BBox 좌표와 클래스 예측에 필요한 출력 수로 변환

✓ Detect layer의 예측

• 이미지 내 객체 위치를 찾기 위한 BBox 좌표
• 객체가 존재할 가능성을 나타내는 객체성 점수
• 탐지된 객체의 종류를 판별하기 위한 클래스 점수

<YOLOv11 전체 흐름>

5. Key Computer Vision Tasks Supported by YOLOv11

→ YOLOv 11 다양한 CV 작업 지원

논문명: You Only Look Once: Unified, Real-Time Object Detection 학회(출판연도): CVPR (2016) 연구분야: 딥러닝 기반 객체 탐지 및 컴퓨터 비전

Abstract(초록)

✓ 단일 네트워크

• 입력(이미지)부터 출력(탐지 결과)까지 하나의 신경망이 책임지는 구조

  ex. 객체 후보 영역→특징추출→분류를 따로따로 하지 않고
  하나의 네트워크에서 한 번에 처리!

✓ 손실함수(Loss Function)

• 모델이 예측한 값과 실제 정답 사이의 차이를 수치로 나타낸 함수
  • 값이 작을수록 → 예측이 정답에 가깝다.
  • 값이 클수록 → 예측이 많이 틀렸다.

✓ 엔드 투 엔드(end-to-end) 학습

• 입력에서 출력까지 전체 과정을 “하나의 목적(손실함수)”으로 묶어 직접 최적화

  • <전통적>: Region Proposal 네트워크 따로, CNN 분류기 따로
    → 각각 부분 최적화

  • : 탐지 성능(mAP 등)을 반영한 하나의 손실함수로 좌표+ 클래스 예측을 동시에 학습

    → 네트워크 전체가 한 번에 업데이트! (구간 별 개선X, 최종 기록 하나만 보고 훈련)