Abstract

1. 문제

VLM은 시각·텍스트 추론 통합으로 빠르게 발전했지만, 이들의 scalability는 inference latency를 지배하는 시각적 토큰 수의 증가로 인해 여전히 제한적이다.

2. 해법 — SparseVILA

sparsity를 일괄 적용하지 않고 prefill / decode 단계별로 분산(decouple) 시킨다.

SparseVILA는 prefill 단계에서 redundant visual tokens를 pruning하고, decoding 단계에서는 query-relevant tokens만을 retrieval함으로써 sparsity를 단계별로 분산시킨다.

3. 핵심 장점 — Decoupled Design

이러한 decoupled design은 주요 prefill pruning 방법들과 대등한 성능을 보이면서도, 시각적 캐시의 대부분을 유지하여 각 conversation round마다 query-aware tokens를 retrieval할 수 있도록 함으로써 multi-turn fidelity를 보존한다.

• 시각적 캐시를 거의 그대로 보존 → round마다 그 query에 맞는 token을 새로 retrieval 가능
• 기존 query-aware pruning은 한 번 token을 버리면 다음 turn에 복구 불가 → 누적 degradation 발생
• SparseVILA는 이 문제를 피하면서 multi-turn 정확도 유지

1. Introduction

1. 배경 — VLM의 latency 문제

VLM은 사진·문서·비디오 등 시각적 입력으로 LLM과 상호작용하는 SOTA 대화 도구로 부상했다. 그러나 추가된 visual modality는 LLM에서 visual token을 처리하는 데 드는 높은 latency·메모리 비용을 대가로 한다. 따라서 inference 시점의 효율적 배포가 여전히 난제다.

기존 비용 절감 연구들:

• model pruning (LLM / vision encoder)
• KV cache compression
• token sparsification

이들 다수는 context(prefill) 단계에서 큰 절감을 얻는다. 이 단계가 주로 compute-bound이기 때문이다.

2. context만으론 부족하다 — decoding도 봐야 함

현실 애플리케이션은 광범위한 generation을 요구한다.

• image captioning: 수백 토큰
• video captioning / 상세 기술: 수천 토큰 이상

따라서 context 단계 최적화만으로는 불충분하며, context와 decoding 단계 최적화를 모두 고려해야 한다. 그 대표적 use case가 multi-turn conversation이다.

3. 핵심 문제 — 반복적 pre-filling의 비효율

실제로 대부분의 benchmark는 본질적으로 multi-round conversation을 지원하며, 일례로 GQA dataset은 동일한 시각적 입력에 대해 90개가 넘는 질문을 포함하고 있다. 그럼에도 불구하고 대부분의 평가 benchmarks는 single-round evaluation(즉, 반복적인 pre-filling)을 실행하는데, 이는 비현실적일 뿐만 아니라 각 generation round마다 context 단계가 반복되어야 하므로 비효율적이다.

• 같은 이미지인데 round마다 이미지 + 질문을 처음부터 다시 prefill → 변하지 않는 visual token을 반복 처리하는 낭비
• 현실에서 visual 입력은 수만 개 context token에 달할 수 있음 → 반복 pre-filling은 사용자-VLM 상호작용 속도를 극적으로 저하

4. 제안 — SparseVILA

multi-turn 성능을 유지하면서 VLM inference를 가속화하는 새로운 접근.

• 핵심 insight: prefill 단계의 sparsity를 decoding 단계로 마이그레이션하는 decoupled sparsity framework
• decoding 단계에서 query-aware retrieval 활용 → 질문마다 서로 다른 context token subset을 retrieval하여 multi-turn 지원
• 결과: image-centric benchmark에서 큰 성능 향상, long-context / generation scaling에서 기존 방법 능가

보충 — "context 단계가 반복된다"의 의미

• 이미지 visual token(수천~수만 개)은 turn마다 변하지 않는데도 매 round 다시 prefill되는 게 핵심 낭비
• 질문 토큰은 수십 개 수준이라 부차적 → 반복되는 진짜 비용은 이미지 prefill
• (참고) 4.1절: 캐시 재사용 시 information leakage 방지를 위해 round 종료 후 이전 질문·답변 KV entry만 제거(partial eviction)하고 이미지 cache는 유지

2. Preliminaries

Query-Agnostic Sparsity

Query-agnostic 방법이란?

텍스트 입력(query)에 의존하지 않고, 오직 시각적 context(redundancy·salience)만으로 visual token을 pruning하는 방법.

대표 방법

• PruMerge: 최종 레이어 attention score로 정보량 적은 토큰을 클러스터링 후 폐기
• VisionZip: ToMe와 유사한 token merging module로 중복 시각 정보를 압축

단점

1. 미세 정보 손실 — fine-grained 시각적 세부 사항을 희생, 특히 high sparsity에서 성능 저하
2. query 적응 불가 — 입력 query에 맞춰 토큰 선택을 조정할 수 없어, task-relevant 정보가 드물게 분산된 경우 suboptimal
3. 중요 정보 폐기 위험 — 모든 토큰을 일률 처리 → 정확한 추론에 필요한 핵심 정보까지 버릴 수 있음

Query-Aware Sparsity

Query-aware 방법이란?

텍스트 query와 시각적 representation 간의 관계를 명시적으로 모델링하여 visual token을 선택하는 방법. (= query를 보고 그 질문에 중요한 토큰을 고름)

대표 방법

• FastV: 초기 LLM 레이어의 attention map을 salience indicator로 활용 → prefill 단계에서 토큰 pruning
• SparseVLM: query-to-vision attention으로 덜 관련된 시각적 토큰을 폐기

단점

1. 영구적 정보 손실 — 초기 query 기준 pruning 결정이 후속 질문에 중요한 시각 정보를 영구 제거
2. multi-turn 성능 저하 — round가 거듭될수록 accuracy 급락, 종종 query-agnostic baseline보다도 낮음
3. 복구 불가 — 일단 정보량 많은 토큰이 제거되면 이후 turn에서 되살릴 수 없음

Oracle 실험 (한계의 근본 원인 입증)

• query-aware oracle: 현재 query뿐 아니라 ground-truth 응답(정답)까지 보고, unpruned 모델의 답과 가장 잘 일치하는 token subset을 탐욕적으로 선택 → 현실 불가능한 치트, 모든 query-aware 방법의 이론적 upper bound
• 결과: 정답까지 본 oracle조차 연속 round에서 성능 저하 (Fig.2)
• 시사점: token 선택을 아무리 잘해도 안 됨 → prefill에서 토큰을 영구 삭제하는 구조 자체가 근본 한계

3. SparseVILA: Best of Both Worlds

• SparseVILA: prefill에선 가벼운 query-agnostic pruning으로 커버리지 손실 없이 redundancy를 줄이고, 질문을 아는 decode에선 공격적인 query-aware retrieval을 적용해 두 방식의 장점을 결합한다.

• Figure 3: 현대 VLM은 latency가 decoding에 집중되는 decoding-heavy 프로필이므로, 공격적 sparsity를 decode 단계에 배치하는 이 설계가 실제 latency 구조와 잘 맞는다.

3.1. Prefill Phase: Query-Agnostic Pruning

1. 기본 아이디어 (한 줄)

Prefill 단계에서 텍스트 query에 의존하지 않고 오직 시각적 redundancy/salience만으로 vision token을 pruning하여, 시각적 context를 한 번 계산해 여러 대화 turns 내내 안정적으로 재사용함.

핵심 제약: pruning은 엄격한 query-agnostic 상태를 유지해야 함 → 중복 정보는 최소화하되, 향후 queries를 위한 충분한 커버리지는 보존해야 함.

2. 토큰 중요도(Salience) 추정 방식 — 인코더 유형별

기본 원리: visual encoder의 self-attention map에서 토큰 중요도를 직접 추정 → query-independent salience 측정값 확보. attention 시그널을 집계해 각 토큰의 전체 representation 기여도를 정량화하고, 집계 salience가 가장 낮은 토큰을 pruning함.

3. 커널 (Efficient Implementation)

• 문제: 비디오 등 long-context 입력에서는 attention 기반 salience 추정이 메모리·latency 집약적임.
• 해결: 전체 attention 행렬을 명시적으로 만들지 않고 softmax 정규화 + salience 축적을 스트리밍하는 커스텀 Triton 커널 구현.
• 효과: 수십만 개 토큰 규모에서도 효율적인 salience 계산 가능.
• 성능 (Figure 5a):
  • SigLIP 스타일 인코더: 최대 3배 가속
  • QwenVL 스타일 인코더: 최대 10배 가속
• 의미: SparseVILA의 확장 가능한(scalable) prefill pruning을 위한 연산 기반(computational foundation)을 형성함.

3.2. Decode Phase: Query-Aware Retrieval

1. 기본 아이디어 (한 줄)

Decode 단계는 memory-bound 상황이므로, KV cache에 모든 vision token을 보존하되 현재 query에 관련성 높은 subset만 활성화하여 attention을 좁힘으로써, context를 영구 폐기하지 않고 효율을 높이고 multi-turn 유연성을 유지함.

2. 왜 효율적인가 — Memory-bound + Bandwidth

• Decode는 매 토큰 생성 시 FLOPs는 적고 KV cache 전체를 DRAM→연산기로 읽는 메모리 대역폭이 병목임.
• SparseVILA는 토큰을 삭제(eviction)하지 않고 비활성화(deactivation) → 미래 turn 대비.
• 현재 query에 필요한 subset만 로드 → 읽는 양 감소 → latency 개선.
• Densely packed (연속 메모리 패킹): 선택된 KV 항목을 contiguous memory로 모아 불규칙 sparse access를 방지 → coalesced access로 대역폭 효율까지 확보.
• 결과: "읽는 양 ↓ + 읽는 패턴 효율 ↑" 두 효과 동시 달성.

3. Query-Aware Token Selection

• Query embeddings = 현재 turn의 사용자 텍스트 query (text token).
• 동작: 텍스트 query를 Query, KV cache 내 vision token을 Key로 두고 둘 사이 집계된 attention 강도를 측정.
• 점수 높은 토큰 → 활성화(decode에 유지) / 점수 낮은 토큰 → cached but deactivated.
• 같은 이미지라도 query 내용에 따라 활성화되는 vision subset이 달라짐 = query-conditioned sparsity.
• 구현: prefill의 Triton 커널을 확장, query↔cached vision token 관련성 연산을 스트리밍.
  • FlashAttention2 경로와 동시 실행 → naïve 대비 최대 1.5배 가속 (Figure 5b).
• 선택된 KV 항목은 연속 메모리로 dense packing.

3.3. Decoupled Prefill–Decode Visual Sparsity

실험 근거 (Table 1, RoboVQA)

동일 E2E speedup 기준으로 비교 시, sparsity를 decode 쪽으로 재할당하면 task 성능이 일관되게 향상됨.

• Prefill은 context 무결성 유지에 충분한 토큰 보유.
• Decode sparsity가 지배적 latency 소스를 직접 타겟팅.

4. Analysis — Retrieval 토큰의 두 기능적 역할

decoding에서 retrieval되는 토큰은 query 축 기준으로 두 종류로 나뉨:

※ 분류 기준은 query 축(쿼리 바뀔 때 안정 vs 변동)임. "레이어별 차이"는 별개 관찰(4.6/Fig.8: sink는 shallow layer 우세, retrieval은 deep layer에서 emerge).

• 이 분리 덕분에 SparseVILA는 효율적·query-adaptive retrieval을 하면서도 contextual grounding을 유지함.
• VisionZip, VAR(Visual Attention Redistribution)의 관찰과 일치 (4.6 정성 분석이 뒷받침).

4. Experiments

4.1. Setup

1. Multi-Turn 평가에서의 정보 누출(information leakage) 처리

• 문제: 같은 이미지의 질문들을 multi-turn으로 묶으면, 이전 질문이 다음 질문의 답을 흘릴 수 있음.
  • 예 (GQA): Q1 "하늘 앞 사람이 뭐 하나?" → Q2 "그 사람은 무엇 앞에 있나?" → Q1이 Q2 답을 이미 노출 → 모델이 이미지 없이도 정답 가능.
• 해결 — partial KV cache eviction: 각 라운드 종료 후 직전 질문·답변(Q&A)에 해당하는 KV 항목만 제거.
• 효과: 시각적 KV cache 재사용의 효율은 유지하면서, turn 간 의도치 않은 context 이월(carryover)은 차단.

한 줄: "이전 turn의 질문·답변 KV만 지워서 누출은 막고, 시각 KV 재사용 이득은 살린다."

2. Baseline 분류

3. Chunked 방식 ↔ attention map 실체화(materialize) 관계

• baseline 대부분은 attention weights로 salience 추정 → visual encoder에서 메모리·latency 집약적, 긴 context에서 GPU 한계 초과.
• Chunked 방식 = 전체 attention map을 한 번에 만들지 않고 조각(chunk)으로 나눠 계산하여 메모리 제약 내에 맞추는 것.
  • 즉 질문대로, baseline은 (조각 단위로라도) attention map을 실체화(materialize)해야 함.
• 대조 — SparseVILA: fused Triton 커널로 전체 attention map 자체를 실체화하지 않고 salience 계산 (Fig.5) → 메모리·속도 우위.

4. Inference Setting

• 파이프라인: TinyChat 기반 최적화.
• 양자화:
  • Visual encoder → W8A8 (SmoothQuant)
  • LLM → W4A16 (AWQ)
  • 양자화 버전이 vanilla 대비 E2E 2.4× 가속 (accuracy 저하 무시 가능); 이후 모든 결과는 이 양자화 버전 기준.
• 하드웨어/디코딩: 단일 NVIDIA A6000, batch size 1, greedy decoding (별도 명시 없으면).
• Latency 측정 (E2E): visual encoder(E) + LM prefill(P) + decoding(D). E2E = prefill 시간 + 토큰당 decoding 시간.
  • multi-turn이므로 라운드별 query의 chunked prefill 비용을 초기 이미지 prefill로 amortize.
  • 라운드 수 = 데이터셋 평균 turn 수.
  • 디코딩 길이: 이미지 50 tokens/round, 비디오 250 tokens/round, reasoning(single-turn) 1,500 tokens (prefill+decode 합).
• Sparsity ratio 정책: LLM 이전 일정한 prefill sparsity + 모든 레이어 균일한 decoding sparsity.
  • layer-wise / head-aware 같은 세부 전략은 추가 최적화 여지 있으나 복잡성·튜닝 overhead 때문에 미채택 → 단순성·일반화 우선, future work로 남김.

4.2. Image Benchmark Results

4.3. Video Benchmark Results

4.3.1. Video Understanding

4.3.2. Video Captioning

4.3.3. Visual Retrieval

4.4. Reasoing Benchmark Results

4.4.1. Video Reasoning

4.4.2. Physical Reasoning

4.5. Efficiency Analysis

SparseVILA — 커널(Kernel) 최적화 3종 정리

한 줄 요약

SparseVILA는 prefill·decode 두 단계에 걸쳐 세 종류의 custom 커널로 inference를 가속함. prefill 쪽 두 개는 salience(중요도) 계산을 빠르게 하는 게 목적이고, decode 쪽 하나는 유효 KV cache를 줄여 메모리 이동 자체를 줄이는 게 목적임.

3종 커널 비교

핵심 구분 포인트

• Prefill 커널의 본질 = "행렬 안 만들기": long-context에서 full attention matrix를 명시적으로 만들면 메모리·latency 폭증 → streaming으로 우회.
• Decode 커널의 본질 = "읽을 KV를 작게 + 연속으로": decode는 memory-bound라 병목이 HBM↔연산기 트래픽임. query-aware retrieval로 활성 토큰만 남기고 contiguous로 packing → 읽는 양↓ + 접근 패턴 효율↑ → 곧바로 속도로 직결.
• 즉 같은 "Triton 커널"이라도 prefill은 연산량(compute) 줄이기, decode는 메모리 이동(memory traffic) 줄이기로 목적이 다름.

Decoding Attention Kernel Efficiency

Decoding Attention Kernel Efficiency는 query-aware retrieval로 유효 KV cache가 줄어든 결과, decode attention 커널이 읽는 메모리 트래픽·FLOPs가 감소해서 빨라진 decoding attention 커널 자체의 속도를 측정한 것

Empirical vs. Theoretical Latency Analysis

Empirical vs. Theoretical Latency Analysis는 pruning 메트릭 계산·토큰 재조직화·선택 로직에서 생기는 overhead 때문에 이론적 속도 향상(T)이 실제 실현 속도(E)만큼 나오지 못하는, 그 overhead로 인한 이론↔실제 격차를 측정한 것

4.6. Qualitative Analysis

Sink vs Retrieval 토큰의 레이어별 출현 (Fig.8) — 2줄 핵심

• Sink token = 얕은 레이어(예: Layer 2): 쿼리가 바뀌어도 안정적으로 선택됨(IoU 높음, 70%) → 장면 이해의 지속적 앵커(anchor).
• Retrieval token = 깊은 레이어(예: Layer 19): 쿼리 내용에 따라 선택이 동적으로 바뀜(IoU 낮음, 21%) → query-specific 관련 영역에 집중.

깊이가 깊어질수록 query-specific 추론이 globally-salient 구조(sink)를 점진적으로 오버라이드함. sink는 계속 존재하되 강도가 약해짐.

MetaCompress

코드

Abs. & 1. Introduction

기존 문제점

1. 기존 Token Reduction은 Single-Turn VQA에만 맞춰져 있음

대부분의 token reduction 방법은 "한 번의 질문에 한 번 답하는" single-turn VQA를 전제로 설계되어 있다. 하지만 실제 사용 환경은 하나의 이미지에 대해 여러 턴에 걸쳐 질문하는 Multi-Turn VQA(MT-VQA) 가 훨씬 현실적이다. MT-VQA에서는 후속 질문이 이미지의 어떤 영역을 참조할지 미리 알 수 없어서 기존 방법이 직접 적용되기 어렵다.

2. Prompt-Dependent 방식의 한계

FastV 등은 첫 번째 질문(prompt)과의 attention을 기준으로 visual token을 선별한다. 이 경우 첫 질문과 관련 없는 영역의 token이 삭제되며, KV cache 구조상 삭제된 token은 이후 턴에서도 복구가 불가능하다. 결과적으로 후속 질문에 필요한 정보가 유실된다.

3. Prompt-Agnostic 방식의 한계

LLaVA-PruMerge 등은 prompt 없이 이미지 자체의 attention score(예: [CLS] token attention)를 기준으로 token을 줄인다. MT-VQA에 기술적으로 적용 가능하지만, 이 기준은 인간의 직관에서 나온 휴리스틱이며 최적성이 보장되지 않는다. 논문 Section 4의 실험에서, 학습으로 찾은 최적 compression이 유지하는 token들이 [CLS] attention이나 prompt attention과 거의 무관함을 실증했다.

MetaCompress의 해결법

1. Token Reduction을 학습 가능한 최적화 문제로 통합

기존에 별개로 다뤄지던 token pruning과 merging을 하나의 compression matrix $P (∈ ℝ^{(m×n)})$ 로 통합한다. 핵심 목표는 "P로 압축한 visual sequence를 사용했을 때, 원본 대비 LLM 응답의 차이가 최소가 되는 P를 찾는 것"이다.

2. 휴리스틱을 배제한 학습 기반 접근

[CLS] attention, prompt attention 등 인간이 설계한 기준 대신, 데이터로부터 직접 최적 압축 전략을 학습한다. 이를 통해 기존 휴리스틱의 suboptimal 문제를 근본적으로 해소한다.

3. Dynamic Resolution에 대응하는 Compression Matrix Generator

$P ∈ ℝ^{(m×n)}$에서 n은 입력 visual token의 수인데, 실제 이미지는 해상도가 제각각이다. LLaVA-NeXT나 InternLM-XComposer-2.5 같은 최신 LVLM은 multi-scale vision tower를 사용하기 때문에, 이미지에 따라 visual token 수 n이 달라진다. 이는 곧 이미지마다 P의 크기 자체가 달라져야 한다는 뜻이다. 이때 가능한 모든 해상도에 대해 각각의 P를 미리 학습해 놓는 것은 조합이 방대하여 비현실적이고 우아하지도 않다. 이를 해결하기 위해 MetaCompress는 고정된 P를 학습하는 대신, 입력 이미지로부터 P를 동적으로 생성하는 모듈 $P_{meta}$를 설계한다. $P_{meta}$는 position embedding, query down-sample projection, key projection, weighted inner product로 구성되며, 어떤 길이의 visual sequence가 들어오더라도 그에 맞는 크기의 P를 자동으로 생성한다.

2. Related Work

생략

3. Preliminaries

생략

4. Which Tokens to Keep?

최적 Compression Matrix P의 초기화와 학습

하나의 이미지-대화 쌍 $(I_{IMG}, I_{TXT})$에 대해, 휴리스틱 없이 데이터가 직접 알려주는 최적의 압축 행렬 $P^*$를 찾는 실험이다.

초기화: $P_{raw} \in \mathbb{R}^{m \times n}$의 각 원소를 가우시안 분포 $\mathcal{N}(0, \sigma_{raw}^2)$에서 독립적으로 샘플링한다. 이 시점에서 $P_{raw}$는 아무런 패턴 없는 랜덤 상태이다.

P 생성: $P_{raw}$에 행 단위 softmax를 적용하여 $P = \sigma(P_{raw})$를 얻는다. 행 단위로 정규화하는 이유는 $P$의 $i$번째 행이 "압축된 $i$번째 token을 원본 $n$개 token의 어떤 가중합으로 만드는가"를 나타내기 때문이다. 각 행의 가중치 합이 1이 되어야 의미 있는 조합이 된다.

학습 과정 (Figure 1. (a)):

1. 원본 $X_{IMG}$를 LLM에 넣어 응답 분포 $p(y)$를 얻는다 (gradient 없이 고정).
2. 압축된 $\tilde{X}{IMG} = P \cdot X{IMG}$를 LLM에 넣어 응답 분포 $p(\tilde{y})$를 얻는다 (gradient 있음).
3. 두 분포의 차이인 KL divergence $\mathcal{L}{pred} = D{KL}(p(y) | p(\tilde{y}))$를 계산한다.
4. 추가로 $P$의 각 행에 대한 엔트로피 정규화 $\mathcal{L}_{entropy}$를 적용하여 $P$가 sparse해지도록 유도한다.
5. 최종 목표: $P^* = \arg\min_{P_{raw}} \mathcal{L}{pred} + \alpha \cdot \mathcal{L}{entropy}$를 gradient descent로 풀어 $P_{raw}$만 업데이트한다 (LLM 파라미터는 고정). 이를 통해 "이 이미지에서 어떤 token을 남겨야 LLM 응답 차이가 최소가 되는가"의 정답을 데이터로부터 직접 얻는다.

학습 결과와 휴리스틱의 비교 (Figure 1. (b), (c))

학습으로 얻은 $P^*$가 유지한 token들이 기존 휴리스틱 기준과 일치하는지를 검증한다.

$P^$(데이터가 찾은 최적 compression)가 유지한 token들을 분석해보면, [CLS] attention이 높은 token이 일부 포함되어 있긴 함. 하지만 그 비율은 전체 retained token의 약 1.71%에 불과함. 이건 결국, 기존 휴리스틱(PruMerge 등)이 "[CLS] attention이 높은 token을 남기자"라는 전략으로 token을 골랐을 때, 실제 최적해인 $P^$의 선택과 98.29%가 불일치한다는 뜻임.

Prompt attention에 대해서도 마찬가지임. $P^*$가 유지한 token들은 prompt attention score와도 뚜렷한 상관을 보이지 않음.

따라서 attention score를 기준으로 token을 선별하는 기존 휴리스틱은, 데이터가 알려주는 최적 선택과 거의 일치하지 않으므로 suboptimal이라는 결론임.

5. Method

5.1. MetaCompress

입력

• $X_{IMG} \in \mathbb{R}^{n \times d}$: 원본 visual token sequence. $n$은 token 수 (이미지 해상도에 따라 가변), $d$는 embedding 차원 (예: LLaVA-1.5-7b에서 $d = 4096$)
• 목표: $n$개 token을 $m$개로 압축 ($m \ll n$)

Step 1: Position Embedding 추가

$X_{IMG}$에 절대 위치 정보를 더한다.

• $E_{pos} \in \mathbb{R}^{n \times d}$: position embedding
• 결과: $(X_{IMG} + E_{pos}) \in \mathbb{R}^{n \times d}$

Step 2: Key 생성

$$X_k = (X_{IMG} + E_{pos}) \cdot W_k$$

• $W_k \in \mathbb{R}^{d \times d_c}$: key projection. $d_c \ll d$로 설정하여 연산 효율화
• $X_k \in \mathbb{R}^{n \times d_c}$
• 차원 흐름: $\mathbb{R}^{n \times d} \cdot \mathbb{R}^{d \times d_c} = \mathbb{R}^{n \times d_c}$

Step 3: Query 생성 (Down-sampling 포함)

$$\tilde{X}q = \text{Pool}(X{IMG} + E_{pos} \mid k, s) \cdot W_q$$

3-1. Fractional Pooling: 시퀀스 길이를 $n \rightarrow m$으로 줄인다. stride $s = n/m$ (소수점 허용)으로 설정하여 어떤 $n$이든 정확히 $m$개로 줄일 수 있다.

• $\text{Pool}(X_{IMG} + E_{pos} \mid k, s) \in \mathbb{R}^{m \times d}$

• 3-2. Linear Projection*: pooling된 시퀀스를 $d_c$ 차원으로 변환한다.

• $W_q \in \mathbb{R}^{d \times d_c}$: query projection

• $\tilde{X}_q \in \mathbb{R}^{m \times d_c}$

• 차원 흐름: $\mathbb{R}^{m \times d} \cdot \mathbb{R}^{d \times d_c} = \mathbb{R}^{m \times d_c}$

Step 4: Compression Matrix $P$ 계산

$$P_{raw} = \frac{\tilde{X}_q \cdot \text{diag}(\omega) \cdot X_k^\top}{\sqrt{d_c}}$$

$$P = \sigma(P_{raw})$$

• $\tilde{X}_q \in \mathbb{R}^{m \times d_c}$, $\text{diag}(\omega) \in \mathbb{R}^{d_c \times d_c}$ (learnable 대각 행렬), $X_k^\top \in \mathbb{R}^{d_c \times n}$
• 차원 흐름: $\mathbb{R}^{m \times d_c} \cdot \mathbb{R}^{d_c \times d_c} \cdot \mathbb{R}^{d_c \times n} = \mathbb{R}^{m \times n}$
• 행 단위 softmax 적용하여 $P \in \mathbb{R}^{m \times n}$ (각 행의 합 = 1)

Step 5: Visual Token 압축

$$\tilde{X}{IMG} = P \cdot X{IMG}$$

• 차원 흐름: $\mathbb{R}^{m \times n} \cdot \mathbb{R}^{n \times d} = \mathbb{R}^{m \times d}$
• 압축된 $\tilde{X}_{IMG} \in \mathbb{R}^{m \times d}$가 LLM decoder에 입력된다.

학습 가능한 파라미터 (시퀀스 길이 $n$과 무관한 고정 크기)

이 세 파라미터는 개별 token의 차원 변환($d \rightarrow d_c$)만 수행하므로 시퀀스 길이 $n$에 의존하지 않는다. $n$의 변화는 fractional pooling의 stride 조절과 inner product 연산이 자동으로 처리한다. 따라서 어떤 해상도의 이미지가 들어와도 동일한 파라미터로 적절한 크기의 $P$를 생성할 수 있다.

6. Experiments

6.1. 실험 설정

벤치마크: 3개의 MT-VQA 벤치마크에서 평가한다.

• MT-VQA-v2: VQA-v2 validation set 기반, 25k개의 3-turn 대화 쌍
• MT-GQA: GQA testdev-balanced set 기반, 4061개의 3-turn 대화
• ConvBench: 577개의 native multi-turn 대화, 3단계 멀티모달 능력 계층 평가
• LVLM 아키텍처*: 5개 모델에서 일반화 성능을 평가한다.
• LLaVA-1.5-7b/13b (single-scale vision tower)
• LLaVA-NeXT-7b/13b (multi-scale vision tower)
• InternLM-XComposer-2.5-7b (multi-scale vision tower)
• 학습*: MT-GQA training-balanced split과 MT-VQA-v2 training set에서 약 20k 샘플만 사용. ConvBench에서는 MT-VQA-v2에서 학습한 가중치로 평가 (transfer 성능 검증).

비교 baseline:

• Base: token reduction 없이 원본 LVLM 그대로 평가
• Random: LLM decoder 입력 전에 visual token을 랜덤으로 제거 (3개 seed 평균)
• Sample: visual sequence에서 등간격 down-sampling
• FastV: prompt attention 기반으로 token 중요도를 측정하여 pruning (prompt-dependent)
• PruMerge: $[\text{CLS}]$ attention 기반으로 pruning + merging (LLaVA-1.5에서만 호환)

  6.2. 비교 결과 (Table 1, Figure 3)

Table 1 — 90% reduction rate 결과:

MetaCompress가 모든 LVLM 아키텍처와 모든 벤치마크에서 일관되게 최고 성능을 달성한다. 주목할 점들:

• FastV의 실패: FastV는 대부분의 설정에서 Random이나 Sample보다도 성능이 낮다. 예를 들어 LLaVA-NeXT-7b의 ConvBench에서 FastV Avg = 1.23인 반면 Random Avg = 5.61이다. 이는 Section 4에서 밝힌 "attention 기반 휴리스틱은 suboptimal"이라는 결론과 일치한다.
• PruMerge의 한계: LLaVA-1.5에서는 Sample보다 약간 나은 정도이며, multi-scale vision tower(LLaVA-NeXT, XComposer)와는 호환 불가하다.
• MetaCompress의 우위: ConvBench에서 학습하지 않았음에도 baseline을 큰 폭으로 능가하여 transfer 능력을 입증한다.

Figure 3 — Reduction rate 50%~95%에서의 성능 곡선:

MetaCompress(빨간색)가 모든 reduction rate에서 일관되게 최상위를 유지한다. FastV는 낮은 reduction rate(50%)에서는 상대적으로 선방하지만, reduction rate가 높아질수록 급격히 하락한다. PruMerge는 높은 reduction rate에서 상대적으로 나은 편이지만 MetaCompress에는 미치지 못한다.

6.3. 효율성 결과 (Table 2)

Table 2 — 추론 효율 비교 (90% reduction, MT-GQA):

MetaCompress는 가장 효율적인 baseline인 Sample과 거의 동일한 효율을 보인다.

• LLaVA-1.5-7b: Base 대비 TTFT 232ms → 97.8ms (2.4배 감소), TFLOPs 71.4 → 13.3 (5.4배 감소)
• LLaVA-NeXT-7b: Base 대비 TTFT 484ms → 174ms (2.8배 감소), TFLOPs 95.3 → 12.7 (7.5배 감소)
• FastV는 다른 reduction 방법들보다 TTFT와 E2ET 모두 느리고 메모리도 더 사용한다 (중간 attention matrix 계산 때문).

6.4. Transfer 결과

MetaCompress가 특정 학습 데이터셋에 과적합되지 않음을 검증한다.

• Cross-dataset transfer: MT-GQA에서 학습 → MT-VQA-v2 평가 (또는 반대)에서도 성능 하락이 적다.
• ConvBench transfer: MT-VQA-v2에서 학습한 가중치로 ConvBench를 평가해도 baseline을 능가한다 (Table 1에서 확인 가능).
• Video QA transfer: 이미지 MT-VQA에서 학습한 가중치로 MT-Video-MME(비디오 QA)를 평가해도 baseline을 능가한다 (Table 8, Supplementary).

6.5. Ablation Study (Table 3, Figure 4)

생략

6.6. 시각화 (Figure 5)

Figure 5 — LLaVA-NeXT-7b에 대한 추가 시각화:

Section 4의 Figure 1(b), 1(c)와 동일한 분석을 LLaVA-NeXT-7b에서 수행한 결과이다.

• (a) Token importance 분포: FastV 스타일의 token importance로 측정. All Tokens와 Retained Tokens의 분포가 뚜렷하게 다르지 않으며, importance가 높은 token이 특별히 더 많이 유지되지 않았다.
• (b) Prompt attention 분포: Figure 1(c)와 동일한 결론. $P^*$가 유지한 token들이 prompt attention과 무관하게 선택되었다. 이는 Section 4의 결론(attention 기반 휴리스틱은 suboptimal)이 LLaVA-NeXT-7b에서도 동일하게 성립함을 재확인한다.

PinPoint

코드

Abstract

PinPoint는 두 단계로 구성됨.

1단계: Region Selection

먼저 입력 이미지를 ViT와 프로젝션 레이어에 통과시켜 비전 토큰을 얻음. 이 토큰들을 2D 공간 그리드로 재배열한 뒤, 슬라이딩 윈도우(W×H, stride S)를 적용해서 여러 개의 영역별 특징($R_i$)을 추출함. 그다음 Instruction-Region Alignment이 수행됨. 학습 가능한 가이던스 쿼리($E$)가 각 영역의 비전 특징과 텍스트 특징에 각각 scaled dot-product attention을 적용해서 $E_v$(비전 인식 표현)와 $E_t$(텍스트 인식 표현)를 만들어냄. 가이던스 쿼리는 두 모달리티를 공통 특징 공간으로 연결하는 매개체 역할을 함. 실제 유사도 비교는 이렇게 생성된 $E_v$와 $E_t$ 사이의 코사인 유사도로 수행되며, 유사도가 높은 순서대로 영역을 랭킹함. 그 후 선택된 영역들의 합산 면적이 전체 이미지의 사전 정의된 비율($r$)을 초과할 때까지 상위 영역을 적응적으로 선택함.

2단계: Region Refinement

1단계에서 선택된 영역들만 원본 이미지에서 크롭함. 크롭된 영역을 ViT와 프로젝션 레이어로 다시 인코딩함. 이렇게 하는 이유는 1단계에서 얻은 비전 토큰이 ViT의 글로벌 셀프 어텐션 때문에 무관한 영역의 정보에 오염되어 있기 때문임. 재인코딩을 통해 선택된 영역만의 깨끗하고 세밀한 비전 토큰을 얻을 수 있음. 이 정제된 토큰들은 원본 전체 토큰보다 훨씬 적은 수이면서도 답변에 필요한 정보가 더 밀집되어 있음. 최종적으로 이 토큰들이 텍스트 지시어와 함께 LLM에 입력되어 답변을 생성함.

1. Introduction

배경 문제

인포그래픽이나 문서 이미지처럼 정보가 밀집된 이미지를 이해하려면 고해상도 처리가 필요하고, 이는 대량의 비전 토큰을 생성해서 컴퓨팅 비용이 크게 증가함.

기존 해결책과 한계

기존 토큰 프루닝 방법들은 LLM 디코딩 레이어의 어텐션 가중치로 토큰 중요도를 추정하고 덜 중요한 토큰을 제거하는 방식인데, 세 가지 문제가 있음.

1. 불완전한 어텐션 맵 문제 LLM 디코딩 레이어의 어텐션 가중치 자체가 신뢰할 수 없는 경우가 있어서, 이를 기반으로 프루닝하면 중요한 토큰이 제거되고 환각이 발생할 수 있음.

→ PinPoint: LLM 디코딩 레이어의 어텐션 맵을 사용하지 않음. 대신 ViT + Projection 출력인 비전 토큰을 영역 수준으로 묶고, 학습된 가이던스 쿼리를 통해 텍스트와의 유사도를 직접 계산함.

🗡️ 공격: 결국 Region Selection에서 사용하는 비전 토큰도 ViT를 통과한 결과이므로, ViT 내부의 셀프 어텐션 과정을 모두 거친 것임. LLM 어텐션 맵은 회피했지만, ViT 어텐션을 통해 이미 오염된 정보를 기반으로 유사도를 계산하는 것이므로 신호의 신뢰성 문제가 완전히 해결된 것은 아님.

2. 의미론적 단편화 문제 이미지 속 텍스트 같은 비전 요소는 여러 토큰에 걸쳐 표현되는데, 개별 토큰 단위로 프루닝하면 이 요소들의 전체적인 문맥 의미가 깨질 수 있음.

→ PinPoint: 개별 토큰 단위가 아니라 슬라이딩 윈도우 단위로 영역을 선택함. 비전 요소가 여러 토큰에 걸쳐 있어도 윈도우 안에서 통째로 보존되므로 의미론적 단편화 문제를 해결함.

3. 문맥적 얽힘 문제 ViT의 글로벌 셀프 어텐션 때문에 정답 관련 영역의 비전 토큰이 무관한 정보와 뒤섞이게 됨.

→ PinPoint: Region Refinement에서 선택된 영역만 크롭해서 ViT에 다시 통과시킴. 무관한 영역의 토큰이 입력에 없으므로 셀프 어텐션에서 정보가 섞이지 않음.

🗡️ 공격: 크롭할 영역을 결정하는 Region Selection 자체가 전체 이미지를 ViT에 통과시킨 결과를 사용함. 즉 이미 문맥적 얽힘이 발생한 오염된 토큰을 기반으로 영역을 선택하는 것임. Region Refinement가 문맥적 얽힘을 해결하는 건 맞지만, 그 전 단계인 Region Selection이 오염된 정보로 판단하므로 영역 선택 자체의 정확성이 보장되지 않음. Table 4에서 Region Accuracy가 84~98%로 보고되지만, 오염되지 않은 토큰으로 선택했을 때와의 비교가 없어 이 수치가 충분히 높은 것인지 판단할 근거가 부족함.

기존 벤치마크의 한계

기존 VQA 벤치마크에는 질문-답변 쌍은 있지만, 이미지에서 어떤 영역을 봐야 답을 알 수 있는지에 대한 위치 정보는 없었음. Visual CoT [37] 같은 논문에서 정답 위치를 바운딩 박스로 어노테이션한 적은 있지만, 정답이 위치한 단일 바운딩 박스만 표시하는 수준이었음. 예를 들어 "가장 부유한 경주는 무엇인가?"라는 질문에 대해 "멜버른 컵"이라는 텍스트 위치 하나만 박스로 표시하는 방식임.

PinPoint의 새로운 어노테이션

PinPoint 팀은 기존 벤치마크 위에 질문에 답하기 위해 봐야 하는 이미지 영역의 좌표를 새로 만들어 추가함. 이 어노테이션이 있어야 Region Selection 모듈을 학습시킬 수 있음. 핵심적인 차이는 PinPoint가 정답 영역뿐 아니라 추론에 필요한 근거 영역까지 여러 바운딩 박스로 표시한다는 점임. 같은 예시에서 "멜버른 컵" 위치(answer bbox), "가장 부유한 경주"라는 문맥이 담긴 주변 영역(evidence bbox), 그리고 이 둘을 모두 포함하는 통합 영역(encompass bbox)까지 어노테이션함.

2. Related Work

생략

3. Method

3.1. Region-Level Feature Extraction

먼저 입력 이미지를 사전 학습된 ViT와 프로젝션 레이어에 통과시켜 비전 토큰 $V \in \mathbb{R}^{T \times d}$를 얻음. $T$는 전체 비전 토큰 수, $d$는 임베딩 차원임.

이 토큰들은 LLM에 입력되기 직전 단계의 표현을 사용함. 이 비전 토큰들을 2D 공간 그리드로 재배열한 뒤, 크기 $W \times H$, 스트라이드 $S$인 슬라이딩 윈도우를 적용함.

$i$번째 윈도우 내의 모든 토큰을 모아서 영역 수준 표현 $\mathbf{R}i \in \mathbb{R}^{W \times H \times d}$를 만듦. 전체 그리드에 슬라이딩 윈도우를 적용하면 영역 컬렉션 $\mathbf{R} = {\mathbf{R}_i}{i=1}^{N_r}$을 얻음. $N_r$은 총 영역 수이며 입력 이미지에 따라 달라짐.

이와 동시에 입력 텍스트(질문)는 BPE로 토큰화되고 임베딩되어 텍스트 표현 $\mathbf{T} \in \mathbb{R}^{M \times d}$를 형성함. $M$은 텍스트 토큰 수임.

결과적으로 이 단계에서는 이미지 쪽에서 영역별 비전 특징 $\mathbf{R}$, 텍스트 쪽에서 텍스트 임베딩 $\mathbf{T}$를 준비하여 다음 단계인 Instruction-Region Alignment의 입력으로 제공함.

3.2. Instruction-Region Alignment

문제

3.1에서 얻은 영역 수준 비전 특징 $R_i$와 텍스트 특징 $T$를 직접 비교하는 것은 두 가지 근본적인 문제가 있음.

첫째, CLS 토큰의 부재. BERT 같은 인코더 모델에는 CLS 토큰이 있어서 전체 시퀀스의 의미를 하나의 벡터로 요약해줌. 그런데 LLaVA-NeXT 같은 디코더 전용 모델에는 CLS 토큰이 없음. 텍스트 토큰이 $M$개 있으면 $M$개의 개별 토큰 임베딩만 있을 뿐, "이 질문 전체의 의미"를 대표하는 단일 벡터가 없음. 그래서 영역 수준의 비전 특징과 비교하려 할 때, 텍스트 쪽에서 어떤 벡터를 대표로 써야 하는지가 불명확함.

둘째, 서브워드 토큰화와 비전 특징 간의 불일치. 둘 다 $d$ 차원을 갖지만, 같은 차원이라고 해서 같은 의미 공간에 있는 건 아님. BPE 토큰화는 "retirement"를 "retire" + "ment" 같이 서브워드 단위로 쪼개는데, 이런 서브워드 하나하나의 임베딩은 비전 토큰의 임베딩과 의미적으로 대응되지 않음. 비전 토큰은 이미지의 공간적 패치를, 텍스트 토큰은 언어적 서브워드를 나타내므로 같은 $d$ 차원 공간에 있어도 서로 다른 방식으로 정보를 인코딩하고 있어 직접 유사도를 계산하면 의미 있는 결과를 얻기 어려움.

해결 방법: 학습 가능한 가이던스 쿼리

이 두 문제를 해결하기 위해 학습 가능한 가이던스 쿼리 $E = \lbrace E_1, E_2, \ldots, E_K \rbrace \in \mathbb{R}^{K \times d}$를 도입함. $K$는 쿼리의 개수임. 가이던스 쿼리는 비전과 텍스트 두 모달리티를 연결하는 공통 특징 공간의 매개체 역할을 함.

처리 과정

1단계: MLP를 통한 특징 변환

두 모달리티 간의 정렬을 용이하게 하기 위해, 영역 수준 비전 특징 $R_i$와 텍스트 특징 $T$를 각각 별도의 MLP 레이어에 통과시켜 $R_i'$와 $T'$를 생성함.

2단계: 가이던스 쿼리를 통한 모달리티 인지 표현 추출

가이던스 쿼리 $E$가 각 모달리티의 변환된 특징과 scaled dot-product attention을 수행함.

비전 쪽: $E$와 $i$번째 영역 비전 특징 $R_i'$ 사이에 어텐션을 적용하여 비전 인지 표현 $E_i^v \in \mathbb{R}^{K \times d}$를 얻음.

$$A_i^v = \text{softmax}\left(\frac{E \cdot R_i'^{\top}}{\sqrt{d_k}}\right), \quad E_i^v = A_i^v \cdot R_i'$$

텍스트 쪽: 동일한 메커니즘으로 $E$와 텍스트 특징 $T'$ 사이에 어텐션을 적용하여 텍스트 인지 표현 $E^t \in \mathbb{R}^{K \times d}$를 얻음.

$$A^t = \text{softmax}\left(\frac{E \cdot T'^{\top}}{\sqrt{d_k}}\right), \quad E^t = A^t \cdot T'$$

여기서 $d_k$는 스케일링 팩터임.

3.3. Selecting and Refining Instruction-Relevant Regions

Region Selection

$E_i^v$와 $E^t$ 사이의 코사인 유사도로 후보 영역에 순위를 매기고, 선택된 영역의 합산 면적이 전체 이미지의 비율 $r$을 초과할 때까지 상위 영역을 적응적으로 선택함.

Region Refinement

선택된 영역만 원본 이미지에서 크롭하여 ViT로 재인코딩함. 글로벌 셀프 어텐션으로 인한 무관한 문맥 오염을 제거하고, 더 적으면서도 답변에 밀집된 깨끗한 비전 토큰을 얻어 LLM에 입력함.

🗡️ 공격: 크롭하면 전체 이미지에서의 위치 정보를 잃지 않나?

전체 이미지의 비전 토큰은 순서대로 입력되므로 각 패치가 이미지의 어느 부분인지 알 수 있음. 그런데 크롭된 영역만 재인코딩하면, 해당 내용이 원본 이미지의 초반인지 중반인지 알 수 없게 됨.

🛡️ 방어 1: 내용 정보가 위치 정보보다 중요함

크롭된 영역 자체가 질문에 답하기 위한 충분한 시각 정보를 담고 있음. "이 영역이 어디에 있는가"보다 "이 영역 안에 무엇이 있는가"가 답변 생성에 더 중요하며, 실제로 기본 PinPoint만으로도 vanilla 모델(전체 토큰 사용)보다 높은 성능을 보임.

🛡️ 방어 2: "Ours + Global" 변형으로 보완 가능함

Table 2에서 재인코딩된 영역 토큰 + 전체 이미지의 저해상도 토큰(글로벌 컨텍스트)을 함께 LLM에 제공하는 설정이 모든 데이터셋에서 가장 높은 성능을 기록함. 위치 맥락이 필요한 경우 이 방식으로 보완할 수 있음.

🗡️ 재공격: 그러면 "Ours + Global"이 더 좋다는 건, 크롭만으로는 부족하다는 반증 아닌가?

🛡️ 방어 3: 트레이드오프의 문제임

맞음. 논문 자체도 위치 정보 손실을 인지하고 있음. 다만 "Ours + Global"은 FLOPs가 84.9%로 증가하는 반면, 기본 PinPoint는 65.3%만으로도 vanilla를 초과하는 성능을 달성함. 위치 정보 손실보다 무관한 토큰 제거의 이득이 더 크기 때문에, 효율성과 정확도 간의 트레이드오프에서 합리적인 선택임.

🗡️ 재공격: Qwen2-VL에서도 M-RoPE 위치 정보 손실이 문제인데, Qwen2.5-VL에서는 더 치명적이지 않나?

Qwen2-VL의 M-RoPE는 시간·높이·너비 3축으로 위치를 인코딩하는 수준이었음. Qwen2.5-VL은 여기서 더 나아가서, 공간 차원에서 좌표를 정규화 없이 이미지의 실제 크기 스케일로 직접 표현하고, 시간 차원에서도 절대 시간 인코딩을 도입함. 즉 M-RoPE의 위치 정보 의존도가 Qwen2-VL보다 더 높아진 것임. 크롭 후 재인코딩하면 이 강화된 절대 좌표 기반 위치 정보가 크롭 이미지 기준으로 완전히 재생성되므로, Qwen2-VL보다 위치 정보 손실의 영향이 더 클 수 있음. PinPoint 논문에는 Qwen2.5-VL 실험이 없어서 이에 대한 직접적인 반박 근거가 존재하지 않음.

3.4. Training with Contrastive Loss

전체 목적

3.2에서 만든 가이던스 쿼리와 MLP를 잘 학습시켜서, 질문과 관련된 영역의 $E_i^v$와 $E^t$가 가까워지고, 관련 없는 영역의 $E_i^v$와 $E^t$는 멀어지도록 만드는 것임.

포지티브/네거티브 정의

슬라이딩 윈도우로 나눈 영역들 중에서 GT(정답) 영역의 중심과 가장 가까운 영역이 포지티브($E_{pos}^v$)임. 정답과 관련 없는 영역들이 네거티브($E_{neg}^v$)임.

Inter-modal Contrastive Loss ($L_{inter}$)

배치 내 서로 다른 샘플들 간의 정렬을 다룸. 예를 들어 배치에 3개의 샘플이 있다고 하면:

• 샘플A: "미국인 평균 퇴직 저축은?" + 인포그래픽 이미지
• 샘플B: "개는 어디에 있나요?" + 자연 이미지
• 샘플C: "매출은 얼마인가?" + 문서 이미지 $L_{v \rightarrow t}$는 샘플A의 포지티브 영역 $E_{pos}^v$가 샘플A의 텍스트 $E^t$와는 가까워지고, 샘플B·C의 텍스트 $\hat{E}^t$와는 멀어지도록 함. $L_{t \rightarrow v}$는 반대 방향으로 같은 작업을 수행함. 즉 서로 맞는 질문-영역 쌍은 당기고, 다른 샘플의 질문-영역 쌍은 밀어내는 대칭적 손실임.

$$L_{v \rightarrow t} = -\log \frac{\exp(\text{sim}(E_{pos}^v, E^t) / \tau)}{\sum_{\hat{E}^t} \exp(\text{sim}(E_{pos}^v, \hat{E}^t) / \tau)}$$

$$L_{t \rightarrow v} = -\log \frac{\exp(\text{sim}(E_{pos}^v, E^t) / \tau)}{\sum_{\hat{E}{pos}^v} \exp(\text{sim}(\hat{E}{pos}^v, E^t) / \tau)}$$

$$L_{inter} = L_{v \rightarrow t} + L_{t \rightarrow v}$$

Intra-image Contrastive Loss ($L_{intra}$)

하나의 이미지 내부에서의 분리를 다룸. 같은 이미지 안에서 질문 $E^t$를 포지티브 영역 $E_{pos}^v$에는 가깝게, 같은 이미지의 다른 네거티브 영역들 $E_{neg}^v$과는 멀어지게 함. Inter가 "이 질문은 저 이미지가 아니라 이 이미지와 매칭된다"를 학습한다면, Intra는 "이 이미지 안에서도 이 영역이 아니라 저 영역이 정답이다"를 학습하는 것임.

$$L_{intra} = -\log \frac{\exp(\text{sim}(E^t, E_{pos}^v) / \tau)}{\sum_{E_{neg}^v} \exp(\text{sim}(E^t, E_{neg}^v) / \tau)}$$

최종 손실

$$L_{total} = L_{inter} + \lambda L_{intra}$$

학습 범위

LLM, ViT, 프로젝터는 모두 동결하고, 가이던스 쿼리 $E$와 두 개의 MLP 레이어만 학습함. 전체 파라미터의 1.4%만 학습하면 되므로 매우 효율적임.

🗡️ 공격: Intra-image contrastive loss만으로 충분하지 않나? 왜 배치 내 다른 샘플 정보까지 써야 하는가?

🛡️ 방어 1: Intra만으로는 절대적 정렬 품질을 보장할 수 없음

Intra loss는 같은 이미지 내에서 포지티브 영역이 네거티브 영역보다 텍스트에 상대적으로 더 가깝기만 하면 loss가 줄어듦. 예를 들어 포지티브 유사도가 0.3이고 네거티브가 0.1, 0.2이면 순서만 맞으므로 loss는 감소함. 비전-텍스트가 실제로 잘 정렬되어 포지티브가 0.9인 것과 구분하지 못함. 즉 상대적 순서만 맞으면 통과할 수 있어서, 공통 의미 공간에서의 진정한 정렬이 보장되지 않음.

🛡️ 방어 2: Inter loss가 학습 신호를 풍부하게 만듦

배치에 샘플 3개가 있을 때, intra만 쓰면 각 이미지 내부에서 3번의 독립적인 비교만 수행됨. Inter를 추가하면 각 텍스트를 배치 내 모든 비전 영역과 비교하므로 $3 \times 3 = 9$개의 비교가 생김. 같은 데이터에서 더 많은 비교 관계가 생기고, 이로 인해 학습 신호가 풍부해짐.

🗡️ 재공격: 그러면 inter loss만 쓰면 되지 않나? Intra는 왜 필요한가?

🛡️ 방어 3: 둘은 서로 다른 관점의 학습 신호를 제공함

Inter는 "이 텍스트는 이 이미지의 영역과 매칭되고, 다른 이미지의 영역과는 아니다"를 학습함 (이미지 간 구분). Intra는 "같은 이미지 안에서도 이 영역이 정답이고 저 영역은 아니다"를 학습함 (이미지 내 구분). Inter만으로는 같은 이미지 내에서 어떤 영역이 질문과 관련 있는지 세밀하게 구분하기 어렵고, intra만으로는 비전-텍스트 간 절대적 정렬이 부족함. Table 3의 ablation에서도 intra를 추가했을 때 모든 데이터셋에서 ANLS와 Region Accuracy가 일관되게 향상됨을 확인할 수 있음.

4. PinPoint Dataset

5. Experiments

5.1. Datasets

• InfoVQA: 인포그래픽 이미지. 텍스트와 비전 요소가 조밀하게 배치되어 있어 세밀한 멀티모달 추론이 필요함. 가장 도전적인 벤치마크.
• SPDocVQA: 단일 페이지 문서. 문서 수준의 이해와 질의응답을 평가함.
• MPDocVQA: 다중 페이지 문서. 표, 수기 메모, 다이어그램 등 다양한 콘텐츠를 포함하며 페이지 간 추론이 필요함. LLaVA-NeXT는 다중 페이지를 지원하지 않아 페이지들을 연결해 하나의 이미지로 변환하여 사용함.
• GQA: 자연 이미지. 공간적 관계, 객체 속성, 논리적 추론을 포함하는 질문을 다룸. 원래 데이터셋에 GT 영역이 제공되어 있어 그대로 사용하고, 나머지 세 데이터셋은 PinPoint로 구축한 어노테이션을 사용함.

5.2. Implementation and Evaluation Details

모델 및 하이퍼파라미터

• 평가 모델: LLaVA-NeXT-Vicuna-7B, Qwen2-VL-7B
• 윈도우 크기: $10 \times 10$, 스트라이드: $7$, 목표 비율 $r$: $0.6$, 가이던스 쿼리 수 $K$: $100$
• 학습: 배치 크기 $32$, 학습률 $2e$-$5$, $\lambda = 0.5$, $5$ 에포크

평가 지표

• ANLS: OCR 오류나 오타 같은 미세한 차이를 허용하며 예측 정답과 GT 간 유사도를 측정
• FLOPs / Latency: 입력 처리부터 출력 생성까지의 총 컴퓨팅 비용 측정

비교 대상

• 토큰 감소 방법 (효율성 목표): ToMe, PyramidDrop, FastV, SparseVLM
• 영역 집중 방법 (정확도 목표): ViCrop (rel-attention 변형)
• 베이스라인: 랜덤 토큰 샘플링

5.3. Quantitative Analysis

"Ours + Global" 설정: LLaVA-NeXT vs Qwen2-VL

LLaVA-NeXT

LLaVA-NeXT의 AnyRes 모듈은 입력 이미지를 고해상도 패치(최대 6개)와 저해상도 패치(1개, 원본을 축소한 것)로 나눠 각각 ViT로 인코딩함. "Ours + Global"은 PinPoint가 정제한 토큰(크롭 후 재인코딩)에 추가로, 저해상도 토큰(전체 이미지를 축소해서 ViT에 통과시킨 것)을 LLM에 함께 넣는 설정임. 저해상도 토큰은 1개 패치 분량이므로 FLOPs 증가가 상대적으로 제한적임.

Qwen2-VL

Qwen2-VL은 Naive Dynamic Resolution 방식으로 이미지를 한 번만 인코딩하여 가변적 수의 토큰을 생성하므로, 별도의 저해상도 패치가 없음. 따라서 "Ours + Global"을 적용하면 전체 이미지 토큰을 통째로 추가해야 할 가능성이 높아, LLaVA-NeXT보다 FLOPs 증가가 더 클 수 있음.

Table A2에서 Qwen2-VL "Ours + Global"의 ANLS만 보고되어 있고(InfoVQA 0.7560, SPDocVQA 0.9380, MPDocVQA 0.8071, GQA 0.7682), FLOPs/latency는 제공되지 않아 정확한 연산량 증가는 확인 불가함.

5.4. Qualitative Analysis

정답 관련 영역 내의 토큰을 빈번하게 가지치기하며, 이는 흔히 환각을 일으키거나 의미론적으로 일관되지 않은 응답으로 이어짐.

5.5. Effiiency of PinPoint in Training

생략

5.6. Ablation Studies

생략

AutoPrune

코드

• 축1 (Modality): Image
• 축2 (압축 메커니즘): Pruning
• 축3 (학습 필요성): Training-free
• 축4 (압축 시점): LLM 내부 layer
• 축5 (Guidance 신호): Cross-modal attention 기반 상호 + 정보량(Mutual Information)
• 축6 (적응성): Sample/Task-adaptive (상호 정보량에 따라 프루닝 곡선이 동적으로 결정)
• 축7 (타겟 모델): General VLM + VLA (자율 주행)

칼

• FastV의 Figure 4: 디코딩 과정에서 LLaVA-1.5-7B의 각 레이어별 어텐션 맵을 시각화한 것임. 보려고 한 것은 시각적 토큰이 레이어 깊이에 따라 얼마나 주의를 받는지임. 각 출력 토큰이 시스템 프롬프트, 이미지 토큰, 사용자 인스트럭션, 출력 토큰에 부여하는 어텐션 점수 분포를 레이어별로 계산하여 어텐션 맵으로 나타냄. 이를 통해 얕은 레이어에서는 어텐션이 다양한 토큰 유형에 비교적 고르게 분포하지만, 깊은 레이어에서는 시스템 프롬프트의 특정 앵커 토큰에 어텐션이 집중되고 이미지 토큰에 대한 어텐션은 극도로 희소해진다는 것을 보임.

• AutoPrune의 Figure 1: 교차 모드 주의(cross-modal attention)가 레이어에 따라 어떻게 변화하는지를 작업 복잡도별로 시각화한 것임. 보려고 한 것은 단순한 작업과 복잡한 작업에서 시각-텍스트 간 주의 패턴이 어떻게 다른지임. 텍스트 토큰이 시각적 토큰에 부여하는 교차 모드 어텐션을 레이어 2, 4, 8, 16, 31에서 계산하여 이미지 위에 히트맵으로 나타냄. 이를 통해 단순한 작업(Q1Q3)에서는 초기 레이어에서 주의가 대상 영역에 빠르게 수렴하여 안정적으로 유지되지만, 복잡한 작업(Q4Q6)에서는 주의가 레이어마다 다른 영역으로 이동하며 점진적으로만 정답 영역에 수렴한다는 것을 보임.

Abstract

기존에는 디코더 후반부의 시각적 토큰이 상대적으로 적은 주의를 받는다는 경험적 관찰을 바탕으로, 레이어별로 미리 정해진 고정 스케줄에 따라 토큰을 제거하는 휴리스틱 기반 프루닝 방식이 주로 사용되었음.

⇒ 입력마다 다른 복잡도를 반영하지 못하고 모델의 실제 추론 과정에 맞춰 토큰 제거를 조정할 수 없다는 한계가 있었음.

⇒ AutoPrune은 시각적 토큰과 텍스트 토큰 간의 상호 정보량을 측정한 뒤, 이 신호를 예산 제약이 적용된 로지스틱 유지 곡선에 투영함으로써 샘플 및 작업의 복잡도에 따라 프루닝 정책을 동적으로 조정함.

1. Introduction

실험적으로도 돌출도 패턴이 이미지와 쿼리에 따라 크게 달라짐이 확인되었음. 이에 본 연구는 신경과학에서 영감을 얻어, 단순한 작업에서는 주의가 초기 레이어에서 빠르게 수렴하고 복잡한 작업에서는 분산된 주의가 여러 레이어에 걸쳐 유지된다는 탐색-활용 패턴이 VLM에서도 동일하게 나타남을 확인했으며, 이를 통해 고정된 프루닝 스케줄로는 다양한 복잡도의 추론 요구를 충족할 수 없음을 보임.

돌출도 패턴

돌출도(Saliency)는 각 시각적 토큰이 모델의 추론 과정에서 얼마나 중요하게 취급되는지를 나타내는 지표임. 구체적으로는 교차 모드 주의(cross-modal attention)에서 텍스트 토큰이 특정 시각적 토큰에 얼마나 높은 주의 가중치를 부여하는지를 의미함. 돌출도가 높은 토큰은 모델이 답변을 생성하는 데 중요하다고 판단하는 영역에 해당하고, 낮은 토큰은 상대적으로 불필요한 영역에 해당함.

그림 1에서 복잡한 작업은 오른쪽에 해당하는 Q4~Q6임.

• Q4는 "칠판 위에 걸려 있는 것이 무엇인가?"
• Q5는 "가죽 가방이 소파 위에 놓여 있는가?"
• Q6는 "냉장고의 노란 스티커 상단에 무엇이 적혀 있는가?"
  이런 복잡한 작업의 특징은 두 가지로 요약할 수 있음.
  첫째, 주의가 초기 레이어에서 넓게 분산된 상태를 유지하며 점진적으로만 감소함. 이는 모델이 정답과 관련된 증거가 어디에 있는지 불확실해하기 때문임.
  둘째, 레이어 간 돌출도 위치가 변동함. 예컨대 Q4의 경우 모델이 처음에는 칠판에 주의를 주다가 중간 레이어에서 주변 영역으로 시선을 옮기고, 레이어 16에 이르러서야 실제 정답 영역으로 돌아오는 탐색 과정을 거침. 즉 복잡한 작업에서는 모델이 여러 후보 영역을 반복적으로 탐색하며 점진적으로 정답을 좁혀가는 패턴을 보임.

AutoPrune은 초기 레이어에서 시각적 토큰과 텍스트 토큰 간의 상호 정보량을 측정하여 입력 복잡성을 정량화한 뒤, 이 값을 인간의 탐색-전념-안정화 패턴을 모방한 로지스틱 유지 곡선에 매핑함.

상호 정보량이 높으면(단순한 샘플) 곡선이 초기 레이어에서 급격히 하강하여 공격적으로 프루닝하고, 낮으면(복잡한 샘플) 곡선의 하강을 후반 레이어로 지연시켜 보수적으로 프루닝함.

이때 곡선의 기울기와 변곡점이 상호 정보량에 의해 선형적으로 조절되며, 곡선을 적분하여 면적이 사용자가 지정한 계산 예산과 일치하도록 스케일링함으로써 고정된 예산 준수를 보장함.

2. Related Work

• 디코더 이전(Pre-decoder) 프루닝은 시각적 토큰이 LLM에 입력되기 전에 비지도 유사도나 경량 점수를 기반으로 토큰의 부분 집합을 미리 선택하는 방식이며, TopV와 FasterVLM이 대표적임.

• 디코더 내부(Intra-decoder) 프루닝은 LLM 레이어를 거치는 추론 과정 중에 미리 설정된 레이어별 스케줄이나 어텐션 통계량을 활용하여 토큰을 점진적으로 제거하는 방식이며, PyramidDrop과 ZipVL이 대표적임.

Q: 디코더 내부(Intra-decoder) 프루닝은 어느 단계에서 수행되는 것인가?

A: decoding(토큰 생성) 단계가 아니라 prefill 단계에서 수행됨. 시각적 토큰이 LLM 디코더의 여러 트랜스포머 레이어를 순차적으로 통과하는 과정 중에, 특정 레이어에서 토큰을 제거하는 방식임.

3. Method

3.1. Preliminaries

$$L(\xi, \pi, \rho) = \mathbb{E}{(V,T,y) \sim D} [l(y, f{\theta}(V, T; \xi, \pi, \rho))]$$

$$\min_{\xi, \pi, \rho} L(\xi, \pi, \rho) \quad \text{s.t.} \quad \sum_{i=1}^{L} c_i(\xi, \rho) \le c_{max}$$

• ξ(토큰 할당 정책)는 각 디코더 레이어에서 몇 개의 시각적 토큰을 유지할지를 결정하는 정책

• π(토큰 선택 정책)는 유지할 토큰으로 결정된 수량 내에서 구체적으로 어떤 토큰을 남길지를 결정하는 정책

• ρ(토큰 회생 정책)는 이전 레이어에서 제거된 토큰을 이후 레이어에서 다시 복원하여 재매핑할지를 결정하는 정책

토큰 프루닝의 목적은, 전체 계산 비용이 사전에 정한 예산 $c_max$를 초과하지 않도록 하면서 모델의 성능 손실(기대 손실 L)을 최소화하는 것.

즉, 제한된 계산 자원 안에서 불필요한 시각적 토큰을 효과적으로 제거하여 효율성과 정확도를 동시에 확보하는 것이 핵심임.

3.2. Neuroscience Inspiration and Analysis

작업-샘플 적응형 토큰 수 감소:

• 단순한 작업: 교차 모드 주의가 초기 레이어에서 빠르게 대상 영역으로 수렴하므로 얕은 깊이에서 공격적인 프루닝이 가능함.

• 복잡한 작업: 주의가 넓게 분산된 채 점진적으로만 감소하므로, 토큰 제거를 더 깊은 레이어까지 미루는 것이 유리함.

이는 입력의 복잡도에 따라 글로벌 토큰 궤적을 동적으로 조절하는 적응형 프루닝 정책의 필요성을 시사함.

레이어 간 돌출도 위치 변동:

• 단순한 작업: 주의가 초기 레이어에서 수렴한 뒤 안정적으로 유지됨.

• 복잡한 작업: 돌출도의 위치가 레이어마다 변화하며, 모델이 여러 후보 영역을 탐색하다가 고차원 특징이 나타나면서 점진적으로 정답 영역으로 수렴함.

따라서 복잡한 작업에서는 이러한 탐색 과정을 지원하기 위해 레이어 전반에 걸쳐 더 많은 토큰을 유지해야 함.

3.3. Complexity-Adaptive Pruning

복잡도 지표:

상호 정보량(Mutual Information). 초기 레이어에서 시각적 토큰과 텍스트 토큰 간의 상호 정보량 I(V,T)를 계산하여 샘플·작업의 복잡도를 정량화함. 어텐션 가중치를 확률로 해석하여 결합 확률과 주변 확률을 추정하고, 이로부터 상호 정보량을 직접 산출함.

• 값이 크면 텍스트가 시각적 해석을 강하게 제약하는 단순한 작업이므로 공격적 프루닝이 가능

• 값이 작으면 대응이 약한 복잡한 작업이므로 보수적으로 토큰을 유지해야 함

• $N_v, N_t$: 시각, 텍스트 토큰 수
• $\alpha_{j,i}$: 텍스트 토큰 $t_j$에서 시각 토큰 $v_i$로의 attention score

프루닝 정책:

로지스틱 유지 함수. 이 상호 정보량 스칼라를 로지스틱(S자형) 유지 곡선에 매핑하여 레이어별 토큰 유지 비율을 결정함.

• 단순한 작업에서는 초기 레이어에서 급격히 토큰을 제거

• 복잡한 작업에서는 후반 레이어까지 토큰 제거를 지연시킴

로지스틱 함수를 선택한 이유는 형태가 단순하고, 하이퍼파라미터 조정만으로 곡선의 형태를 쉽게 변형하여 상호 정보량 지표와 직접 연동할 수 있기 때문임.

전체 과정

1단계: 상호 정보량 계산. 입력 이미지와 텍스트가 들어오면, 초기 레이어의 교차 모드 어텐션 맵에서 시각-텍스트 토큰 간 상호 정보량 I(V,T)를 계산함. (식 3, 4 사용)

2단계: 로지스틱 곡선 생성. 계산된 I(V,T)를 식 (8)에 대입하여 기울기 $k_q$와 변곡점 $x_0^q$를 산출하고, 이 값을 식 (5)에 넣어 해당 입력에 맞는 로지스틱 유지 곡선을 생성함.

3단계: 예산 맞춤 스케일링. 생성된 곡선을 식 (6)으로 적분하여 면적을 구한 뒤, 식 (7)로 곡선을 스케일링하여 곡선 아래 면적이 사전에 지정된 계산 예산 c_max와 일치하도록 함.

4단계: 레이어별 프루닝 실행. 각 레이어를 통과할 때마다 스케일링된 곡선에서 해당 레이어의 retention ratio를 읽어와 유지할 토큰 수를 정하고, 어텐션 점수가 낮은 토큰부터 제거함.

4. Experiments

• 표 1 (LLaVA-1.5-7B 결과): 5개 벤치마크(MME, MMB, SQA, GQA, TextVQA)에서 기존 프루닝 방법들과 비교

• 표 2 (LLaVA-NeXT-7B 결과): 다른 VLM에 적용하여 일반화 가능성을 검증

• 표 3 (자율 주행 Senna 모델 결과): 하이퍼파라미터 변경 없이 VLA 모델에 적용

4.1. LLaVA-1.5-7B에서 다양한 기존 방법들

4.2. LLaVA-NeXT-7B

4.3. 자율 주행

자율 주행은 속도가 성능에 영향을 줄 수 있을 듯. 왜냐하면, 빨리 핸들을 꺾어야 되는데, 전체 토큰으로 추론하면, 느려서 오히려 사고가 나는...

⇒ 좋은 접근인데, 그런 걸 평가하는 게 아님.

4.4. Ablation studies

생략

5. Conclusion and Limitation

생략

PACT

코드

• 축1 (Modality): Image VLM + Video
• 축2 (압축 메커니즘): Pruning + Merging
• 축3 (학습 필요성): Training-free
• 축4 (압축 시점): LLM 내부 layer
• 축5 (Guidance 신호): Key-Query 내적 + Hidden state norm
• 축6 (적응성): Fixed ratio
• 축8 (타겟 모델): General VLM

칼

Abstract

FastV는 attention score로 토큰 중요도를 정의함 ⇒ FlashAttention과 호환 X ⇒ PACT: Attention score없이 토큰 중요도를 정의

FastV는 only pruning ⇒ PACT: pruning + merging (by DBDPC(Distance Bounded Density Peak Clustering))

1. Introduction

• 1단계: EUTI로 중요하지 않은 토큰을 prune
• 2단계: DBDPC로 남은 중요 토큰들을 클러스터링
• 3단계: 1단계에서 제거된 토큰 중 클러스터 센터에 충분히 가까운 것들을 다시 해당 클러스터에 편입시켜 정보 손실을 복구
• 4단계: 각 클러스터 내 토큰들을 하나의 대표 토큰으로 merge하여 최종 토큰 수를 줄임

2. Related Work

2.1. VLM

• LLaVA-OneVision

  • 이미지를 384×384 크롭으로 분할
  • SigLIP으로 인코딩 후 쌍선형 보간법으로 토큰 축소
  • 최대 8,748개 토큰

• InternVL2

  • 이미지를 448×448 타일로 분할 (이미지당 최대 40타일)
  • InternViT로 처리 후 픽셀 셔플로 토큰 축소
  • 최대 10,240개 토큰

• Qwen2-VL

  • 2D Rotary Positional Embeddings로 동적 해상도 지원
  • MLP 레이어로 인접 토큰 병합
  • 고해상도 이미지 시 여전히 10,000개 이상 토큰 필요

2.2. Visual token reduction

• LLaVA-PruMerge의 병합: 가지치기로 버려진 토큰의 정보를 유지된 토큰에 흡수시키는 것임. 목적은 프루닝으로 인한 정보 손실 완화임. 유지된 토큰들 사이의 중복은 건드리지 않으므로, 결과적으로 "무관한 토큰 제거"만 수행함.

• PACT의 병합: DBDPC로 유지된 토큰들 중 시각적으로 유사한 것들을 클러스터링한 뒤 하나의 대표 토큰으로 합치는 것임. 목적은 시각적 중복 제거임. 여기에 프루닝(EUTI)까지 결합하므로, "무관한 토큰 제거"와 "중복 토큰 통합"을 동시에 수행함.

정리하면, LLaVA-PruMerge는 프루닝 후 정보 복구를 위해 병합하고, PACT는 프루닝과 별도로 중복 토큰을 줄이기 위해 병합한다는 점에서 근본적으로 다름.

3. Method

참고로 보통 $d = n_h \times d_h$ 이므로, $6 = 2 \times 3$ 으로 딱 맞습니다.

1. 은닉 상태 $H \in \mathbb{R}^{n \times d}$ → $\mathbb{R}^{4 \times 6}$

이미지를 4개의 패치(토큰)로 나눴다고 생각하면:

$$H = \begin{bmatrix} p_1 \ p_2 \ p_3 \ p_4 \end{bmatrix} = \begin{bmatrix} 0.1 & 0.3 & 0.5 & 0.2 & 0.4 & 0.6 \ 0.2 & 0.1 & 0.4 & 0.3 & 0.5 & 0.1 \ 0.5 & 0.2 & 0.3 & 0.1 & 0.6 & 0.4 \ 0.3 & 0.4 & 0.1 & 0.5 & 0.2 & 0.3 \end{bmatrix}$$

각 행이 하나의 시각적 토큰(이미지 패치)의 표현입니다.

2. 키 행렬 $K \in \mathbb{R}^{n \times n_h \times d_h}$ → $\mathbb{R}^{4 \times 2 \times 3}$

이것은 3차원 텐서입니다. 각 토큰($n$=4)마다, 각 헤드($n_h$=2)마다, 3차원($d_h$=3) 벡터가 있습니다.

구조를 직관적으로 보면:

토큰 1:  헤드1 → [0.1, 0.3, 0.5]    헤드2 → [0.2, 0.4, 0.6]
토큰 2:  헤드1 → [0.2, 0.1, 0.4]    헤드2 → [0.3, 0.5, 0.1]
토큰 3:  헤드1 → [0.5, 0.2, 0.3]    헤드2 → [0.1, 0.6, 0.4]
토큰 4:  헤드1 → [0.3, 0.4, 0.1]    헤드2 → [0.5, 0.2, 0.3]

3. 아래첨자·위첨자 표기법: $k_i^{(j)}$

$k_i^{(j)}$ = $i$번째 토큰, $j$번째 헤드의 키 벡터

위 표에서 몇 가지를 꺼내보면:

$$k_1^{(1)} = [0.1,\ 0.3,\ 0.5] \quad \leftarrow \text{토큰 1, 헤드 1}$$

$$k_1^{(2)} = [0.2,\ 0.4,\ 0.6] \quad \leftarrow \text{토큰 1, 헤드 2}$$

$$k_3^{(1)} = [0.5,\ 0.2,\ 0.3] \quad \leftarrow \text{토큰 3, 헤드 1}$$

$$k_4^{(2)} = [0.5,\ 0.2,\ 0.3] \quad \leftarrow \text{토큰 4, 헤드 2}$$

쿼리도 동일한 구조입니다. 예를 들어 $q_2^{(1)}$은 "토큰 2, 헤드 1의 쿼리 벡터"이고 역시 $\mathbb{R}^{3}$ 벡터입니다.

3.1. Unimportant tokens identification

토큰 중요도를 어떤 토큰이 다른 모든 토큰으로부터 받는 총 어텐션 점수로 정의하는 것에는 세 가지 주요 단점이 있음.

1. 현재의 VLMs는 attention score 출력을 지원하지 않는 FlashAttention을 사용.

2. Attention score는 masking으로 인해 편향이 발생. Figure 1에서 볼 수 있듯, (a): 뒤쪽 토큰이 prune (b): 앞쪽 토큰이 prune

   (a)의 경우: h1이 받는 어텐션: h1→h1, h2→h1, h3→h1, h4→h1 (4개로부터 받음) → 합산 후 4로 나눔 h4가 받는 어텐션: h4→h4 (자기 자신만 h4를 볼 수 있음) → 합산 후 4로 나눔

   (b)의 경우: h1이 받는 어텐션: 4개로부터 받음 → 4로 나눔 h4가 받는 어텐션: 1개로부터 받음 → 1로 나눔

3. 단일 레이어의 키·쿼리만으로는 전체 모델에 걸친 토큰의 중요도를 포착하기 어려움. 각 레이어마다 저수준(색상, 엣지)부터 고수준(객체, 의미)까지 서로 다른 특징에 집중하기 때문에, 한 레이어의 관점만으로 판단하면 다른 레이어에서 중요한 토큰을 놓칠 수 있음.

Efficient Unimportant Tokens Identification (EUTI)

Hidden state의 norm이 각 visual token이 network를 통해 얼마나 많은 정보를 전달하는지를 반영한다고 가정.

다음 과정을 따라가면 중요한 토큰들, 않은 토큰들을 구분 가능.

예시)

1. 은닉 상태 $H \in \mathbb{R}^{n \times d}$ → $\mathbb{R}^{4 \times 6}$

이미지를 4개의 패치(토큰)로 나눴다고 생각하면:

$$H = \begin{bmatrix} h_1 \ h_2 \ h_3 \ h_4 \end{bmatrix} = \begin{bmatrix} 0.1 & 0.3 & 0.5 & 0.2 & 0.4 & 0.6 \ 0.2 & 0.1 & 0.4 & 0.3 & 0.5 & 0.1 \ 0.5 & 0.2 & 0.3 & 0.1 & 0.6 & 0.4 \ 0.3 & 0.4 & 0.1 & 0.5 & 0.2 & 0.3 \end{bmatrix}$$

각 행이 하나의 시각적 토큰(이미지 패치)의 표현입니다.

2. 키 행렬 $K \in \mathbb{R}^{n \times n_h \times d_h}$ → $\mathbb{R}^{4 \times 2 \times 3}$

3차원 텐서입니다. 각 토큰($n$=4)마다, 각 헤드($n_h$=2)마다, 3차원($d_h$=3) 벡터가 있습니다.

토큰 1:  헤드1 → [0.1, 0.3, 0.5]    헤드2 → [0.2, 0.4, 0.6]
토큰 2:  헤드1 → [0.2, 0.1, 0.4]    헤드2 → [0.3, 0.5, 0.1]
토큰 3:  헤드1 → [0.5, 0.2, 0.3]    헤드2 → [0.1, 0.6, 0.4]
토큰 4:  헤드1 → [0.3, 0.4, 0.1]    헤드2 → [0.5, 0.2, 0.3]

3. 아래첨자·위첨자 표기법: $k_i^{(j)}$

$k_i^{(j)}$ = $i$번째 토큰, $j$번째 헤드의 키 벡터

$$k_1^{(1)} = [0.1,\ 0.3,\ 0.5] \quad \leftarrow \text{토큰 1, 헤드 1}$$

$$k_1^{(2)} = [0.2,\ 0.4,\ 0.6] \quad \leftarrow \text{토큰 1, 헤드 2}$$

$$k_3^{(1)} = [0.5,\ 0.2,\ 0.3] \quad \leftarrow \text{토큰 3, 헤드 1}$$

$$k_4^{(2)} = [0.5,\ 0.2,\ 0.3] \quad \leftarrow \text{토큰 4, 헤드 2}$$

쿼리도 동일한 구조입니다. 예를 들어 $q_2^{(1)}$은 "토큰 2, 헤드 1의 쿼리 벡터"이고 역시 $\mathbb{R}^{3}$ 벡터입니다.

4. 쿼리 행렬 $Q$ 구체 값

토큰 1:  헤드1 → [0.3, 0.1, 0.4]    헤드2 → [0.5, 0.2, 0.1]
토큰 2:  헤드1 → [0.1, 0.5, 0.2]    헤드2 → [0.3, 0.4, 0.3]
토큰 3:  헤드1 → [0.4, 0.3, 0.6]    헤드2 → [0.1, 0.6, 0.5]
토큰 4:  헤드1 → [0.2, 0.1, 0.8]    헤드2 → [0.7, 0.2, 0.1]

단계 1: 글로벌 쿼리 $Q_{global}$ 계산

$$Q_{global} = \frac{1}{n}\sum_{i=1}^{n} Q_i = \frac{1}{4}(Q_1 + Q_2 + Q_3 + Q_4)$$

헤드 1

$$q_{global}^{(1)} = \frac{1}{4}\big([0.3, 0.1, 0.4] + [0.1, 0.5, 0.2] + [0.4, 0.3, 0.6] + [0.2, 0.1, 0.8]\big)$$

$$= \frac{1}{4}[1.0,\ 1.0,\ 2.0] = [0.25,\ 0.25,\ 0.50]$$

헤드 2

$$q_{global}^{(2)} = \frac{1}{4}\big([0.5, 0.2, 0.1] + [0.3, 0.4, 0.3] + [0.1, 0.6, 0.5] + [0.7, 0.2, 0.1]\big)$$

$$= \frac{1}{4}[1.6,\ 1.4,\ 1.0] = [0.40,\ 0.35,\ 0.25]$$

결과

$$Q_{global} = \begin{cases} \text{헤드 1:} & [0.25,\ 0.25,\ 0.50] \ \text{헤드 2:} & [0.40,\ 0.35,\ 0.25] \end{cases}$$

의미: 4개의 토큰이 "전체적으로 어떤 정보를 찾고 있는지"를 평균낸 대표 쿼리입니다.

단계 2: 각 토큰의 중요도 점수 계산 (내적)

각 토큰 $i$의 키 벡터 $k_i^{(j)}$와 글로벌 쿼리 $q_{global}^{(j)}$의 내적을 헤드별로 구합니다.

헤드 1: $q_{global}^{(1)} = [0.25,\ 0.25,\ 0.50]$

헤드 2: $q_{global}^{(2)} = [0.40,\ 0.35,\ 0.25]$

중요도 점수 요약

토큰 1이 두 헤드 모두에서 가장 높은 점수를 받았습니다. 이는 토큰 1의 키가 "전체 토큰들이 평균적으로 찾고 있는 정보(글로벌 쿼리)"와 가장 잘 부합한다는 뜻입니다.

단계 3: 헤드별 소프트맥스 적용

소프트맥스는 같은 헤드 내의 4개 토큰 사이에서 적용합니다.

$$\text{Softmax}(x_i) = \frac{e^{x_i}}{\sum_{k=1}^{4} e^{x_k}}$$

헤드 1: 내적값 [0.350, 0.275, 0.325, 0.225]

$$e^{0.350} = 1.419, \quad e^{0.275} = 1.317, \quad e^{0.325} = 1.384, \quad e^{0.225} = 1.252$$

$$\text{합} = 1.419 + 1.317 + 1.384 + 1.252 = 5.372$$

헤드 2: 내적값 [0.370, 0.320, 0.350, 0.345]

$$e^{0.370} = 1.448, \quad e^{0.320} = 1.377, \quad e^{0.350} = 1.419, \quad e^{0.345} = 1.412$$

$$\text{합} = 1.448 + 1.377 + 1.419 + 1.412 = 5.656$$

단계 4: 헤드 간 평균

$$\text{avg}i = \frac{1}{n_h}\sum{j=1}^{n_h} \text{Softmax}(k_i^{(j)} \cdot q_{global}^{(j)})$$

단계 5: 은닉 상태 노름 $|h_i|_2$ 계산

처음에 설정한 $H$에서 각 행의 L2 노름을 구합니다.

단계 6: 최종 중요도 점수 $s_i$

$$s_i = \frac{1}{n_h} \sum_{j=1}^{n_h} \text{Softmax} \left( k_i^{(j)} \cdot Q_{global}^{(j)} \right) \cdot |h_i|_2$$

즉, $s_i = \text{avg}_i \times |h_i|_2$ 입니다.

점수 순위: 토큰 1 (0.2481) > 토큰 3 (0.2426) > 토큰 4 (0.1930) > 토큰 2 (0.1827)

단계 7: $\lambda$로 중요/비중요 토큰 분류

$\lambda$는 "비중요로 간주할 비율"입니다.

$$S_{important} = {i \mid s_i \geq \text{Percentile}(s, \lambda)}$$

$$S_{unimportant} = {i \mid s_i < \text{Percentile}(s, \lambda)}$$

예시 A: $\lambda = 0.5$ (하위 50% 제거)

점수를 정렬하면: [0.1827, 0.1930, 0.2426, 0.2481]

50번째 퍼센타일 = 하위 2개와 상위 2개의 경계 ≈ 0.2178

$$S_{important} = {i \mid s_i \geq 0.2178} = {\text{토큰 1},\ \text{토큰 3}}$$

$$S_{unimportant} = {i \mid s_i < 0.2178} = {\text{토큰 2},\ \text{토큰 4}}$$

예시 B: $\lambda = 0.25$ (하위 25%만 제거)

25번째 퍼센타일 ≈ 0.1879 (하위 1개만 걸림)

$$S_{important} = {\text{토큰 1},\ \text{토큰 3},\ \text{토큰 4}}$$

$$S_{unimportant} = {\text{토큰 2}}$$

전체 흐름 요약

$$\underbrace{\text{내적}}{\text{토큰이 얼마나 "찾는 정보"와 맞는가}} \xrightarrow{\text{softmax}} \underbrace{\text{상대 확률}}{\text{헤드 내 정규화}} \xrightarrow{\text{헤드 평균}} \underbrace{\text{어텐션 중요도}}{\text{헤드 간 종합}} \xrightarrow{\times |h_i|_2} \underbrace{s_i}{\text{표현 크기까지 반영}}$$

3.2. Clustering-based merging of visual tokens

다음 과정을 따라가면 클러스터 집합을 얻을 수 있음.

1. 모든 점의 밀도 $\rho$를 계산해서 밀도 순으로 정렬한다.
2. 밀도 1위 → 무조건 첫 번째 중심점.
3. 밀도 2위 → 기존 중심점들과의 최소 거리가 $d_c$보다 큰가? 크면 새로운 중심, 작으면 그냥 패스(나중에 가장 가까운 중심에 할당됨).
4. 밀도 3위, 4위, ... 같은 방식으로 반복.
5. 중심이 다 정해지면, 중심이 아닌 모든 점을 가장 가까운 중심에 할당.

예시)

단계 8: DBDPC 입력 준비 — $K'$ 구성

$$K' = {u_i \in K \mid i \in S_{important}}$$

DBDPC는 하나의 어텐션 헤드의 키 벡터를 사용합니다. 여기서는 헤드 1을 사용합니다.

입력: $q = 3$개 벡터, $d_1 = 3$차원

단계 9: 거리 행렬 계산

$$d_{ij} = 1 - \frac{u_i \cdot u_j}{|u_i|_2 |u_j|_2}$$

이것은 코사인 거리입니다. 값이 0이면 완전히 같은 방향, 1이면 직교, 2이면 정반대 방향입니다.

먼저 노름 계산

$$|u_1| = \sqrt{0.01 + 0.09 + 0.25} = \sqrt{0.35} = 0.5916$$

$$|u_2| = \sqrt{0.25 + 0.04 + 0.09} = \sqrt{0.38} = 0.6164$$

$$|u_3| = \sqrt{0.09 + 0.16 + 0.01} = \sqrt{0.26} = 0.5099$$

$d_{12}$ (토큰 1 ↔ 토큰 3)

$$u_1 \cdot u_2 = 0.1 \times 0.5 + 0.3 \times 0.2 + 0.5 \times 0.3 = 0.05 + 0.06 + 0.15 = 0.26$$

$$d_{12} = 1 - \frac{0.26}{0.5916 \times 0.6164} = 1 - \frac{0.26}{0.3647} = 1 - 0.7128 = \mathbf{0.2872}$$

$d_{13}$ (토큰 1 ↔ 토큰 4)

$$u_1 \cdot u_3 = 0.1 \times 0.3 + 0.3 \times 0.4 + 0.5 \times 0.1 = 0.03 + 0.12 + 0.05 = 0.20$$

$$d_{13} = 1 - \frac{0.20}{0.5916 \times 0.5099} = 1 - \frac{0.20}{0.3017} = 1 - 0.6629 = \mathbf{0.3371}$$

$d_{23}$ (토큰 3 ↔ 토큰 4)

$$u_2 \cdot u_3 = 0.5 \times 0.3 + 0.2 \times 0.4 + 0.3 \times 0.1 = 0.15 + 0.08 + 0.03 = 0.26$$

$$d_{23} = 1 - \frac{0.26}{0.6164 \times 0.5099} = 1 - \frac{0.26}{0.3143} = 1 - 0.8273 = \mathbf{0.1727}$$

거리 행렬 요약

$u_2$와 $u_3$(토큰 3과 토큰 4)가 거리 0.1727로 가장 가까움

단계 10: 국소 밀도 $\rho_i$ 계산

$$\rho_i = \sum_{j} e^{-d_{ij} / d_n}$$

정규화 인자를 $d_n = 0.3$으로 설정합니다.

$\rho_1$

$$\rho_1 = e^{0} + e^{-0.2872/0.3} + e^{-0.3371/0.3} = 1 + e^{-0.957} + e^{-1.124}$$

$$= 1 + 0.384 + 0.325 = \mathbf{1.709}$$

$\rho_2$

$$\rho_2 = e^{-0.2872/0.3} + e^{0} + e^{-0.1727/0.3} = 0.384 + 1 + e^{-0.576}$$

$$= 0.384 + 1 + 0.562 = \mathbf{1.946}$$

$\rho_3$

$$\rho_3 = e^{-0.3371/0.3} + e^{-0.1727/0.3} + e^{0} = 0.325 + 0.562 + 1$$

$$= \mathbf{1.887}$$

밀도 순위

$$\rho_2\ (1.946) > \rho_3\ (1.887) > \rho_1\ (1.709)$$

$u_2$(토큰 3)가 가장 밀도가 높음 → 주변에 가까운 벡터가 많다는 뜻

단계 11: 클러스터 중심 선택

컷오프 거리를 $d_c = 0.25$로 설정합니다.

밀도가 높은 순서대로 처리합니다:

① $u_2$ (밀도 1위, $\rho = 1.946$)

아직 선택된 중심이 없으므로 → $u_2$를 첫 번째 클러스터 중심으로 지정

② $u_3$ (밀도 2위, $\rho = 1.887$)

이미 선택된 중심 $u_2$와의 거리: $d_{23} = 0.1727$

$0.1727 < d_c = 0.25$ → 너무 가까움 → 중심으로 지정하지 않음

③ $u_1$ (밀도 3위, $\rho = 1.709$)

이미 선택된 중심 $u_2$와의 거리: $d_{12} = 0.2872$

$0.2872 > d_c = 0.25$ → 충분히 멀음 → $u_1$을 두 번째 클러스터 중심으로 지정

결과

$$C_{centers} = {u_2,\ u_1} = {\text{토큰 3},\ \text{토큰 1}}$$

단계 12: 나머지 벡터 할당

중심이 아닌 벡터 $u_3$(토큰 4)를 가장 가까운 중심에 할당합니다.

클러스터링 결과

$$C_{elements} = \begin{cases} \text{클러스터 A (중심: 토큰 3):} & {\text{토큰 3},\ \text{토큰 4}} \ \text{클러스터 B (중심: 토큰 1):} & {\text{토큰 1}} \end{cases}$$

보장되는 성질 확인

"각 벡터에서 해당 클러스터 중심까지의 거리가 $d_c$ 보다 작다"

단계 13: 비중요 토큰 복구

처음에 비중요($S_{unimportant}$)로 분류되었더라도, 클러스터 중심과 충분히 가깝다면 오분류되었을 가능성이 큽니다. 정보 손실을 줄이기 위해 이런 토큰을 해당 클러스터에 다시 추가합니다.

복구 조건

계수 $\alpha$에 기반한 임계값을 사용합니다. 비중요 토큰 $u_i$에 대해, 가장 가까운 중심 $s \in C_{centers}$와의 거리 $d_{is}$가 다음을 만족하면 복구합니다:

$$S_{added}(s) = {i \in S_{unimportant} \mid s = \arg\min_{s' \in C_{centers}} d_{is'} \text{ and } d_{is} < \alpha \cdot d_c}$$

$$C_{elements}(s) \leftarrow C_{elements}(s) \cup S_{added}(s)$$

파라미터 설정

$$\alpha = 0.8, \quad d_c = 0.25 \quad \Rightarrow \quad \text{임계값} = \alpha \cdot d_c = 0.8 \times 0.25 = 0.20$$

비중요 토큰 확인

$S_{unimportant} = {\text{토큰 2}}$이므로, 토큰 2의 키 벡터(헤드 1)를 가져옵니다:

$$u_{\text{토큰2}} = [0.2,\ 0.1,\ 0.4], \quad |u_{\text{토큰2}}| = \sqrt{0.04 + 0.01 + 0.16} = \sqrt{0.21} = 0.4583$$

토큰 2 → 각 클러스터 중심까지 거리 계산

중심 $u_2$ (토큰 3) = [0.5, 0.2, 0.3]까지:

$$u_{\text{토큰2}} \cdot u_2 = 0.2 \times 0.5 + 0.1 \times 0.2 + 0.4 \times 0.3 = 0.10 + 0.02 + 0.12 = 0.24$$

$$d = 1 - \frac{0.24}{0.4583 \times 0.6164} = 1 - \frac{0.24}{0.2825} = 1 - 0.8496 = \mathbf{0.1504}$$

중심 $u_1$ (토큰 1) = [0.1, 0.3, 0.5]까지:

$$u_{\text{토큰2}} \cdot u_1 = 0.2 \times 0.1 + 0.1 \times 0.3 + 0.4 \times 0.5 = 0.02 + 0.03 + 0.20 = 0.25$$

$$d = 1 - \frac{0.25}{0.4583 \times 0.5916} = 1 - \frac{0.25}{0.2712} = 1 - 0.9218 = \mathbf{0.0782}$$

판정

토큰 2는 중심 $u_1$(토큰 1)과의 거리가 0.0782로, 임계값 0.20보다 작으므로 클러스터 B에 복구됩니다.

$$S_{added}(u_1) = {\text{토큰 2}}$$

$$C_{elements}(u_1) \leftarrow {\text{토큰 1}} \cup {\text{토큰 2}} = {\text{토큰 1},\ \text{토큰 2}}$$

복구 후 최종 클러스터

$$C_{elements} = \begin{cases} \text{클러스터 A (중심: 토큰 3):} & {\text{토큰 3},\ \text{토큰 4}} \ \text{클러스터 B (중심: 토큰 1):} & {\text{토큰 1},\ \text{토큰 2}} \leftarrow \text{토큰 2 복구됨!} \end{cases}$$

직관: 토큰 2는 EUTI 중요도 점수에서는 가장 낮았지만, 실제 키 벡터의 방향이 토큰 1과 매우 유사했습니다(코사인 거리 0.0782). 이는 토큰 2가 토큰 1과 비슷한 시각 정보를 담고 있어서, 단순히 제거하면 정보 손실이 발생할 수 있음을 의미합니다. $\alpha$ 파라미터 덕분에 이런 오분류를 바로잡을 수 있습니다.

단계 14: 병합 — 클러스터별 은닉 상태 평균

각 클러스터에 속한 토큰들의 은닉 상태 $h_i$를 평균내서 하나의 대표 벡터로 만듭니다.

클러스터 A: 토큰 3, 토큰 4

$h_3 = [0.5,\ 0.2,\ 0.3,\ 0.1,\ 0.6,\ 0.4]$ $h_4 = [0.3,\ 0.4,\ 0.1,\ 0.5,\ 0.2,\ 0.3]$ $h'_A = \frac{1}{2}(h_3 + h_4) = \frac{1}{2}[0.8,\ 0.6,\ 0.4,\ 0.6,\ 0.8,\ 0.7] = [0.40, 0.30, 0.20, 0.30, 0.40, 0.35]$

클러스터 B: 토큰 1, 토큰 2

$h_1 = [0.1,\ 0.3,\ 0.5,\ 0.2,\ 0.4,\ 0.6]$ $h_2 = [0.2,\ 0.1,\ 0.4,\ 0.3,\ 0.5,\ 0.1]$ $h'_B = \frac{1}{2}(h_1 + h_2) = \frac{1}{2}[0.3,\ 0.4,\ 0.9,\ 0.5,\ 0.9,\ 0.7] = [0.15,\ 0.20,\ 0.45,\ 0.25,\ 0.45,\ 0.35]$

최종 결과

$H' = {h'_A,\ h'_B} = \begin{bmatrix} 0.40 & 0.30 & 0.20 & 0.30 & 0.40 & 0.35 \ 0.15 & 0.20 & 0.45 & 0.25 & 0.45 & 0.35 \end{bmatrix}$

단계 15: 위치 ID (Position IDs) 할당

병합된 $H'$의 각 벡터에 위치 ID를 부여해야 합니다. Rotary embeddings를 사용하는 모델에서는 이 위치 ID가 이미지의 공간 구조나 비디오의 시간 순서를 결정하기 때문에 매우 중요합니다.

원래 토큰의 위치 ID

이미지를 2×2 그리드로 나눴다고 하면, 원래 4개 토큰의 위치 ID는 다음과 같습니다:

클러스터 중심의 위치 ID를 그대로 사용

각 클러스터의 대표 벡터에는 해당 클러스터 중심 토큰의 위치 ID를 할당합니다.

비례 어텐션

토큰 병합 시 영향력이 줄어드는 문제를 보상하기 위해, 각 병합 토큰의 클러스터 크기를 가중치로 어텐션 스코어에 반영함. 예를 들어 3개가 합쳐진 토큰은 어텐션을 3배 더 받도록 조정하여, 원래 여러 토큰을 대표하고 있음을 어텐션 메커니즘에 반영함. 텍스트 토큰은 병합되지 않으므로 가중치 1로 영향 없음.

토큰 감소를 위한 레이어 L 선택

레이어 L은 계산 효율을 위해 최대한 초기 레이어를 선택하되, 키 벡터들 간 최대 거리가 충분히 확보되는 가장 이른 레이어를 선택함. 초기 레이어에서는 키들이 너무 유사해 구별이 어려우므로, 특징적 차별성이 확보되는 시점을 찾아야 함.

• 공격: 초기 레이어에서 키가 유사하면 오히려 병합이 잘 되는 것 아닌가? 유사한 토큰끼리 합치는 게 목적이니까 더 효율적일 수 있음.

• 방어: 초기 레이어의 유사성은 토큰들이 실제로 같은 정보를 담고 있어서가 아니라, 아직 셀프 어텐션을 충분히 거치지 않아 키의 표현력이 부족하기 때문임. 이 상태에서 병합하면 실제로는 다른 정보를 가진 토큰들이 잘못 합쳐져 정보 손실이 발생함. 프루닝 역시 중요한 토큰과 불필요한 토큰을 구별할 수 없으므로 정확도가 떨어짐.

4. Experiments

• Table 1: LLaVA-OneVision-7B에서 동일 성능(98.6% Metric Ratio) 기준으로 각 방법의 감소율, 처리량, GPU 메모리를 비교함. PACT가 71.3% 감소율, 225% 속도 향상, 31% 메모리 절감으로 가장 우수함. FastV는 어텐션 점수 계산 비용 때문에 오히려 GPU 메모리가 감소 미적용 시보다 높아짐.

• Table 2: LLaVA-OneVision-7B에서 PACT가 대부분의 테스트 데이터셋에서 FastV, VTW, ToME보다 우수한 성능을 보임.

• Figure 4: LLaVA-OneVision-7B에서 PACT, DBDPC, EUTI를 다른 방법들과 다양한 감소율에서 비교함. PACT가 DBDPC와 EUTI 각각보다 우수하여 프루닝+클러스터링 결합의 효과를 입증함. EUTI는 동일 감소율에서 FastV보다 우수하면서 메모리 오버헤드도 없음.

• Figure 5: LLaVA-1.6-Mistral-7B에서의 비교. PACT가 다른 방법들을 일관되게 능가함.

• Figure 6: Qwen2-VL-7B-Instruct에서의 비교. PACT가 일관되게 우수함.

• Figure 7: InternVL2-8B에서의 비교. PACT가 일관되게 우수함.

• Figure 8: DBDPC를 응집형 클러스터링, k-means, DPC, DBSCAN과 비교함. DBDPC가 동일 감소율에서 성능 저하가 가장 적고 처리량도 우수함. 클러스터 내 거리를 임계값으로 제한하는 것의 효과를 입증함.

• Figure 9: DBDPC와 EUTI의 절제 실험 결과.
  • 토큰 병합 vs 센터 선택: 감소율 50% 초과 시 병합이 더 우수함
  • 비례 어텐션: 높은 감소율에서 효과적
  • 위치 ID 할당: 클러스터 센터의 위치 ID를 사용하는 것이 가장 중요함 (이미지 구조, 비디오 시간 순서 반영)
  • 클러스터링 입력: 키 벡터가 히든 스테이트보다 코사인 유사도 기반 거리 계산에 적합함
  • EUTI 절제: 글로벌 쿼리 점수와 히든 스테이트 노름을 결합하는 것이 각각 단독보다 우수하며, 두 지표가 상호 보완적임을 확인함

Q: 토큰에 위치 ID라는 게 있나? 그냥 순서 정하는 용도 아닌가? A: 아님. 위치 ID는 RoPE(Rotary Positional Embedding)의 입력으로 실제 사용되는 값임. RoPE는 위치 ID를 기반으로 Q, K에 회전 변환을 적용하여, 가까운 위치의 토큰끼리 어텐션이 높아지도록 함. 따라서 위치 ID 값 자체가 토큰 간 상대적 거리 정보를 어텐션 계산에 직접 반영함.

Q: 그래서 병합 후 위치 ID 할당이 왜 중요한가? A: 클러스터 센터의 원래 위치 ID를 유지하면 이미지의 공간 구조가 보존됨. 반면 순차 재할당이나 평균 사용 시 원래의 거리 정보가 손실되어 모델이 토큰 간 관계를 잘못 인식하게 됨. 절제 실험에서도 센터의 원래 위치 ID를 사용하는 것이 가장 우수한 성능을 보임.

• Figure 10: PACT의 절제 실험 결과.
  • 프루닝된 토큰 복구(α > 0): 클러스터 센터에 가까운 토큰을 재편입하면 다양한 감소율에서 일관되게 성능이 향상됨. 해당 토큰들이 EUTI에 의해 잘못 분류되었을 가능성을 뒷받침함.
  • 감소 레이어 선택: 레이어 선택이 성능에 영향을 미치며, 논문의 레이어 식별 방식의 효과를 입증함.

FastV

코드

• 축1 (Modality): Image VLM + Video
• 축2 (압축 메커니즘): Pruning
• 축3 (학습 필요성): Training-free
• 축4 (압축 시점): LLM 내부 layer
• 축5 (Guidance 신호): Attention
• 축6 (적응성): Fixed ratio
• 축8 (타겟 모델): LLaVA / Video LLM / General VLM

의문점 및 발전 가능성

1. Table 7의 (c) 랜덤으로 이미지 토큰 50%를 제거한 것임. 근데 생각보다 acc drop이 없는거 같은데?

   ⇒ 랜덤으로 이미지 토큰 50%를 제거해도 성능 하락이 매우 작습니다. 이것은 오히려 논문의 핵심 발견을 강하게 뒷받침합니다. 깊은 레이어에서 이미지 토큰이 거의 attention을 받지 못한다는 것은, 어떤 이미지 토큰을 제거하든 출력에 미치는 영향이 작다는 뜻이기 때문입니다. 이미지 토큰 대부분이 이미 깊은 레이어에서 불필요하므로, 랜덤으로 골라도 "중요한 토큰"을 제거할 확률 자체가 낮습니다. 또한 K=2라는 점도 중요합니다. 레이어 2까지는 정상적으로 연산이 진행되어 이미지 정보가 anchor 토큰에 이미 집약된 상태입니다. 그 이후에 제거하는 것이므로, 랜덤이든 attention 기반이든 영향이 제한적입니다.

   다만 R을 75%나 90%로 올리면 (c)와 (b)의 차이가 더 벌어질 것으로 예상됩니다. 극단적으로 많이 제거할 때는 소수의 중요한 이미지 토큰을 보존하는 것이 중요해지므로, 그때 attention 기반 정렬의 이점이 더 드러납니다.

2. FastV의 속도 이점은 주로 prefill 단계에서 발생하며, 줄어든 토큰이 디코딩 시 계산량 감소에는 기여하지만 시간 감소 효과는 작기 때문에, Table 4 실험에서 디코딩을 한 번만 수행하는 A-OKVQA를 선택하여 prefill 절감을 부각시킨 것은 다소 트리키한 평가 설계이다.

칼

Abstract

LVLM의 심층 레이어에서 visual tokens에 대한 attention 연산이 비효율적 ⇒ 초기 레이어에서 adaptive attention pattern을 학습, 후속 레이어에서 visual token을 pruning해서, computational efficiency를 최적화하는 play-and-play 방식 FastV

FastV 한줄 요약

깊은 레이어에서 이미지 토큰이 거의 attention을 받지 못하므로, 얕은 레이어 이후에 attention score가 낮은 이미지 토큰을 제거해도 성능 손실 없이 계산량을 크게 줄일 수 있다

1. Introduction

아직 충분히 탐구되지 않은 질문

1. 언어 모델은 이미지를 어떻게 처리하고 해석하나?
2. LVLM에서 훈련, 추론에 대한 최적화 X

문제 발견

LVLM의 깊은 레이어에서 이미지 토큰은 극히 낮은 attention을 받는다. 깊은 레이어에서 이미지 토큰의 평균 attention score는 시스템 프롬프트의 0.21%에 불과하며, 얕은 레이어에서는 50%에 달해 레이어 깊이에 따라 큰 차이가 있다.

가설

얕은 레이어의 self-attention을 통해 이미지 토큰의 정보가 특정 anchor 토큰(시스템 프롬프트 등 텍스트 토큰)으로 집약된다. 이미지의 시각 신호가 높은 중복성을 가지기 때문에 이 압축이 가능하다. 깊은 레이어에서는 모델이 이 anchor 토큰만 참조하므로 이미지 토큰에 대한 attention이 급격히 떨어진다. 결과적으로 이미지 토큰은 출력 생성에 기여 ↓.

해결법(FastV)

특정 레이어 K까지는 정상적으로 연산을 수행하여 정보 집약이 이루어지게 하고, 레이어 K에서 각 이미지 토큰이 받은 평균 attention score를 기준으로 순위를 매긴 뒤, 하위 R%의 이미지 토큰을 이후 레이어에서 제거한다.

2. Related Work

2.1. Large Vision-Language Model

생략

2.2. Inference Optimiation for LLM

Autoregressive 방식의 어려움(attention 연산의 이차 복잡성)의 해결법은 두 가지 범주로 나뉨.

1. Attention 모듈의 메모리 소비 최적화 FlashAttention, vLLM, RingAttention

2. Attention 연산을 프루닝하여, 계산을 단순화 StreamingLLM, FastGen

2.3. Token Reduction for VLMs

이전까지는 ViT 자체에서 토큰을 감소시킴

FastV는 LLM에서 나오는 신호를 활용하여 visual token을 pruning하는 첫 번째 방법

3. Inefficient Visual Attention in VLLMs

3.1. Preliminaries

입력 토큰은 네 종류로 구분된다

1. LLM 행동을 제어하는 시스템 프롬프트(sys)
2. 비전 인코더에서 나온 이미지 토큰(img)
3. 질문을 담은 사용자 지시어(ins)
4. 그리고 자기회귀적으로 생성되는 출력 토큰(out)

3.2. Experiment Settings

예시로 이해)

2번째 output 토큰을 생성하는 시점이므로, 이 토큰은 앞에 있는 모든 토큰에 대해 attention을 계산합니다.

앞에 있는 토큰은 sys 3개 + img 4개 + ins 5개 + out 1개(1번째 output) = 총 13개입니다.

hidden dim 10이므로 Q, K 벡터는 각각 10차원이고, Q·K^T로 13개의 score를 구한 뒤 √10으로 나누고 softmax를 취합니다.

softmax 출력이 다음과 같다고 가정합니다:

• sys₁=0.12, sys₂=0.15, sys₃=0.10,
• img₁=0.03, img₂=0.02, img₃=0.01, img₄=0.02
• ins₁=0.08, ins₂=0.09, ins₃=0.07, ins₄=0.06, ins₅=0.10,
• out₁=0.15

α (레이어 j에서 2번째 출력 토큰의 유형별 attention 합)

$$α{2,j}^{sys} = 0.12 + 0.15 + 0.10 = 0.37$$ $$α{2,j}^{img} = 0.03 + 0.02 + 0.01 + 0.02 = 0.08$$ $$α{2,j}^{ins} = 0.08 + 0.09 + 0.07 + 0.06 + 0.10 = 0.40$$ $$α{2,j}^{out} = 0.15$$

합계 = 0.37 + 0.08 + 0.40 + 0.15 = 1.0

λ (레이어 j에서 유형별 총 attention 할당량)

현재까지 output 토큰이 2개 생성되었으므로 n=2입니다.

1번째 output 토큰의 α가 다음과 같았다고 가정합니다:

$$α{1,j}^{sys}=0.35, α{1,j}^{img}=0.10, α{1,j}^{ins}=0.55, α{1,j}^{out}=0.00$$

그러면 수식 3에 따라:

$$λ_j^{sys} = 0.35 + 0.37 = 0.72$$ $$λ_j^{img} = 0.10 + 0.08 = 0.18$$ $$λ_j^{ins} = 0.55 + 0.40 = 0.95$$ $$λ_j^{out} = 0.00 + 0.15 = 0.15$$

ε (레이어 j에서 유형별 attention efficiency)

수식 4에 따라 λ를 각 유형의 토큰 개수로 나눕니다:

$$ε_j^{sys} = 0.72 / 3 = 0.240$$ $$ε_j^{img} = 0.18 / 4 = 0.045$$ $$ε_j^{ins} = 0.95 / 5 = 0.190$$ $$ε_j^{out} = 0.15 / 1 = 0.150$$

3.3. Results

1. 어텐션 할당량과 효율성 모두 레이어의 깊이에 따라 서로 다른 정도의 불균형을 보입니다. 레이어별 평균 어텐션 할당 및 효율성은 그림 3에 표시되어 있습니다. 얕은 레이어에서는 어텐션 할당이 깊은 레이어에 비해 상대적으로 더 균형 잡힌 모습을 보입니다. 얕은 레이어에서 출력 토큰은 이전 출력 토큰들에 어텐션을 집중하는 경향이 있는 반면, 깊은 레이어에서는 시스템 프롬프트에 어텐션을 집중하는 경향이 있습니다.

2. 이미지 토큰은 얕은 레이어와 깊은 레이어 모두에서 가장 낮은 어텐션 효율성을 기록했습니다. 시스템 프롬프트는 깊은 레이어에서 극도로 높은 어텐션 효율성을 보였는데, 이는 이미지 토큰의 472배에 달하며 전체 어텐션 스코어의 $85%$ 를 차지합니다.

3.4. Insights

1. 이미지 토큰이 입력 토큰의 대다수를 차지함에도 불구하고, 어텐션은 현저히 적다.

2. 반대로 의미론적 정보가 최소한으로 포함된 시스템 프롬프트가 어텐션 스코의 대부분을 가져감.

3. 얕은 레이어에서는 어텐션 스코어가 서로 다른 토큰들에 걸쳐 비교적 고르게 분포되어 있음을 알 수 있음.

4. 깊은 레이어에서는 시스템 프롬프트 영역에 대부분의 어텐션 스코어를 점유함.

⇒ 소수의 anchor 토큰들이 모든 입력 토큰으로부터 정보를 집계하며, 모델은 깊은 레이어에서 이러한 anchor 토큰들에 어텐션을 집중함.

3장 한 줄 요약

특히 깊은 레이어에서 소수의 anchor 토큰(시스템 토큰)들이 모든 입력 토큰으로부터 정보를 흡수함 (시스템 토큰의 attention score가 큼)

4. FastV

4.1. Dynamically Prune Vision Tokens

FastV의 핵심 모듈은 레이어 K에서 각 이미지 토큰이 다른 토큰들로부터 받은 평균 attention score(위 그림의 빨간 박스처럼 열 단위 평균)를 기준으로 중요도를 매기고, 하위 R%의 이미지 토큰을 이후 레이어에서 제거하는 것입니다. K=0으로 설정하면 LLM 입력 전에 랜덤으로 제거하는 것도 가능합니다. 별도 학습 없이 어떤 토큰 기반 LVLM에든 바로 적용할 수 있습니다.

(주의) 위 내용은 오류가 있음

논문을 literally 보면, 위 내용이 맞으나, 코드의 구현이 다름
아래 내용이 맞음

use_cache 유무에 따른 FastV pruning 동작 차이

use_cache=True: Prune은 prefill 1번만

• Prefill: layer K에서 ranking 수행 (빨간 박스는 마지막 텍스트 토큰(ins)이 나머지 토큰에 주는 attention인데, 이중 image 토큰에 주는 attention score로 ranking한다는 뜻) → hidden states 슬라이싱 → layer K부터 줄어든 시퀀스로 forward → 그 결과가 KV cache에 저장됨 (layer ≥K의 K/V는 keep된 토큰들 것만 캐시).

• Decode step: prefill에서 이미 image 토큰을 잘라냈고 KV cache도 그 세트만 들고 있으니, 남아있는 캐시만으로 토큰 생성. 별도 pruning 로직이 필요 없음.

• 효과: 한 번 정해진 prune 집합이 모든 후속 decode step에 그대로 적용됨. KV cache가 자동으로 줄어든 세트만 들고 있음.

use_cache=False: 매 forward마다 pruning 재계산

• 매 forward = full re-prefill (캐시 없음).

• 매번 layer K-1의 attention을 다시 보고 → ranking 재계산 → hidden states 다시 슬라이싱. (e.g. 위 그림에서 현재 생성중인 토큰과 기존 토큰들 + 자기자신 과의 attention score이다. 여기서 image에 해당하는 부분에서 ranking을 하는 것이다. 다음 step에는 ranking의 결과, 즉 순위가 달라져, pruning되야하는 image 토큰 집합이 달라질 수 있다.)

• 매 step마다 prune되는 image 토큰 집합이 달라질 수 있음 (그 step의 마지막 query 기준이라).

결과적인 차이 정리

한 줄 요약

• use_cache=True → "Prefill 시 instruction 끝 토큰의 attention으로 한 번 정하고 끝, 이후 고정"

• use_cache=False → "매 forward마다 그 시점의 마지막 query 기준으로 재결정 — 매번 흔들리고 비용도 N배"

4.2. Computing Cost Estimation

생략

4.3. Comparison: Training With Less Visual Tokens

FastV(추론 시 토큰 제거)의 대안으로 학습 시 인코더 출력에 pooling을 적용하여 토큰 수를 줄이는 방법이 있으며, 이 둘의 비교는 섹션 5.4에서 다룬다.

5. Experiment

5.1. Evaluation Tasks

생략

5.2. Model Settings

생략

5.3. Main Results

Image Understanding.

• Table 1, 5: FastV (K=2, R=50%)는 성능 저하 없이 다양한 LVLM에 대해 약 45%의 FLOPs 절감 달성.

• Table 4: FastV를 적용한 LLaVA-1.5-13B가 LLaVA-1.5-7B와 비슷한 속도(0.341s vs 0.344s)로 추론하면서도 더 높은 성능(80.5 vs 76.7)을 유지한다.

• Table 6: 40% 이상의 연산량 감소에도, 성능이 오히려 향상되었는데, 비디오는 2048개 토큰을 사용하므로 이미지(576개)보다 중복성이 더 심하기 때문이다.

• Table 2: InstructBLIP-Vicuna는 Q-Former가 이미 토큰을 줄이므로, 동일 설정에서 LLaVA보다 성능 저하가 약간 크지만, K를 5로 올리면 해소된다.

• Table 3: Fast(K=2, R=50%) 적용 후에도 대부분의 카테고리에서 점수가 유지되거나 소폭 상승했다.

5.4. Ablation Studies

• Figure 7:

  • K가 작을 때: R을 낮추면 성능이 향상됨.

  • K가 높을 때: R을 조정해도 성능 변화가 미미함.

• Table 7:

  • (a) 학습 시 pooling으로 토큰 50% 축소: 성능 하락

  • (c) 랜덤 프루닝: 성능 하락

  • (d) 시스템 프롬프트 프루닝: 큰 성능 하락

  • (e) 시스템 프롬프트 전반부 프루닝: 치명적 성능 붕괴

  • (f) 지시어 프루닝: 큰 성능 하락

  • (g) StreamingLLM: 치명적 성능 붕괴 ⇒ 이미지 토큰이 텍스트 토큰과는 다른 방식으로 LLM 내 정보 처리 과정에 기여.

6. Conclusion

생략

RegCache

의문점 및 발전 가능성

1. Section 2에서 Outlier control strategy in quantization에서,
   기존 PTQ 방법들은 outlier가 존재하는 상태에서 양자화 오류를 줄이는 데 집중하는 반면,

RegCache는 outlier 자체를 사전에 억제한다. 작동하는 단계가 다르기 때문에 기존 기법들과 orthogonal하게 결합할 수 있다.

라고 했는데, 그럼 RegCache 적용 이전, 이후의 outlier의 차이는?

2. 작은 vision encoder는 왜 가 없을까?

3. SigLIP2의 각 레이어를 하나씩 W8A8로 했을 때, 가장 quantization에 민감한 레이어의 입력 토큰이 특히 큼. 왜그럴까?

4. Table 5

   Table 2를 보면 저자들도 Naïve 결과는 "excluding the Naïve cases"라고 명시하면서 Best/Average ∆ 계산에서 제외했다. Naïve quantization은 베이스라인 자체가 너무 낮아서 거기서의 개선은 실질적인 의미가 희석되기 때문인 것 같다.

   그런데 Table 5 (다양한 데이터셋에서의 universality 실험)는 오직 Naïve + RegCache 조합만 보고하고 있다.

   이게 아쉬운 이유는:

   • 주장과 실험 설계의 불일치 — Table 5의 목적은 "ImageNet-1k에서 찾은 prefix가 다른 도메인에도 일반화되는가"를 보이는 건데, PTQ4ViT, RepQ-ViT, ERQ 등 실질적인 PTQ 방법들과의 조합에서도 같은 generalization 효과가 나타나는지는 확인이 안 된다.

     만약 Table 5에서 RepQ-ViT나 ERQ 같은 강한 PTQ baseline과의 조합도 함께 보고했다면, prefix의 universality 주장이 훨씬 설득력 있게 뒷받침됐을 것 같다.

칼

Abstract

Outlier로 인해, 8-bit precision에서도 quantization에 어려움이 있음.

RegCache

1. Training-free
2. 다른 quantization methods 위에 적용할 수 있는 plug-in module

RegCache 한줄 요약 RegCache는 outlier가 발생하기 쉬우면서도 semantically meaningless한 prefix tokens를 vision encoder에 도입하여, 다른 tokens에서 outliers가 발생하는 것을 방지함.

1. Introduction

Vision encoder는 edge device에서 단독으로 쓰이거나 VLM의 visual backbone으로 쓰이는데, 모델이 크다 보니 저장 공간과 추론 비용이 병목이 된다. 특히 고해상도/비디오에서는 전체 latency의 ~45%를 차지할 만큼 부담이 크다.

Vision encoder는 autoregressive LLM과 달리 non-autoregressive 방식이므로 compute-bound임. ⇒ Activation과 weight를 모두 양자화(예: INT8)하면 실제 연산 비용을 효과적으로 줄일 수 있음.

대규모 transformer의 activation 양자화는 일부 채널에 집중되는 outlier 때문에 어렵다. 기존 outlier-robust 방법들은 토큰/채널별로 스케일·정밀도를 동적으로 다르게 할당해서 정확도는 확보하지만, 그만큼 런타임 overhead가 생긴다. 이는 양자화 파라미터를 미리 고정해 하드웨어 효율을 극대화하는 static quantization의 취지와 충돌하므로, 그대로 적용하기 어렵다.

LLM에서는 의미 없는 토큰(⟨BOS⟩, ⟨SEP⟩ 등)이 attention sink 역할을 하므로, 이를 prefix로 삽입해 outlier를 흡수시키는 방법이 있다. 그러나 vision encoder는 애초에 이런 의미 없는 토큰을 포함하도록 설계·학습되지 않아서, 어떤 패치가 그 역할을 할 수 있는지 불분명하다. 최근 register라는 의미 없는 토큰을 학습 중 도입해 ViT의 interpretability를 높이려는 연구[11]가 있지만, 아직 일반적인 방식은 아니다.

RegCache가 영감 받은 관찰

Vision encoder의 중간 레이어부터 특정 토큰들이 다른 토큰들의 큰 activation 값을 흡수하는 sink token 역할을 점진적으로 하게 되며, 그 결과 자기 자신의 activation이 극단적으로 커져 outlier로 나타난다. 이 sink token들은 어떤 이미지를 넣든 activation 패턴이 거의 동일하기 때문에, 미리 추출해두면 테스트 시 아무 입력에나 붙여 쓸 수 있는 universal register로 활용할 수 있다.

주의점 작은 ViT에서는 이런 관찰 X

⇒ 중간 레이어의 registers를 찾아내어, 이를 precomputed KV cache 형태로 prefixing하여, outlier를 완화

주요 차별점

1. Middle-to-final layers insertion: LLM prefixing 과 달리, 이 토큰들은 초기 레이어가 아닌 중간에서 마지막 레이어 사이에만 삽입됨.

2. Token deletion: prefix register로 흡수한 뒤에도 남아있는 자여 sink token을 제거해 outlier를 마저 정리

3. Universal Cache: 내부에서 생성되는 sink tokens 를 외부의 precomputed caches 로 대체하여 activation quantization range 가 팽창하는 것을 방지.

4. Versatility: 별도의 추가 학습이 필요 없으므로 기존의 PTQ pipelines 에 lightweight on-top module 로 쉽게 통합될 수 있다.

Q: Sink token을 삭제하면 안 되는 거 아닌가? 비정상적으로 크다는 건 outlier를 잘 흡수했다는 뜻 아닌가?

A: 맞다, 기존 sink token이 outlier를 흡수한 건 사실이다. 하지만 두 가지 문제가 있다. 첫째, 그 토큰 자체가 극단적으로 큰 값을 가지므로 여전히 양자화 range를 넓혀야 해서 양자화 관점에서 문제가 해소되지 않는다. 둘째, 이 극단적 activation이 이후 레이어로 전파되면서 후속 블록의 activation도 연쇄적으로 커지는 원인이 된다. RegCache는 이 기존 sink token을 삭제하고, 미리 계산해둔 깔끔한 universal cache로 교체한다. 흡수 역할은 새 cache가 대신 하되, activation이 폭발적으로 커지지 않도록 관리된 형태로 삽입하는 것이 핵심이다.

2. Related work

Outliers in large-scale transformers

참고 [46]은 outliers가 LLMs, ViTs 모두에서 self-attention의 softmax operation으로 인해 발생함을 제공함

LLM에서는 outlier가 ⟨BOS⟩ 등 special token에 집중되지만, ViT에서는 배경 패치처럼 정보 없는 토큰에서 나타나며 이미지마다 위치가 달라 어떤 토큰이 일관되게 outlier를 만드는지 불분명했다. 본 연구는 이 outlier 토큰들이 중간 블록에서 나타나고, 이미지나 모델에 관계없이 유사한 feature를 보인다는 것을 발견했으며, 덕분에 미리 계산해두고 PTQ 등에 활용할 수 있게 되었다.

Improving vision transformers via controlling attention sink tokens

문제: ViT에서 sink token은 attention map의 noise로 작용해 visual performance를 저하시킨다.

기존 해결법: [11]은 학습 중 register token을 추가해 sink를 흡수시켰고, [23]은 추론 시 outlier 채널의 max activation을 별도 토큰으로 옮기는 training-free 방식을 제안했다.

본 연구: 미리 계산한 precomputed sink token을 외부에서 삽입해, 이미지별 처리 없이 activation dynamic range를 줄여 PTQ 성능을 개선한다

Post-training quantization for vision transformers

초기 방법들: self-attention에 민감한 블록에 dynamic bitwidth를 할당해 양자화 오류를 완화.

RepQViT, PTQ4ViT: LayerNorm, softmax, GELU 등에서 발생하는 outlier의 영향을 분리·최소화하는 양자화 scheme 제안.

NoisyQuant: noise를 주입해 heavy-tailed activation distribution을 재형성.

FIMA-Q: PTQ를 위한 round-function 최적화 도입.

ERQ: activation과 weight를 순차적으로 양자화하는 2단계 절차로 양자화 오류 감소.

Outlier control strategy in quantization

기존 PTQ 방법들은 outlier가 존재하는 상태에서 양자화 오류를 줄이는 데 집중하는 반면, RegCache는 outlier 자체를 사전에 억제한다. 작동하는 단계가 다르기 때문에 기존 기법들과 orthogonal하게 결합할 수 있다.

3. A closer look at outliers in vision encoders

3.1. Layerwise quantization sensitivity and outliers

위 Figure 3 에서 볼 수 있듯이, W8A8 양자화 시 성능이 크게 떨어지는 레이어는 중간 블록의 MLP projection layer에 집중되어 있으며, 이 지점은 activation outlier가 나타나기 시작하는 블록과 정확히 일치한다. ⇒ Outlier가 양자화 성능 저하의 주요 원인임을 보여주며, FC2 activation이나 quantization sensitivity를 모니터링하면 RegCache의 prefixing을 적용할 블록을 식별하는 데 활용할 수 있다.

공격 1: FC2 input만 모니터링하면 충분한가?

• 공격: Outlier 발생 지점을 FC2 input으로 한정했는데, DINOv2의 경우 QKV, Proj, FC1 등 다른 레이어에서도 심각한 성능 저하가 관찰된다. FC2만 보면 놓치는 부분이 있지 않은가?
• 방어: 논문 자체도 FC2 모니터링만을 유일한 방법으로 제시하지 않는다. Quantization sensitivity를 직접 측정하는 것도 prefixing 적용 블록을 식별하는 수단으로 제안하고 있으므로, FC2 모니터링이 불완전하더라도 sensitivity 측정으로 보완할 수 있다.

SigLIP2는 다른 아키텍처 대비 maximum norm이 현저히 커서 RegCache 적용 시 성능 향상 효과가 더 뚜렷했으며, 이 독특한 동작의 원인 분석은 후속 연구로 남겨두었다.

3.2. Why the middle layers?

LLM은 ⟨BOS⟩ 등 의미 없는 토큰이 처음부터 명확해서 초기 레이어부터 outlier가 나타나지만, vision encoder는 raw patch에서 의미 없는 토큰을 식별하려면 여러 블록을 거쳐야 하므로 중간 레이어에서 나타난다는 가설을 세웠다. 검증으로, 배경을 0으로 만든 foreground-only 이미지에서는 의미 없는 패치가 쉽게 식별되어 outlier가 더 일찍·더 강하게 나타났다. 또한, register와 함께 학습된 모델은 LLM처럼 초기부터 outlier가 발생하여 가설을 뒷받침했다.

3.3. Universality of outlier tokens

중간 레이어의 outlier token들은 이미지 간 cosine similarity가 0.89로 매우 높아(일반 토큰은 0.26), 입력에 무관한 universal한 특성을 가진다. ⇒ outlier token은 서로 유사하다. ⇒ 이는 outlier token을 미리 계산해두고 범용적으로 재사용할 수 있는 근거가 된다.

중간 레이어의 outlier token들은 이미지 간 cosine similarity가 0.89로 매우 높다(일반 토큰은 0.26).

이 높은 유사도의 원인

1. outlier가 나타나는 채널 인덱스가 이미지 간에 일정함.

2. 해당 채널에서 극단적으로 큰 값을 가짐.

결과적으로 어떤 이미지를 넣든 outlier 토큰의 모습이 거의 동일하므로, 캘리브레이션 데이터에서 대표 outlier 토큰을 미리 계산해두면 임의의 새 이미지에도 범용적으로 재사용할 수 있다.

(A 이미지의 outlier 토큰을 알고 싶다... → 서로 다른 이미지의 outlier 토큰은 서로 비슷하게 생겼네? → 그럼 임의의 이미지 I의 outlier 토큰을 미리 찾자 → I의 outlier 토큰 ≈ A의 outlier 토큰)

이것이 RegCache의 universal cache가 성립하는 근거이다.

4. Method

3장 정리

• Vision encoders의 outliers는 중간 레이어에서 부터 나타남

• 중간 레이어에서 발견된 sink token는 이미지 전반에 걸쳐 매우 유사함

추가적인 sink tokens를 prefixing하면, outliers를 완화할 수 있다는 LLMs에서의 선행연구([45])와 결합. ⇒ "한 이미지에서 추출한 중간 레이어의 sink tokens는 다른 이미지를 처리하는 vision encoder에서 registers로 작동하여, outliers를 완화하는 데 도움을 줄 수 있다."는 가설

RegCache는 세 단계로 작동한다. 먼저 참조 이미지에서 큰 activation을 가진 register candidate token을 선별(Curating)하고, 이들의 key-value를 sensitive layer에 캐싱(Caching)한 뒤, 기존 내부 sink token을 삭제(Deleting)하여 outlier를 제거한다.

4.1. Curating

Pretrained vision encoder에서 각 레이어를 독립적으로 양자화(함께 쓰일 양자화 기법이 있다면, 그 양자화기법으로 함)하여 가장 큰 정확도 하락을 유발하는 quantization-sensitive layer를 식별한다. 그 뒤 참조 이미지 풀에서 해당 레이어(및 최대 3개 앞선 블록)의 $l_\infty \text{ norm}$ 상위 k개 토큰을 선별하여 register candidate set을 구축한다.

예시: SigLIP2-B/16 (12-block)을 segmentation 태스크에 GPTQ로 양자화해서 배포하는 경우

Step 1: Sensitive layer 식별 배포용 양자화 기법이 GPTQ로 정해져 있으므로, 각 레이어를 독립적으로 GPTQ로 양자화한다. 참조 태스크는 ImageNet-1k classification을 사용한다(최종 태스크가 segmentation이라도, outlier 발생 패턴은 모델 구조에 의해 결정되므로 무관). 측정 결과 block 7의 fc2 layer에서 정확도가 가장 크게 하락 → block 7의 fc2 layer가 sensitive layer.

Step 2: Register candidate 선별 ImageNet 학습셋 50,000장을 모델에 통과시켜, sensitive block(block 7)과 최대 3개 앞선 block(block 4, 5, 6)에서 각각의 입력 시점의 l∞-norm 상위 100개 토큰을 선별한다. 총 4개의 독립적인 candidate set(S₄, S₅, S₆, S₇)이 구축되며, 각 set에 100개씩 총 400개의 candidate token이 확보된다. 이 토큰들은 해당 블록을 통과하기 전 상태이지만, 앞선 블록들을 거치며 이미 sink 역할을 하면서 activation이 극단적으로 커진 상태이므로 outlier에 해당한다.

4.2. Caching

각 candidate set의 토큰들에 대해 양자화되지 않은 원본 모델로 KV cache를 계산하고(sensitive block 앞 블록부터 마지막 블록까지), set별로 평균 내어 register를 구성한다. 이후 register의 복사 횟수 τ를 1~15 범위에서 탐색하여 ImageNet 정확도가 가장 높은 τ*를 선택한다.

예시: SigLIP2-B/16 (12-block)을 segmentation 태스크에 GPTQ로 양자화해서 배포하는 경우

Step 1: Sensitive layer 식별 배포용 양자화 기법이 GPTQ로 정해져 있으므로, 각 레이어를 독립적으로 GPTQ로 양자화한다. 참조 태스크는 ImageNet-1k classification을 사용한다(최종 태스크가 segmentation이라도, outlier 발생 패턴은 모델 구조에 의해 결정되므로 무관). 측정 결과 block 7의 fc2 layer에서 정확도가 가장 크게 하락 → block 7의 fc2 layer가 sensitive layer.

Step 2: Register candidate 선별 ImageNet 학습셋 50,000장을 모델에 통과시켜, sensitive block(block 7)과 최대 3개 앞선 block(block 4, 5, 6)에서 각각의 입력 시점의 l∞-norm 상위 100개 토큰을 선별한다. 총 4개의 독립적인 candidate set(S₄, S₅, S₆, S₇)이 구축되며, 각 set에 100개씩 총 400개의 candidate token이 확보된다. 이 토큰들은 해당 블록을 통과하기 전 상태이지만, 앞선 블록들을 거치며 이미 sink 역할을 하면서 activation이 극단적으로 커진 상태이므로 outlier에 해당한다.

Step 3: Register 구성 (KV cache 평균화) 앞서 선별한 4개의 candidate set(S₄, S₅, S₆, S₇)을 실제 사용 가능한 register로 변환한다. 양자화되지 않은 원본 SigLIP2-B/16에 각 candidate 토큰을 통과시켜, 해당 토큰이 자신의 시작 블록부터 block 12까지 각 블록에서 남기는 KV cache를 미리 계산해둔다.

S₄의 100개 토큰: 각각 block 412에서의 KV (토큰당 9쌍) 계산 → 100개의 KV 궤적을 block별로 평균내어 register R₄ 구성 (9쌍의 평균 KV 보유) S₅의 100개 토큰: 각각 block 512에서의 KV (토큰당 8쌍) 계산 → 평균내어 register R₅ 구성 (8쌍) S₆의 100개 토큰: 각각 block 612에서의 KV (토큰당 7쌍) 계산 → 평균내어 register R₆ 구성 (7쌍) S₇의 100개 토큰: 각각 block 712에서의 KV (토큰당 6쌍) 계산 → 평균내어 register R₇ 구성 (6쌍)

결과적으로 4개의 register(R₄, R₅, R₆, R₇)가 만들어지며, 총 30쌍(9+8+7+6)의 평균 KV cache를 보유하게 된다. 블록별로 삽입될 KV 쌍을 정리하면 다음과 같다:

Block 4: S₄의 K₄V₄ (1쌍) Block 5: S₄의 K₅V₅, S₅의 K₅V₅ (2쌍) Block 6: S₄의 K₆V₆, S₅의 K₆V₆, S₆의 K₆V₆ (3쌍) Block 7: S₄의 K₇V₇, S₅의 K₇V₇, S₆의 K₇V₇, S₇의 K₇V₇ (4쌍) Block 8: S₄의 K₈V₈, S₅의 K₈V₈, S₆의 K₈V₈, S₇의 K₈V₈ (4쌍) Block 9: S₄의 K₉V₉, S₅의 K₉V₉, S₆의 K₉V₉, S₇의 K₉V₉ (4쌍) Block 10: S₄의 K₁₀V₁₀, S₅의 K₁₀V₁₀, S₆의 K₁₀V₁₀, S₇의 K₁₀V₁₀ (4쌍) Block 11: S₄의 K₁₁V₁₁, S₅의 K₁₁V₁₁, S₆의 K₁₁V₁₁, S₇의 K₁₁V₁₁ (4쌍) Block 12: S₄의 K₁₂V₁₂, S₅의 K₁₂V₁₂, S₆의 K₁₂V₁₂, S₇의 K₁₂V₁₂ (4쌍)

이 과정은 한 번만 수행되고 이후 추론 단계에서 재사용되므로, 실시간 오버헤드가 없다.

Step 4: 최적 복사 횟수 $\tau^*$ τ∗ 탐색 구성된 4개의 register를 GPTQ로 양자화된 SigLIP2-B/16에 삽입하되, 복사 횟수를 달리해가며 검증한다. $\tau$값을 바꿔가며 Step 3에서 정리한 블록별 KV 쌍들을 $\tau$번씩 복사해 삽입한 후, 각 설정에서 ImageNet 학습셋 classification 정확도를 측정한다.

• τ=1: Step 3의 KV 쌍들을 그대로 1번씩 삽입 → 정확도 측정
• τ=2: 각 KV 쌍을 2번씩 복사해 삽입 (예: Block 4에 K₄V₄가 2개, Block 7에 8개 등) → 정확도 측정
• τ=3,4,…,15까지 동일하게 반복
  예컨대 τ=5일 때 정확도가 가장 높다면 $\tau^*$ = 5로 결정. 이때 τ를 무작정 키운다고 정확도가 계속 오르지는 않는다.
  너무 적으면 sink token 대체 효과가 부족하고, 너무 많으면 일반 patch token들의 attention 신호가 register 쪽으로 희석되어 오히려 성능이 떨어지므로, 중간 지점에서 최대값이 나타난다.

4.3. Deleting

테스트 이미지 추론 시, quantization-sensitive block 입력에서 l∞-norm 상위 $\tilde{k}$개의 토큰을 선택해 삭제한다. 이는 내부적으로 새롭게 발생하는 sink token을 제거하여 잔존 outlier를 소거하는 역할을 하며, $\tilde{k}$̃ 값도 참조 태스크로 튜닝된다.

예시: SigLIP2-B/16 (12-block)을 segmentation 태스크에 GPTQ로 양자화해서 배포하는 경우

Step 1: Sensitive layer 식별 배포용 양자화 기법이 GPTQ로 정해져 있으므로, 각 레이어를 독립적으로 GPTQ로 양자화한다. 참조 태스크는 ImageNet-1k classification을 사용한다(최종 태스크가 segmentation이라도, outlier 발생 패턴은 모델 구조에 의해 결정되므로 무관). 측정 결과 block 7의 fc2 layer에서 정확도가 가장 크게 하락 → block 7의 fc2 layer가 sensitive layer.

Step 2: Register candidate 선별 ImageNet 학습셋 50,000장을 모델에 통과시켜, sensitive block(block 7)과 최대 3개 앞선 block(block 4, 5, 6)에서 각각의 입력 시점의 l∞-norm 상위 100개 토큰을 선별한다. 총 4개의 독립적인 candidate set(S₄, S₅, S₆, S₇)이 구축되며, 각 set에 100개씩 총 400개의 candidate token이 확보된다. 이 토큰들은 해당 블록을 통과하기 전 상태이지만, 앞선 블록들을 거치며 이미 sink 역할을 하면서 activation이 극단적으로 커진 상태이므로 outlier에 해당한다.

Step 3: Register 구성 (KV cache 평균화) 앞서 선별한 4개의 candidate set(S₄, S₅, S₆, S₇)을 실제 사용 가능한 register로 변환한다. 양자화되지 않은 원본 SigLIP2-B/16에 각 candidate 토큰을 통과시켜, 해당 토큰이 자신의 시작 블록부터 block 12까지 각 블록에서 남기는 KV cache를 미리 계산해둔다.

S₄의 100개 토큰: 각각 block 412에서의 KV (토큰당 9쌍) 계산 → 100개의 KV 궤적을 block별로 평균내어 register R₄ 구성 (9쌍의 평균 KV 보유) S₅의 100개 토큰: 각각 block 512에서의 KV (토큰당 8쌍) 계산 → 평균내어 register R₅ 구성 (8쌍) S₆의 100개 토큰: 각각 block 612에서의 KV (토큰당 7쌍) 계산 → 평균내어 register R₆ 구성 (7쌍) S₇의 100개 토큰: 각각 block 712에서의 KV (토큰당 6쌍) 계산 → 평균내어 register R₇ 구성 (6쌍)

결과적으로 4개의 register(R₄, R₅, R₆, R₇)가 만들어지며, 총 30쌍(9+8+7+6)의 평균 KV cache를 보유하게 된다. 블록별로 삽입될 KV 쌍을 정리하면 다음과 같다:

Block 4: S₄의 K₄V₄ (1쌍) Block 5: S₄의 K₅V₅, S₅의 K₅V₅ (2쌍) Block 6: S₄의 K₆V₆, S₅의 K₆V₆, S₆의 K₆V₆ (3쌍) Block 7: S₄의 K₇V₇, S₅의 K₇V₇, S₆의 K₇V₇, S₇의 K₇V₇ (4쌍) Block 8: S₄의 K₈V₈, S₅의 K₈V₈, S₆의 K₈V₈, S₇의 K₈V₈ (4쌍) Block 9: S₄의 K₉V₉, S₅의 K₉V₉, S₆의 K₉V₉, S₇의 K₉V₉ (4쌍) Block 10: S₄의 K₁₀V₁₀, S₅의 K₁₀V₁₀, S₆의 K₁₀V₁₀, S₇의 K₁₀V₁₀ (4쌍) Block 11: S₄의 K₁₁V₁₁, S₅의 K₁₁V₁₁, S₆의 K₁₁V₁₁, S₇의 K₁₁V₁₁ (4쌍) Block 12: S₄의 K₁₂V₁₂, S₅의 K₁₂V₁₂, S₆의 K₁₂V₁₂, S₇의 K₁₂V₁₂ (4쌍)

이 과정은 한 번만 수행되고 이후 추론 단계에서 재사용되므로, 실시간 오버헤드가 없다.

Step 4: 최적 복사 횟수 $\tau^*$ τ∗ 탐색 구성된 4개의 register를 GPTQ로 양자화된 SigLIP2-B/16에 삽입하되, 복사 횟수를 달리해가며 검증한다. $\tau$값을 바꿔가며 Step 3에서 정리한 블록별 KV 쌍들을 $\tau$번씩 복사해 삽입한 후, 각 설정에서 ImageNet 학습셋 classification 정확도를 측정한다.

• τ=1: Step 3의 KV 쌍들을 그대로 1번씩 삽입 → 정확도 측정
• τ=2: 각 KV 쌍을 2번씩 복사해 삽입 (예: Block 4에 K₄V₄가 2개, Block 7에 8개 등) → 정확도 측정
• τ=3,4,…,15까지 동일하게 반복
  예컨대 τ=5일 때 정확도가 가장 높다면 $\tau^*$ = 5로 결정. 이때 τ를 무작정 키운다고 정확도가 계속 오르지는 않는다.
  너무 적으면 sink token 대체 효과가 부족하고, 너무 많으면 일반 patch token들의 attention 신호가 register 쪽으로 희석되어 오히려 성능이 떨어지므로, 중간 지점에서 최대값이 나타난다.

• Step 5: Token Deletion 설정 (k̃ 튜닝)** 남아 있는 sink token을 제거하기 위한 최적의 삭제 개수 k̃를 결정한다. 테스트 이미지가 주어지면 block 7(sensitive block)의 입력에서 197개 토큰 중 l∞-norm이 가장 큰 k̃개를 선택해 해당 블록에서 제거한다. k̃ 값을 {1, 2, ...} 범위에서 변화시키며 ImageNet 학습셋 classification 정확도를 측정하여 최적값을 선택한다. 예컨대 k̃=2일 때 정확도가 가장 높다면 k̃=2로 결정. 이때 k̃가 너무 작으면 잔존 outlier가 남아 양자화 range가 여전히 넓고, 너무 크면 정보 있는 패치까지 지워져 성능이 떨어지므로, 중간 지점에서 최대값이 나타난다.

추론 시 outlier 흐름

1. Block 1~3: 아무 처리 없이 일반 forward pass. 아직 outlier가 발생하지 않은 초기 단계이므로 개입 불필요.

2. Block 4~6 (앞선 블록들): 이 블록들의 attention에 register KV가 prefix로 삽입된다(block 4에 R₄, block 5에 R₄·R₅, block 6에 R₄·R₅·R₆). 일반 패치 토큰들이 attention을 계산할 때, 원래는 특정 배경 패치에 attention이 쏠리면서 그 토큰이 sink 역할을 하게 되는데, 이제 prefix로 들어온 register가 그 attention을 대신 흡수한다. 결과적으로 일반 패치 토큰에 outlier가 누적되는 정도가 크게 줄어든다.

3. Block 7 (sensitive block):

• Attention에는 register KV(R₄·R₅·R₆·R₇)가 prefix로 삽입되어 attention을 흡수

• 그럼에도 여전히 일부 패치 토큰에 잔존 outlier가 남아있을 수 있으므로, block 7 입력에서 l∞-norm 상위 k̃개의 토큰을 삭제하여 제거

이 두 조치로 block 7의 FC2 입력 activation range가 극적으로 좁아진다(논문 Table 7: SigLIP2의 경우 max token norm 148.20 → 15.16, 약 10배 감소).

4. Block 8~12: Register만 prefix로 유지된 채 forward 진행. Block 7에서 outlier가 제거된 깔끔한 hidden state가 이후 블록으로 전파된다.

결과:

• Block 7 FC2의 activation dynamic range가 좁아져, GPTQ의 양자화 스케일이 훨씬 촘촘해짐 → 양자화 오차 대폭 감소

• 4-bit처럼 극저비트에서 효과가 특히 큼(Table 2 기준 SigLIP2 W4A4에서 baseline 대비 최대 +18.42%p 향상)

• 추가 학습 없이, 추론 시 오버헤드는 1~2% 수준(Table 6)

• 결국 GPTQ 단독으로 양자화했을 때보다 FP32에 훨씬 가까운 정확도로 segmentation 수행 가능

5. Experiments

DINOv2: self-supervised 학습된 특성상 CLIP/SigLIP과 동작이 달라, prefix를 searched layer에만 삽입할 때 더 좋은 결과 → 이 모델만 예외적 처리

5.2. Main results

ImageNet-1k에서 zero-shot classification acc.

1. 4-bit, 6-bit 등 저비트일수록 outlier 영향이 심해져 RegCache의 이점이 더 커진다.

MS-COCO에서 zero-shot image-text retrieval

1. 4-bit, 6-bit 등 저비트일수록 outlier 영향이 심해져 RegCache의 이점이 더 커진다.

VLM performance

Prefix 탐색 과정에서 ImageNet-1k에 overfit 되어 다른 dataset에서의 generalizability가 떨어지는 지 확인

아쉬운 점

Table 2를 보면 저자들도 Naïve 결과는 "excluding the Naïve cases"라고 명시하면서 Best/Average ∆ 계산에서 제외했다. Naïve quantization은 베이스라인 자체가 너무 낮아서 거기서의 개선은 실질적인 의미가 희석되기 때문인 것 같다.

그런데 Table 5 (다양한 데이터셋에서의 universality 실험)는 오직 Naïve + RegCache 조합만 보고하고 있다.

이게 아쉬운 이유는:

• 주장과 실험 설계의 불일치 — Table 5의 목적은 "ImageNet-1k에서 찾은 prefix가 다른 도메인에도 일반화되는가"를 보이는 건데, PTQ4ViT, RepQ-ViT, ERQ 등 실질적인 PTQ 방법들과의 조합에서도 같은 generalization 효과가 나타나는지는 확인이 안 된다.

만약 Table 5에서 RepQ-ViT나 ERQ 같은 강한 PTQ baseline과의 조합도 함께 보고했다면, prefix의 universality 주장이 훨씬 설득력 있게 뒷받침됐을 것 같다.

VLM Quantization에 대한 내용.

Abstract

ViT 와 LLM 은 parameter size의 상당한 차이에도 불구하고 모델 성능에서 유사한 중요성을 보임.

LLM 의 lower-bit quantization은 줄어든 bits per weight(bpw) 에서도 높은 accuracy 를 달성함.

1. Introduction

MLLMs(Multimodal Large Language Models)는 multimodal retrieval, captioning, 그리고 question-answering tasks 에서 인상적인 성능을 제공하지만, 모델 크기 및 latency가 너무 큼.

• Multimodal retrieval: 이미지와 텍스트 간 유사도를 측정하여 주어진 텍스트 쿼리에 가장 관련된 이미지를 찾거나, 반대로 이미지에 맞는 텍스트를 찾는 태스크.
• Captioning: 입력 이미지를 설명하는 자연어 문장을 생성하는 태스크.
• Question-answering: 이미지와 관련된 질문을 텍스트로 받아 정답을 텍스트로 출력하는 태스크.

Weights를 균일하게 quantize하면, model 성능이 bit-width 감소에 따라 어느 정도 linear한 correlation을 갖고 감소할 것으로 예상함.

그러나 Figure 1에서 볼 수 있듯이, 실제로는 어느 컴포넌트를 양자화하느냐, 그리고 어떤 방법을 선택하느냐에 따라 성능이 크게 달라진다.

좌측 그래프에서 동일한 저비트 구간(4–6 bpw)에서도 GPTQ와 AWQ의 CIDEr 값이 뚜렷하게 갈리며, 우측 그래프에서는 16-bit ViT와 3-bit ViT 간 accuracy 차이는 작은 반면 3-bit LLM은 급격한 성능 저하를 보인다.

또한 LLM 양자화는 ViT 양자화보다 전체 모델 크기(bpw)에 훨씬 큰 영향을 미친다.

결국 모든 컴포넌트가 정밀도 감소에 동일하게 민감하지 않으며, 핵심 컴포넌트의 정보 손실을 최소화하는 방향으로 양자화 전략을 설계해야 모델 크기와 태스크 성능 간의 최적 트레이드오프를 달성할 수 있다.

핵심 원칙

1. VLM의 구성 요소의 quantization 민감도는 architecture 전반에 걸쳐 상당히 다름. LLM은 일반적으로 parameter 수에 관계없이, ViT보다 더 높은 precision을 요구함.

2. GPTQ, AWQ와 같은 SOTA 방법들은 uniform quantization에 비해, 상당히 낮은 bit-width (3.5 - 4.5 bpw)에서도 model 성능을 효과적으로 보존.

3. Task에 따라 최적의 bit allocation이 다름. Reasoning task에서는 LLM precision을 크게 하는 것이 좋음. Visual-textual alignment tasks는 더 균형 잡힌 allocation이 좋음.

4. Quantizaiton 방법의 선택은 VLM 구성 요소의 중요성을 재구성하게 함. AWQ는 LLM 보존에 집중함. GPTQ는 중요성을 더 고르게 분산시킴.

AWQ의 "LLM 보존 집중"과 GPTQ의 "중요성 균등 분산"

"AWQ가 LLM 보존에 집중한다"는 말은 비트폭 할당의 문제가 아닙니다. AWQ와 GPTQ 모두 동일한 비트폭으로 양자화하되, 양자화 오류를 보정하는 방식이 다릅니다.

AWQ는 activation 크기가 큰 채널을 salient하다고 판단하는데, LLM의 대형 가중치 행렬에서 이런 채널이 압도적으로 많이 발견됩니다. 따라서 AWQ의 오류 보정 자원이 자연스럽게 LLM 쪽에 집중되고, 결과적으로 LLM의 정밀도 손실이 최소화되는 반면 ViT는 상대적으로 덜 보호됩니다.

"GPTQ의 중요성 균등 분산"에서 중요성이란 각 컴포넌트가 최종 성능에 기여하는 정도입니다. GPTQ는 Hessian 기반으로 모든 가중치의 오류를 순차적으로 보정하기 때문에 ViT와 LLM 양쪽의 정밀도가 비교적 고르게 유지되고, 따라서 두 컴포넌트의 성능 기여도가 Table 1의 COCO 결과처럼 50:50에 가깝게 나타납니다.

5. Architectural dependency는 독립적인 구성 요소 평가보다는 전체적인 pipeline analysis를 피요로하는 상호작용 효과를 생성함.

"Holistic pipeline analysis" 이해

구체적으로는, 컴포넌트를 독립적으로 평가할 때 최적으로 보이는 양자화 설정이, 전체 파이프라인에서는 최적이 아닐 수 있다는 뜻입니다. Figure 6에서 ViT와 LLM을 각각 단독으로 저비트 양자화했을 때보다, 둘을 동시에 양자화했을 때 성능 저하가 훨씬 크게 나타나는 것이 그 근거입니다. ViT의 오류가 Q-Former를 거쳐 LLM으로 전파되는 순차적 구조 때문에, 각 컴포넌트의 오류가 단순히 더해지는 것이 아니라 증폭됩니다.

2. Related Work

2.1. VLM

일반적으로 retrieval과 같은 tasks를 위해 이미지와 텍스트의 embeddings를 생성하는 데 집중하는 이러한 VLMs와, 특정 이미지에 대한 복잡한 질문에 대한 답변과 같은 언어 출력을 생성하기 위해 일반적으로 이미지 및 텍스트 입력을 소비하는 vision large language models (VLLMs)를 구분함.

VLMs와 VLLMs의 차이

VLLMs도 내부적으로는 이미지와 텍스트를 embedding으로 변환합니다. 그러나 핵심 차이는 최종 출력의 형태와 목적에 있습니다.

VLMs는 이미지와 텍스트를 공유 임베딩 공간(shared embedding space) 에 정렬시키는 것이 목표입니다. 즉 출력이 embedding 벡터이며, 이를 이용해 이미지-텍스트 간 유사도를 측정하는 retrieval이 주된 태스크입니다.

VLLMs는 embedding 생성이 중간 과정일 뿐이고, 최종 출력은 자연어 텍스트입니다. 즉 이미지를 이해한 뒤 그것을 바탕으로 문장을 생성하거나 질문에 답하는 것이 목표입니다.

한 줄로 요약하면, VLMs는 "얼마나 비슷한가"를 숫자로 출력하고, VLLMs는 "무엇인가"를 언어로 출력합니다.

2.2. Model Compression

생략

3. Optimizing Performance

3.1. Building Intuitions

위 Algorithm 1을 적용한 결과

⇒ Layer types나 block groups에 대해 크기-성능 사이에 유의미한 상관관계를 관찰하지 못함.

3.2. SOTA Quantization Preliminaries

• AWQ: 작고 대표적인 calibration set 의 activation distribution을 참조하여 중요한 weight channels 를 식별하는 LLMs 용 weight-only PTQ technique 입니다. 더 큰 activation magnitudes를 생성하는 weights는 더 중요한 features에 해당하며 더 중요한 것으로 간주됩니다. AWQ 는 per-channel scaling factor 를 통해 단 1% 의 중요한 weights 만 보존함으로써 quantization error 를 줄입니다.

• GPTQ: LLMs 를 위한 또 다른 weight-only PTQ technique 이지만, activation 정보 대신 inverse Hessian에서 유도된 근사적인 second-order information 을 활용합니다. weights 가 순차적으로 처리되고 양자화됨에 따라, 남은 양자화되지 않은 weights는 작은 calibration set 으로 계산된 quantization error 를 보상하도록 조정됩니다.

3.3. SOTA Quantization Benchmark

Retrieval 평가: BLIP-2 ViT-g Captioning, VQA 평가: BLIP-2 ViT-g OPT 2.7B VQA 평가: LLaVA 1.5 7B

Calibration set: 각 데이터셋에서 128개 이미지-텍스트 쌍 무작위 샘플링

평가 데이터셋: VQAv2 val2014 split 10% (21,435개) / GQA 전체 Test-Dev split

탐색 공간: bit widths ∈ {2, 3, 4, 5, 6, 8}

BLIP-2: C ⊆ {ViT, LLM, Q-Former} LLaVA: C ⊆ {ViT, LLM}

기존과의 차별점: 일반적으로는 LLM만 양자화하지만, 본 연구는 ViT와 Connector까지 양자화 탐색 공간에 포함

⇒

1. 앞선 3.1.의 uniform quantization 보다 더 낮은 bit-width에서 성능이 좋음.

2. Captioning 및 VQA: AWQ가 GPTQ보다 더 낮은 bit-width에서 성능이 더 가파르게 저하

3. Retrieval: GPTQ가 AWQ보다 더 낮은 bit-width에서 성능이 더 가파르게 저하

3.4. Component Impact Ablations

⇒

1. LLM이 가장 민감하며, ViT나 Q-Former에 비해 더 일찍 성능이 떨어짐.

2. Q-Former는 민감도가 가장 낮지만, parameter 수도 가장 적음.

3. ViT는 GPTQ에서는 큰 성능 저하를 겪지만, AWQ에서는 상대적으로 적은 저하를 보임.

⇒

LLM을 ViT보다 낮은 bit-width로 할 때, 7 bpw 근처에서 성능이 완전히 소실 ⇒ LLM이 성능에 가장 critical 함.

4. Component Importance Analysis

Bit-precision과 성능의 관계가 비선형적이고 컴포넌트 간 상호작용이 복잡하여 선형 모델(R² < 0.20)로는 컴포넌트 중요도를 정량화할 수 없다.

4.1. Setup

비선형적 관계와 상호작용 효과를 효과적으로 포착할 수 있는 세 가지 보완적인 트리 기반 중요도 분석 기법들을 한 Consensus Ranking으로 묶음.

1. Random Forest Feature Importance: $$\text{score} = f(\text{vit_bits, qformer_bits, llm_bits})$$

2. Permutation Feature Importance: $$I_j = \mathbb{E}{X,y}[L(f, X_j, y)] - \mathbb{E}{X,y}[L(f, X, y)]$$

3. SHapley Additive exPlanations (SHAP): $$\phi_j = \sum_{S \subseteq N \setminus {j}} \frac{|S|!(|N| - |S| - 1)!}{|N|!} [f_x(S \cup {j}) - f_x(S)]$$

Consensus Ranking

위 세가지 기법의 결과를 정규화하고, 합산함. ⇒ 각 구성 요소에 대한 최종 중요도 백분율을 산출함.

4.2. Results

Quantization method dramatically shifts component importance.

AWQ는 LLM에 중요도가 집중되는 반면(≥73%), GPTQ는 ViT와 LLM 간 중요도를 균등하게 분산시킨다.

BLIP-2 COCO 기준

GPTQ: ViT 50.4% / LLM 47.6% (균등) AWQ: ViT 17.1% / LLM 80.5% (LLM 편중)

LLaVA VQA 기준

GPTQ: ViT 2028% / LLM 7279% (상대적 균등) AWQ: ViT 56% / LLM 9495% (LLM 극단 편중)

핵심 인사이트

ViT는 전체 파라미터의 4.3%에 불과하지만 GPTQ에서 20~30% 중요도를 유지 → 중요도는 파라미터 크기에 비례하지 않음.

AWQ는 activation 기반 특성상 LLM의 대형 가중치 행렬에 보정이 집중되고, GPTQ는 Hessian 기반으로 컴포넌트 전반의 상호작용을 포착함.

따라서 비트 할당 전략은 사용하는 양자화 방법에 따라 달라져야 함.

⇒

GPTQ를 사용할 때는 ViT가 20~30%의 중요도를 유지하므로, ViT에도 상대적으로 높은 비트폭을 할당하는 전략이 합리적임.

반면 AWQ를 사용할 때는ViT의 중요도가 5~6%로 급감하므로, ViT는 과감하게 저비트로 압축하고 LLM에 높은 비트폭을 집중시키는 전략이 합리적임.

즉 동일한 모델이라도 어떤 양자화 방법을 선택하느냐에 따라 최적의 비트 할당 전략이 달라짐!

Task characteristics drive componet importance variations.

Retrieval (Flickr)

• LLM 미사용, ViT + Q-Former만으로 수행
• ViT 중요도 ≥ 70% (지배적)
• Q-Former 중요도 15~30%로 급상승 → LLM 부재 시 시각-언어 정렬을 Q-Former가 대신 담당하기 때문

VQA (VQAv2, GQA)

• 복잡한 언어적 추론이 요구되어 LLM 중요도가 압도적
• BLIP-2 GPTQ: LLM 7377% / AWQ: LLM 9899%
• LLaVA GPTQ: LLM 7279% / AWQ: LLM 9495%

핵심 인사이트

• Q-Former는 LLM이 없을 때 시각-언어 정렬의 핵심 역할을 담당하지만, LLM이 있는 태스크에서는 중요도가 3% 미만으로 급감

• 태스크가 언어 추론을 많이 요구할수록 LLM 중요도가 높아지며, 그에 맞게 비트 할당 전략도 달라져야 함.

Architectural layout and component interplay shape quantization patterns.

생략.

요약

본 논문은 BLIP-2와 LLaVA를 대상으로 양자화 방법(GPTQ/AWQ), 태스크, 아키텍처 구조가 각 컴포넌트의 중요도에 미치는 영향을 분석하였다.

평가 데이터셋

• COCO: 이미지 캡션 생성 품질 평가 (CIDEr)
• Flickr: 이미지-텍스트 간 retrieval 성능 평가 (Recall@1)
• VQAv2: 이미지 기반 질의응답 정확도 평가 (Accuracy)
• GQA: 시각적 추론 및 구성적 질의응답 정확도 평가 (Accuracy)

양자화 방법에 따른 중요도 변화

AWQ는 LLM에 중요도를 집중시키고(≥73%), GPTQ는 ViT와 LLM 간 중요도를 균등하게 분산시킨다. 따라서 AWQ 사용 시에는 LLM에 높은 비트폭을 집중시키고, GPTQ 사용 시에는 ViT에도 상대적으로 높은 비트폭을 할당하는 전략이 합리적이다.

태스크에 따른 중요도 변화

Retrieval에서는 ViT가 지배적(≥70%)이며 Q-Former의 역할이 부각(1530%)되고, VQA에서는 LLM이 압도적으로 중요하다(GPTQ 7379%, AWQ 94~99%). 태스크가 언어 추론을 많이 요구할수록 LLM 중요도가 높아지며, 비트 할당 전략도 그에 맞게 달라져야 한다.

아키텍처 구조에 따른 중요도 변화

LLM 부재 시 Q-Former가 시각-언어 정렬을 대신 담당하며 중요도가 급상승한다. LLaVA에서는 connector의 용량이 제한적이어서 ViT의 역할이 파라미터 비중(4.3%) 대비 중요도(20~28%)가 높게 나타난다. 또한 ViT와 LLM을 동시에 양자화하면 순차적 오류 전파로 인해 비가산적 성능 저하가 발생한다.

느낌점

본 논문에서 비트 정밀도와 성능 간의 관계를 분석할 때, 선형 회귀로는 R² < 0.20으로 설명력이 부족하여 Random Forest, Permutation Importance, SHAP 등 비선형 기법을 추가로 활용한 점이 인상적이었다. 이는 단일 분석 방법에 의존할 경우 데이터의 복잡한 관계를 놓칠 수 있음을 보여준다. 특히 세 가지 방법을 Consensus Ranking으로 앙상블하여 방법별 편향을 상호 보완한 접근 방식은, 상관 관계 분석 시 항상 다양한 방법을 병행하여 결과의 신뢰성을 높여야 한다는 점을 시사한다.

DINOv3에 대한 내용

참고하면 좋은 유튜브

EMA 1 EMA 2 EMA 3

DINOv2, DINOv3

Abstract

1. 좋은 데이터 준비 + 설계 디자인 ⇒ 데이터 셋, 모델 scale up
2. 학습 길어짐 ⇒ 세밀한 특징에 대한 인지 저하 (너무 러프하게 이미지를 봄) ⇒ Gram anchoring
3. 모델 유연성 ↑

1. Introduction

SSL: 메타데이터(라벨링) 없는 데이터로 학습

⇒ 입력 분포 변화에 견고, 강한 전역/지역 특징 제공 ⇒ 이미지 내 패턴의 자연스러운 공통 발생 활용

모델 scale up 미해결 과제

1. 데이터 수집 어케하지? ⇒
2. 코사인 스케줄 사용 X ⇒
3. 학습 계속 ⇒ 국소 특징 질 저하 ⇒ Gram anchoring

Strong & Versatile Foundational Models

1. fine tuning 없이도, 기존 finetuned 모델보다 좋음
2. 과학적 응용 good

Superior Feature Maps Through Gram Anchoring

SSL ⇒ data ↑ ⇒ 전역적 표현 학습 ⇒ 조밀한 특징 질 저하

The DINOv3 Family of Models

Gram anchoring ⇒ 모델 scale up 가능 ⇒ 7B 모델 (DINO) 성공

+

distillation ⇒ 더 작은 모델 ㄱㄴ

2. Related Work

SSL

SSL (자기 지도 학습)은 어노테이션 없이 인위적인 학습 과제(Pre-text tasks)를 통해 데이터의 표현을 학습하며, 신호가 연속적인 컴퓨터 비전 분야는 언어 분야보다 이러한 과제 설계의 난도가 높습니다.

이미지의 일부를 복원하는 인페인팅(Inpainting) 기반 방식은 MAE(Masked Auto-Encoder)와 JEPA(Joint-Embedding Predictive Architecture) 등으로 발전하며 고수준의 시각 특징을 추출하는 데 성공했습니다.

잠재 공간을 예측하는 JEPA 의 방식은 iBOT 에 이르러 이미지 간 차이를 식별하는 판별적 손실 함수 와 결합되며 더욱 정교하고 강력한 시각 표현 학습으로 발전했습니다.

1. Summarization

Pixel 기반 방식이 이미지의 외형적인 "복사"에 집중한다면, Latent Space 예측 방식은 이미지 속에 담긴 객체의 본질적인 "의미" (Semantic Representation) 를 추론하는 것이 목적입니다.

2. Example

이 차이를 "고양이의 귀" 부분이 마스킹 된 상황으로 비유하여 구체적인 수치와 함께 설명하겠습니다.

• Pixel-based (MAE): 마스킹 된 영역의 픽셀 값 개 ( RGB) 를 하나하나 맞추려 노력합니다. 만약 조명이 어둡거나 노이즈가 섞여 있다면, 모델은 본질적인 "고양이 귀" 의 형태보다는 픽셀의 어두운 색상 값을 복원하는 데 더 많은 계산 자원을 소모하게 됩니다.
• Latent-based (JEPA / DINOv3): Target Encoder 가 해당 영역을 보고 생성한 차원의 고차원 벡터를 예측합니다. 이 벡터 안에는 "이것은 동물의 귀이며, 뾰족한 형태를 가졌고, 털 질감을 가졌다" 라는 High-level semantic 정보가 압축되어 있습니다. 모델은 픽셀의 미세한 색상 차이보다는, 그 위치에 어떤 특징 (Feature) 이 와야 하는지 그 "맥락" 을 맞추는 데 집중합니다.

3. Conclusion

결론적으로, 픽셀 자체를 복구하는 것은 조명이나 각도 변화 같은 불필요한 정보 (Redundancy) 까지 학습하게 만들 수 있습니다. 반면, Latent Space 를 예측 목표로 삼으면 모델은 이미지의 지엽적인 노이즈를 무시하고 객체의 형태, 구조, 종류와 같은 핵심적인 Visual representation 을 더 효과적으로 학습하게 됩니다. 이것이 DINOv3 가 다양한 Downstream tasks 에서 강력한 성능을 내는 근본적인 이유입니다.

Vision Foundataion Models

생략

Dense Transformer Features

생략

3. Training at Scale Without Supervision

데이터 셋 확장 ⇒ 모델 확장 + SSL ⇒ 특정 작업 국한 X, 범용 vision 분야 가능

3.1. Data Preparation

단순 양 증가 보단, 좋은 데이터 양 증가

Data Collection and Curation

1. 계층적 클러스터링 기반 큐레이션: Vo et al. (2024) 의 계층적 k-means 기반 자동 큐레이션 방식을 적용했습니다. DINOv2 를 이미지 임베딩으로 사용하고, 5단계의 클러스터링을 적용했습니다 (클러스터 수는 최하위부터 최상위까지 각각 2억 개, 800만 개, 80만 개, 10만 개, 2.5만 개). 계층 구조를 구축한 후 균형 잡힌 샘플링 알고리즘을 적용하여, 웹에 등장하는 모든 시각적 개념을 균형 있게 포괄하는 16억 8,900만 장의 큐레이션된 하위 집합 (LVD-1689M) 을 구축했습니다.

2. 검색 기반 큐레이션: Oquab et al. (2024) 이 제안한 절차와 유사한 검색 기반 시스템을 채택했습니다. 선택된 시드 (seed) 데이터셋과 유사한 이미지를 데이터 풀에서 검색하여, 다운스트림 작업과 관련된 시각적 개념을 다루는 데이터셋을 생성했습니다.

3. 공개 데이터셋 활용: ImageNet1k (Deng et al., 2009), ImageNet22k (Russakovsky et al., 2015), 그리고 Mapillary Street-level Sequences (Warburg et al., 2020) 를 포함한 공개 컴퓨터 비전 데이터셋을 사용했습니다. 이 마지막 부분은 Oquab et al. (2024) 을 따라 모델의 성능을 최적화하는 역할을 합니다.

Q1. 계층적 클러스터링을 통한 자동 정제에서 임베딩 추출 부분에서 DINOv2를 사용해서 image to vector로 변환했다고 하는데, DINOv2는 이미지를 벡터로 만들어줘?

A1. DINOv2와 임베딩 (Embedding) 추출 DINOv2 는 비전 트랜스포머 (Vision Transformer) 기반의 자가 지도 학습 모델로, 이미지를 입력받아 해당 이미지의 시각적 특징을 함축하고 있는 고차원 벡터로 변환하는 역할을 합니다. 이를 임베딩 (Embedding) 이라 부릅니다. 즉, 사진이라는 데이터를 컴퓨터가 계산할 수 있는 숫자 나열(벡터)로 바꾸어 주는 것이 맞습니다. 이렇게 벡터화가 되어야만 이미지 사이의 유사도를 계산하거나 클러스터링을 할 수 있습니다.

Q2. 계층적 클러스터링을 통한 자동 정제에서 계층적 K-means 알고리즘으로 비슷한 특징을 갖는 데이터를 묶었다고 하는데, 그럼 원시 데이터 170억장을 1단계에서는 2억개의 그룹으로 분류해서 각 그룹에 170억/2억 개의 이미지가 들어있다는 거야?

A2. 계층적 K-means 알고리즘의 구조 네, 이해하신 개념이 맞습니다. 다만 계층 구조를 이해할 필요가 있습니다.

• 1단계 (Lowest Level): $170$ 억 장의 원시 데이터를 $2$ 억 개의 매우 세밀한 그룹으로 나눕니다. 산술적으로는 평균 $170$ 억 $/$ $2$ 억 $=$ 약 $85$ 장의 이미지가 각 그룹(클러스터)에 들어가는 셈입니다.
• 상위 단계로 이동: 이후 이 $2$ 억 개의 그룹들을 다시 비슷한 것끼리 묶어 $800$ 만 개, $80$ 만 개, $10$ 만 개, 최종적으로는 $2$ 만 $5$ 천 개의 큰 그룹으로 계층화합니다.
• 결과적으로 거대한 이미지 더미가 "대분류 - 중분류 - 소분류 - 아주 세밀한 분류"의 트리 구조로 정리되는 것입니다.
  Q3. 계층적 클러스터링을 통한 자동 정제에서 각 계층 구조에서 골고루 뽑았다는 게 뭐지?
  A3. 계층 구조에서의 균형 샘플링 (Balanced Sampling) 균형 샘플링 이란 특정 카테고리의 데이터만 너무 많이 뽑히지 않도록 조절하는 것입니다. 인터넷 데이터에는 셀카, 풍경, 음식 사진은 엄청나게 많지만, 희귀한 동물이나 특수 장비 사진은 매우 적습니다. 만약 무작위로 뽑는다면 모델은 셀카만 공부하게 될 것입니다. 하지만 앞서 만든 계층 구조(클러스터)를 이용해 모든 그룹에서 골고루 데이터를 추출하면, 흔한 이미지의 비중은 줄이고 희귀한 시각적 개념의 비중을 높여 전 세계의 다양한 시각적 정보를 빠짐없이 학습할 수 있게 됩니다.
  Q4. 검색 기반 큐레이션에서 결국 170억개 데이터 중에 일부를 추출했다는 거지?
  A4. 검색 기반 큐레이션의 대상맞습니다. 검색 기반 큐레이션 역시 처음에 확보한 $170$ 억 장 의 거대한 데이터 풀에서 필요한 것만 골라내는 과정입니다. 전체 데이터 중 우리가 관심 있는 특정 분야와 닮은 것들만 "검색"해서 추출한 것입니다.
  Q5. 검색 기반 큐레이션에서 일부 데이터 추출이 어떻게 다운스트림 태스크와 관련된 시각적 개념을 집중시키지?
  A5. 다운스트림 태스크와 시각적 개념의 집중 다운스트림 태스크 (Downstream Task) 란 모델이 최종적으로 해결해야 할 구체적인 문제(예: 의료 영상 판독, 자율 주행 도로 인식 등)를 의미합니다.
• 시드 데이터셋 (Seed Dataset): 우리가 목표로 하는 태스크와 밀접한 관련이 있는 검증된 데이터입니다.
• 집중 과정: 이 시드 데이터와 유사한 이미지를 $170$ 억 장 중에서 찾아내면, 모델은 해당 분야의 시각적 특징(질감, 형태, 구도 등)을 더 집중적으로 학습하게 됩니다. 결과적으로 실제 현장에 적용했을 때 더 높은 성능을 내는 최적화된 데이터셋 이 구축됩니다.
  Q6. 그래서 결과적으로 총 데이터 수가 뭐야?
  A6. 최종 데이터 수 텍스트에 명시된 부분과 수치 관계를 정리하면 다음과 같습니다.
• 첫 번째 파트 (LVD-1689M): 계층적 클러스터링의 결과물인 16억 8,900만 장 ($1,689 \text{ M}$) 입니다.
• 두 번째 파트 (검색 기반): $170$ 억 장 중 시드 데이터와 유사한 이미지들입니다.
• 세 번째 파트 (공개 데이터셋): ImageNet 등을 포함한 약 $1,500$ 만 장 내외입니다.
• 전체 학습 데이터셋: 실제 총합은 $16$ 억 $8,900$ 만 장 + $\alpha$ (Part 2) + 약 $1,500$ 만 장 (Part 3) 입니다. 하지만 Part 1 의 비중이 $99$ % 이상으로 압도적이기 때문에, 논문에서는 최종 결과물을 메인 데이터셋 명칭인 LVD-1689M 으로 통칭합니다.

Data Sampling

ImageNet1k로만 구성된 균일 배치를 전체 훈련의 10% + 나머지 90%는 다른 모든 구성 데이터셋을 혼합한 불균일 배치

Data Ablation

3.2. Large-Scale Training with Self-Supervision

모델 크기를 키우면서, 전역 및 지역적 특성을 모두 개선하자!

Learning Objective

$$L_{\text{Pre}} = L_{\text{DINO}} + L_{\text{iBOT}} + 0.1 \times L_{\text{Koleo}}$$

• $L_{\text{DINO}}$: 이미지 전체의 전역적 특징을 학습하는 이미지 레벨 손실 함수입니다.

• $L_{\text{iBOT}}$: 이미지 내부 패치의 국소적 특징을 학습하는 패치 레벨 손실 함수입니다.

• $0.1 \times L_{\text{Koleo}}$: 배치 내 특징들을 공간상에 균일하게 분산시켜 특징 붕괴를 방지하는 규제 항입니다.

• $L_{\text{DINO}}$ (Image-level Objective): 이미지 전체를 대상으로 하는 손실 함수입니다. 이미지의 글로벌 특징(Global Features)을 학습하며, 서로 다른 뷰(View)의 이미지가 유사한 특징을 갖도록 유도하는 이미지 단위 의 목표를 가집니다.
  
  

• $L_{\text{iBOT}}$ (Patch-level Objective): 이미지 내의 특정 패치(Patch)들을 대상으로 하는 손실 함수입니다. 이미지의 일부를 가리고(Masking) 이를 복원하는 잠재적 재구성(Latent Reconstruction) 과정을 통해 국소적인 특징 (Local Features)을 학습하도록 돕습니다.
  
  아래 그림에는 student에서 local crop을 사용하는 것 처럼 표현되었는데, 아닌 것 같음...
  
  이때, 동일한 아키텍처, 다른 가중치를 사용함. 교사($\text{Teacher}$)와 학생($\text{Student}$) 모두 동일한 백본(예: $\text{ViT-L}$)을 사용합니다. 하지만 실시간으로 학습되는 학생 모델과 달리, 교사 모델은 학생 모델의 과거 기록을 바탕으로 만들어진 '복제본' 에 가깝습니다.

• $L_{\text{Koleo}}$ (Koleo Regularizer): 배치(Batch) 내의 특징들이 공간상에 골고루(Uniformly) 퍼지도록 장려하는 규제 항입니다. 특정 특징들이 한곳으로 뭉치는 붕괴(Collapse) 현상을 방지하며, 특징 공간을 효율적으로 활용하게 만듭니다.

Updated Model Architecture

Optimization

• 복잡한 스케줄링 대신 상수 값을 써서 학습 기간을 유연하게 늘릴 수 있도록 설계

• 초기 안정성을 위해 선형 웜업을 사용

• 데이터 이해도를 높이기 위해 글로벌/로컬 크롭을 섞어 씀

• AdamW

• 10만 회의 웜업

• 0.0004의 일정한 학습률

• 0.04의 가중치 감쇠

• 레이어당 0.98의 학습률 감쇠 계수

• 0.4의 레이어 드롭아웃

• 교사 모델에 대해 0.999의 EMA 계수

우리는 모든 학생 지역 크롭과 두 교사 전역 크롭의 클래스 토큰, 그리고 두 모델의 서로 다른 전역 크롭 쌍 사이에 $L_{DINO}$ 손실을 적용합니다.

학생이 보는 전역 크롭 패치 토큰 중 $[0.1, 0.5]$ 사이의 무작위 비율을 50% 의 확률로 마스킹하며, 이들과 교사 EMA 가 보는 가시적 토큰 사이에 $L_{iBOT}$ 손실을 적용합니다.

학생이 보는 첫 번째 전역 크롭의 클래스 토큰 16개로 구성된 소규모 배치에는 $L_{Koleo}$ 손실을 적용합니다.

4. Gram Anchoring: A Regularization for Dense Features

Gram anchoring을 통한 지역적 작업 성능 향상

4.1. Loss of Patch-Level Consistency Over Training

60만 회 이후부터는 유사도 지도가 상당히 모호해짐 ⇒ 참조 패치와 무관한 패치들이 높은 유사도를 보임

CLS 토큰과 패치 간 유사도 증가가 국소성(Locality) 감소를 의미하는 이유?

CLS 토큰 은 이미지 전체의 정보를 요약하는 전역적(Global) 특징을 담습니다. 이와 패치들 사이의 유사도가 높아진다는 것은 다음과 같은 상황을 의미합니다.

• 정보의 획일화: 원래 각 패치(Patch) 는 이미지의 특정 부분(국소적 특징)만 선명하게 보여줘야 합니다. 그런데 전역 정보를 담은 CLS 토큰 과 너무 비슷해지면, 각 패치가 자기만의 고유한 지역 정보를 잃어버리고 전체적인 배경 정보만 똑같이 공유 하게 됩니다.

• 해상도 저하: 결과적으로 모든 패치가 비슷비슷한 전역 정보만 내뱉게 되므로, 사물의 경계를 정밀하게 구분해야 하는 세밀한 작업(Dense tasks, 예: 세그멘테이션) 에서 성능이 떨어지게 되는 것입니다.

4.2. Gram Anchoring Objective

학습 초기의 우수한 조밀 특성을 보이는 교사의 패치간 유사도(Gram matrix)를 학생의 gram이 따라가게함.

그러니까 학습 초기에는 우수한 조밀 특성을 보임 ⇒ 그 모델의 패치간 유사도를 학생이 따라감

$$L_{Gram} = ∥X_{S} · X^⊤_{S} − X_G · X^⊤_G∥^2_F$$

$X_S$: 학생의 패치간 유사도 행렬 $X_G$: 선생의 패치간 유사도 행렬

⇒ $$L_{Ref}=w_DL_{DINO}+L_{iBOT}+w_{DK}L_{DKoleo}+w_{Gram}L_{Gram}$$

• 100만 회 반복 학습 이후에 refinement 시작
• 1만 회 반복 학습마다 Gram 교사를 업데이트하여, 메인 EMA 교사와 동일하게 만듦

1. 첫 번째 훈련 phase (100만 회): $$L_{\text{Pre}} = L_{\text{DINO}} + L_{\text{iBOT}} + 0.1 \times L_{\text{Koleo}}$$

2. 두 번째 훈련 phase(refinement) (1만 회 마다 Gram 교사를 메인 EMA 교사와 동일하게 바꿈): $$L_{Ref}=w_DL_{DINO}+L_{iBOT}+w_{DK}L_{DKoleo}+w_{Gram}L_{Gram}$$

4.3. Leveraging Higher-Resolution Features

Gram 교사를 더 좋게 하기 위해,

Gram 교사에 일반 해상도의 두배인 이미지를 입력 ⇒ 얻은 특징 지도를 bicubic 보간법으로 2⨉ 다운샘플링하여 학생 모델의 출력 크기와 일치 시킴

⇒ 매끄러운 고해상도 특징의 개선된 패치 일관성을 학생 모델로 효과적으로 증류!!!

5. Post-Training

5.1. Resolution Scaling

1. 메인 훈련: 효율성 위주의 기초 학습

   • 설정: $256 \times 256$ 해상도와 $16$ 패치 크기로 훈련하여 속도와 효율성을 확보합니다.

2. 고해상도 적응 단계: 가변 해상도 대응

   • 필요성: 현대 비전 응용 분야에서 요구되는 $512 \times 512$ 이상의 고해상도 및 가변적인 추론 환경에 대응하기 위해 도입되었습니다.
   • 방법: 혼합 해상도(Mixed Resolution) 방식을 사용하며, 전역 크롭(${512, 768}$)과 지역 크롭(${112, 168, 224, 336}$)을 섞어 1만 회 추가 학습을 진행합니다.

고해상도 적응 단계는 Gram anchoring에 필수적임.

1. 첫 번째 훈련 phase (100만 회): $$L_{\text{Pre}} = L_{\text{DINO}} + L_{\text{iBOT}} + 0.1 \times L_{\text{Koleo}}$$

2. 두 번째 훈련 phase(refinement) (1만 회 마다 Gram 교사를 메인 EMA 교사와 동일하게 바꿈): $$L_{Ref}=w_DL_{DINO}+L_{iBOT}+w_{DK}L_{DKoleo}+w_{Gram}L_{Gram}$$

3. High resolution adaptation (1만 회): $$L_{Ref}=w_DL_{DINO}+L_{iBOT}+w_{DK}L_{DKoleo}+w_{Gram}L_{Gram}$$

1. 첫 번째 훈련 단계 (Initial Training Phase)
   • 기간: 약 $100$ 만 회 ($1\text{M iterations}$)
   • 손실 함수: $L_{\text{Pre}} = L_{\text{DINO}} + L_{\text{iBOT}} + 0.1 \times L_{\text{DKoleo}}$
   • 특징: $256 \times 256$ 단일 해상도에서 모델의 기초적인 전역 및 국소 특징을 학습합니다.

2. 두 번째 훈련 단계 (Refinement Step)
   • 특징: $100$ 만 회 이후 시작되며, 망가진 패치 수준 일관성을 '수리'하는 단계입니다.
   • 손실 함수: $L_{\text{Ref}} = w_D L_{\text{DINO}} + L_{\text{iBOT}} + w_{DK} L_{\text{DKoleo}} + w_{\text{Gram}} L_{\text{Gram}}$
   • 메커니즘: $1$ 만 회마다 메인 EMA 교사 의 상태를 Gram 교사 로 복사하여 패치 간 유사도 구조를 고정(Anchoring)합니다.

3. 고해상도 적응 단계 (High-resolution Adaptation)
   • 기간: 약 $1$ 만 회 ($10\text{k iterations}$) 추가 학습
   • 손실 함수: $L_{\text{Pre}}$ 가 아니라 $L_{\text{HRef}}$ (또는 $L_{\text{Ref}}$ 와 유사한 구성)를 사용합니다.
   • 논문에서는 고해상도 적응 시 $\text{Gram anchoring}$ 이 필수적이라고 명시하고 있으며, 고해상도 특징을 다운샘플링하여 계산하는 $L_{\text{HRef}}$ 를 사용하여 학습합니다.
   • 특징: ${512, 768}$ 등 다양한 크기의 혼합 해상도 를 입력하여 가변 해상도 대응력을 높입니다.

5.2. Model Distillation

A Family of Models for Multiple Use-Cases

ViT-7B를 ViT-S,B,L로 증류함. 증류할 때, $L_{\text{Pre}} = L_{\text{DINO}} + L_{\text{iBOT}} + 0.1 \times L_{\text{DKoleo}}$로 100만 번 학습 후, 코사인 스케줄에 따라 25만회 학습률 쿨다운 + high-resolution adaptation But, 패치 수준 일관성 문제가 없어, Gram anchoring X.

교사를 EMA가 아닌 7B 모델을 직접 사용하여, 고정함.

• 패치 수준 일관성(Patch-level consistency) 문제: 학습이 진행됨에 따라 개별 패치 특징이 고유의 지역적 정보를 잃고 전역 정보($\text{CLS}$ 토큰)와 지나치게 유사해지거나 서로 획일화되어 세밀한 표현력이 떨어지는 현상을 의미합니다.

Efficient Multi-Student Distillation

생략

5.3. Aligning DINOv3 with Text

생략

6. Results

6.1. DINOv3 provides Exceptional Dense Features

6.2. DINOv3 has Robust Versatile Global Image Descriptors

6.3. DINOv3 is a Foundation for Complex Computer Vision Systems

MoR에 대한 내용

Abstract

• Parameter sharing (Recursive)
• Adaptive computation (EE)

EE ⇒

• non-RT, RT, RRT: 모든 토큰이 동일한 횟수 만큼 재귀 함 ⇒ $O(N^2)$ EERT(MoR): 각 토큰별로 recursive 깊이가 다름 ⇒ $O(N_{active}^2)$
• Active 토큰의 KV만 caching

1. Introduction

1) Parameter sharing ⇒ param ↓ 2) EE ⇒ FLOPs ↓ 3) 재귀별 KV caching ⇒ memory footprint ↓

2. Method

2.1. Preliminary

Parameter-sharing strategies

2.2. MoR

2.2.1. Routing Strategies: Expert-choice vs. Token-choice

Expert-choice routing

재귀마다 전문가를 다르게 둠.

ex) $N_r=3$ 일 때, 전문가는 3명.

$$H_t^{r+1} = \begin{cases} g_t^r f(H_t^r, \Phi') + H_t^r, & \text{if } g_t^r > P_\beta(G^r) \ H_t^r, & \text{otherwise} \end{cases} \quad (2.1)$$

⇒ 에서 Stepwise + Cycle로 예를들면.

$N_r=2$임. 즉, 전문가 2명.

1, 3, 6 지난 후에, 전문가 1번이 평가해서, $g_t^r = G(\theta_r^\top H_t^r)$ 계산!

$H_t^r$: 전문가 1이 평가할 hidden state $\theta_r^\top$: 전문가 1의 채점표(parameter)

전문가 1의 점수가 $g_t^r$!

Token-choice routing

매번 평가하는 것이 아니라, loop에 본격적으로 들어가기 전에 모든 token마다 얼마나 loop를 돌릴지 정하고 가는 형태.

$$H_t^{r+1} = \begin{cases} g_t^r f(H_t^r, \Phi') + H_t^1, & \text{if } r = i \ g_t^r f(H_t^r, \Phi'), & \text{otherwise} \end{cases} \quad (2.2)$$

pros & cons

Router가 미래의 정보까지 보고 학습됨 ⇒ cheating임 ⇒ Auxiliary router or a regularization loss ⇒ 미래의 토큰 정보에 접근하지 않고 추론 시 상위 k 토큰을 정확하게 탐지

2.2.2. KV Caching Strategies: Recursion-wise Caching vs. Recursive Sharing

예시 상황 요약

입력: 토큰 5개 ($T_1, T_2, T_3, T_4, T_5$), Hidden Dimension: 10 라우팅 결과: $T_1, T_4$(1회 종료), $T_3$(2회 종료), $T_2, T_5$(3회 완주)

기법 요약

• Recursion-wise KV caching: 각 재귀 단계에 생존한 토큰의 KV(크기 $N \times 10$)만 해당 단계 전용 캐시에 저장함
• Recursive KV sharing: 첫 번째 재귀 단계의 전체 KV(크기 $5 \times 10$)만 저장하고, 이후 모든 깊은 단계에서 이를 재사용함

예시를 통한 차이점 설명 (Loop 3 시점에서 $T_6$ 생성 시)

$T_6$가 생성되면서 3번째 루프를 돌며 어텐션(Attention)을 수행할 때:

• Recursion-wise:Loop 3 캐시를 참조하는데, 여기엔 생존한 $T_2, T_5$의 정보(크기 $2 \times 10$)만 저장되어 있음3.탈락한 $T_1, T_3, T_4$의 정보는 재계산하지 않고 무시하며, 오직 $T_2, T_5$에만 집중(Attention)함 (문맥 손실 발생)
• Sharing:Loop 1 캐시를 참조하는데, 여기엔 $T_1 \sim T_5$가 모두 저장(크기 $5 \times 10$)되어 있음 5.탈락한 토큰들도 포함한 전체 문맥을 참조할 수 있음 (단, Query는 Loop 3 수준이나 Key/Value는 Loop 1 수준이라 깊이가 얕음)

pros & cons

3. Experiments

Relaxed RT에 대한 내용

Abstract

Contribution

1. 기존 weight unshared model로 RT를 initialized.
2. LoRA를 통한 accuracy 회복.
3. Continuous Depth-wise Batching을 통한 inference speedup.

1. Introduction

큰 골조

$1^{st}$: 기존 잘 훈련된 non-RT 모델로 shared weight를 잘 초기화 $2^{nd}$: 약간의 finetune

Relaxed란? 모든 레이어가 동일한 가중치를 공유하는 대신, 각 레이어 LoRA 모듈을 둠 ⇒ non-RT와 RT의 중간의 의미로 Relaxed

LoRA

기존 non-RT가 12개 layer이고, 총 4개의 layer로 압축해서 3번 반복하는 RT를 구성하고 싶음 ⇒ non-RT의 3개의 layer를 1개로 압축하고 싶은거니 ⇒ 3개의 LoRA module을 둠

이때, LoRA 행렬의 rank가 relaxnity가 됨.

LoRA 행렬의 초기화

non-RT의 3개 layer를 1개의 layer로 압축했으니 총 4개의 가중치가 나옴 non-RT에서 3개, RT에서 1개

⇒ $W_{non-RT,1번 레이어} - W_{RT,1번 레이어}$로 truncated SVD 적용해서, LoRA 행렬 1을 초기화 $W_{non-RT,2번 레이어} - W_{RT,1번 레이어}$로 truncated SVD 적용해서, LoRA 행렬 2을 초기화 $W_{non-RT,3번 레이어} - W_{RT,1번 레이어}$로 truncated SVD 적용해서, LoRA 행렬 3을 초기화

Continuous Depth-wise Batching

Continuous Sequence-wise Batching

이 기법은 토큰의 위치(Position) 에 상관없이 모델 파라미터가 동일하다는 점을 이용합니다.

1. 예시 상황

• Batch Size: $2$ (동시에 2개의 문장 생성 가능)
• 요청 A: "안녕" (3개 토큰 생성 후 종료 예상)
• 요청 B: "오늘 날씨에 대해 길게 설명해줘" (100개 토큰 생성 예상)

2. 작동 원리
   1. Step 1~3: 요청 A와 B가 동시에 토큰을 하나씩 생성합니다.
   2. Step 4: 요청 A가 작별 토큰(<EOS>)을 내뱉고 생성을 마칩니다.
   3. 핵심: 기존 방식은 요청 B가 100개를 다 만들 때까지 기다려야 하지만, 이 기법은 요청 A가 비운 슬롯에 즉시 새로운 요청 C 를 투입합니다.
   4. 이유: 모델의 가중치는 문장의 시작 부분($t=1$) 을 계산할 때나 중간 부분($t=50$) 을 계산할 때나 똑같기 때문입니다.

Continuous Depth-wise Batching

이 기법은 Recursive Transformer (RT ) 에서만 가능하며, 가중치가 레이어의 깊이(Depth) 에 상관없이 동일하다는 점을 이용합니다. 이는 조기 종료(Early Exiting) 기법과 결합될 때 극대화됩니다.

1. 예시 상황

• 모델 구조: 1개의 가중치 블록을 최대 10번 반복(loop) 하는 RT
• 요청 A (쉬운 질문): "1+1은?" (연산량이 적어 4번의 반복만으로 정답 도출 가능)
• 요청 B (어려운 질문): "양자역학을 설명해줘" (연산량이 많아 10번의 반복이 모두 필요)

2. 작동 원리
   1. Loop 14: 요청 A와 B가 동일한 가중치 블록에서 동시에 14회차 반복 연산을 수행합니다.
   2. Loop 5: 요청 A는 이미 답을 찾았으므로 4회차에서 Early Exit 하여 계산을 마칩니다.
   3. 핵심: 이때 요청 B는 여전히 5회차 연산이 필요합니다. RT 는 가중치가 모든 루프에서 동일하므로, 요청 A가 빠진 자리에 새로운 요청 C의 1회차 연산 을 요청 B의 5회차 연산과 동시에 배치(jointly computing) 로 묶어서 처리할 수 있습니다.
   4. 결과: 하드웨어는 요청 B의 남은 계산을 처리하는 동시에 새 요청의 시작 계산을 병렬로 수행하게 되어 쉬는 구간이 없어집니다.

사용자님의 질문은 매우 날카로운 지적입니다. "어차피 하나의 토큰을 완성하려면 여러 번( 번) 돌려야 하는 것은 똑같지 않나?"라는 의문이 생길 수 있습니다. 하지만 RT (Recursive Transformer)와 non-RT 의 결정적인 차이는 '조기 종료(Early Exiting)' 시 하드웨어 가용성을 어떻게 활용하느냐에 있습니다.

설정하신 규칙에 따라 강조 표시 와 수식 주변에 공백을 적용하여 설명해 드립니다.

1. 가중치의 특수성 vs. 범용성

가장 큰 차이는 물리적인 가중치() 가 메모리에 로드되었을 때, 어떤 작업을 처리할 수 있는지에 대한 범용성 입니다.

• Non-RT (Weight Specialization): 각 레이어가 서로 다른 가중치() 를 가집니다. 번 레이어 연산을 위해 을 메모리에 올렸다면, 그 시점에는 오직 '3층 연산' 만 할 수 있습니다.
• RT (Weight Universality): 모든 루프가 동일한 가중치() 를 공유합니다. 이 가중치가 메모리에 올라와 있다면, 그것이 누군가에게는 '1회차 루프' 일 수도 있고, 다른 누군가에게는 '10회차 루프' 일 수도 있습니다.

  2. Early Exiting 상황에서의 처리량(Throughput) 비교

  배치(Batch) 내에 쉬운 질문(A)과 어려운 질문(B)이 섞여 있다고 가정해 봅시다.

  Non-RT의 경우 (Sequence-wise Batching)

1. Step 1: [A의 1층, B의 1층] 연산
2. Step 2: [A의 2층, B의 2층] 연산 (A가 여기서 정답을 찾아 조기 종료함)
3. Step 3: [None, B의 3층] 연산

• 문제: 하드웨어는 을 로드했지만, 새로 들어온 요청 C는 이 필요하므로 지금 당장 처리할 수 없습니다. A의 빈자리는 요청 B가 문장을 완전히 끝낼 때까지 비어 있게 됩니다.

  RT의 경우 (Continuous Depth-wise Batching)

1. Step 1: [A의 1회차, B의 1회차] 연산
2. Step 2: [A의 2회차, B의 2회차] 연산 (A가 여기서 조기 종료함)
3. Step 3: [C의 1회차, B의 3회차] 연산

• 해결: RT 는 모든 루프가 같은 가중치를 쓰므로, A가 빠진 자리에 즉시 새로운 요청 C의 시작 부분 을 끼워 넣을 수 있습니다. 하드웨어 입장에서는 똑같은 를 쓰기 때문입니다.

  3. 결론: 왜 RT가 더 빠른가?

  사용자님의 말씀대로 토큰 하나당 필요한 총 연산량은 비슷할 수 있습니다. 하지만 RT 는 가중치의 공유 특성 덕분에 '깊이(Depth)' 라는 차원에서 동적인 그룹화() 가 가능해집니다.

• Non-RT: 문장이 완전히 끝나야 빈자리를 채울 수 있음.
• RT: 어떤 요청이 특정 깊이에서 일찍 끝나면, 그 즉시 다음 요청의 첫 번째 루프를 시작 하여 빈자리를 채울 수 있음.
  이러한 유연성 덕분에 하드웨어 유휴 시간이 줄어들고, 이론적으로 의 추론 처리량 향상을 달성할 수 있는 것입니다.

2. Effective Model Compression with Recursive Patterns

2.1. 트랜스포머

$h_{t}^{l} = f(h_{t}^{l-1}; \Phi_{l}), l \in [1,L],$

이전 레이어 $f(;\Phi_{l-1})$의 출력, $h_{t}^{l-1}$를 입력으로 받아, 현재 레이어 $f(;\Phi_{l})$를 지나, $h_{t}^{l}$를 출력함.

이때, $t$는 타임스텝인데, 그냥 $n$번째 토큰으로 이해해도 됨.

결국 $t$가 증가하려면, (즉, 다음 토큰으로 넘어가려면) 모든 레이어를 지나, $y_{t}$를 출력해서, 그걸 다시 $f(;\Phi_{1})$에 넣는것 임.

2.2. 기존 non-RT로 RT를 initialized

Looping 전략

Gemma 2B: 18 layers 를 CYCLE 전략으로 2배 압축 ⇒ $L=18, B=2$

⇒ $B$는 loop 횟수

$$h_{t}^{l} = f(h_{t}^{l-1} ; \Phi'_{( (l-1) \text{ mod } L/B) + 1}), l \in [1,L],$$

$l = 1$: $((1-1) \text{ mod } 9) + 1 = 1 \implies \Phi'{1}$ 사용 $l = 2$: $((2-1) \text{ mod } 9) + 1 = 2 \implies \Phi'{2}$ 사용 $l = 3$: $((3-1) \text{ mod } 9) + 1 = 3 \implies \Phi'{3}$ 사용 ... $l = 8$: $((8-1) \text{ mod } 9) + 1 = 8 \implies \Phi'{8}$ 사용 $l = 9$: $((9-1) \text{ mod } 9) + 1 = 9 \implies \Phi'{9}$ 사용 $l = 10$: $((10-1) \text{ mod } 9) + 1 = 3 \implies \Phi'{1}$ 사용 (다시 처음으로)

⇒ 즉, loop 도는 주기에 관한 얘기!

초기화 전략

• Stepwise , Average , Lower 초기화 방식 중 Recursive Transformers 에는 레이어를 특정 간격으로 추출하는 Stepwise 방식이 가장 적합했습니다.

• 반면 Relaxed Recursive Transformers 의 경우에는 가중치 행렬들을 평균 내어 초기화하는 Average 방식이 가장 높은 성능 회복력을 보였습니다.

2.3. relaxed via LoRA

$$h^{l}{t} = f (h^{l-1}{t} ; \Phi'{ ( (l-1) \text{ mod } L/B ) + 1}, \Delta \Phi'{l}), \quad l \in [1, L]$$

$\Delta \Phi'_{l}$: LoRA module 파라미터

non-RT의 2개 레이어를 RT에서 1개로 공유해서 쓸 때, RRT는 해당 1개의 shared layer에서 2개의 LoRA 모듈이 필요. 그 2개 모듈은 각각의 loop에서 쓰임.

즉, 첫 번째 loop에서, 1번 LoRA 모듈, 두 번째 loop에서, 2번 LoRA 모듈.

첫 번째 루프 (Loop 1): 공유 가중치($W'$) 에 첫 번째 LoRA 모듈을 더해 연산합니다. $h=W'x + \Delta W'_1x = W'x + B_1A_1x$ ($\Delta W'_1 = W_1-W'$)

두 번째 루프 (Loop 2): 동일한 공유 가중치($W'$) 에 두 번째 LoRA 모듈을 더해 연산합니다. $h=W'x + \Delta W'_2x = W'x + B_2A_2x$ ($\Delta W'_2 = W_2-W'$)

LoRA rank

r ↑ ⇒ non-RT 스러움 r ↓ ⇒ RT 스러움

2.4. Continuous Depth-wise Batching으로 infernece speedup

Depth-wise batching은 RT의 특정으로 인해, 더 세밀히 batch control이 가능.

3. Experiments

3.1. Experimental Setup

model

• Gemma 2B
• TinyLlama 1.1B
• Pythia 1B

를2배 압축.

後 SlimPajama로 uptraining.

3.2. Non-Recursive Model Baselines

Full-size model

Pretrain dataset과 Uptraining dataset이 다르거나, Pretrain dataset 품질 > Uptraining dataset 품질

⇒ 성능 저하

⇒ Gemma, Pythia는 dataset 품질이 SlimPajama(Uptraining dataset) 품질보다 좋음

⇒ non-RT를 SlimPajama로 같은 토큰 만큼 uptraining vs. RRT를 SlimPajama로 같은 토큰 만큼 uptraining 으로 비교함.

3.3. 결과

3.4. RT의 초기화 방법

Stepwise가 짱임.

3.5. RRT의 초기화 방법

• Stepwise: Residual ($W_{orig} - W'_{shared}$)이 너무 큼 ⇒ LoRA로 매꾸기 힘듦
• Average: Residual이 상대적으로 작음 ⇒ LoRA로 매꾸기 good

Average가 짱임.

3.6. Uptraining & KD

생략

3.7 EE 가능성

가능

3.8. Continuous Depth-wise Batching

굿.

EE에 대한 내용

Abstract

EE 장점

1. 추론 가속화
2. 기울기 소실 문제 완화
3. overfitting, overthinking 감소

1 Introduction

생략

2 Motivation and Venefits of Early-exit DNNs

1. 추론 가속화
2. vanishing gradient problem 해결
3. overfitting problem 해결
4. 병렬 구현의 어려움 해결

2.1 Speed Up the DNN Inference

쉬운 입력 ⇒ 초기 layer에서 추출된 특징을 사용 ⇒ 초기 EE

어려운 입력 ⇒ 출력 layer까지 처리 필요

2.2 An Alternate Solution to the Overfitting Challenge of DNNs

• EE의 요소 및 방법: 모든 측면 분기(Side Branches)의 가중 손실(Weighted Losses)을 단일 최적화 문제로 결합하여 공동으로 학습시킵니다.
• 해결 과제 및 효과: 각 분기가 상호 정규화 요소(Regularizer)로 작용함으로써 과적합(Overfitting) 문제를 해결하고 모델의 일반화 성능(Genralization) 및 강건성(Robustness)을 향상시킵니다.

2.3 Rectify Overthinking Issue of DNNs

단순 입력 ⇒ EE ⇒ overthinking X

2.4 Mitigate the Vanishing Gradients Problem of DNNs

EEDNN은 네트워크의 심층부까지 가기 전, 중간 종료 지점을 통해 역전파 경로를 단축시키고, 하위 레이어에 즉각적인 판별 목표를 부여함으로써 기울기가 사라지는 것을 방지하고 학습의 효율성을 극대화합니다.

2.5 Provide a Multi-tiered Platform for Training and Deploying DNNs

생략

3. Related Works

생략

4 Early-Exit DNN-Architecture

4.1 Conventional DNN Architecture

생략

4.2 Early-exit DNN Architecture

EE branch: Conv layer, FC layer 또는 이들의 조합

4.3 Design Constraints of Early-exit DNNs

4.3.1 분기 구조

• 분기마다 동일한 구조 (대다수)
  • 단일 FC layer (대다수)
  • Pooling layer
  • Max-pooling layer
  • Mixed max-average pooling layer
  • 단일 conv layer + fc layer
  • 여러 conv layer
  • 조합
• 분기마다 다른 구조
  • 보통 backbone의 얕은 conv layer는 고차원 특징(이미지 전체에 대한 특징)을 출력하는데, 그래서 더 복잡한 분류기 필요

4.3.2 분기 위치 및 개수

• 균등 분기 배치
• 불균등 분기 배치

4.3.3 조기종료 정책

• 규칙 기반 정적 종료 정책
• 학습 기반 동적 종료 정책

5. 학습

• Joint : Backbone + side branch 포함 전체를 하나로 통합해 학습
• Branch-wise: 각 side branch를 backbone 레이어들과 함께 반복적으로 학습
• Separate: side branch를 독립적인 분류기로 취급하여 각각 별도로 학습
• 2-stage: 먼저 backbone 학습 후 freeze하고, side branch 별도 학습
• KD: side branch가 student, backbone의 최종 출력이 teacher

5.1 Joint

5.2 Branch-wise

1단계 (초기 학습): $L_1, L_2$ (백본 레이어)와 $E_1$ (첫 번째 측면 분기)을 함께 학습시킵니다. 학습이 완료되면 $L_1, L_2$의 가중치($\theta_1, \theta_2$)를 고정(Freeze)합니다. 이제 이 값들은 더 이상 변하지 않습니다.

2단계 (확장 학습): 이제 $L_3, L_4$와 $E_2$ (두 번째 측면 분기)를 학습시킬 차례입니다.이때 $L_1, L_2$는 업데이트하지 않고, 여기서 나온 출력값(Feature map)을 $L_3$의 입력으로 그대로 사용합니다. 즉, 오차 역전파($Backpropagation$)가 $E_2 \rightarrow L_4 \rightarrow L_3$까지만 일어나고, $L_2$와 $L_1$으로는 전달되지 않습니다.

5.3 Separate

Branch-wise와 달리, freeze 안함

5.4 2-stage

그림 7에 나타난 바와 같이, 백본 레이어($L_1$에서 $L_n$ 및 $F_E$)가 먼저 학습됩니다. 그 후 해당 파라미터들은 각 분기를 독립적으로 학습시키는 데 사용됩니다. 예를 들어, 측면 종료 분기 $E_1$은 고정된 $L_1$과 $L_2$의 파라미터를 사용하여 학습됩니다. 마찬가지로, 측면 종료 분기 $E_2$는 고정된 $L_1, L_2, L_3, L_4$의 파라미터를 사용하여 학습되며, 이 과정이 모든 분기에 대해 반복됩니다.

backbone이 이미 학습되어 있을 때, ㅈㄴ 유용.

5.5 KD

최종 출력 레이어가 높은 acc를 달성했어야, 의미가 있음.

5.6 Hybrid

조합해서 사용.

6 Inference

• 규칙 기반 정적 종료 정책
• 학습 가능 동적 종료 정책

6.1 규칙 기반 정적 종료 정책

• Entropy
• Maximum softmax probability
• 사용자 정의 점수 함수

를 통해 confidence score 측정

Threshold vector $T= [T_1, T_2, ..., T_i, ..., T_{n-1}]$에서 $T_i$는 $i$번째 side branch의 threshold를 나타냄.

즉, 특정 시점의 threshold 값 보다 confidence scored와 비교해서, EE!

Entropy

인데, 값의 분포가 skewd 되어 있을수록, 낮은 엔트로피(불확실성)를 갖게됨. ⇒ $H(p) < Threshold$ 이면 EE!

Softmax 기반

각 분기의 fc layer 출력 벡터에 softmax 적용한 것 ⇒ $Softmax(v) < Threshold$ 이면 EE!

사용자 정의 점수 함수

6.2 학습 가능 동적 종료 정책

6.3 비교

• 엔트로피 비교 및 소프트맥스 확률 비교와 같은 정적 방법(Static methods)은 미리 정의된 임계값에 의존하기 때문에 학습 복잡도와 추론 지연 시간이 낮습니다. 이는 구현이 간단하고 실행 속도가 빠르다는 장점이 있습니다. 그러나 적응력이 부족하기 때문에 다양한 입력 특성에 대한 강건성은 낮게 나타납니다.

• 반대로 종료 선택 컨트롤러 및 강화 학습 기술과 같은 동적 방법(Dynamic methods)은 정교한 학습 구성 요소로 인해 학습 복잡도가 높습니다. 하지만 최적의 종료 지점을 학습하고 변화하는 입력과 조건에 적응함으로써 강건성 면에서 탁월합니다. 이러한 동적 방법은 계산 집약적이지만, 더 큰 유연성과 맥락에 기반한 의사 결정을 제공하여 다양한 시나리오에서 최적의 성능을 보장합니다.

• 맥락 기반 추론 이력 및 목적 함수 기반 추론 방법은 이력 데이터와 학습된 목적을 활용함으로써 중간 정도의 추론 지연 시간과 높은 강건성 사이의 균형을 맞춥니다.

대부분의 방법은 높은 확장성을 유지하여 다양한 규모에 적응 및 배포가 가능하지만, 동적 접근 방식은 계산 자원 수요가 더 높을 수 있습니다.

1. H module과 L module이 같나?

   • 같으면 TRM

     • 세팅: .sh 에서, arch=trm // .sh 에서, arch=trm으로 하더라도, arch.H_layers=T로 하면, HRM과 같이 됨.
     • 결과: all_config.yaml 에서, H_layers: 0

   • 다르면 HRM

     • 세팅: .sh 에서, arch=hrm
     • 결과: all_config.yaml 에서, H_layers: 4

2. 1-step gradient 유무?

   • 없으면, TRM

     • 세팅:

   • 있으면, HRM

     • 세팅:

3. ACT에서 continue_loss가 있나?

   • 없으면, TRM
     • 세팅: .sh 에서, arch=trm
     • 결과: all_config.yaml 에서, no_ACT_continue: True
   • 있으면, HRM
     • 세팅: .sh 에서, arch=hrm
     • 결과: all_config.yaml 에서, no_ACT_continue 항목 X

4. Recurrent 횟수

   • T = 3, n = 6 TRM
     • 세팅: .sh 에서, *arch.H_cycles=3 arch.L_cycles=6 *
     • 결과: all_config.yaml 에서, H_layers: 3, H_layers: 6
   • T = 2, n = 2 HRM
     • 세팅: .sh 에서, *arch.H_cycles=2 arch.L_cycles=2 * // TRM 논문에서는 T=3, n=3이 optimal이라고 함.
     • 결과: all_config.yaml 에서, H_layers: 2, H_layers: 2

5. Supervision 횟수

   • $N_{sup} = 16$ 인가?
     • 세팅: .sh 에서, 별다른 세팅 X
     • 결과: all_config.yaml 에서, halt_max_steps: 16

6. Transformer block 수

   • 2, TRM
     • 세팅: .sh 에서, arch.L_layers=2
     • 결과: all_config.yaml 에서, H_layers: 0, L_layers: 2
   • 4, HRM
     • 세팅: .sh 에서, arch.H_layers=4, arch.L_layers=4
     • 결과: all_config.yaml 에서, H_layers: 4, L_layers: 4

7. Attention-free?

   • O
     • 세팅: .sh 에서, 별다른 세팅 X
     • 결과: all_config.yaml 에서, mlp_t: True
   • X
     • 세팅: .sh 에서, 별다른 세팅 X
     • 결과: all_config.yaml 에서, mlp_t: False

8. EMA?

   • O

     • 세팅: .sh 에서, ema=True
     • 결과: all_config.yaml 에서, ema: true

   • X

     • 세팅: .sh 에서, 별다른 세팅 X
     • 결과: all_config.yaml 에서, ema: false

9. halt_exploration_prob?

   ⇒ ACT에서 최소 세그먼트 수($M_{min}$)(min_halt_steps)는 확률적으로 결정하는데, 그 확률이 halt_exploration_prob임

   // sudoku4x4에서, halt_exploration_prob이 0인데, // 그 뜻은 min_halt_steps가 0이라는 뜻이고, // halt는 is_last_step 이거나, q_halt_logits > 0 일 때만 한다는 뜻.

Model size

Model size에 관여하는 부분은 3가지가 있다.

1. H_layers
2. L_layers
3. Transformer Block(layer)의 크기

Transformer Block 하나의 크기는 로 총 3,407,872개

• HRM은 $H_layers = 4, L_layers = 4$ ⇒ 대략, $3,407,872 ⨉ 8 = 27,262,976 ≈ 27M$

• TRM은 $H_layers = 0, L_layers = 2$ ⇒ 대략, $3,407,872 ⨉ 2 = 6,815,744 ≈ 7M$

Emulated Depth

Default로

• HRM은 $T=2, N=2, layer=4$ ⇒ $Emulated Depth=24$

• TRM 논문에서 HRM $T=3, N=3, layer=4$이 optimal이라고함 ⇒ $Emulated Depth=48$

• TRM은 $T=3, N=6, layer=2$ ⇒ $Emulated Depth=42$

실험

1. H module, L module의 size를 다르게 한다면, 어떤 것의 size가 큰 것이 좋을까?

⇒ H module, L module의 size를 다르게 한다는 뜻은, model 구조가 HRM을 따라간다는 뜻

즉, $H_layers ≠ 0$.

HRM_module_with_TRM_training 실험

$T=3, N=3, layer=4$로 $Emulated Depth = 48$ 실험임.

HRM_module_with_TRM_training.sh

arch로 사용하는 hrm_module_with_trm_training은 다음과 같이 작성함 (config/arch/hrm_module_with_trm_training.yaml) 위 name 에서 사용하는 HrmModuleWithTrmTrainingModel_ACTV1은 다음과 같이 작성함(models/recursive_reasoning/hrm_module_with_trm_training.py)

그 결과 다음과 같은 all_config.yaml이 생성 됨

결과 모델:

HRM_heavyH_module_with_TRM_training 실험

HRM_heavyL_module_with_TRM_training 실험

2. H module, L module 중 어느 module이 quantization에 더 강건할까?

L module quantization

L_module이 forward pass에서 대다수를 차지한다.

$T=3, N=3, layer=4$로 $Emulated Depth = 48$ 로 예시를 들면,

에서 H module 횟수 : L module 횟수 = 1 : 3 임

⇒ L module을 quantization 할 때, H module을 quantization 할 때보다 3배 더 빠를 것임

3. EE

EE에 대해 참고할 것

고려사항

우선 제일 먼저, H_module 끝 마다 출력되는 hidden state를 뽑아서, 정답과 얼마나 유사한지 가시화 + 유사도 검사 즉, overthinking 여부 검사

⇒ 정답과 거의 유사하거나, 유사도가 높으면, EE 가능성 ↑

+

ACT에서 조기 훈련 종료 통계 조사

1. 전체 $N_{sup}=16$ 동안의 inference 시간 대비 중간 분류기(?)로 인한 overhead 비율 조사
2. 임계값 설정
3. 훈련법 설정
4. 신뢰도 정의
5. 일반화 가능성 일반적으로 임계값은 dataset-dependent함 하지만 내 실험에서는 크게 신경 안써도 ㄱㅊ을 것 같은 이유가 애초에 sudoku가 너무 domain-specific 함 만약 다른 일반적인 task에 대해서 모델을 확장한다면,
   1. 임계값 기반 적응: 미지의 도메인에 따라 임계값을 조정함
   2. 특징 기반 적응: 모든 계층에서 애초에 도메인 불변 특징을 학습하는 것

TRM에 대한 내용

Abstract

TRM은 HRM보다 훨씬 더 단순한 재귀적 추론 접근 방식으로, 단 2개의 레이어만 가진 하나의 초소형 네트워크를 사용하면서도 HRM보다 훨씬 더 높은 일반화 성능을 달성.

HRM: 27M TRM: 7M

1. Introduction

HRM

1) recursive hierarchical reasoning 2) deep supervision

Recursive hierarchical reasoning

$f_L$(고빈도)와 $f_H$(저빈도) 두 네트워크가 서로의 잠재 특징($z_L, z_H$)을 입력받아 재귀적으로 작동하며, 이는 뇌의 계층적 처리를 모방

Deep supervision

잠재 특징의 계산 그래프를 분리(detach)하여 다음 단계의 입력으로 재사용하고 단계마다 지도(학습)함으로써, 메모리 폭발 없이 매우 깊은 신경망을 흉내 냄

ARC 벤치마크 분석 결과, HRM 모델의 성능 향상은 모델 내부의 재귀적 순환(H/L 모듈) 때문 X

⇒ 모델 전체를 여러 번 반복하며 단계마다 지도(학습)하는 '심층 지도(Deep Supervision)' 방식이 거의 모든 성능을 이끌어낸 핵심 요인

2. Background

2.1. Structure and goal

• HRM은 입력 임베딩($f_I$), 하위($f_L$) 및 상위($f_H$) 순환 네트워크, 출력 헤드($f_O$)라는 4개의 학습 가능한 구성요소를 가짐

• 하위($f_L$) 및 상위($f_H$) 순환 네트워크는 RMSNorm, 편향 없음, 회전식 임베딩(RoPE), SwiGLU 활성화 함수를 갖춘 4계층 트랜스포머 아키텍처를 기반으로 함

2.2. Recursion at two different frequencies

$x \leftarrow f_I(\tilde{x})$ $z_L \leftarrow f_L(z_L + z_H + x)$ # 기울기 없음 $z_L \leftarrow f_L(z_L + z_H + x)$ # 기울기 없음 $z_H \leftarrow f_H(z_L + z_H)$ # 기울기 없음 $z_L \leftarrow f_L(z_L + z_H + x)$ # 기울기 없음 $z_L \leftarrow z_L.\text{detach()}$ $z_H \leftarrow z_H.\text{detach()}$ $z_L \leftarrow f_L(z_L + z_H + x)$ # 기울기 있음 $z_H \leftarrow f_H(z_L + z_H)$ # 기울기 있음 $\hat{y} \leftarrow \text{argmax}(f_O(z_H))$

2.3. Fixed-point recursion with 1-step gradient approximation

마지막 $f_L$ 및 $f_H$ 단계만 역전파하여 기울기를 근사하는 데 사용.

6개 중 마지막 두 단계의 기울기만 추적하는 것을 정당화하는 데 사용되며, 이는 메모리 요구량을 크게 줄여줌.

2.4. Deep supervision

유효 깊이(effective depth)를 향상시키기 위해 사용.

⇒ 이전의 잠재 특징($z_H$ 및 $z_L$)을 다음 순전파를 위한 초기화로 재사용

2.6. Deep supervision and 1-step gradient approximations replaces BPTT

• 심층 지도 + 1단계 기울기 근사 X: 384계층 전체에 대해 역전파(BPTT)를 한 번에 수행해야 하므로, 메모리 폭발이 일어나고 계산 비용이 엄청나게 비쌈

• 심층 지도 + 1단계 기울기 근사 O: 전체 깊이 대신 L_net과 H_net의 마지막 계산 블록에 대해서만 역전파를 N_sup번 반복하므로, 메모리 문제를 해결하고 계산 비용을 획기적으로 줄일 수 있음.

cf) $384 = (#{TransformerBlocks})(n + 1)TN{sup} = 4 \times (2 + 1) \times 2 \times 16 = 384$

2.7. Summary of HRM

생략

3. Target for improvements in Hierarchical Reasoning Models

3.1. Implicit Function Theorem (IFT) with 1-step gradient approximation

HRM은 6번의 재귀(recursions) 중 마지막 2번을 통해서만 역전파를 수행함.

저자들은 '암시적 함수 정리(IFT)'와 '1단계 근사(one-step approximation)'를 활용하여 이를 정당화함.

이 정리는 순환 함수가 고정점(fixed point)에 수렴할 때, 그 평형점(equilibrium point)에서 단일 단계로 역전파가 적용될 수 있음을 의미함.

But, "고정점(fixed-point)에 도달했다"라고 주장하며 수학적 "꼼수"(1단계 경사도 근사)를 사용하는데, 실제로는 고정점에 도달할 때까지 반복 계산을 하는 것이 아니라, "단순히 몇 번 순전파"를 실행하고 멈춤

3.2. Twice the forward passes with Adaptive computational time (ACT)

Q-러닝 목표는 정지 손실(halting loss)과 계속 손실(continue loss)에 의존한다.

계속 손실은 HRM을 통한 추가적인 순전파(extra forward pass)를 필요로 함.

⇒ 이는 ACT가 샘플당 시간을 더 효율적으로 최적화하는 반면, 최적화 단계(optimization step)당 2번의 순전파가 필요함을 의미

3.3. Hierarchical interpretation based on complex biological arguments

TBW

4. Tiny Recursion Models

4.1. No fixed-point theorem required

HRM: 1단계 기울기 근사를 활용하기 위해, $z_L$, $z_H$ 가 고정점에 수렴할 것이라고 가정.

But, 수렴 X

Let, (full recursion process) $=$ $z_L \leftarrow f_L(z_L + z_H + x)$ $...$ $z_L \leftarrow f_L(z_L + z_H + x)$ $z_H \leftarrow f_H(z_L + z_H)$ 일 때,

Full recursion process $T$번 중 마지막 $T$번째의 과정만 기울기를 계산해서 backward!!!

HRM vs. TRM

• HRM (1단계 근사 방식): $N_sup$ 루프의 각 단계에서, $T$번의 재귀 중 마지막 1번 재귀의 "마지막 2개 함수($f_L, f_H$)"에 대해서만 경사도를 계산.

• TRM (전체 역전파 방식): $N_sup$ 루프의 각 단계에서, $T$번의 재귀 중 마지막 1번 재귀의 "프로세스 전체($n+1$번의 net 호출)"에 대해 경사도를 계산.

4.2. Simpler reinterpretation of zH and zL

• HRM: 2개의 latent features 사용(H module, L module)

• TRM: 1개의 latent features 사용

그럼 H module의 생성 $z_H$는? ⇒ $y = z_H ← f_H(x, z_L, z_H= y)$

즉, 계층 구조는 필요 X 단순히 입력 $x$, 제안된 해답 $y$ (이전의 $z_H$), 그리고 잠재 추론 특징 $z$ (이전의 $z_L$)가 있을 뿐

입력 질문 $x$, 현재 해답 $y$, 현재 잠재 추론 $z$가 주어지면, 모델은 재귀적으로 잠재 $z$를 개선 ⇒ $z_i = f(x, y, z_{i-1})$

後 현재의 잠재 $z$와 이전 해답 $y$가 주어지면, 모델은 새로운 해답 $y$를 제안 ⇒ $y = f(y, z_i)$

코드를 보면, n loop(L_cycles)에서 net(z, y+z) 임을 알 수 있음.

다양한 feature에 대해 실험 해봤는데, 2개 feature가 최적임을 찾음 ※ TRM은 1개의 latent feature를 사용한다의 'feature'와 다른 feature임

1개의 laytent feature라는 것은 H module과 L module이 같은 가중치를 쓴다는 거고, 2개의 feature가 최적이라는 것은 z의 개수 1(y 1개, z 1개 ⇒ 2개 latent feature)이 최적이라는 뜻

4.3. Single network

위와 동일한 내용임.

4.4. Less is more

Model 확장을 위해, layer(Transformer block) 수를 늘려 capacity를 늘리려함

⇒ overfitting

⇒ 재귀 횟수(n)을 비례적으로 늘리면서 block 수를 줄였을 때, 일반화 성능 극대화

⇒ $#{TransformerBlock} \leftarrow \frac{#{TransformerBlock}}{2}$

⇒ $n \leftarrow n ⨉ 2$

4.5. attention-free architecture for tasks with small fixed context length

Attention의 경우 $L≫D$ 일 때, $[D, 3D]$ 행렬만으로 전체 시퀀스를 설명할 수 있음.

But, $L ≤ D$ 일 때, linear layer는 $[L, L]$ 행렬만 필요로 하므로 더 저렴함. (MLP-Mixer)

⇒ 작고, 고정된 context lenght에서 잘 작동

But,

긴 context suboptimal

4.6. No additional forward pass needed with ACT

HRM의 ACT는 "계속 손실"을 계산하기 위해 비효율적인 2차 순전파가 필요하여 훈련 속도가 느려짐

⇒ TRM은 "계속 손실"을 제거하고 "중단 손실"만 학습함으로써, 비용이 드는 2차 순전파 과정을 없앰

⇒

4.7. Exponential Moving Average (EMA)

생략

4.8. Optimal the number of recursion

HRM: $T=3, n=3$이 최적 TRM: $T=3, n=6$이 최적

// full recursion process의 gradient를 backward하기에 n이 크면 OOM

5. Results

Setups

Dataset

• Sudoku-Extreme Train: 1K Test: 423K

• Maze-Hard Train: 1K Test: 1K

• ARC-AGI1

• ARC-AGI-2

Augmentation

Shuffling, dihedral transformations, color permutation, dihedral-group, translations, flips, reflection 등 많이 함

Results

HRM에 대한 내용

HRM 관련 유용스

Abstract

기존 CoT는 방대한 data 요규량, 높은 latency ⇒ 인간의 hierarchical하고, multi-timescale한 처리 과정에서 영감을 받아, HRM

HRM은 한 번의 forward pass로 interdependent한 recurrent module 2개를 씀.

1. High-level module: 느리고, 추상적인 계획
2. Low-level module: 빠르고, 상세한 실행

1. Introduction

Reasoning 이 ㅣ필요한 작업에서, model depth를 증가시키면, 성능 ↑ But, 매우 깊더라도, 성능 최적 X 아래 Figure 2에서 볼 수 있듯, Scaling Depth를 늘려도, 109M 정도 부터 saturate됨.

⇒ CoT prompting

CoT prompting: 복잡한 문제를 간단한 중간 언어 단계로 분해하여 순차적으로 해결.

문제점: 단 한 번의 실수로도 전체 추론이 실패할 수 있고, 많은 토큰을 생성하여 느리고 비효율적.

⇒ latent reasoning Latent reasoning은 언어가 인간 의사소통을 위한 도구일 뿐, 생각 그 자체의 기질(substrate)은 아니라는 이해와 일치. 즉, 마지막에 출력만 언어로 하면 되지, 중간 언어 단계(CoT prompting)는 필요없다는 뜻.

⇒ 단순히 층을 쌓는 것
⇒ vanishing gradient 문제

⇒ Recurrent architectures
⇒ early convergence ⇒ 후속 계산 단계를 비활성(inert) 상태로 만듦 + BPTT

⇒ 층 多 + without BPTT ⇒ HRM

• 두 개의 coupled된 recurrent module(H, L module)
• One-step gradient approximation (BPTT 제거)

2. Hierarchical Reasoning Model

Let, input vector $x$, output prediction vector $\hat{y}$

Learnable component, input network $f_I(\cdot; \theta_I)$에 의해, input vectoer $x$는 $\tilde{x}$가 됨.

$\tilde{x} = f_I(x; \theta_I)$

Let, time step $i = 1, \ldots, N \times T$. ( N: $f_L(\cdot; \theta_L)$의 recurrent 횟수, T: $f_H(\cdot; \theta_H)$의 순환 주기 )

H module은 해당 사이클(N번의 $f_L(\cdot; \theta_L)$ recurrent)이 끝날 때의 L module의 최종 상태를 사용하여, 사이클당 한 번만 H의 hidden state $z_H$를 update.

$$z_L^i = f_L(z_L^{i-1}, z_H^{i-1}, \tilde{x}; \theta_L) ,$$

$$z_H^i = \begin{cases} f_H(z_H^{i-1}, z_L^i; \theta_H) & \text{if } i \equiv 0 \pmod{T}, \ z_H^{i-1} & \text{otherwise}. \end{cases}$$

전체 $N$번의 사이클($N \times T$의 time step)이 끝난 후, H module의 hidden state $z_H^{N \times T}$을 output network $f_O(\cdot; \theta_O)$에 넣어, $\hat{y}$ 얻음.

$\hat{y}=f_O(z^{NT}_H; \theta_O)$

이 과정 한 번이 forward 한 번임.

Hierarchical convergence

표준 RNN의 문제점: Hidden state가 너무 빨리 고정점(fixed point)으로 수령하여, 후속 계산이 중단되고 NN의 유효 깊이가 제한.

⇒ 계산 능력을 보존하기 위해 hidden state가 매우 느리게 수렴하도록 NN를 설계.

But, 수렴 속도를 억지로 늦추면, 시스템 전체가 불안정해질 위험 有.

⇒

• H module: 하위 계산 결과($z_L$)를 통합하여, 전반적인 전략을 지시하고, L module이 새로운 계산을 시작하도록 컨텍스트($z_H$)를 업데이트.

• L module: H module이 설정한 컨텍스트($z_H$) 내에서 '국소 평형'에 도달할 때까지 집중적인 탐색 또는 정제 계산을 수행.

⇒ Early convergence를 방지 + 표준 RNN($T$ 단계)보다 훨씬 깊은 $NT$ 단계의 향상된 유효 깊이를 안정적으로 확보.

⇒ HRM이 (표준 RNN처럼 활동성이 급격히 감소하는 것과는 대조적으로) 많은 단계에 걸쳐 높은 계산 활동성(forward residual)을 유지하면서도 + 안정적인 수렴을 누릴 수 있음을 보여줌.

Approximate gradient

RNN은 BPTT를 사용. BPTT는 forward pass에서 얻은 모든 hidden state를 저장했다가, backward pass 중에 gradient와 결합해야함.

⇒ memory 부담 ↑ BPTT 참고자료

만약, RNN이 fixed point로 convergence된다면, 그 equilibrium point에서 단일 단계로 backward해서, BPTT 피할 수 있음(왜?...)

⇒ 즉, 아래 그림의 빨간 포인트들에서 단일 단계 backward할 수 있다는 뜻.

⇒ one-step approximation ⇒ 각 module의 마지막 hidden state의 gradient만 사용하고, 다른 hidden state는 상수 취급

Deep supervision

Let, 한 번의 forward pass를 segment. 총 segment 수를 M이라고 한다면, 각 segment $m \in {1, ..., M}$.

Let, segment $m$에서의 최종 H/L module의 hidden state를 $z^m=(z^{mNT}_H, z^{mNT}_L)$.

⇒ $$(z^m, \hat{y}^m) \leftarrow \text{HRM}(z^{m-1}, x; \theta)$$

$$L_m \leftarrow \text{LOSS}(\hat{y}^m, y)$$

$$\theta \leftarrow \text{OPTIMIZERSTEP}(\theta, \nabla_{\theta}L_m)$$

+

Hidden state $z^m$을 다음 segment로 넘길 때 계산 그래프에서 '분리(detach)'하여, gradient가 이전 segment로 backpropagation되지 않도록 차단!!!

⇒ H module에 더 빈번한 피드백을 제공 + 메모리 부담 X

'Approximate gradient' vs. 'Deep supervision'

• 근사 기울기 (Approximate Gradient): detach로 인해 과거의 계산 기록이 의도적으로 잘린 상태에서, 각 지도 단계(step)마다 계산되는 기울기 값.

• 심층 지도 (Deep Supervision): detach로 계산 그래프를 분리하며 (순전파 → 손실 계산 → 역전파) 과정을 n_supervision번 반복하는 전체 훈련 기법.

Adaptive computational time (ACT)

뇌는 과제 복잡성과 잠재적 보상에 따라 학습 시간을 동적으로 조절함.

⇒ Training 中에만 adaptive halting strategy를 HRM에 통합.

⇒ 학습 中 segment 수를 동적으로 조절.

Q-head를 통해, H module의 최종 상태($z_H^{mNT}$)를 사용하여, halt, continue 행동의 Q-value를 예측.

$Q-value = \hat{Q}^m = \sigma(\theta_Q^T z_H^{mNT}) = (\hat{Q}^m_{halt}, \hat{Q}^m_{continue})$

if ((m ≥ $M_{max}$) or (($\hat{Q}{halt}$ > $\hat{Q}{continue}$) and ($m ≥ M_{min}$))) ⇒ halt

cf) $M_{max}$: 고정 하이퍼 파라미터, $M_{min}$: 확률적으로 랜덤하게 1 ~ $M_{max}$에서 선택.

⇒ Q-value를 통해, halt 여부 결정

Q-head update 과정

$\hat{G}^m_{halt}$: "halt" action을 선택했을 때의 보상이고, $\hat{G}^m_{continue}$: "continue" action을 선택했을 때의 미래의 보상임

$BinaryCrossEntropy(\hat{Q}^m, \hat{G}^m)$: "action"에 대한 loss

⇒ 예측($\hat{Q}^m$)이 실제 목표($\hat{G}^m$)와 비슷해 지도록 함!!!

전체 $L_m^{ACT} = \text{LOSS}(\hat{y}^m, y)+BinaryCrossEntropy(\hat{Q}^m, \hat{G}^m)$

cf) 이때, halt action을 했다고 해서, 배치의 모든 샘플이 새로운 샘플로 대체 X ⇒ 해당 샘플만 대체 O

3. Results

3.1 Benchmarks

ARC-AGI Challenge

Sudoku-Extreme

Maze-Hard

3.2 Evaluation Details

3.3 Visualization of intermediate timesteps

4. Brain Correspondence

5. Related Work

Reasoning and algorithm learning

Brain-inspired reasoning architectures

Hierarchical memory

6. Discussions

Turing-completeness of HRM

Reinforcement learning with chain-of-thought

Linear attention

7. Conclusion

RepQ-ViT에 대한 내용

Abstract

P1. post-LayerNorm activation의 inter-channel variation S1. Channel-wise Q @ quantization step. Layer-wise Q @ inference step.

P2. Power-law distribution을 가진 post-Softmax activation S2. $log_{\sqrt{2}}$ Q @ quantization step. $log_2$ Q @ inference step.

1. Introduction

전통적인 'Q-infernece 종속' paradigm은 유일한 선택일까? ⇒ Q, infernece step을 decoupling

P1. post-LayerNorm activation의 inter-channel variation S1. Channel-wise Q @ quantization step. Layer-wise Q @ inference step. ⇒ Q step에서 channel-wise Q하고, I step에서 layer-wise로 reparameterization하여, LayerNorm의 affine factoer, 다음 layer의 weight를 조정해서 acc ↑

P2. Power-law distribution을 가진 post-Softmax activation S2. $log_{\sqrt{2}}$ Q @ quantization step. $log_2$ Q @ inference step.

2. Related Works

생략

3. Methodology

3.1 Preliminaries

Hardware-friendly quantizers

Uniform Q

$log_2$ Q

3.2 Scale Reparam for LayerNorm Activations

⇒ 단순히 통일된 Q SF를 적용하는 layer-wise Q는 위와 같은 큰 inter-channel variation에서 acc ↓

⇒ Q step: channe-wise Q ⇒ $s \in \R^D$, $z \in \Z^D$를 얻음

I step: $s, z$를 $\tilde{s} \in \R^1, \tilde{z} \in \Z^1$로 reparam.

이때, $\tilde{s}, \tilde{z}$k는 당연히 미리 계산됨(PTQ니까...)

$\tilde{s} = E[s], \tilde{z} = E[z]$

라고 하면,

이고, 이러한 연산은 Layernorm의 affine factor를 다음과 같이 조정함으로써 달성 ㄱㄴ.

위에처럼 하면, $s, z$를 reparam하지만, activation 분포를 이렇게 이동시킴.

⇒

이런 식으로 뒤에 layer의 weight에 오차를 보상하게 함.

3.3 Scale Reparam for Softmax Activations

FQ-ViT의 $log_2$ Q는 중요한 소수의 attention 값이 큰 부분에 적은 bin을 할당.

⇒ acc ↓

⇒ $log_{\sqrt{2}}$ Q

But HW frendly X (∵ $log_2$ Q처럼 bit-shifting 연산 X)

⇒ Q step: $log_{\sqrt{2}}$ Q I step: $log_2$ Q

⇒

s와 비교할 때, reparam된 $\tilde{s}$는 I step에서 dequant 절차 또한 효율적인 bit-shift로 할 수 있게함! // 물론 $A^{(\Z)}$가 홀수일 때, $\tilde{s}=s \cdot [\sqrt{2}]$ 여서, // $\hat{A}=2$를 $\lfloor -\frac{A^{(\Z)}}{2}\rfloor$ 만큼 shift하고, $\tilde{s}$를 곱하긴 함.

// 짝수일 떄도, $s$가 FP32이면, fp연산을 하긴 함...

4. Experiments

4.2. Quantization Results on ImageNet Dataset

4.3. Quantization Results on COCO Dataset

4.4 Ablation Studies

4.5 Efficiency Analysis

ARQ-ViT에 대한 내용

Abstract

P1. 기존 SF 지표(calibration metric)가 low-bit에 대한 Q 영향을 측정하는데 부정확 S1. Block-wise로 Q perturbation을 감지 + 중대한 오차에 대한 집중도를 높이기 위해, 사소한 오차를 무시 ⇒ Bottom-elimination Blockwise Calibration

P2. 기존 Q 패러다임이 Softmax의 power-law-distribution에 친화적이지 X S2. softmax의 power-law-distribution을 유지하기 위해, Matthew-effect Preserving Quantization 설계

1 Introduction

S1. Blockwise Bottom-elimination Calibration, BBC는 block-wise하게 Q error를 감지 + 사소한 error에 해당하는 2차 그래디언트를 생략하여, 중대한 오차에 집중

S2. Mattew-effect Preserving Quantization, MPQ는 softmax의 목적에 맞게, 큰 값(중요한 값)에 더 많은 bin 할당

2 Related Work

생략

3 Method

3.1 Preliminaries

PTQ4ViT는 최적의 SF를 결정하기 위해, Hessian guided metric을 사용.

위 Q로 인한 작업 손실의 기댓값을 최소화하는 SF를 찾아야함.

⇒ $min_\Delta(E[L(\hat{x})]-E[L(x)])$

⇒ ≈ $min_\Delta((\hat{O}-O)^T\bar{H}^{(O)}(\hat{O}-O))$

이후 구간을 $n$등분한 $\Delta_x$의 search space를 순회하며, ≈ $min_\Delta((\hat{O}-O)^T\bar{H}^{(O)}(\hat{O}-O))$를 만족하는 $\Delta_w, \Delta_a$를 교대 탐색!!!

3.2 Blockwise Bottom-elimination Calibration

PTQ4ViT의 hessian guided metric은 low-bit에서, layer-wise한 최적화가 block level에서의 Q를 감지할 수 없어, 부정확 + 낮은 비트에서 오차(hessian matrix)가 클 수 밖에 없는데, dense한 hessian matrix는 사소한 오차'까지 모두 보려다가, '중대한 오차'에 대한 집중도를 잃음

⇒

4bit에서 인접한 후보 SF들끼리 loss 차이가 큼 + 너무 뾰족 뾰족해서, 최적 찾기 어려움

⇒ Blockwise Bottom-elimination Calibration

1. Blockwise하다?

어떤 b번째 block의 input/output을 $a^b, O^b$라고 할 때, $O^b={w_L^b}^T{w_{L-1}^b}^T...{w_1^b}^Ta^b$ 이다. 또한 $l$번째 layer가 보정될 때, $L$번째부터 $l$번째 layer까지의 복합 레이어로 간주될 수 있고, 그 weight와 activation은 다음과 같음

weight 보정을 예로들면, $b$번째 block의 $l$번째 layer에 대한 2차 항은 다음과 같음

이때,

⇒ (7)을 보면, 결국, 어떤 block의 어떤 layer든 해당 block의 2차 정보로 최적의 SF를 결정할 수 있음 ⇒ Blockwise!!!

2. Bottom-elimination?

bit-width ↓ ⇒ Q error ↑ ⇒ '사소한 error' ↑ ⇒ '중대한 error' 관심 ↓

⇒ 최종 출력에 perturbation을 일으키는 큰 error에 더 주목하기 위해, '최하위 제거'메커니즘을 적용한, sparse hessian matrix!!!

⇒

⇒

3.3 Matthew-effect Preserving Quantization

다른 연산들과 달리 softmax의 output distribution은 비대칭적이고 극도로 불균형한 power-law probability distribution을 따름.

이전 많은 연구들 PTQ4ViT(twin-Q), FQ-ViT(log방법)는 모두 낮은 softmax 값(대다수의)에 많은 bin을 부여하고 싶어함.

But 그렇게 되면, softmax의 원래 기능(작은 값은 더 작게, 큰 값은 더 크게(∵exponential function 때문에))을 상실...

⇒ 중요한 큰 값들의 정보 손실...

⇒ Matthew-effect Preserving Quantization, MPQ

이는 양자화 전후의 상호 정보량 최대화를 순수하게 추구하는 대신, 양자화 과정 동안 소프트맥스 출력의 마태 효과를 유지

⇒ 즁요한 값은 더 fine하게 Q (그림 5(d))

3.4 Framework of APQ-ViT

4. Experiment

4.1 Settings

생략

4.2 Ablation Study

4.3 Comparison on Classification Task

4.4 Comparison on Object Detection Task

5. Conclusion

생략

FQ-ViT에 대한 내용

Abstract

P1. LayerNorm input의 심각한 inter-channel variation ⇒ performance ↓ S1. Power-of-Two Factor

P2. Attention map에서의 extreme skwed distribution ⇒ performance ↓ S2. Log-Int-Softmax

1 Introduction

Post-Training Quantization for Vision Transformer에서 LayerNorm과 Softmax를 Q하는 것은 심각한 acc ↓를 가져옴을 보임. ⇒ Model이 fully Q되지 않아, HW에서 FP 연산 장치를 유지 + resource 소모 ↑ + inference speed ↓

⇒ P1. LayerNorm input에서 significant한 inter-channel variation 발견. 일부 channel의 범위는 median의 40배를 초과 ⇒ acc ↓ S1. LayerNorm의 input을 Q하기 위한, PTF

P2. Attention-map 값이 extremely skwed distribution ⇒ 대부분 값 0 ~ 0.01, 소수 높은 attention 값만 1에 가깝 ⇒ acc ↓ S2. 대부분의 작은 값에 더 높은 Q 해상도를 제공하기위해, LIS

2 Related Work

생략

3 Proposed Method

3.1 Preliminary

Uniform Quantization

⇒ $s, zp$는 $X$의 하한($l$)과 상한($u$)에 의해 결정.

Log2 Quantization

3.2 Power-of-Two Factor for LayerNorm Quantization

LayerNorm은 forward step에서 $μ_X, σ_X$를 계산하여, input $X$를 normalized함. 이후, affine param $\gamma, \beta$가 nomalized된 input을 재조정.

P1. ViT에서 LayerNorm input의 inter-channel variation이 큼.

⇒ 모든 channel에 동일한 Q param을 적용하는 layer-wise Q는 acc ↓

⇒ Group-wise, Channel-wise Q

But

여전히 FP 영역에서 평균과 분산 계산...

⇒ Channel-wise하게, factor $\alpha$를 도입하는, PTF

⇒ Channel별 고유한 factor $\alpha$를 갖고, layer-wise 고유한 $s, zp$를 갖게됨!!!

⇒ Infernce시 $s, zp$는 미리 추출될 수 있음 + LayerNorm input이 Q되서, 평균, 분산이 int 영역에서 계산 됨!!!

3.3 Log-Int-Softmax for Softmax Quantization

P2. Attention map의 상당히 많은 값이 상당히 작은 값에 분포. 1에 가까운 큰 값은 이상치로 소수에 불과.

이렇게 많은 값들($10^{-4}$ ~ $10^{-2}$의 값들)에 하나의 구간만 할당하는 uniform Q는 않좋음.

⇒ $log_2$ 방식은 이 값들을 위해, 더 많은 구간을 할당 可能 + 지수 함수 (Softmax의 exp($X$))의 다항식 근사치인 i-exp

⇒ integer-only + fast + low-cost

4 Experiments

4.1 Implementation Details

• Calibration: ImageNet, COCO에서 1000개 training images
• Weight Q: symmetric channel-wise MinMax
• Activation Q: asymmetric layer-wise MinMax
• PTF의 K = 3

4.2 Comparison with State-of-the-art Methods

4.3 Ablation Studies

⇒ Softmax를 낮은 비트로 Q 하려면, LIS 必

4.4 Visualization of Quantized Attention Map

⇒ Softmax를 낮은 비트로 Q 하려면, LIS 必

5 Conclusions

생략

PTQ4ViT에 대한 내용

Abstract.

Softmax, GeLU 이후 activation의 distribution ≠ gaussian distribution + MSE, cosine distance를 통한, optimal SF 결정은 정확 X

⇒ Twin uniform Q + Hessian guided metric을 통한, SF optimizing

1 Introduction

생소했던 개념들

• Self-attention module은 global information을 포착
• PTQ는 label 없는 calibraion images를 사용

문제1. 특수 분포 activation

1. Softmax: Softmax를 거친 값들은 [0, 1] 범위에서 매우 unbalanced된 distribution을 갖음. 대부분 값이 0에 매우 가까움. + 큰 값의 수는 매우 적지만, 이 값들은 두 patch 간 높은 연관성(attention)을 의미. ⇒ 매우 중요한 값 ⇒ 이 큰 값을 Q 범위에 포함시키기 위해, 큰 SF 要 ⇒ 大多數의 작은 값들이 0으로 Q됨 ⇒ Q Error ↑
2. GeLU: GeLU를 거친 값들은 asymmetrical한 distribution 갖음. 양수 값들은 분포가 넓음. + 음수 값들은 skewed됨.

⇒ 이런 특수 distribution을 해결하기 위해, Twin uniform Q 이는 값들은 두 범위로 분리하여 각각 Q.

문제2. SF를 결정하는 지표 정확 X

MSE, Cosine distance, Pearson correlation coefficient등이 있었음. ⇒ local information만 사용 ⇒ suboptimal ⇒ Hessian guided metric

2 Background and Related Work

2.1 Vision Transformer

생략

2.2 QuantizationFang, J., Shafiee, A., Abdel-Aziz, H., Thorsley, D., Georgiadis, G., Hassoun, J.: Post-training piecewise linear quantization for deep neural networks. In: ECCV (2020)

3 Method

3.1 Base PTQ for Vision Transformer

생략

3.2 Twin Uniform Quantization

• Softmax 후 활성화 분포: 활성화 분포가 매우 불균형하며(unbalanced), 대부분의 값이 0에 매우 가깝고 소수의 값만이 1에 가깝습니다.
• GELU 후 활성화 분포: GELU 함수를 거친 값들은 높은 비대칭 분포(highly asymmetric distribution)를 가지며, 무한정한 양수 값들은 범위가 큰 반면 음수 값들은 분포 범위가 매우 작습니다.

⇒ Twin uniform Q

Twin uniform Q는 2개의 Q 범위 $R_1, R_2$를 갖음. 각각은 다른 SF $\Delta_{R1}$과 $\Delta_{R2}$에 의해 제어됨. ⇒

• Softmax 後 값에 대한 범위 설정 작은 $\Delta_{R1}^{softmax}$를 사용하여, $R_1=[0, 2^{k-1}\Delta{R1}^{softmax})$를 잘게 Q. + 상대적으로 큰 $\Delta_{R2}^{softmax}=\frac{1}{2^{k-1}}$로 고정하여, $R_2=[0, 1]$을 크게 크게 Q. ∵ calibration 영향을 피하기 위해.

• GeLU 後 값에 대한 범위 설정 작은 $\Delta_{R1}^{GeLU}=\frac{0.170}{2^{k-1}}$로 고정하여, $R_1=[-2^{k-1}\Delta_{R1}^{GeLU}, 0]$를 잘게 Q. ∵ 음수 전체 범위 $[GeLU_{min}, 0]$를 포괄하려고. + 상대적으로 큰 $\Delta_{R2}^g$를 사용하여, $R_2=[0, 2^{k-1}\Delta_{R2}^{GeLU}]$를 크게 크게 Q.

⇒ 이제 optimal $\Delta_{R1}^{softmax}, \Delta_{R2}^{GeLU}$만 찾으면 됨.

⇒ ![] (https://velog.velcdn.com/images/sangjun_moon/post/ecdb6670-ce8c-4f84-8d80-f5bfdd8f274a/image.png)

그림4에서, optimal 빨간색 범위만 찾으면 됨!!!

3.3 Hessian Guided Metric

Optimal SF를 찾기위해, 여러 metric(MSE, Cosine, Pearson, ...)으로 layer-wise + greedy하게 했었음

물론 Q 前/後 마지막 layer output 간의 distance ($L = CE(\hat{y}, y)$)를 사용하는 것이 PTQ에서 가장 정확. But, forward 너무 많이 해야됨.

⇒ Hessian Guided Metric

weight $W$를 변수로 취급할 때, Loss의 expectation은 $E[L(W)]$

Q는 weight에 작은 perturbation $\epsilon$을 갖게 함. ⇒ $\hat{W}=W+\epsilon$

⇒ Taylor series expansion을 통해, Q가 Loss에 미치는영향을 분석 可能

⇒

optimal SF를 찾아야 함!!! ⇒ $min_{\Delta}(E[L(\hat{W})]-E[L(W)])$을 layer-wise하게 구성해야함.

⇒

∵ $\bar{g}(W)$는 잘 training된 model에서 0을 갖고, $\epsilon = (\hat{O_l}-O_l)$이어서.

3.4 PTQ4ViT Framework

1단계: Output($y$) 및 gradient 수집

1 ~ 6 line

2단계: Optimal SF찾기

7 ~ 14 line

문제점

10 ~ 13 line에서 특정 layer를 Q하면, $\epsilon = (\hat{O}^l-O^l)$이 바뀌는데, 그럼 $\bar{H}(W) = diag((\frac{∂L}{∂O_1^l})^2, ..., (\frac{∂L}{∂O^l_{|O_l|}})^2)$ 도 매번 새로 계산해야 되는데, 그렇게 안함... ∵ GPU 메모리 줄이려고...

4 Experiments

4.1 Experiment Settings

• Softmax 後: $\Delta^{softmax}_{R1}$의 탐색 공간은 $[\frac{1}{2^k}, \frac{1}{2^{k+1}}, ..., \frac{1}{2^{k+10}} ]$
• $\alpha, beta$, # Round
  • BasePTQ
    • $\alpha = 0.5, beta = 1.2$, # Round = 1
  • PTQ4ViT
    • $\alpha = 0, beta = 1.2$, # Round = 3
• ImageNet
• Calibration 32개

4.2 Results on ImageNet Classification Task

4.3 Ablation Study

Conclusion

생략

PTQ for ViT에 대한 내용

Abstract

• Attention mechanism 기능을 보존하기 위해, Q된 attention map의 relative order를 유지하게하는 ranking loss를 최종 Q 목적 함수에 도입
• MHA의 Attention map과 MLP의 output feature 간 nuclear norm을 활용하여, MixQ

1 Introduction

이 논문 이전의 PTQ 방법들은 CNN이나 RNN을 위해 설계됨 ⇒ transformer의 특징 고려 X

⇒

• Attention map의 relative order를 유지하기 위해, ranking loss 도입
• Attention map과 MLP의 output feature의 sensitivity 측정을 위해, nuclear norm을 사용해서, MixQ
• Bias correction을 통한, Q error 보정

2 Related Works

생략

3 Methodology

• Linear layer를 위한 similarity-aware quantization + ranking-aware quantization
• Accuracy ↑을 위한 bias correction
• Nuclear norm을 통한 MixQ

3.1 Preliminaries

에서 $X$의 가로 한 줄이 patch 하나에 대한 정보

에서 $X_lW_l^Q$의 결과 $Q_l$ 또한 가로 한 줄이 patch 하나에 대한 정보

3.2 Ranking-Aware Post-Training Quantization

는 Q 함수이다.

는 Q된 출력이다.

scale factor ($\Delta_W^l, \Delta_X^l$)가 Q 결과에 큰 영향을 미침을 알 수 있다. ∵ 사실상 조절 가능한 것이 $Y$와 $\Delta$이기 때문에...

⇒ Calibration Dataset에서 생성된 weight와 activation에 대한 optimal scale factor를 찾자!!!

Self-attention layer는 전역적 관련성을 계산하는 CNN과 차별화를 갖는 구성 요소임.

Q 後 attention map의 relative order가 변경되는 것을 empirically 관찰 ⇒ 이는 심각한 performance degradation 발생

Relative order란? Attention map의 한 행 내에서, 임의의 두 값 $A_{kp}, A_{kq}$의 대소 관계를 의미

Q 後 attention map의 relative order가 변경됬다는 것은 Q 前에는 한 row에 ..., 3.61, 5.234, ..., 4.24, ... 이었는데, Q 後에는 한 row에 ..., 4, 5, ..., 4, ... 가 되면, $3.61 < 4.24$의 대소 관계가 사라짐

⇒ Ranking Loss 도입

⇒ Ranking Loss function을 통해, Q Attention 값의 쌍별 순서가 원본 attention 값의 순서를 유지하도록 함.

전체 최적화 목표

전체 Loss Runction은 다음과 같음

$\Gamma$는 pearson correlation coefficient로 Q 전/후 텐서의 유사도 측정 지표로 사용됨

Alternative searching method

위의 식(11)을 해결하기 위해, weight scale factor 최적화 後 input scale factor 최적화

Bias Correcition

Q로 인해 발생하는 오차를 출이기 위해, 최적의 scale factor를 찾고, biased 된 error를 보정

Q errors는 다음과 같아,

Q된 한 layer의 출력 $\hat{O}$의 error 기댓값은 다음과 같음

∵

⇒ $\hat{O}-\mathbb{E}[\hat{O}]$ 를 통해, 보정!!!

3.3 Nuclear Norm Based Mixed-Precision Quantization

MHA, MLP를 MPQ 대상으로 보고, 두 모듈의 sensitivity를 계산하기 위해, nuclear norm 사용

Nuclear norm이란 SVD의 $\Sigma$ matrix의 tr($\Sigma$)임

즉, 임

위 nuclear norm을 특정 MPQ 설정에서 model 전체에 얼마나 큰 perturbation을 일으키는지 측정하는 종합 sensitivity indicator $\Omega$에 적용

$tr()$: nuclear norm $||\hat{X}-X||^2_2$ : Q error의 곱

⇒

4 Exprimental results

이태까지 Vit의 PTQ 연구가 없어서, 기존 CNN을 위한 PTQ 기법들과 비교함

4.1 Implementation details

생략

4.2 Results and Analysis

4.3 Ablation study

5 Conclusion

생략