haemin_jang.log

Binning as a Pretext Task 논문 정리

Mon, 28 Jul 2025 09:48:57 GMT

오늘은 LG AI Research에서 연구한 ICML '24 Binning as a Pretext Task: Improving Self-Supervised Learning in Tabular Domains 를 정리해보고자 한다. 일을 하다보면 도메인 특성상 tabular 데이터들을 대부분 다루게 되는데 이 논문에서 논하는 바와 같이 tabular 데이터는 대부분 딥러닝보다는 boost계열의 traditional ML 기반 모델들에서 좋은 성능을 보이는 것이 사실이다. 석사 시절 계속 딥러닝만을 다뤄왔다보니 비슷한 고민을 계속해왔는데 이런 tabular 데이터들을 딥러닝 기반 모델에서 잘 작동하게 하려는 시도들은 역시 흥미로울 수 밖에 없는 것 같다!

0. Abstract

LG AI Research 블로그에서 본 논문에 대해 짧게 요약해놓은 글의 일부를 빌리자면, 해당 논문을 이렇게 소개하고 있다.

간략히 설명하자면, 본 논문에서는 Tabular Learning에서의 딥 네트워크의 한계점을 극복하기 위해 Binning Algorithm을 활용하여 수치형(Numerical) 변수를 범주형(Discrete) 변수로 변환하고, Unsupervised Learning에서 Bin Index에 해당하는 범주형 변수를 예측하는 문제(Pretext Task)를 수행하는 방식으로 Representation을 학습합니다. 학습된 Representation은 데이터 별 Downstream Task에 따라 Linear Evaluation 또는 Fine-tuning을 통해 평가됩니다. Workshop 논문에서는 비교적 단순한 인코더(Encoder)인 MLP와 FT-Transformer 구조만 사용되었던 반면, 본 논문에서는 최근 발표된 Tabular Learning 모델 구조 중 하나인 T2G-Former[2] 가 추가로 활용되었습니다. 또한 본 방식의 성능 개선 효과를 설명할 수 있도록 Discussion에서 시각화를 포함한 다양한 실험 결과를 제안합니다. [ICML 2024] Tabular Learning 연구 동향 중 발췌

1. Introduction

DNN이 뛰어난 representation learning 능력을 가진 것은 데이터셋의 본질적 특성을 고려해 적절한 inductive bias를 활용하는 데 달려 있다. 그러나, tabular 데이터의 경우에는 수치형 및 범주형의 heterogeneous한 피처들을 통일된 방식으로 잘 처리하고 구간별 함수(Piecewise function)과 같은 irregular 함수를 파악하는 것이 중요해 XGBoost, CatBoost같은 트리 기반 ML 알고리즘이 꾸준히 강세를 보여왔다. 딥러닝 모델들은 본질적으로 smooth한 함수를 잘 학습하는 구조인 반면에, 트리 기반 모델들은 연속형 수치를 binning하거나, 범주형 피처를 분리된 노드로 잘 나누면서, 실제 데이터가 가지는 piecewise function의 형태, 즉 불연속성과 locality 을 잘 포착하기 때문이다.
이러한 tabular 데이터의 heterogenity를 완화하기 위해 기존 연구들은 feature tokenizer나 abstract layer같은 추가 모듈을 활용해왔으나, 큰 성능 개선을 보이지 못했다고 한다.
저자는 tree-based 근본적으로 적용될 수 없는 unsupervised learning 형식의 딥러닝 task를 다루기 위해, classical binning 방법을 autoencoding-based self-supervised learning(SSL)에 제안한다.

Binning as a Pretext Task

제안 방법은 단순한데, raw-values를 복원하는 대신 연속성 수치를 일정한 개수의 구간(bin)으로 나누고, 그 bin index를 복원하도록 학습하는 것이다.
예컨대 원래 값이 74.6이면, 전체 분포에서 해당 값이 속하는 bin을 찾아내고, 그 bin index를 예측하는 task를 설정한다. 이건 결국 continuous → discrete mapping을 학습하는 구조가 되는데, 바로 이 점이 중요하다. 왜냐하면 트리 기반 모델들도 결국 이렇게 구간 나눔을 통해 학습을 하기 때문에, 이 방식은 딥러닝에 트리 모델의 inductive bias를 흉내 내는 효과를 줄 수 있기 때문이다.
논문에서는 bin index를 순서형 (BinRecon) 으로 다루거나, 클래스형 (BinXent) 으로 다루는 두 가지 방식을 모두 소개한다. BinRecon은 regression-style로 학습하며, 순서 정보까지 고려한다. 반면 BinXent는 단순히 클래스 분류 문제처럼 다룬다. 이 두 가지 방식 모두 raw value를 복원하는 기존 방식(ValueRecon)에 비해 훨씬 더 불연속적인 패턴, 즉 비선형성이나 경계 정보 등을 더 잘 학습한다는 것이 핵심이다. 또 중요한 건, 이 방식은 모든 피처를 공통된 형태의 목표 (categorical target) 로 바꿔버리기 때문에, tabular 데이터가 가진 피처 간 heterogenity 문제도 자연스럽게 해결된다. 결국 모든 피처가 '이 값이 어느 bin에 속하는가?'라는 동일한 pretext task를 공유하게 되는 셈이다.

2. Background

논문에서 제안하는 binning pretext task는 autoencoding 기반의 SSL 구조에서 동작하므로, 입력 데이터를 어떻게 변형하고, 어떤 목적 함수로 학습할 것인지를 서술한다.

Input Transformation

SSL에서 input을 그대로 쓰게 되면 모델이 너무 쉽게 identity mapping만 학습해버려서 의미 있는 representation을 얻지 못한다. 그래서 일부 정보를 가리고(masking), 이를 복원하게 하는 방식이 자주 사용된다. tabular 데이터에서는 특히 중요한데, 각 값들이 다른 피처에 독립적으로 영향을 주기 때문에 조금만 변경해도 전체 의미가 달라질 수 있기 때문이다.
이 논문에서는 대표적인 두 가지 masking 전략을 쓴다:
1. Constant Replacement: 마스킹된 값을 각 피처의 평균값으로 교체 e.g. 'age' 피처가 마스킹되면 전체 평균 나이로 대체 → noise는 적지만 단조로운 입력이 될 수 있음
2. Random In-Batch Replacement: 같은 배치 내 다른 샘플에서 값을 가져와 교체 e.g. 샘플 A의 'income'을 샘플 B의 값으로 교체 → 데이터 다양성이 생기고, 더 어려운 복원 문제를 유도
실제로 입력은 마스킹 벡터 m_i를 이용해 무작위로 일부 피처만 가리고, 나머지는 유지한 채 학습이 진행된다. 이런 방식은 CNN이나 Transformer처럼 순서를 고려하지 않는 MLP 기반 모델에서도 잘 작동한다.

SSL Objectives

변형된 입력을 넣고 나서, decoder가 학습할 목표는 여러 가지가 있다. 이 논문에서는 기존 방식인 두 가지 objective와, 새로운 방식인 binning 기반 두 가지 objective를 모두 비교한다.
기존 방식은 다음과 같다:
1. Value Reconstruction (ValueRecon): 마스킹된 값을 정확한 원래 값으로 복원하도록 학습
- L2 loss (평균제곱오차)를 사용
- 문제는 연속적인 부드러운 값을 학습하려는 경향이 생김 → irregular pattern에 취약
1. Mask Detection (MaskXent): 어떤 피처가 마스킹됐는지를 맞추는 binary classification
- cross-entropy loss 사용
- 이상치나 이상한 패턴을 포착하는 데는 유리하지만, 의미 있는 표현을 만드는 데는 한계가 있음
저자는 여기에 새로운 pretext task 두 가지를 제안한다:
1. Bin Reconstruction (BinRecon): 원래 값이 속한 bin index (순서형) 을 예측
- 연속적인 값을 복원하지 않고, 구간에 해당하는 정수 인덱스만 맞춘다
- L2 loss 사용 → 순서 정보 반영
1. Bin Classification (BinXent): bin index를 범주형 class로 간주하여 one-hot classification
- cross-entropy loss 사용 → 순서는 무시되지만 확실한 경계 학습 가능
이 두 가지 binning 기반 objective는 기존의 smooth한 값 복원 방식과 다르게, 불연속적 경계(boundary information) 를 중심으로 representation을 학습하게 한다는 점에서 큰 차이가 있다.

3. Method

이 논문의 핵심 아이디어는 tabular 데이터를 self-supervised 방식으로 학습할 때, 기존의 값 복원 방식 대신 binning된 정보를 예측하는 pretext task를 적용하자는 것이다. 앞에서 설명했듯이 기존의 value reconstruction이나 mask detection 방식은 연속적인 회귀값을 학습하거나 이진적인 마스킹 여부만 예측하기 때문에, 복잡한 경계 구조나 비선형적인 피처 변화를 충분히 학습하기 어렵다는 한계가 있었다. 이에 따라 저자들은 binning이라는 수단을 통해 “경계 정보(boundary information)”를 학습하는 inductive bias를 주자는 전략을 취한다. 구체적으로는, 각 피처의 값을 미리 정의된 구간들로 나눈 후 그 bin index를 예측하는 task를 통해, 모델이 해당 피처 값이 어떤 구간에 위치했는지를 예측하도록 설계한 것이다.

논문에서는 이 binning 기반 task를 구현하기 위해 3가지 세부 구성 요소를 정의한다: (1) binning scheme, (2) bin prediction objectives, (3) decoder design

3.1 Binning Scheme

Equal Width Binning: 피처의 최소값과 최대값을 기준으로 같은 폭(width)으로 구간을 나눈다. e.g. [0, 20), [20, 40), ..., [80, 100]
Quantile Binning: 데이터를 빈도 기반으로 나누어 각 구간에 데이터가 균등하게 들어가도록 bin을 설정한다.
- 특히 tabular 데이터는 분포가 비대칭인 경우가 많기 때문에, 이 방식이 더 안정적인 표현을 얻는 데 유리하다.

모든 연속형 피처는 위 방식 중 하나로 정해진 개수의 bin으로 변환되고, 모델은 결국 그 bin index를 예측하는 형태로 학습된다. 이 bin index는 연속적인 값이 아니라 불연속적인 순서형 정보로 간주되며, 이로 인해 모델은 연속값보다 경계에 민감하게 반응하게 된다.

3.2 SSL Objectives with Binning

앞에서 Background에서 설명한 네 가지 self-supervised objective 중 이 논문에서 가장 주목하는 것은 바로 BinRecon과 BinXent이다.

BinRecon: bin index를 숫자값(0, 1, 2, …) 으로 예측하는 회귀적 접근 (L2 loss) BinXent: bin index를 범주형 class로 다루는 분류 접근 (Cross-entropy loss)

저자들은 특히 bin을 클래스처럼 다루면 모델이 경계 기반의 명확한 의사결정을 학습할 수 있기 때문에 BinXent를 주요한 objective로 사용한다. 예를 들어, income이 49.9면 bin 2, 50.1이면 bin 3이라면 이 경계를 확실하게 인식해야 하는 상황에서, 회귀보다는 분류 방식이 더 명확한 구분을 유도할 수 있다. 결국 binning을 통해 모델이 feature의 분포를 단순히 기억하는 것이 아니라, 변곡점(threshold)이나 boundary에 민감하게 반응하는 representation을 학습하게 된다.
또한, 이 방식은 일반적인 regression과 달리 label smoothing이나 순서에 대한 명시적 정보 없이도 의미 있는 표현을 만들어낸다. 이게 바로 tabular 데이터에서 딥러닝 모델이 기존 tree 기반 모델에 비해 약했던 부분을 보완하는 지점이다.

3.3 Decoder Design

논문에서는 decoder를 간단한 MLP로 구현하며, 각 마스킹된 피처별로 해당 bin index를 예측하게 구성되어 있다. decoder는 다중 피처를 동시에 예측해야 하기 때문에 output 구조는 다음과 같다:
- 전체 입력 피처 수: d
- 각 피처의 bin 개수: B (피처마다 다를 수 있음)
- 출력 차원: d × B → 피처별 bin class 확률 분포
각 피처별로 예측된 bin 분포는 cross-entropy loss를 기준으로 학습된다. 즉, 모델은 각 피처마다 _이 값은 어느 bin에 속했는가?_를 확률 분포로 예측하고, 정답 bin에 가장 높은 확률을 주도록 최적화된다.

4. Experiments

4.1 Experimental Setup

전체 실험은 대표적인 tabular benchmark인 UCI suite, OpenML datasets, SAPS에서 진행되었다. 특히 OpenML은 45개의 classification 태스크로 구성되어 있고, SAPS는 structured electronic health record 데이터로, 고차원 sparse한 real-world 데이터를 포함하고 있다는 점에서 일반화를 테스트하기에 적합한 환경이었다.

실험은 다음과 같은 두 설정으로 나뉜다:

Linear Evaluation: pretraining된 encoder를 freeze하고, linear classifier만 학습
Fine-tuning: encoder와 classifier를 모두 학습 (end-to-end)

또한 baseline 모델로는 다음을 비교 대상으로 삼았다:

Supervised (fully-labeled)
Self-supervised baselines: VIME, SCARF, DAE, TabNet MAE 등
Transformer 기반: FT-Transformer

4.2 Binning Objective Analysis

먼저 저자들은 binning-based objective가 실제로 도움이 되는지를 살펴보기 위해 다양한 objective 간의 성능을 비교했다. 결과적으로는 BinXent objective가 다른 방식들, 예를 들어 MAE (masked autoencoding)나 BinRecon 방식에 비해 전반적으로 가장 높은 성능을 보였다.
특히, BinXent 방식은 fine-tuning 성능뿐 아니라 linear evaluation 성능에서도 뛰어난 결과를 기록한 반면, 기존 MAE 방식은 linear probing에서는 다소 부진했고, fine-tuning에서도 성능 편차가 컸다.
이는 결국 boundary information를 정확하게 인식하는 능력이 downstream task에 큰 영향을 미친다는 걸 보여주는 간접적인 증거라고 할 수 있다.

4.3 Benchmarks Results: OpenML, UCI, SAPS

OpenML

45개 classification task로 구성된 OpenML에서, binning pretraining은 supervised-only 방식과 거의 대등하거나 그 이상의 성능을 보였다. 특히 BinXent objective로 사전학습한 모델은 FT-Transformer에 비해 약 1.3%p 높은 평균 accuracy를 기록했다.
이는 OpenML은 다양한 데이터 스케일, feature type, imbalance level을 포함하고 있는데, supervised 방식은 full label을 쓰는 반면, SSL은 label 없이 학습되었다는 점에서 인상적인 결과라고 할 수 있다. 즉, label 없이도 더 나은 representation을 만들 수 있다는 걸 입증한 셈이다.

UCI Benchmarks

UCI 데이터셋은 tabular ML에서 가장 자주 쓰이는 벤치마크 중 하나다. 여기서도 binning 기반 pretraining은 기존 DAE (denoising autoencoder), VIME, SCARF 같은 SSL 방식들보다 지속적으로 높은 accuracy를 보였다. 특히 supervised baseline과의 격차를 줄였다는 점에서 binning objective의 generalizability를 다시 한번 확인할 수 있다.

SAPS (Electronic Health Record)

가장 challenging한 환경인 SAPS 실험에서는 더욱 인상적인 결과가 나왔다. 이 환경은 고차원 sparse feature와 real-world EHR 데이터 특성상 일반적인 pretraining이 어려운 환경인데도 불구하고, binning pretraining은 supervised baseline 대비 3.8%p 높은 AUROC를 기록했다.
이는 특히 linear evaluation setting에서도 관찰되어, encoder가 단순한 linear classifier만으로도 성능을 높일 만큼 유의미한 표현을 학습했다는 걸 보여준다.

5. Discussion: Ablation Study & Robustness

저자들은 binning의 경계 개수(B)를 바꾸거나, binning 방법 (equal-width vs quantile)을 바꿨을 때 성능이 어떻게 변화하는지도 분석했다.
- 일반적으로 bin 개수가 너무 작으면 정보가 부족해지고,
- 반대로 너무 많으면 overfitting되기 쉬웠다.
- 대체로 B=10~20 수준에서 가장 안정적인 성능을 기록했다.
representation 품질을 PCA로 시각화했을 때도, binning-based encoder는 label 없이도 클래스 간 구조가 자연스럽게 분리된 표현 공간을 형성하고 있었다. 이는 단순한 회귀적 pretext task보다 정보적으로 훨씬 더 구조적인 표현을 만들고 있음을 보여주고 있다.

References 원문은 여기에! Binning as a Pretext Task: Improving Self-Supervised Learning in Tabular Domains

ModernTCN 논문 정리

Mon, 16 Jun 2025 12:14:27 GMT

오늘은 ICLR '24 Spotlight인 ModernTCN: Pure Convolution for Time Series Analysis 를 정리해보고자 한다. 직전에 리뷰한 PatchTST가 시계열 분야에서 CNN기반 모델들의 실효성에 대해 의문을 제기하면서 Transformer-based 모델을 제시했다면, 한 해가 지나고 ModernTCN이 기존의 TCN을 발전시킨 새로운 순수 Convolution-based 모델을 제시했다!

최근 트랜스포머 및 MLP 기반 모델들이 시계열 분야에서 강세를 보이면서 Convolution 기반 모델들이 성능 저하로 주목받지 못하고 있는 상황에서, 이 논문은 시계열 분석에서 convolution을 더 효과적으로 활용하는 방법을 탐구하고 traditional TCN을 modernize하여 modernTCN을 제안했다.
합성곱 기반 모델들이 타 모델들에 비해 가장 부족한 점은 바로 제한된 Effective Receptive Field (ERF) 때문인데, 트랜스포머와 MLP 기반 모델들의 경우 큰 ERF를 가지고 있어 long-term temporal dependency를 훨씬 잘 포착할 수 있다.
이전 합성곱 기반 모델인 MICN, SCINet도 합성곱을 다시 시계열에 도입하려 했으나, 주로 기존의 전통적인 합성곱에 복잡한 추가 구조를 설계하는 데에 집중하고 convolution architecture 자체를 업데이트 하려는 시도를 하지 않아 성능 향상이 제한적이었다.
따라서 ModernTCN은 컴퓨터 비전 분야의 합성곱 자체 최적화에서 영감을 받아 1D convolution을 현대화하고 이전 합성곱 기반 모델들보다 훨씬 더 큰 커널 사이즈를 활용해 ERF를 증가시켜 5가지 주요 시계열 테스크에서 SOTA 성능을 달성하였다. 또한 convolution은 cross-variable dependency를 잘 포착할 수 있다는 이점이 있기에 이러한 이점은 살렸다는 데에도 그 contribution이 있다.
- ConvNets이 한 때 지배적인 백본 구조였는데, Vision Transformers(ViTs)가 등장하여 이를 능가하자 ConvNeXt가 트랜스포머의 아키텍처 디자인에서 영감을 받아 컨볼루션 블록을 재설계함. (Group Convolution, Depthwise Convolution, Larger Kernel Size)

Receptive Field란?

PatchTST 논문 정리

Wed, 07 May 2025 12:00:54 GMT

Time Series 개념정리를 하고 한달이 지난 지금.. 뒤늦게 갑자기 PatchTST 논문 정리를 시작해보려한다. ICLR '23에 발표된 는 PatchTST라는 모델을 소개함으로써 Time Series Forecasting에서 가장 유명한 SOTA중 하나로 자리매김하게 된다!

1. Introduction

Transformer 모델이 자연어 처리, 컴퓨터 비전, 음성 등 다양한 분야에서의 성공을 거두면서 Informer, Autoformer, FEDformer와 같은 Transformer 기반 변형 모델들이 시계열 데이터 분석 및 예측 작업에도 활발히 사용되기 시작하였다.
2022년, Zeng et al.의 연구에서 단순한 선형 모델(e.g. DLinear)이 복잡한 Transformer 기반 모델들보다 여러 벤치마크 데이터셋에서 더 나은 성능을 보이는 결과가 제시되었다. 또한 일부 시계열 데이터, 특히 금융 데이터의 경우 효율적 시장 가설(efficient market hypothesis)에 따라 이전 시점 값이 최적의 예측이 될 수 있으며, 단순 반복 모델도 특정 데이터셋(Exchange-rate)에서 경쟁력 있는 성능을 보이며 시계열 예측에서 Transformer의 유용성에 대해 의문이 제기되었다.
이러한 상황에서 PatchTST는 Time Series의 Long-term Forecasting과 Self-supervised Representation Learning을 위한 효율적인 Transformer 기반 모델을 제시하였다.

PatchTST의 두가지 핵심 설계

Patching: Input 시계열 데이터를 더 낮은 시계열 수준의 패치로 분할하고, 이 패치들을 Transformer의 input token으로 활용한다. 따라서 Locality와 Semantic information을 자연스럽게 임베딩에 담을 수 있다.
Channel-independence: multivatriate time series의 각 채널은 동일한 임베딩 및 weight를 공유하지만, 독립적으로 처리된다. 각 univariate time series는 자신만의 어텐션 패턴을 학습하며, 기존의 channel-mixing 방식의 한계점을 극복하며 서로 다른 패턴을 가진 시계열에 대해 더 잘 적응할 수 있고, 이에 따라 overfitting의 위험성이 줄어든다.

PatchTST의 두가지 핵심 설계의 이점

계산 복잡성 감소 : 입력 토큰 수(N)가 전체 시퀀스 길이(L)에서 패치 스트라이드(S)에 비례하여 L/S로 줄어들어, 어텐션 맵의 메모리 사용량 및 계산 복잡성이 제곱에 비례하여 감소한다. (O(N²) → O((L/S)²)). 실질적인 학습 속도도 이에 따라 줄어든다.
Longer look-back window로부터 학습이 가능해짐: 계산 효율성이 높아지면서 모델이 GPU 메모리나 학습 시간 제약 하에서도 더 긴 과거 시퀀스를 효율적으로 활용하여 예측 성능을 향상시킬 수 있다. 예컨대, 연속적인 N=96개의 시계열 데이터를 학습시켰을 때보다 4개의 time step마다 데이터를 샘플링하여 총 L=390의 긴 과거 시퀀스를 보았을 때 MSE가 훨씬 감소한 것을 관찰할 수 있었다. 같은 개수의 input tokens를 활용하더라도 긴 look-back window를 가지는 것이 더욱 중요한 정보를 전달하고 있음을 알 수 있다.
Representation Learning에서의 강점: Simple한 Linear 모델들은 제한된 표현력을 가지고 있는 반면, non-linear layers of abstraction을 활용하여 transfer learning과 self-supervised representation learning에서 우수한 성능을 보인다. 우수한 fine-tuning 성능을 달성하며, 특히 대규모 데이터셋에서는 supervised learning으로 학습하는 것보다 더 뛰어난 성능을 보이며 transfer learning에서도 장기 예측 SOTA를 달성하였다.

Transformer-based Long-term Time Series Forecasting

최근 몇 년간 Transformer 모델을 장기 시계열 예측에 적용하려는 연구가 활발히 이루어졌고, LogTrans, Informer, Autoformer, FEDformer, Pyraformer 등이 대표적인 SOTA Transformer 기반 시계열 예측 모델로 언급돼왔다.
이 모델들은 주로 원래 트랜스포머의 어텐션 메커니즘 복잡성을 줄이기 위한 새로운 메커니즘 설계에 초점을 맞춰왔다. 예를 들어, LogTrans는 LogSparse 어텐션, Informer는 ProbSparse 어텐션, Autoformer는 분해 및 자기 상관(auto-correlation), FEDformer는 푸리에 강화 구조, Pyraformer는 피라미드형 어텐션을 사용했다.
하지만 대부분의 이 모델들은 시계열의 시간 스텝을 개별적인 포인트 단위로 취급하는 어텐션(point-wise attention)을 사용하여 패치의 중요성을 간과했다는데 한계점이 있다. LogTrans는 포인트 단위 연산을 피했지만 여전히 단일 시간 스텝에 기반하며, Autoformer는 자기 상관을 사용하지만 수작업 방식이며 패치 내 모든 의미 정보를 포함하지 못하고 있다. 또한, Triformer는 패치 어텐션을 제안했지만 입력 단위로 패치를 사용하거나 의미적 중요성을 드러내는 목적은 아니었다.
PatchTST는 이러한 기존 Transformer 모델들이 패칭을 제대로 활용하지 못했다는 점을 지적하며, 시계열에 특화된 패칭 설계를 통해 성능을 향상시켰다.

3. Proposed Method

3.1. Model Structure

Patching

Input Time Series를 하위 시계열 수준의 '패치'로 분할한다. 이 패치화 과정은 각 채널에 대해 독립적으로 수행된다. 시계열 $$x(i)$$는 총 길이 L을 가지게 된다.
패치 길이 (P)는 각 패치가 포함하는 타임 스텝의 개수를 정의한다. 즉, 각 패치는 길이가 P인 하위 시계열이다.
스트라이드 (S)는 연속적인 두 패치 사이의 시작 시점 간격으로, 이는 다음 패치가 시작하기 전에 건너뛰는 타임 스텝 수를 의미한다. 예컨대, 스트라이드 S가 패치 길이 P 보다 작으면 패치들이 서로 overlapped되며 S와 P가 같은 경우, 패치들이 non-overlapped된다. 논문에서는 이 두가지 방식이 모두 가능하다고 언급되지만, self-supervised learning에서는 마스킹의 편의를 위해 주로 S=P를 사용한다고 한다.
입력 시계열 길이 L, 패치 길이 P, 스트라이드 S가 주어지면, 패치화 과정은 총 N개의 패치 시퀀스를 생성하게 된다. 패치 수는 $$N = [(L − P) / S] + 2$$ 로 계산된다. 만약 시계열 길이 L이 P와 S의 조합으로 딱 떨어지지 않아 마지막 패치를 만들기에 길이가 부족한 경우, 원본 시퀀스의 마지막 값 $$x(i)L$$ 을 S번 반복하여 추가하는 패딩(padding)을 수행하며, 이 패딩을 통해 마지막 패치도 스트라이드 S 간격으로 생성될 수 있도록 한다.
전통적인 Transformer 모델들이 point-wise (개별 시점)을 input token으로 사용하였기 때문에, 이 경우 input token의 수 N은 시퀀스 길이 L과 같아지게 되지만, PatchTST의 경우 패치 하나하나를 입력 토큰으로 사용하여 위에 언급한 복잡도 측면에서 큰 이점을 가지게 된다. 패치화된 각 토큰은 입력되기 전 linear projection을 거쳐 임베딩 공간으로 매핑되며 시간적 순서의 반영을 위해 positional encoding이 추가된다.

Transformer Encoder

이렇게 생성된 패치들은 Transformer의 latent space으로 매핑된다. 패치는 차원 D를 갖는 latent space으로 이동하게 되고, 이는 trainable linear projection $$Wp ∈ RD×P$$를 통해 이루어집니다.
패치들의 시간적 순서를 모델이 인지하도록 하기 위해, learnable additive position encoding $$Wpos ∈ RD×N$$이 추가됩니다.
이 과정을 거친 후, Transformer Encoder에 입력되는 최종 데이터는 $$x(i)d ∈ RD×N$$ 형태가 된다.
Transformer Encoder의 핵심인 Multi-head attention을 거치며, 각 어텐션 헤드 h는 입력 $$x(i)d$$를 사용하여 Query (Q), Key (K), Value (V) 행렬을 생성한다. 어텐션 출력은 Scaled dot-product attention 방식으로 계산된다: $$Attention(Q, K, V) = Softmax(Q KT / √dk)V$$

Loss Function

Mean Squared Error (MSE) 손실 함수를 사용하며, 이는 먼저 각 채널에 대해서 계산된다. 이후 모든 M개의 univariate time series에 걸쳐 이 손실값을 평균하여 overall objective loss L을 구한다.

Instance Normalization

Instance Normalization은 PatchTST 모델의 데이터 전처리 단계에서 중요한 역할을 수행하며, 학습 데이터와 테스트 데이터 사이의 distribution shift를 완화하는 데 도움을 주기 위해 사용된다.
각 time series instance $$x(i)$$를 평균이 0이고 표준편차가 1이 되도록 정규화한다. 이 정규화는 Patching을 수행하기 전에 이루어지며, 정규화 시 계산된 평균과 표준편차 값은 저장해 두었다가, 모델의 최종 출력에 다시 더해져 원래의 스케일로 되돌린다.
Instance Normalization은 예측 성능을 약간 향상시킨다는 것이 실험을 통해 확인되었으나, 저자는 실험결과를 통해 PatchTST의 주요 성능 향상이 Patching 및 Channel-independence에서 이뤄졌음을 강조하였다.

3.2. Representation Learning
Masked Autencoder*
supervised learning과 동일한 transformer encoder에서 prediction head를 제거하고 $$D*P$$차원의 선형 레이어를 부착한다. 앞서 언급하였듯이, S=P를 활용하여 패치들이 non-overlapped하도록 나눠 마스크된 패치의 정보가 observed된 패치에 포함되지 않도록 설계하였다. 이어 패치 인덱스의 부분집합을 랜덤하게 uniformly 선택하여 해당 패치들을 0값으로 마스킹하였으며, 논문 실험에서는 40%의 높은 마스킹 비율을 활용했다.
이는 기존의 time series에서 single 타임 스텝을 정해놓고 마스킹하던 방식과 비교했을 때 두가지 차별점을 가진다. 우선, 단일 타임 스텝 마스킹은 바로 이전 또는 이후 타임 스텝 값의 간단한 interpolation으로 쉽게 추론될 수 있어, 전체 시퀀스에 대한 high quality abstract representation learning의 목표와 충돌했는데, PatchTST는 패치 단위의 마스킹을 통해 이를 재구성하려면 단순 interpolation이상의 고차원적 이해가 필요하도록 모델을 학습하게 하였다. 또한, 모든 타임 스텝에 해당하는 representation vector를 예측 결과로 매핑할 경우 예측 시퀀스 길이나 채널 수가 많을 때 파라미터 수가 급격히 커져 overfitting을 유발할 수 있는데 이 문제에서 비교적 자유로워졌다.

4. Experiments

Weather, Traffic, Electricity, ILI 및 4개의 ETT 데이터셋(ETTh1, ETTh2, ETTm1, ETTm2)을 포함한 8개의 공개 데이터셋을 활용하였으며, Baseline 모델로는 FEDformer, Autoformer, Informer, Pyraformer, LogTrans와 같은 기존 SOTA Transformer 기반 모델들과, Transformer의 유용성에 의문을 제기하며 우수한 성능을 보였던 선형 모델인 DLinear가 사용되었다.
다양한 예측 길이 T와 Look-back Window (L)에 대해 실험을 진행하였다.
전반적으로 상당히 우수한 예측 성능을 보이면서, supervised learning 뿐만 아니라, self-supervised learning에서 뛰어난 성능이 보였다. linear probing에서도 성능이 우수했지만, 특히 모델 전체를 fine-tuning할 때 가장 우수한 결과를 얻었고, 다른 SOTA (BTSF, TS2Vec, TNC, TS-TCC 등)과 비교해도 더 좋은 퍼포먼스를 보였다.
Ablation했을 때도 패칭과 Channel-independence가 둘다 들어갈 때 제일 성능이 좋은 모습을 보였다.

Time Series 개념 정리

Mon, 31 Mar 2025 10:29:29 GMT

석사 졸업 논문을 ECG 데이터로 쓰면서 Time Series Classification을 하기도 했고 요즘 업무에서도 Time Series를 계속 보다보니 오늘은 시계열 데이터의 개념 및 특성을 정리하고 머신러닝 기반의 시계열 예측 모델들에 대해서 중점적으로 다뤄보고자 한다!📈🔎 였는데 시계열 데이터의 개념 및 특성 정리가 엄청 길어진 관계로 끊어가는 것으로 하겠다...😇

Time Series란?

시계열 데이터란, 시간의 순서에 따라 나열된 데이터로, 주가, 날씨, 수요량, 교통량, 센서 데이터등과 같이 시간의 흐름에 따라 변화하는 데이터를 말한다.
일반적인 데이터와 달리 시계열 데이터는 시간의 흐름에 따른 패턴이 존재하며, 과거 데이터가 미래에 영향을 미친다는 점에서 예측 분석에서 매우 중요한 역할을 수행한다. 이런 특성 때문에 시계열 데이터는 Trend(추세 변동), Cycle (순환, 주기 변동), Seasonal variation(계절 변동), Random fluctuation(우연 변동)과 같은 주요 구성요소를 가진다.

시계열 데이터의 주요 구성요소

Trend(추세 변동): 시간이 경과함에 따라 관측값이 지속적으로 증가하거나 감소하는 추세를 가지는 경우의 변동. 일정한 방향성을 보이며, 계절적 영향과 무관하게 주로 사회, 경제적 변화 등 구조적인 요인과 관련된다. 경제와 관련된 데이터에서 자주 발생한다. e.g. 인구 증가에 따른 도시 교통량 증가, 기술 발전에 따른 스마트폰 보급률 상승

Cycle (순환, 주기 변동): 주기적인 변화를 가지나 특정 계절에 의한 것이 아니고 주기가 긴 경우의 변동. 일정한 주기를 두고 반복되지만, 그 주기가 고정되지 않은 장기적인 변동 패턴을 말한다. 반복 주기는 수 년에서 수십 년까지 다양하며, 정기적이지 않을 수도 있음. e.g. 경제 침체 및 회복 사이클, 부동산 가격의 상승과 하락 사이클

Seasonal variation(계절 변동): 일정한 시간 간격(주기)으로 반복되는 패턴으로, 주, 월, 계절에 따라 발생하는 규칙적인 변화를 말한다. e.g. 주말과 평일 간의 소비 패턴 차이, 연말 쇼핑 시즌 트래픽 증가

Random fluctuation(우연 변동): 시간에 따른 규칙적인 움직임과는 무관하게 발생하는 불규칙하고 예측 불가능한 노이즈 요소를 말한다. e.g. 갑작스러운 자연재해로 인한 매출 급감, 예기치 못한 서버 다운으로 인한 트래픽 변화
- White Noise(백색 잡음): Random fluctuation 중 제일 대표적인 예시. 시계열에서 완전히 예측 불가능하고, 특정한 패턴이 없는 순수한 랜덤 신호를 말한다. 평균이 0이고, 분산이 일정한 시계열 데이터 (모든 시점 간 Auto-correlation이 없음) e.g. 동전을 던져서 계속 앞, 뒤를 시간 순서대로 기록한 경우
  - White Noise 왜 중요한가?
  1. 모델의 잔차가 white noise인지 확인: 예측 모델을 만들고 나서 잔차(= 실제값 - 예측값)이 백색 잡음이라면 예측 불가능한 부분만 남겨놨다는 뜻으로 좋은 모델(=최적화된 모델)임.
  2. 시계열 데이터 자체가 백색잡음일 경우, 예측 불가능하므로 모델을 만들 필요가 없음.

Decomposition: Additive Model vs Multiplicative Model

앞서 정리한 시계열 데이터의 구성요소를 어떻게 결합하여 해석할 것인지에 따라 시계열 모델은 크게 두가지 형태로 구분된다.

Additive Model (가법 모형): $Y(t) = T(t) + C(t) + S(t) + I(t)$
Multiplicative Model (승법 모형): $Y(t) = T(t) \times C(t) \times S(t) \times I(t)$
$Y(t)$: 시계열의 실제 값, $T(t)$: 추세, $C(t)$:순환 변동, $S(t)$: 계절 변동, $I(t)$: 불규칙 성분 Irregular
가법 모형은 각 구성요소가 서로 독립적이고, 선형적으로 합쳐지는 경우에 사용하며 승법 모형은 이들이 비율 관계로 곱해지는 구조라고 볼 수 있다.
그러나 현실에서는 변동성의 크기가 추세에 따라 달라지는 등 완전한 독립성을 가정하기가 힘들기 때문에, 보통 승법 모델을 활용하며 여기에 로그를 취하여 선형 관계를 가진 가법 모형처럼 활용한다.

Auto-Correlation (자기상관)

Auto-Correlation (자기상관)이란, 시계열 데이터의 과거 값과 현재 값 간의 상관관계를 의미한다.
$\rho_k = \frac{\text{Cov}(y_t, y_{t-k})}{\sigma^2}$
$\rho_k$: 시차 k에 대한 자기상관 계수, $y_t$: 현재 시점의 값, $y_{t-k}$: 과거 시점의 값, $\sigma^2$: 분산
자기상관은 과거 값이 현재 값에 얼마나 영향을 주는지를 보여주기 때문에, 시계열의 예측 가능성을 판단하는 기준이 된다. 일정한 시차(lag)에서 상관이 높다는 것은 그 시차 정보를 활용해 미래를 예측할 수 있다는 뜻이다. 잘 알려진 ARIMA, SARIMA, GARCH 등이 자기상관 구조를 모델링하는 방식이다.
이러한 자기상관은 ACF (Auto-Correlation Function), PACF (Partial ACF)를 통해 시각화할 수 있는데, ACF가 다양한 시차에 대해 자기상관 계수를 시각화한 그래프라면, PACF는 특정 시차에 대해 중간 시차들의 영향을 제외하고 순수한 자기상관을 계산하여 시각화한다고 할 수 있다. ($\phi_{kk} = \text{Corr}(y_t, y_{t-k} \mid y_{t-1}, …, y_{t-k+1}$)
데이터가 정상성을 만족한다고 가정했을 때, ACF, PACF의 형태에 따라 AR, MA, ARIMA 중 어떤 모델을 활용하면 적절할지를 추정하는 방법 중 하나로 쓰인다.

Model	ACF	PACF
MA(q)	`Cut off after lag q`	`Die out`
	(q 시차 이후 0으로 절단)	(지수적으로 감소, 소멸하는 sine 함수 형태)
AR(p)	`Die out`	`Cut off after lag p`
	(지수적으로 감소, 소멸하는 sine 함수 형태)	(p 시차 이후 0으로 절단)
ARMA(p, q)	`Die out`	`Die out`
	(시차 q-p 이후부터 소멸)	(시차 q-p 이후부터 소멸)

Stationarity (정상성)

데이터가 정상성을 띈다는 것은 시간의 흐름에 따라 데이터의 통계적 특성이 일정하게 유지되는 것을 말한다. 즉, 다음과 같은 세 가지 조건을 만족해야 한다.
1. 특정한 트렌드가 없어야 한다. (일정하게 줄어들거나 늘어나지 않는다.)
2. 평균 (Mean), 분산 (Variance)이 시간에 따라 변하지 않는다. (시간과 무관하게 분포가 같다.)
3. 자기상관이 일정하다.

이 중 정상성을 띄는 데이터를 고르면, d, h, i는 계절성이 보이기에 제외하고, a, c, e, f, i는 추세와 변화폭이 보이기 때문에 제외해야 한다. 또 i는 분산이 증가하는 것 역시 보인다. 이런 식으로 소거해나가다보면 결국 정상성을 띄는 데이터는 b, g만 남게 되는 것이다.

그렇다면 이런 정상성은 왜 중요할까?

일단, 비정상 시계열은 시간에 따라 데이터 분포가 바뀌므로, 미래 값이 과거와 다른 규칙을 따를 수 있어 과거 데이터를 학습해도 미래 예측 성능이 낮아지게 된다.
AR, MA, ARIMA와 같은 모델들은 선형 회귀 기반의 구조로, 회귀 계수들은 고정된 평균과 분산을 갖는 데이터를 전제로 해야 안정적으로 추정된다. 비정상 시계열에서는 회귀 계수 자체가 시간에 따라 변할 수 있어 모델이 불안정하게 작동하게 된다.
자기상관 해석이 왜곡된다. 앞서 설명한 ACF, PACF는 데이터가 정상성을 띌 때 의미 있는 결과를 준다. 정상 시계열에서는 시차가 커질수록 자기상관이 점점 0에 가까워지는 반면, 비정상 시계열에서는 시차가 커져도 천천히 감소하거나 거의 유지되는 것처럼 보여 마치 과거 값이 계속 현재값에 영향을 주는 것처럼 보이게 된다.

비정상 시계열의 정상화

방법	목적	적용 상황	참고
차분	추세 제거	우상향/우하향 데이터	1차로 안 되면 2차 차분 시도
로그 변환	분산 안정화	진폭이 점점 커지는 시계열	0 이하 값에서는 사용 불가
계절 차분	계절성 제거	월별, 주간 등 주기 반복 패턴	주기(lag)를 정확히 설정해야 함
ADF Test	정상성 검정	전처리 후 데이터 평가	p-value < 0.05면 정상성 있다고 판단

위 표에 명시된 방법으로 시계열을 정상화할 수 있고, 보통 데이터를 시각화 -> 추세 및 계절성을 확인 -> 필요에 따라 로그 변환 / 차분 / 계절 차분 수행 -> ADF Test로 정상성 확인 의 순서로 진행하게 된다.

차분 (Differencing): 시계열 데이터에서 바로 이전 시점의 값을 빼서 변화량만 보는 방식. 추세를 제거하여 평균을 일정하게 만든다. ($y{\prime}t = y_t - y{t-1}$)
로그 변환 (Log Transform): 데이터에 로그를 취해 값의 범위를 축소. 변동성(분산)이 클 때 안정화시키는 데 효과적이다. ($y{\prime}_t = \log(y_t)$)
계절 차분 (Seasonal Differencing): 이전 해 혹은 이전 시즌의 값과 비교하여 차분. ($y{\prime}t = y_t - y{t-s}$, $s$는 계절 주기로 월별 데이터일 경우 12가 된다.)
ADF (Augmented Dickey-Fuller Test): 시계열이 단위근 (Unit Root)를 가지는지 검사하여 정상성 여부를 판단하는 통계적 시험. 이때 귀무가설($H_0$)은 이 시계열은 비정상이다 (단위근 존재) 이며 대립가설($H_1$)은 이 시계열은 정상이다 (단위근 없음)이다.

Evaluation Metrics

지표명	설명	특징
MAE (Mean Absolute Error)	오차 절댓값의 평균	직관적이며 이상치에 덜 민감
MSE (Mean Squared Error)	오차 제곲의 평균	큰 오차에 더 큰 패널티 부여
RMSE (Root Mean Squared Error)	MSE의 제곱근	실제 단위와 동일, 해석 용이
MAPE (Mean Absolute Percentage Error)	오차를 실제값 기준으로 백분율로 환산	직관적이나, 실제값이 0에 가까울 때 문제 발생

시계열 예측 성능을 평가할 때는 일반적으로 K-fold 대신 TimeSeriesSplit(Sickit-learn)을 사용한다.

References Time Series Forecasting 101: A Beginner’s Guide 고려대 산업경영공학부 김성범 교수님 유튜브 https://otexts.com/fpp2/stationarity.html

쏟아져 나오는 LLM 기반의 AI Chatbots🤖 정리

Mon, 17 Mar 2025 10:59:10 GMT

벨로그를 시작하게 된 이유라고 봐도 무방한 LLM을 첫번째 주제로 정해보았다! 챗 지피티의 등장 이후 LLM-based AI Chatbots가 매우 핫해진 것은 물론 이제는 그 종류를 다 알기도 힘든 새로운 챗봇들이 시장에 쏟아지는데 하나하나 따라가기가 힘들어서 한번은 정리해야지 늘 생각했었는데 벨로그를 핑계로 처음 실행에 옮겨본다. 감사하게도 좋은 Survey 논문들이 많아서 열심히 참고해보았으나 그래도 부족할 수 있다는 점🥹 ~~ChatGPT가 만들어준 썸네일... 약간 소름끼친다~~

1. Pre-LLM Chatbots

1950년대 튜링 테스트 Can Machines think? 로 챗봇 연구가 시작되었으나, 초기 챗봇은 제한적인 맥락 이해 능력과 특정 분야에 국한된 지식으로 부정확한 응답을 제공하는 경우가 많았다.
대표적인 초기 예시로는
- 1966년** ELIZA**: MIT에서 개발된 심리 상담 챗봇 키워드 매칭을 사용해 사용자의 문장을 분석하고 단순한 응답을 생성하는 방식을 사용했으나, 실제 의미는 이해하지 못했다고 한다.
- 1972년 PARRY: 편집증 환자의 언어 패턴을 모방한 챗봇 ELIZA보다는 좀 더 정교한 구조와 감정이 섞인 답변을 보였다고 한다.
그리고 1980년대부터 2000년대 초반까지 Ractor, Jabberwacky, Dr. Sbaitso, A.L.I.C.E (Alicebot), SmarterChild, Cleverbot 등 다양한 챗봇이 등장하였는데, 이들은 간단한 Rule-based 혹은 키워드 매칭 방식을 사용하여 극초기 모델들 보다는 발전한 성능을 보였다고 한다.
- A.L.I.C.E: AIML이라는 언어를 사용하여 지식 기반을 확장하고 대화 가이드라인을 설정
  - Cleverbot: 미리 프로그래밍된 응답 대신 인간의 입력으로부터 학습하는 전략을 활용 그럼에도 불구하고, 이 시기의 챗봇들은 여전히 인간과 같은 자연스러운 대화 능력이 부족해 사용자 경험이 단절되는 경우가 많았다고 한다.
2010년대부터 주목해볼만한 발전은 답변의 퀄리티 역시 큰 진보를 이뤄냈지만 무엇보다, messaging apps들을 비롯한 다양한 플랫폼에 search agents로서 결합되거나 voice를 활용하여 우리의 일상적인 테스크에 챗봇이 깊이 관여하게 되었다는 점이다.
- e.g. Apple의 Siri, Amazon의 Alexa, Google의 Google Assistant등 그러나 현재와 비교했을 때는 비교적 제한된 문맥 이해력(Long-term Context)과 유연한 응답 생성 능력이 부족했다.

2. LLM의 등장과 LLM-based Chatbots의 발전

2020년부터 LLM이 등장하면서 챗봇 분야가 혁신을 이뤄냈는데, 이 때부터 우리가 아는 _인간과 같은 미묘한 뉘앙스를 이해하는 응답들_이 등장하기 시작한다. 방대한 양의 텍스트 데이터로 사전 학습된 LLM은 챗봇이 더욱 상세하고 'human-like'한 답변들을 제공할 수 있도록 하였다.
특히, 2022년 11월, OpenAI의 ChatGPT 3.5 출시 이후 LLM 기반 챗봇에 대한 관심이 폭발적으로 증가했다. 이때쯤 나도 석사과정 중 처음으로 GPT를 써보고 감탄과 경악을 금치 못했던 기억이 있다. 그리고 2년여가 지난 지금 GPT는 결국 내 코딩 버디로 자리 잡아버렸다.
이 중에서도 가장 유명한 GPT, BERT, PaLM, LLaMA에 대해 좀 더 자세히 살펴보고자 한다.

Token과 Context Window가 뭔지 궁금하다면?

벨로그를 열며...

Sun, 09 Mar 2025 13:05:47 GMT

AI 세상에 입문한지도 어언 3년이 꽉 채워 지나고 4년차를 맞이했다. 대학원에 있을 때는 원치 않아도 트렌디한 AI 개발자가 되고자 타의적 (+자의적...) 노력을 이어왔다면 오히려 현업에서 트렌드에 뒤쳐지지 않기란 쉽지 않은 일인 것 같다🥲 이런 생각이 든 순간! 이미 도태되고 있는 것 같아 전환점을 맞이하기 위해 나의 대학원 생활을 동고동락하던 연구실 동기들과 스터디를 시작한다. 작은 조각 같은 글들이라도 꾸준히 해나가다보면 조금씩 성장할 것이라는 생각을 해보며...🚀

~~아직 벨로그 감성을 잘 모르겠어서 이 글은 빠른 시일 내 삭제될 수도..?~~

haemin_jang.log

Binning as a Pretext Task 논문 정리

0. Abstract

1. Introduction

Binning as a Pretext Task

2. Background

3. Method

3.1 Binning Scheme

3.2 SSL Objectives with Binning

3.3 Decoder Design

4. Experiments

4.1 Experimental Setup

4.2 Binning Objective Analysis

4.3 Benchmarks Results: OpenML, UCI, SAPS

5. Discussion: Ablation Study & Robustness

ModernTCN 논문 정리

1. Introduction & Related Work

PatchTST 논문 정리

1. Introduction

2. Related Work

3. Proposed Method

3.1. Model Structure

3.2. Representation Learning

4. Experiments

Time Series 개념 정리

Time Series란?

시계열 데이터의 주요 구성요소

Decomposition: Additive Model vs Multiplicative Model

Auto-Correlation (자기상관)

Stationarity (정상성)

그렇다면 이런 정상성은 왜 중요할까?

비정상 시계열의 정상화

Evaluation Metrics

쏟아져 나오는 LLM 기반의 AI Chatbots🤖 정리

1. Pre-LLM Chatbots

2. LLM의 등장과 LLM-based Chatbots의 발전

벨로그를 열며...