Key Defenitions

• Source Domain : This is the data distribution on which the model is trained using labeled examples.
• Target Domain :This is the data distribution on which a model pre-trained on a different domain is used to perform a similar task.
• Domain Translation : Domain Translation is the problem of finding a meaningful correspondence between two domains.
• Domain Shift : A domain shift is a change in the statistical distribution of data between the different domains (like the training, validation, and test sets) for a model.

Types of Domain Adaptation

Types of DA based on the labeling of target domain data

• Supervised DA

지도 도메인 적응에서는 타겟 도메인 데이터가 완전히 라벨링되어 있다. 타겟 도메인의 훈련 데이터가 그렇게 많지 않더라도 최적의 성능을 발휘할 수 있고, 라벨링 비용도 많이 들지 않는다. 논문 Unified Deep Supervised Domain Adaptation and Generalization에서는 분류 및 대조 의미 정렬(Classification and Constrastive Semantic Alignment, CCSA)손실을 도입한다. 입력 이미지는 딥러닝 모델을 사용하여 임베딩 / 특징 공간으로 매핑되며, 이를 바탕으로 분류 예측이 이루어진다.

• ** Semi-Supervised DA**

반지도 도메인 적응은 타겟 도메인에서 소수의 데이터 샘플만 라벨링된 상태를 의미한다. 비지도 도메인 적응은 타겟 도메인의 데이터가 소수만 라벨링된 경우 성능이 저조한 것으로 알려져 있다. 논문 Semi-supervised Domain Adaptation via Minimax Entropy에서는 코사인 유사도 기반 분류기 구조를 제안하였고, 이는 특징 추출기의 출력과 K개의 클래스별 가중치 벡터 간의 코사인 유사도를 계산하여 K-방향 클래스 확률 벡터를 예측한 후 소프트맥스 함수를 적용한다. 각 클래스 가중치 벡터는 해당 클래스의 대표 점으로 간주될 수 있는 프로토타입으로 추정된다. 이는 Few-shot learning에서 사용되는 것과 유사하다. 첫 번째 적대적 단계에서 레이블이 없는 타겟 예제의 엔트로피를 최대화하여 가중치 벡터를 타겟 쪽으로 이동시킨다. 이후 특징 추출기를 업데이트하여 레이블이 없는 예제의 엔트로피를 최소화하여 이들이 프로토타입 주위에 더 잘 클러스터링되도록 한다. 이 과정은 가중치 벡터와 특징 추출기 간의 미니맥스 게임으로 공식화되며 레이블이 없는 타겟 예제에 적용된다. 이 접근 방식의 개요는 아래 그림과 같다.

• Weakly Supervised DA

약한 지도 도메인 적응은 타겟 도메인에서 '약한 레이블'만 이용할 수 있는 문제 설정을 의미한다. 예를 들어, 의미적 분할 도메인 적응 문제에서, 타겟 도메인에서 실제 마스크를 사용할 수 없지만, 분할할 객체의 카테고리는 제공될 수 있다. 여기서 카테고리 레이블이 weak label이고, 실제 분할 마스크는 hard label이라고 부른다. 논문 Weakly-supervised Domain Adaptation via GAN and Mesh Model for Estimating 3D Hand Poses Interacting Objects는 이미지 공간에서 두 가지 지침을 사용하여 도메인 적응을 달성했다. 생성적 적대 신경망(GAN)과예측된 3D mesh와 텍스처를 사용하는 mesh renderer. 결과적으로 입력된 HOI 이미지는 분할되고 가려지지 않은 손만 포함된 이미지로 변환되어 HPE 정확도가 효과적으로 향상된다.

• Unsupervised DA

비지도 도메인 적응은 타겟 도메인 데이터에 대한 어떤 종류의 레이블도 없는 상태를 의미한다. 소스 도메인 데이터로 훈련된 모델이 타겟 도메인에 독립적으로 적응해야 한다. Unsupervised Domain Adaptation with Residual Transfer Networks는 UDA 방법 중 하나로 새로운 Residual Transfer Network(RTN) 접근 방식을 제안한다. 심층 네트워크에서 적응형 분류기와 전이 가능한 특징을 동시에 학습할 수 있다. 이전 방법들이 공유 분류기 가정을 했던 것과 달리, 이 방법에서는 소스와 타겟 분류기가 작은 잔여 함수로 다르다고 가정한다. 이 방법에서는 여러 계층을 심층 네트워크에 삽입하여 타겟 도메인 분류기와의 참조를 통해 함수를 명시적으로 학습함으로써 분류기 적응을 가능하게 한다. 이를 통해 소스 도메인 분류기와 타겟 도메인 분류기가 역전파 과정에서 밀접하게 연결할 수 있다. 이 외에도 여기저기 찾아보니, 소스 도메인과 타겟 도메인의 분류기를 연결하는 여러 방법들이 있었던 것 같다.

Homogenous DA vs Heterogeneous DA

• Homogenous DA

동질 도메인 적응은 소스 도메인과 타겟 도메인의 특징 공간이 동일하고 차원도 동일하지만, 데이터 분포에만 차이가 있는 문제를 말한다. 소스와 타겟 도메인 데이터가 동일한 유형의 특징을 사용하여 수집된다고 가정하는데, 교차 도메인 데이터는 동일한 특징 공간에서 관찰되지만 다른 분포를 보인다는 것이다. 이를 distribution-shift 유형의 도메인 적응 문제라고도 한다.

• Heterogeneous DA

이질 도메인 적응은 소스 도메인과 타겟 도메인이 동등하지 않으며 다른 특징 공간 차원을 가질 수 있다. 이질 도메인 적응에서는 서로 다른 특징으로 설명되기 때문에 서로 다른 분포를 보인다.(다른 해상도의 훈련 및 테스트 이미지 데이터, 혹은 다른 코드북으로 인코딩된 데이터) 따라서 이를 feature space difference 유형의 도메인 적응 문제라고도 하며, 동질 도메인 적응보다 훨씬 더 어려운 문제이다. Learning Cross-Domain Landmarks for Heterogeneous Domain Adaptation에서는 Cross-Domain Landmark Selection(CDLS)의 학습 알고리즘을 제안한다. CDLS 모델은 적응 과정에서 모든 교차 도메인 데이터를 동등하게 중요하다고 보는 대신, 이질적 특징 변환을 도출하여 교차 도메인 데이터를 연결하기 위한 도메인 불변 부분 공간을 생성한다. 또한 소스 도메인과 타겟 도메인의 대표 데이터를 공동으로 활용하여 CDLS의 적응 능력을 향상시킨다. 적응 과정이 완료되면, 인식을 수행하기 위해 교차 도메인 레이블이 지정되고 지정되지 않은 타겟 도메인 데이터를 도출된 부분 공간 위에 투영할 수 있다.

One-Step DA vs Multi-Step DA

• One-Step DA

One-Step 도메인 적응은 소스 도메인과 타겟 도메인이 직접적으로 연결된 경우에 해당한다. 이 경우 지식 전이는 한 단계로 이루어진다. 두 도메인이 충분히 유사하여 한 번의 적응으로도 효과적인 지식 전이가 가능한 상황에서 사용된다.

• Multi-Step DA

그러나 현실에서는 소스 도메인과 타겟 도메인의 겹침이 거의 없어 One-Step DA가 효과적이지 않을 수 있다. 다행히, 소스와 타겟 도메인을 원래 거리보다 가깝게 할 수 있는 중간 도메인이 존재하는 경우가 있다. 따라서 일련의 중간 다리를 사용하여 관련이 없어 보이는 두 도메인을 연결한 다음, 이 브릿지를 이용해 One-Step DA를 수행하는 방법을 Multi-Step DA라고 한다.

예를 들어, 얼굴 이미지와 차량 이미지는 모양이나 기타 측면에서 매우 달라 One-Step DA는 실패할 수 있으나, 럭비 헬멧과 같은 중간 이미지를 도입하여 중간 도메인으로 사용하면 원활한 지식 전이가 가능할 수 있다.

Four algorithmic Domain Adaptation principles

• Reweighting Algorithms / Instance-based Adaptation

Reweighting 알고리즘은 소스 데이터의 분포 차이를 최소화하기 위해 소스 데이터를 reweight한 다음, reweight된 소스 데이터로 분류기를 훈련한다. 이는 소스 도메인에만 속하는 데이터의 중요성을 감소시킨다. 타겟 도메인 데이터와 재가중치된 소스 도메인 데이터는 분포를 정렬하기 위해 적대적 훈련이나 커널 평균 매칭을 통해 특징 추출기를 훈련하는 데 사용된다. 이런 방법을 Instance-based Adaptation이라고도 한다. Adversarial Reweighting for Partial Domain Adaptation에서는 소스 도메인 데이터를 적대적으로 재가중치하여 소스 도메인과 타겟 도메인의 분포를 맞추는 적대적 가중치(Adversarial Reweighting, AR) 접근 방식을 제안한다. 이 접근 방식은 소스 도메인 데이터의 가중치를 학습하여 재가중치된 소스 도메인과 타겟 도메인 분포 간의 Wasserstein 거리를 최소화한다.

• Iterative Algorithms

반복적 적응은 이름에서 알 수 있듯 타겟 도메인 데이터를 반복적으로 '자동 라벨링'하는 것을 목표로 한다. 그러나 이러한 방법은 일반적으로 라벨링된 타겟 샘플을 필요로 하므로, 지도 학습 및 반지도 도메인 적응 설정에 적합하다. 여기서 딥러닝 모델은 소스 도메인의 라벨링된 데이터로 훈련되고, 레이블이 없는 타겟 샘플을 주석 처리한다. 그런 다음, 새로운 타겟 도메인의 라벨링된 샘플로 새로운 모델을 학습한다.

Co-Training for Domain Adaptation에서는 소스 도메인에서 타겟 도메인으로 훈련 세트를 천천히 적응시키는 알고리즘을 제시한다. 먼저, 라운드별로 자신들의 출력을 훈련시키고, 각 라운드마다 가장 신뢰할 수 있는 타겟 인스턴스를 훈련 데이터에 포함시킨다. 그 후, 훈련 세트와 레이블이없는 세트를 통해 측정된 호환성에 기반하여 소스와 타겟 데이터의 공통 피처를 선택한다. 더 많은 타겟 인스턴스가 훈련 세트에 추가됨에 따라, 타겟 특유의 특징이 두 세트 간에 호환 가능하게 되어 예측기에 포함된다.

• Feature-based Adaptation

  특징 기반 적응 기술은 도메인 간에 불변 특징을 추출하는 변환을 학습하여 소스 데이터를 타겟 데이터로 매핑하는 것을 목표로 한다. 이러한 기술은 일반적으로 원본 특징을 새로운 특징 공간으로 변환한 다음, 최적화 절차에서 도메인 간의 격차를 최소화하면서 원본 데이터의 기본 구조를 유지한다. 특징 기반 적응 방법은 다음과 같이 더 세분화될 수 있다.

1. Subspace-based Adaptation : 도메인 간에 공유되는 공통적인 중간 표현을 발견하는 것을 목표로 한다.

2. Transformation-based Adaptation : 특성 변환은 원본 특징을 새로운 특징 표현으로 변환하여, 원본 데이터의 기본 구조와 특성을 유지하면서 주변 분포(marginal distributions)와 조건부 분포(conditional distribution) 간의 불일치를 최소화한다.

3. Reconstruction-based Adaptation : 재구성 기반 방법은 중간 특징 표현에서 샘플 재구성을 사용하여 도메인 분포 간의 차이를 줄이는 것을 목표로 한다.

• Hierarchical Bayesian Model

계층적 베이지안 모델은 계층적 베이지안 사전(hierarchical Bayesian prior)을 사용하여 도메인 별 매개변수를 연결한다. 이러한 모델은 도메인에 따라 달라지는 잠재 표현(domain-dependent latent representations)을 도출하여 도메인 별 특성과 전역적으로 공유되는 잠재 요소를 모두 포함할 수 있게 한다.

계층적 베이지안 사전은 도메인 간의 특징이 유사한 가중치를 갖도록 하며, 반대 증거가 없는 한 이러한 유사성을 유지한다. 계층적 베이지안 프레임워크는 각 작업/분포의 매개변수를 독립적으로 학습하고 정보가 많은 작업의 매개변수를 더 거친 작업으로 매끄럽게 하는 접근방식에 비해 전이학습을 위한 더 원칙적인 접근 방법을 제공한다.

Domain Adaptation Techniques

• Domain Invariant Feature Learning

최신 도메인 적응 방법들은 일반적으로 특칭 추출기 신경망(feature extractor neural network)의 형태로 도메인 불변 특징 표현(feature representation)을 생성하여 소스 도메인과 타겟 도메인을 정렬한다. 특징 표현이 도메인 불변이라는 것은 입력 데이터가 소스 도메인에서 왔는지 타겟 도메인에서 왔는지에 관계없이 특징이 동일한 분포를 따른다는 것이다. 만약 도메인 불변 특징을 사용하여 소스 데이터에서 좋은 성능을 내는 분류기를 훈련할 수 있다면, 타겟 데이터의 특징이 분류기를 훈련한 특징과 일치하기 때문에 타겟 도메인에서도 잘 일반화될 수 있다.

이러한 방법들의 일반적인 훈련 및 테스트 설정은 아래와 같이 설명된다. 앞으로 나오는 방법들은 도메인을 정렬하는 방식이 다르다. 일부는 발산을 최소화하고, 일부는 재구성을 수행하고, 일부는 적대적 훈련을 사용한다. 또한 가중치 공유 선택이 다른데, 자세한 내용은 아래에서 설명한다.

• Divergence-based Domain Adaptation

  • 발산 기반 도메인 적응 기술은 소스 도메인과 타겟 도메인 데이터 분포 간의 발산 기준을 최소화하는 것을 목표로 한다. 다양한 도메인 적응 접근 방식에서 사용되는 네가지 선택지는 최대 평균 차이(maximum mean discrepancy), 상관 정렬(correlation alignment), 대조 도메인 불일치(contrastive domain discrepancy), 그리고 Wasserstein metric이다.
  • Aligning Infinite-Dimensional Covariance Matrices in Reproducing Kernel Hilbert Spaces for Domain Adaptation에서 제안된 프레임워크는 무한 차원의 공분산 행렬을 도메인 간에 정렬함으로써 도메인 적응을 수행한다. 구체적으로, 원본 특징을 재생 힐버트 커널 공간(Reproducing Kernel Hilbert Splace, RKHS)으로 매핑한 다음, 결과 공간에서 선형 연산자를 사용하여 변환된 데이터와 타겟 데이터의 RKHS 공분산 설명자가 가까워지도록 소스 데이터를 타겟 도메인으로 "이동"한다. 변환된 샘플과 타겟 샘플로 쌍별 내적을 계산하여 닫힌 형태의 새로운 도메인 불변 커널 행렬을 얻는다. 이 커널 행렬은 어떤 커널 기반 학습 머신에서도 사용할 수 있다.

• Reconstruction-based Domain Adaptation

  • 레이블이 지정된 소스 도메인 데이터를 잘 분류하고 타겟 도메인 데이터 또는 소스와 타겟 도메인 데이터 모두를 재구성할 수 있는 표현을 학습함으로써 도메인 적응을 달성할 수 있다. 이러한 설정에서 정렬 구성 요소는 재구성 네트워크다. 이는 피처 추출기 출력을 가져와 피처 추출기의 입력을 재생성한다.
  • Deep Reconstruction-Classification Networks for Unsupervised Domain Adaptation에서는 두 가지 작업을 공동으로 학습하는 DRCN(Deep Reconstruction Classification Networks)을 제안한다 : (i) 지도 소스 레이블 예측 및 (ii) 지도되지 않은 타겟 데이터 재구성. 목표는 학습된 레이블 예측 함수가 타겟 도메인의 이미지 분류에서 좋은 성능을 낼 수 있도록 하는 것이다. 데이터 재구성은 레이블 예측의 적응을 지원하는 보조 작업으로 볼 수 있다. DRCN의 네트워크 학습 매커니즘은 비지도 학습과 지도 학습을 번갈아 가며 진행하는데, 이는 표준 사전 학습-미세 조정 전략과 다르다.

• Adversarial-based Domain Adaptation

  • 적대적 적응 방법은 도메인 판별자(domain discriminator)와 관련된 적대적 목적을 통해 도메인 불일치 거리를 최소화하려는 접근 방식으로 점점 인기를 얻고 있다. 이러한 방법은 생성적 적대 학습(GAN)과 밀접한 관련이 있으며 여기서는 생성자와 판별자 두 네트워크가 서로 경쟁한다. 적대적 도메인 적응 접근 방식은 도메인 간의 분포 불일치를 최소화하여 전이 가능하고 도메인 불변 특징을 얻는 데 중점을 둔다.

  • 컴퓨터 비전 문헌에는 여러가지 유형의 피처에 대한 적대적 도메인 적응 방법이 소개되었다. 대부분의 경우 정렬 구성 요소는 도메인 분류기(domain classifier)로 구성된다. 도메인 분류기는 특징 표현이 소스 데이터에서 생성된 것인지, 타겟 데이터에서 생성된 것인지를 출력하는 분류기이다. 예를 들어, 이 정렬 구성 요소는 대략적인 Wasserstein 거리를 학습하는 네트워크로 표현될 수도 있고, GAN 모델일 수도 있다.

  • CyCADA: Cycle-Consistent Adversarial Domain Adaptation에서는 의미적 일관성을 강화하는 동시에 픽셀 수준과 피처 수준에서 표현을 적응시키는 CyCADA 모델을 제안했다. 사이클 일관성 손실(소스가 타겟으로 매핑되고 다시 소스로 매핑될 때 일치해야 함)과 특정 시각 인식 작업에 기반한 의미적 손실을 사용하여 구조적 일관성과 의미적 일관성을 모두 강화한다. 의미적 손실은 전체 표현이 차별적이게 되도록 안내하고 도메인 간 매핑 전후에 의미적 일관성을 강화한다.

• Domain Mapping

도메인 매핑은 도메인 불변 특징을 표현하는 또 다른 방법이다. 이 매핑은 일반적으로 적대적으로 생성되며 픽셀 수준에서 이루어진다.(즉, 픽셀 수준의 적대적 도메인 적응). 이 매핑은 조건부 GAN으로 수행할 수 있다. 생성기는 소스 입력 이미지를 타겟 분포와 매우 유사한 이미지로 변환하여 픽셀 수준에서 적응을 수행한다. 예를 들어, GAN은 합성 차량 운전 이미지를 현실적으로 보이는 이미지로 변환할 수 있다. StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation 논문에서는 여러 도메인 간의 매핑을 학습할 수 있는 생성적 적대 신경망인 StarGAN 모델을 제안했다. 기존의 다중 도메인 변환 접근 방식은 도메인 간 변환을 위해 여러 개의 독립된 생성자 및 판별자 네트워크를 사용하는 것과 달리, StarGAN 모델은 여러 도메인의 학습 데이터를 가져와 단 하나의 생성기를 사용하여 사용 가능한 모든 도메인 간의 매핑을 학습한다. 고정된 변환을 학습하는 대신, 이미지와 도메인 정보를 모두 입력으로 받아 입력 이미지를 해당 도메인으로 유연하게 변환하는 방법을 학습한다. StarGAN은 레이블(예를 들면 이진 또는 원-핫 인코딩 벡터)을 사용한다. 훈련 중에는 타겟 도메인 레이블이 무작위로 생성되고, 모델은 입력 이미지를 타겟 도메인으로 유연하게 변환하도록 학습되며, 이를 통해 도메인 레이블을 제어하고 테스트 단계에서 이미지를 원하는 도메인으로 변환할 수 있다.

• Ensemble Methods

기본 모델로서 딥 뉴럴 네트워크와 같은 모델이 사용될 경우, 여러 모델로 구성된 앙상블이 모델의 출력을 평균화하거나(ex. 회귀) 투표(ex. 분류)를 통해 단일 모델보다 좋은 성능을 보일 수 있다. 모델들이 다양하면 각 개별 모델이 서로 다른 실수를 할 가능성이 높기 때문이다. 그러나 이러한 성능 향상은 각 앙상블 예측에 대해 평가할 모델 수가 많아 계산 비용을 증가시킬 수 있다. 여러 개의 기본 모델을 앙상블로 사용하는 대안으로 단일 모델만을 사용하되, 훈련 중 여러 시점에서 앙상블 내의 모델을 평가하는 방법이 있다. 이를 셀프 앙상블링(self-ensembling)이라고 한다. 이 방법은 각 예제에 대한 과거 예측을 평균화(이전 예측 기록)하거나 과거 네트워크 가중치를 평균화(이동 평균 유지)하여 수행할 수 있다. 이는 계산 과정을 몇 배로 줄일 수 있다. Self-ensembling for visual domain adaptation에서는 그러한 방법 중 하나를 제안했는데, 비지도 도메인 적응을 위해 셀프 앙상블을 사용한다. 학생 네트워크와 교사 네트워크라는 두 개의 네트워크를 사용하는데, 입력 이미지는 두 네트워크에 입력되기 전에 먼저 확률적 데이터 증강(Gaussian noise, translations, horizontal flips, affine transforms 등)을 거친다. 이 방법은 확률적이기 때문에, 네트워크에 공급되는 증강된 이미지가 다르다. 학생 네트워크는 경사 하강법으로 훈련되며, 교사 네트워크의 가중치는 학생 네트워크 가중치의 지수 이동 평균(EMA)이다.

• Target Discriminative Methods

반지도 학습 알고리즘에서 성공을 이끈 한 가지 가정은 클러스터 가정(cluster assumption)이다. 이는 데이터 포인트가 별도의 클러스터에 분포되어 있으며 각 클러스터의 샘플에 공통 레이블이 있다는 것이다. 이러한 경우, 결정 결계는 저밀도 영역에 위치해야 한다.(즉, 데이터 포인트가 많은 영역을 통과해서는 안된다)

다양한 도메인 적응 방법이 결정 경계를 밀도가 낮은 밀도 영역으로 옮기기 위해 탐구되었고, 일반적으로 적대적으로 훈련된다. Adversarial Discriminative Domain Adaptation에서는 제목과 같은 ADDA라고 하는 비지도 DA 방법을 제안한다. 먼저 소스 도메인의 레이블을 사용하여 판별적 표현을 학습하고, 도메인-적대적 손실(domain-adversarial loss)을 통해 학습한 비대칭 매핑을 사용하여 타겟 데이터를 동일한 공간에 매핑하는 별도의 인코딩을 학습한다.

참고 블로그 - 모든 내용의 출처

: aimed at enhancing the performance of models when they are applied to different but related domains.

전이학습에 도메인 적응이 포함되는 건가? 도메인 적응이라는 개념 안에 전이학습이 있는 건가?

Transfer Learning

• Transductive Transfer Learning

  • annotated data only in source domain
  • same domain and same task
    • Sample Selection Bias / Covariance Shift
  • different domains but same task
    • Domain Adaptation

• Unsupervised Transfer Learning

  • no annotated data

• Inductive Transfer Learning

  • annotated data in target domain
  • annotated data in source domain, source and target tasks are learned simultaneously
    • Multi-Task Learning
  • no annotated data in source domain
    • Self-Taught Learning

위 자료에 따르면 전이학습 내에 도메인 적응이 포함되어 있는 것으로 보인다. 도메인 적응은 작업이 동일하다는 점에서 전이학습에 포함된다고 보는 것 같다. 그렇지만 나는 구분하기보다 그때그때 상황에 맞게 이해하면 될 것 같다.

• 전이학습 : 학습된 모델의 지식을 다른 작업이나 도메인에 적용하는 방법.
• 도메인 적응 : 개념. 소스 도메인과 타겟 도메인의 데이터 분포 차이를 극복하는 데 중점.

Key concepts

Domain shift(도메인 변화) - between source domain and target domain

Covariate shift(공변량 이동)

: 입력 데이터의 특징 분포는 다르지만 각 입력에 대한 출력의 조건부 분포는 도메인 간에 일정하게 유지되는 경우.

• ex) 이미지 분류에서, 소스 도메인은 밝은 날씨의 이미지, 타겟 도메인은 흐린 날씨의 이미지.

Conditional shift(조건부 이동)

: 클래스별 조건부 분포가 다른 경우, 이는 클래스 간에 서로 다른 이동 프로토콜이 있는 경우. 현실적인 상황을 더 잘 반영한다.

• ex) 질병 진단 문제에서, 소스 도메인은 질병이 많이 발생하는 지역의 데이터, 타겟 도메인은 그 질병이 거의 없는 지역의 데이터.

Label shift(레이블 이동)

: 클래스의 샘플 비율이 도메인 간에 다른 경우. 클래스 비율의 차이에 더 중점을 둠. 클래스 불균형 문제를 처리할 때 중요한 고려사항.

• ex) 물체 인식 문제에서, 같은 물체가 소스 도메인에서는 다양한 각도에서 촬영되었고, 타겟 도메인에서는 특정 각도에서만 촬영된 경우.

Concept shift(개념 이동)

: 특징이 주어졌을 때의 조건부 분포가 도메인 간에 다른 경우. 입력이 동일해도 출력이 달라질 때. 모델이 학습한 개념이 타겟 도메인에서 다르게 적용된다.

• ex) 음성 인식 문제에서 소스 도메인과 타겟 도메인이 각각 다른 언어의 발음을 포함.(언어적, 문화적, 산업적 차이가 존재할 수 있음)

####요약
공변량 이동 : 입력 데이터의 분포가 다르지만 조건부 분포는 동일함.
레이블 이동 : 클래스 비율이 도메인마다 다름.
조건부 이동 : 특정 클래스에 대한 특징의 분포가 다름.
개념 이동 : 동일한 입력에 대한 출력의 조건부 확률이 다름.

Domain shift에 따른 Domain adaptation 기법

Covariate Shift(공변량 이동)

• Importance Weighting: 소스 도메인의 샘플에 타겟 도메인의 분포에 맞춰 가중치를 부여하여 학습.
• Feature Transformation: 소스와 타겟 도메인의 특징 공간을 일치시키기 위해 특징을 변환.
  • PCA 또는 T-SNE를 사용하여 특징을 저차원 공간으로 변환.
  • Kernel Mean Matching (KMM): 소스 도메인의 특징 분포를 타겟 도메인에 맞추기 위해 특징 공간을 매칭.
• Domain-Adversarial Training: 분류기와 도메인 판별기를 동시에 학습하여 특징을 도메인 불변하게 만듦.
  • Domain-Adversarial Neural Network (DANN): 특징 추출기가 소스와 타겟 도메인에서 동일한 분포를 갖도록 학습.

Conditional Shift(조건부 이동)

• Class-wise Domain Adaptation: 클래스별로 도메인 적응을 수행하여 클래스 간의 차이를 줄임.
  • Conditional Adversarial Domain Adaptation (CDAN): 조건부 분포를 맞추기 위해 클래스 정보를 사용하는 적대적 학습.
• Instance Reweighting: 클래스별로 가중치를 부여하여 타겟 도메인의 분포를 맞춤.
  • Balanced Weighting: 클래스 불균형을 줄이기 위해 소스 도메인의 샘플에 가중치를 부여.

Label Shift(레이블 이동)

• Prior Shift Adaptation: 소스 도메인과 타겟 도메인의 클래스 비율 차이를 조정.
  • Target Shift Estimation: 타겟 도메인의 클래스 비율을 추정하여 모델의 예측을 조정.
• Reweighting Techniques: 클래스 비율을 맞추기 위해 샘플 가중치를 조정.
  • EM Algorithm: 기대-최대화 알고리즘을 사용하여 클래스 비율을 추정하고 조정.
• Class Balancing Methods: 샘플을 재샘플링하거나 가중치를 부여하여 클래스 비율을 맞춤.
  • SMOTE: 소수 클래스의 샘플을 증가시켜 클래스 불균형을 해결.

Concept Shift(개념 이동)

• Fine-Tuning: 타겟 도메인의 데이터를 사용하여 소스 도메인에서 학습된 모델을 미세 조정.
  • Transfer Learning: 소스 도메인에서 학습된 모델을 타겟 도메인에 맞게 재학습.
• Ensemble Methods: 여러 모델을 조합하여 도메인 간의 개념 차이를 줄임.
  • Domain Ensembles: 소스 도메인과 타겟 도메인의 데이터로 각각 학습된 모델을 조합하여 예측.
• Conditional Adversarial Networks: 조건부 분포 차이를 줄이기 위해 적대적 학습을 사용.
  • Adversarial Discriminative Domain Adaptation (ADDA): 소스 도메인의 특징 추출기를 타겟 도메인에 맞추기 위해 적대적 학습.

Traditional Domain Adaptation

1. Metric Learning(거리 학습) : 데이터 포인트 간의 유사성이나 비유사성을 측정하는 거리 함수를 학습하는 기계 학습 → 유사한 인스턴스는 더 가깝게, 비유사한 인스턴스는 더 멀리 두는 거리 측정 학습

   • Siamese Networks : 두 개의 입력 데이터를 사용하여 유사한 쌍의 거리 최소화, 비유사한 쌍의 거리 최대화
   • Triplet Networks : 삼중 항목 데이터를 사용하여 더 구별력 있는 거리 학습
   • Contrastive Loss : 유사한 쌍에 대해 거리가 큰 경우와 비유사한 쌍에 대해 거리가 작은 경우를 페널티하는 손실 함수
   • Triplet Loss : 앵커와 긍정적 샘플 간의 거리가 앵커와 부정적 샘플간의 거리보다 작도록 하는 손실 함수

2. Subspace Representation(부분 공간 표현) : 고차원 데이터를 저차원 부분 공간으로 투영하여 데이터의 중요한 구조와 관계를 유지하는 방법 → 데이터의 본질적인 구조를 유지하면서 저차원 공간 찾기

   • PCA(Principal Component Analysis) : 데이터의 분산을 최대화하는 방향을 찾는 선형 기법
   • LDA(Linear Discriminant Analysis) : 서로 다른 클래스를 가장 잘 분리하는 선형 조합을 찾음
   • Kernel PCA : 커널 함수를 사용하여 비선형 변환을 수행하는 PCA
   • Manifold Learning : t-SNE, Isomap 등 데이터의 비선형 구조를 포착하는 기법

3. Matching Distribution(분포 정렬) : 소스 도메인과 타겟 도메인의 데이터 분포를 정렬하여 도메인 이동을 최소화하는 방법. 두 도메인의 특징 분포를 유사하게 만들어 모델이 타겟 도메인에서도 잘 작동하도록 함. → 분포 차이 줄이기

   • MMD(Maximum Mean Discrepancy) : 재현 커널 힐베르트 공간(RKHS)에서 소스와 타겟 분포의 평균 차이를 측정
   • Wasserstein Distance : 최적 수송 문제를 기반으로 분포 간 거리 측정
   • Adversarial Training : 도메인 적대적 신경망(DANN)을 사용하여 소스와 타겟 특징 분포를 유사하게 만듦
   • CORAL : 소스와 타겟 도메인의 공분산 행렬을 정렬하여 도메인 이동을 줄임

Types of Domain adaptation - '데이터 라벨링 유무'기준

1. Supervised domain adaptation : labeled data is available in both source and target domains
2. Unsupervised domain adaptation : labeled data is available only in the source domain, and the target domain has no labels
3. Semi-supervised domain adaptation : both labeled and unlabeled data are available in the target domain

Approaches to Domain Adaptation(UDA)

1. Instance-based adaptation(인스턴스 기반 적용) : 소스 도메인 인스턴스의 가중치를 조정하여 타겟 도메인에 더 잘 맞게 만드는 방법. 대표적인 방법으로 중요도 가중치 조정(importance weighting)
   • ex) 마케팅 데이터에서 고객의 구매 패턴이 지역마다 다를 때, 소스 도메인의 데이터를 타겟 도메인에 맞게 가중치 조정하여 모델 학습
2. Feature-based adaptation(특징 기반 적용) : 도메인 불변 특징을 학습하여 소스와 타겟 도메인의 분포를 특징 공간에서 정렬하는 것을 목표로 함.
   • Maximum Mean Discrepancy (MMD) : 최대 평균 차이
   • Correlation Alignment (CORAL) : 소스와 타겟 특징 분포의 공분산 정렬
   • Adversarial Training: Using generative adversarial networks (GANs) to align feature distributions : 적대적 네트워크를 사용하여 특징 분포를 도메인 간에 구분할 수 없도록 함.
     • ex) 이미지 분류 문제에서 밝은 날씨의 소스 도메인 이미지와 흐린 날씨의 타겟 도메인 이미지를 특징 공간에서 정렬하여 모델 성능 향상
3. Model-based adaptation(모델 기반 적용) : 모델 매개변수를 조정하여 도메인 간의 차이를 줄이는 방법.
   • Domain-Adversarial Neural Networks (DANN) : 도메인 분류기를 도입하여 적대적 훈련을 통해 도메인 불변 특징을 학습.
   • Domain-Specific Batch Normalization : 도메인 특화 통계를 반영하도록 정규화 계층을 조정.
     • ex) 의료 데이터 분석에서 서로 다른 병원 간의 진단 기준 차이를 줄이기 위해 도메인 적대적 신경망 사용
4. Hybrid approaches(혼합 접근) : combining techniques for more robust adaptation

Learning Problems

세 가지 main types.

Supervised Learning : 지도 학습

입력과 정답 레이블이 주어진 경우. 예시를 통해 학습. label이 지정된 데이터셋을 사용하는 머신러닝.

• 분류
• 회귀

Unsupervised Learning : 비지도 학습

입력만 주어지고 정답 레이블이 없는 경우. 데이터에서 숨겨진 패턴을 발견하기.

• 군집화
• 차원 축소

Reinforcement Learning : 강화학습

정적 데이터셋에 의존하는 것이 아닌, 반복적인 시행착오 상호작용을 통해 작업 수행 방법을 학습.

Hybrid Learning Problems

지도-비지도 학습 경계가 분명하지 않은 경우.

Semi-Supervised Learning : 준지도 학습

라벨링 된 데이터와 라벨링 되지 않은 데이터를 함께 사용. 라벨링 된 데이터가 많이 없는 경우.

Self-Supervised Learning : 자기 지도 학습

데이터 자체에서 레이블을 생성하여 학습. y 없이 (X,X)로 학습.

Multi-Instance Learning : 다중 인스턴스 학습

개별 인스턴스가 아닌 그룹으로 학습.

Statistical Inference

추론의 관점에서 분류

Inductive Learning : 귀납적 학습

결과를 결정하기 위해서 증거를 사용하는 것. 특정 예시들로부터 일반적인 결론을 도출하여 새로운 데이터에 적용하는 방식. 데이터에서 일반적인 패턴을 학습하여 새로운 데이터에 적용.

Deductive Inference : 연역적 추론

기존의 지식과 규칙을 사용하여 특정 결론 도출. 모든 인간은 죽고, 소크라테스는 인간이니, 소크라테스는 죽는다. 일반적인 규칙에서 특정 결론을 도출함. f(x) 계산한 느낌.

Transductive Learning : 전이적 학습

특정 예제에 대한 예측을 훈련 데이터와 테스트 데이터 사이에서 직접 수행. 훈련 데이터와 테스트 데이터 사이에서 직접 예측을 수행하여 특정 인스턴스들에 집중.

Example

• Induction : 특정 예시들로부터 일반적인 모델을 학습.
• Deduction : 학습된 모델을 사용하여 예측.
• Transduction : 특정 예시들을 이용하여 직접 예측 수행.

Learning Techniques

학습 기법들

Multi-Task Learning

여러 관련 작업을 동시에 학습하여 성능 향상. 하나의 데이터셋으로 다중 작업을 학습시켜 일반화 능력 향상.

Active Learning

모델이 중요한 데이터를 선택하여 학습. 라벨링할 데이터를 모델이 선택. 학습하다가 이상하다 싶으면 쿼리를 날림.

Online Learning

데이터를 순차적으로 사용하여 학습을 지속적으로 업데이트. 사용 가능한 데이터를 다 사용하고, 예측 직전 혹은 마지막 관측 이후에 모델 최종적 업데이트.

Transfer Learning

한 작업에서 학습한 모델을 다른 작업에 적용. A task dataset을 통해 모델을 학습시키고, 이 모델의 일부 또는 전체를 활용해 B task dataset을 학습시키는 것.

Ensemble Learning

여러 모델의 예측을 결합하여 더 나은 성능 도출

참고 블로그

객체의 6D pose를 추정하는 것은 로봇이 실제 환경과 상호작용하는 데 중요한 역할을 한다. 그러나 다양한 객체의 형태와 장면의 복잡성, 객체 간의 가림 및 혼잡 때문에 매우 어려운 과제이다.

PoseCNN 논문 원본

관련 연구

6D object pose estimation에 관한 기존 연구는 templete-based method와 feature-based method로 나뉜다.

• templete-based method : 강체 템플릿을 생성하여 입력 이미지의 다양한 위치에서 스캔, 유사도 점수를 계산하여 텍스쳐가 없는 객체 감지.(객체가 가려진 경우 성능 저하)
• feature-based method : 이미지 픽셀에서 로컬 특징을 추출하고 2D-3D 대응을 설정하여 6D 자세 복원.(객체에 충분한 텍스쳐가 있어야 함)

이 두 방법의 장점을 결합한 심층 학습 프레임워크 제안

PoseCNN

객체의 중심을 이미지에서 지역화하고, 카메라와의 거리를 예측하여 객체의 3D 위치를 추정하며, 쿼터니언 표현을 통해 3D 회전을 추정한다.

1. 입력 : RGB 이미지
2. 컨볼루션 레이어와 맥스 풀링 레이어를 거쳐 특징 맵 추출
3. 임베딩 - 두 가지 경로
   • Semantic Labeling을 위한 경로. 두 개의 컨볼루션 레이어를 거쳐 각 픽셀에 대한 객체 레이블 예측
   • 중심 방향 예측과 중심 거리 예측을 위한 경로. 각 픽셀에 대해 객체 중심을 향한 단위 벡터와 객체 중심의 거리 예측
4. 분류 및 회귀
   • 시맨틱 레이블링 경로는 픽셀별 객체 레이블 예측
   • 중심 방향 예측과 중심 거리 예측 경로는 각각 2D 중심 위치를 찾고 3D Translation을 추정
   • Hough Voting 레이어를 사용하여 객체 중심을 찾고, 객체의 2D 경계 상자 생성
   • 경계 상자를 사용하여 Rol 풀링 레이어를 통해 특징 맵을 crop and pool.(3D Rotation Regression)
   • 각 Rol에 대해 3D 회전을 쿼터니언으로 회귀하여 6D pose 예측
5. 최종 출력 : 각 객체의 6D pose

Overview

첫 번째 스테이지에서는 13개의 Convolution과 4개의 Max Pooling 레이어를 통해 Feature를 뽑아낸다. 두 번째 스테이지는 임베딩 단계인데, 첫 번째 단계에서 저차원 Feature를 가져와서 고차원 임베딩 단계로 접근한다. 이를 토대로 Semantic labeling을 진행한 후, 해당 정보들을 이용해 Translation과 Rotation을 추정한다.

Semantic Labeling

각 이미지 픽셀을 객체 클래스에 분류하여 객체에 대한 더 많은 정보를 제공하고 가려짐을 효과적으로 처리 semantic labeling branch에서 512d 채널 2개를 사용. 채널을 64d로 줄이며 resolution이 두 배가 되고 두 feature map을 합한 후 deconvolution layer를 통해 원본 이미지 사이즈로 바꾼다. 이 때 채널은 n개인데, 이는 semantic class의 개수이다. training에서 softmax cross entropy loss를 사용해 픽셀의 class probability를 계산한다.

3D Translation Estimation

각 픽셀이 객체 중심을 향한 단위 벡터로 회귀하여 객체 중심의 2D 픽셀 좌표 예측. T를 이미지로 projection한 결과를 c=(cx,cy)라고 하면, c와 depth Tz를 알 수 있다면 Tx, Ty를 얻을 수 있다. fx,fy는 카메라의 focal length, px,py는 principal point. 단위 벡터를 만들어 중심을 찾도록 학습한다. Hough vounting layer를 쌓아 2D 객체 중심을 찾는다. 객체 중심을 찾으면 물체 중심에 투표하는 픽셀을 inliner로 간주하고 Tz를 구한다.

카메라와의 거리를 추정하여 3D 번역을 복원.

3D Rotation Regression

객체의 회전을 쿼터니언 표현으로 회귀하기 위해 객체의 경계 상자 내부에서 특징을 추출함. 두 가지 손실함수(PoseLoss, ShapeMatch-Loss)를 도입하여 객체의 회전 추정을 처리. 각 파라미터는 다음 정보들을 의미한다.

1. PLoss(a, b): 두 개의 회전행렬 사이의 손실(loss)
2. ~q, q: 회전을 나타내는 매개변수(예측값, GT)
3. x: 3D model 데이터 포인트(벡터)
4. M: 3D model point 집합
5. m: 포인트의 수
6. || -- ||: 벡터의 크기

평가

YCB-Video 데이터셋과 OccludedLINEMOD 데이터셋을 활용. 평가 지표: ADD Metric(올바른 모델 포즈와 추정된 포즈 사이의 평균 거리 추정), ADD-S Metric(대칭 객체의 경우 가장 가까운 점 거리를 사용하여 평균 거리 계산)

PoseCNN은 컬러 이미지만 사용하는 설정과 RGB-D 설정 모두에서 기준을 능가하며, 가려진 상황에서도 뛰어난 성능을 보여준다. 깊이 데이터를 사용한 ICP 알고리즘을 통해 자세를 정제하면 성능이 더욱 향상된다.

PoseCNN 유튜브 참고 블로그

검색-증강 생성(Retrieval-Augmented Generation)

LLM의 문제점

1. 답변이 없을 때 허위 정보 제공. (할루시네이션)
2. 사용자가 구체적이거나 최신의 응답을 기대하더라도 오래되었거나 일반적인 정보 제공.
3. 신뢰할 수 없는 출처로부터 응답 생성.
4. 용어 혼동으로 인해 응답이 정확하지 않음. 다양한 훈련 소스가 동일한 용어를 사용하여 서로 다른 내용을 설명함.

RAG란?

대규모 언어 모델의 출력을 최적화하여 응답을 생성하기 전에 학습 데이터 소스 외부의 신뢰할 수 있는 지식 베이스를 참조하도록 하는 프로세스.

1. 사용자가 질문을 입력
2. RAG가 외부 데이터베이스에서 질문과 관련된 정보를 검색
3. 검색된 정보를 기반으로 LLM이 답변 생성

RAG의 이점

1. 파인튜닝에 비해 시간과 비용이 적게 소요됨.
2. 모델의 일반성을 유지할 수 있음.
3. 답변의 근거를 제시할 수 있음.
4. 할루시네이션 가능성을 줄일 수 있음.

작동 과정

1. 데이터 임베딩 및 벡터 DB 구축

• 자체 데이터를 임베딩 모델에 통합
• 텍스트 데이터를 벡터 형식으로 변환하여 벡터 DB를 구축
• 벡터화된 정보가 풍부한 데이터베이스는 Retriever(문서 검색기) 부분에서 사용자의 쿼리와 관련된 정보를 찾는 데 활용됨.

2. 쿼리 벡터화 및 관련 정보 추출(증강 단계)

• 사용자의 질문(쿼리)을 벡터화
• 벡터 DB를 대상으로 다양한 검색 기법을 사용하여 소스 정보에서 가장 관련성이 높은 부분 또는 상위 K개의 항목을 추출
• 추출된 관련 정보는 쿼리 텍스트와 함께 LLM에 제공

3. LLM을 통한 답변 생성

• LLM은 쿼리 텍스트와 추출된 관련 정보를 바탕으로 최종 답변 생성
• 정확한 출처에 기반한 답변이 가능

활용 방법

1. Raw data → Connecting : 원본 데이터의 형식을 컴퓨터가 처리 가능한 형태로 변환해야 함.
2. Connecting → Embedding : 데이터를 모델이 처리 가능한 작은 단위로 나누는 과정이 필요. 일반적으로 Chunking이라고 함.
3. Embedding : 자연어를 벡터로 변환. 작은 덩어리로 나누어진 데이터와 사용자의 질문을 모두 임베딩해야 함.
4. Vector DB : 임베딩으로 변환한 벡터를 저장하는 데이터베이스. 고차원 벡터 데이터를 효율적으로 관리하고 검색하는 데 특화되어 있음. 다양한 기업에서 벡터 DB를 지원하고 있어, 사용자는 목적에 맞는 벡터 DB를 선택할 수 있음.
5. Retrieval : 벡터 데이터베이스에 저장된 데이터와 사용자의 질문을 매칭하여, 질문에 가장 적합한 데이터 검색. 검색 로직은 직접 구현하거나, 벡터 DB에서 제공하는 기능을 활용할 수 있음.

스터디 참고 : 네이버 클라우드 플랫폼

프롬프트 엔지니어링

• 언어모델에게 정확한 정보나 창의적인 콘텐츠를 생성하도록 지시하는 방법을 연구하는 분야를 의미.
• 프롬프트란? 인공지능에게 주는 입력 문장이나 질문.
• 인공지능이 원하는 대답을 하도록 프롬프트를 잘 설계하는 것이 인공지능의 출력 품질을 결정함.

프롬프트 엔지니어링 구성 요소

• Instruction : 모델이 수행하기를 원하는 특정 작업 또는 지침
• Context : 모델을 조정할 수 있는 외부 정보 또는 추가 맥락
• Input data : 답변을 찾고자 하는 입력 또는 질문
• Output indicator : 출력의 유형 또는 형식을 의미

#Prompt
Classify the text into neutral, negative, or positive #instruction
Text: I think the food was okay #input data
Sentiment: #output indicator

프롬프트 엔지니어링 유형

• zero-shot : 예제를 구성하지 않고 요청
• one-shot : 하나의 예제로 구성하는 프롬프트
• few-shot : 여러 개의 예제로 구성하는 프롬프트
• Chain-of-Thought Prompting : 복잡한 문제를 해결할 때 순차적 해결 방안을 알려주기(계산 식을 풀어서 설명하는 등)
• zero-shot CoT Prompting : A:"순차적으로 생각해봐"

프롬프트 노하우

1. 지시 사항은 최대한 구체적이고 명확하게 전달

• 모델에게 역할을 부여하는 것이 더 명확한 답변을 이끌어냄.
• 원하는 답변 형식을 지정하는 것도 중요

2. 프롬프트 예제를 다양하게 구성

• 모델이 다양한 케이스에 대한 패턴을 파악할 수 있도록

3. 지시문에는 부정문보다 긍정문을 사용

• 언어모델은 'generation'하는 모델이기 때문

4. 계절감 있는 출력 결과가 나오게 하고 싶으면, 예제에 날짜나 시즌 어휘를 추가

• ex) 크리스마스, 설날 등

5. 대상자를 지정

• 대상자 정확히 인식, 문장의 목적 구체화

프롬프트 마켓 등장

...!

스터디 참고 : 네이버 비즈니스 스쿨

CoT에 이은 SoT

Skeleton-of-Thoguhts

• 병렬 처리를 통해 LLM의 효율성을 극대화하는 방법론
• 뼈대 단계(Skeleton stage) 먼저 답변의 주요 요점들을 간단히 나열한 후, 요점 확장 단계(Point-expanding stage)를 통해 병렬적으로 확장해 나가는 것

관련 연구

SoT의 장점

1. 효율성 향상

• 기존의 언어 모델은 시퀀스 기반으로 순차적으로 텍스트를 생성하기 때문에 추론을 위해 많은 시간이 소요됨.
• SoT에서는 응답의 틀을 먼저 구성한 후 세부 내용을 채우는 방식을 사용함으로써 대규모 언어 모델의 응답 속도를 개선함.
• 여러 부분을 동시에 생성함으로써 전체 생성 시간 단축.

2. 구조화된 사고 프로세스

• 전체 응답의 논리적인 흐름을 미리 셀계할 수 있음.
• 골격은 필요에 따라 쉽게 수정하거나 확장할 수 있음.
• 새로운 아이디어나 정보를 추가 시, 전체 구조를 크게 해치지 않고 유연하게 대응 가능.

3. 복잡한 주제의 체계적 분석

• 골격은 주요 논점을 명확히 하고 각 부분을 체계적으로 분석할 수 있게 함.
• ex) 학술 연구, 비즈니스 보고서, 창의적 글쓰기, 교육

#시스템
- 사용자의 질문을 받으면, 먼저 문제를 명확히 정의하고 핵심 질문을 파악합니다.
- 문제 해결을 위한 단계별 접근 방식을 이용합니다.
- 각 단계에 대해 간단한 설명을 제공하세요. 이는 전체 사고 과정의 뼈대 역할을 합니다.
- 뼈대의 문장은 충분히 완결적인 문장으로 완성합니다.
- 답변은 논리적이고 구조화되어야 하며, 각 단계가 어떻게 최종 결론으로 이어지는지 명확히 보여주어야 합니다.

스터디 참고 : 네이버 클라우드 플랫폼

Towards Total Recall in Industrial Anomaly Detection

https://arxiv.org/pdf/2106.08265v2

왼쪽은 training 과정, 오른쪽은 testing 과정이다.

PatchCore가 강조하는 점

1. 산업용 Anomaly Detection
2. Total Recall

결함이 없는 이미지로만 모델을 학습시키는 콜드 스타트 문제를 다룬다. PaDiM과 SPADE의 단점을 보완하고 이 둘의 장점을 취한 모델이다.

PatchCore의 목표

1. Pretrained network 사용, 추출한 feature의 정보력 향상
2. ImageNet으로 학습한 모델의 bias 감소
3. inference 속도 향상

PatchCore의 한계점

산업 분야 특화 이상 탐지 모델이기 때문에 다른 분야에서 사용하려면 Adaptation이 필요하다.

PatchCore의 원리

초기 단계에서 입력 이미지 또는 데이터에서 패치를 나누어 특징을 추출함. 일반적으로 사전 학습된 컨볼루션 신경망(CNN) 사용.

Local Patch Features :

Mid-Level features를 Local Patch Features로 사용함. → 네트워크의 마지막 레이어 대신 중간 레벨의 특징 표현을 사용하여 ImageNet 클래스에 대한 편향을 피함.

• High-Level Features는 공간적 정보의 손실이 큼
• Image Classification Task에 대한 Bias가 많이 존재함

각 Patch에는 Adaptive Average Pooling을 적용해 주변 정보를 포함시킴. 이 과정에서 얻어진 Patch Features를 scoring에 사용함.

Coreset Subsampling :

Patch Feature 중, 핵심(Coreset)만 추출해 분석에 사용함.

특정 Patch Features가 Coreset임을 판단하는 기준으로 Greedy Search 알고리즘 사용. (Random Subsampling에 비해 정상 features가 고르게 선택됨)

Detection and Localization :

추출된 Coreset Patch의 features를 기준으로 이미지의 Anomaly Scoring하는 단계.

• 테스트 이미지에 Local Patch Features를 추출해 각 Patch Features를 Coreset Features와 비교. 비교 방법은 거리 계산으로.(유클리디안 거리)
• K-NN을 수행해 가장 가까운 거리를 Anomaly Score로 간주함.

새로운 데이터가 들어오면, 해당 데이터의 패치 특징을 정상 패치들의 대표적인 특징 벡터들을 저장한 데이터베이스와 비교하여 유사도를 계산함.

전체 이미지 또는 데이터의 비정상 점수를 계산하여 점수가 높을수록 해당 데이터가 비정상일 가능성이 높은 것.

데이터 수집

AI-Hub의 자연어 분석 후처리용 교정 검증 데이터로부터, 잘못된 문장과 수정된 올바른 문장 쌍 및 오류 유형을 수집했다. 총 7개의 오류 유형별로 각각 4000개의 문장을 사용했다.

형식은 'instruction' : "해당 철자 오류를 가진 문장을 수정해주세요.", 'input' : 오타가 있는 문장, 'output' : 오타가 수정된 올바른 문장. 이 구조는 모델이 철자 오류를 효과적으로 교정할 수 있도록 도와준다.

테스트 데이터는 기업으로부터 제공받은 매뉴얼로부터, 원본 매뉴얼에서 선택된 문장에 오타를 추가하여 구성하였고, 오류 유형은 다음과 같다. (띄어쓰기 오류, 문장부호 오류, 수사 오류, 삭제 오류, 추가 오류, 교체 오류, 분리 오류, 타이핑 언어 오류, 외래어 변환 오류)

모델

LLaMA3 Open-Ko 8B 모델을 사용하였다. 상대적으로 적은 컴퓨팅 파워로 구동 가능하고, 성능이 뛰어난 경량화 언어 모델이다. 해당 모델과 함께 GPT-4 아키텍처 기반 대규모 언어모델인 ChatGPT 또한 비교 평가하였다.

평가

평가 기준은

• 유창성(Fluency): 문장이 문법적으로 올바르고 자연스럽게 읽히는 정도.
• 정확성(Accuracy): 문장이 전달하는 정보가 사실을 정확히 전달하는지.
• 적절성(Relevance): 텍스트가 주어진 질문이나 주제에 잘 부합하는지.

잘못된 문장을 고친 후, 고쳐진 문장과 올바른 문장을 비교하여 네 명의 연구원이 각 기준에 따라 1점에서 5점까지 점수를 부여하여 독립적으로 평가를 수행했다.

평가 결과

Average Performance Comparison Based on Evaluation Metrics

Average Performance Comparison Based on Error Type

Standard Deviation of Evaluation Metrics for Models

파인튜닝 전 모델은 전반적으로 낮은 성능과 일관성 부족을 보이며, 파인튜닝 후 모델은 모든 평가 항목에서 성능이 향상되고 일관성이 크게 개선되었다. 이는 파인튜닝이 모델 성능 향상에 중요한 역할을 한다는 것을 입증한다. ChatGPT는 매우 일관되고 안정적인 성능을 보인다.

결론

AI 언어 모델을 활용하여 매뉴얼의 정확성과 명확성을 높이고, 사용자의 이해도를 향상시키며, 문서 작성 프로세스를 개선하는 데 기여할 수 있음을 보여준다.

매뉴얼 데이터와 같은 특정 도메인 데이터셋을 이용한 언어 모델 파인튜닝의 가능성과 유용성을 입증하였으며, 매뉴얼 작성 및 유지보수 작업에서의 자동화 가능성을 시사한다.

향후 더 다양한 유형의 오타와 광범위한 텍스트 데이터를 활용하여 모델의 성능을 검증하거나, 모델이 텍스트의 문맥을 이해하고 연속적인 정보를 처리하는 능력을 평가해볼 수 있을 것이다.

감사의 글

본 연구에 데이터를 제공해주신 ㈜로보스타에 감사드립니다.

내가 진행한 연구의 기반이 된 교수님의 논문

Kim, H., Lee, H., & Ahn, S. H. (2022). Sys tematic deep transfer learning method based on a small image dataset for spaghetti-shape defect m onitoring of fused deposition modeling. Journal o f Manufacturing Systems, 65, 439-451. [systematic deep transfer learning]

Systematic deep transfer learning

적층 제조(AM), 특히 FDM 공정에서 스파게티형 결함을 감지하기 위한 심층 전이 학습 방법의 개발이다.

데이터는 매우 적고, 데이터 다양성을 위해 데이터 증강 기법을 적용했다. 모델은 ImageNet에서 사전 학습된 네 가지 CNN 아키텍쳐를 사용했다. VGGNet, GoogLeNet, ResNet, EfficientNet. 고정 특징 추출 및 미세 조정이라는 두 가지 주요 방법을 사용했다. 미세 조정 전략은 선택된 모델을 여러 훈련 섹션으로 나누어 진행했다.

ResNet50이 90% 이상의 높은 정확도를 보였고, 해당 모델은 메모리 크기와 계산 시간 면에서 효율적! 실시간 응용 프로그램에도 적합! 기존에는 네 가지 CNN 모델에서 총 103개의 훈련 실행이 필요하나, 제안된 방법에서는 모델의 구조를 나누어 각 섹션별로 체계적인 훈련을 수행하기 때문에 총 24개의 훈련 실행만이 필요하다. 이를 통해 모델의 특정 부분을 집중적으로 학습시켜 성능 최적화.

Hyperparameter selection

전이학습의 성능은 선택된 사전 학습 모델과 학습 구성에 크게 의존한다. 특히, 모델의 학습 과정에서 사용되는 하이퍼파라미터 설정은 모델의 성능에 큰 영향을 미친다.

그런데 일반적으로 전이학습에 사용되는 하이퍼파라미터는 개발자의 경험적 지식에 기반되어 선정되기 때문에, 하이퍼파라미터를 최적화할 수 있는 방안이 함께 고민되어야 한다.

Overview

사전 학습된 CNN 모델 중 ResNet50 모델을 base model로 선정하고, 전체 레이어를 유지한 채로 베이지안 최적화를 진행했다. systematic transfer learning이라는 좋은 틀이 있지만, 베이지안 최적화의 효과를 확인하기 위한 조건임.

최적화의 대상으로는 학습률, 훈련 배치 크기, 검증 배치 크기를 선정. 목적 함수는 검증 손실로 설정.

Results

베이지안 최적화를 통해 모델의 테스트 정확도가 약 3% 향상되었다. 이와 같은 자동화된 하이퍼파라미터 최적화 기법은 모델 개발 과정에서 많은 시간과 노력을 절약할 수 있고, 전문지식이 없는 사용자도 효과적인 모델 튜닝이 가능하다.

왜 필요할까?

1. 모델 성능 향상
2. 과적합 및 과소적합 방지
3. 학습 효율성 개선
4. 복잡한 검색 공간 탐색
5. 자동화된 머신러닝
6. 재현성 및 신뢰성

Manual Search

하이퍼파라미터 값들을 결정할 때, 논문에서 사용한 데이터셋과 내가 사용하고자 하는 데이터셋이 다르기 때문에, 완벽하게 적용되기 어렵다. 일반적으로 직관이나 노하우에 의해 다음 하이퍼파라미터 값을 선정하고, 학습을 수행하고, 검증 데이터셋에 대해 측정한 성능 결과를 기록한다. 마지막 시점까지 시도한 다음 가장 높은 성능을 발휘한 하이퍼파라미터 값들을 선정한다. 직관적인 방법이지만, 운에 좌우된다는 점이 단점.

추가적으로, 한 번에 여러 종류의 하이퍼파라미터를 탐색할 때 문제가 복잡해진다. 여러 종류의 하이퍼파라미터들이 서로 간의 상호 영향 관계를 나타내는 경우, 기존의 직관을 적용하기 어렵다. 대표적인 예시가 학습률-L2 정규화 항. L2 정규화 계수인 ℷ를 변화시키면, 손실함수의 형태가 변화한다. 이로 인해 최적 학습률의 값도 자연스럽게 변화한다.

Grid Search, Random Search

상대적으로 체계적인 방식. Grid Search는 탐색 대상이 되는 특정 구간 내의 후보 하이퍼파라미터 값들을 일정 간격으로 선정하여 결과 비교. 더 균등하고 전역적인 탐색이 가능하다. Random Search도 큰 맥락은 유사하지만, 탐색 구간 내 후보 하이퍼파라미터 값들을 랜덤 샘플링으로 선정. 불필요한 반복 수행 횟수를 줄이고, 정해진 간격 사이에 위치한 값에 대해서도 확률적 탐색 가능. 그러나 여전히 불필요한 탐색 반복. 다음 시도할 후보에 이전 성능 결과에 대한 '사전지식'이 반영되지 않기 때문.

Bayesian Optimization

Bayesian Optimization(BO)은 원래 미지의 목적함수 f를 상정하고 f(x)를 최대로 만드는 최적해 x를 찾는 것을 목적으로 한다. 목적함수의 표현식을 명시적으로 알지 못하고, 하나의 함숫값을 계산하는데 오래 걸릴 경우 가정. 가능한 적은 수의 후보들에 대해 함숫값을 순차적으로 조사하여 f(x)를 최대로 만드는 최적해를 효과적으로 찾는 것이 주요 목표이다.

BO의 두 가지 필수 요소

1. Surrogate Model : 현재까지 조사된 입력값-함숫값 점들 (x_1, f(x_1)), ...(x_t, f(x_t))를 바탕으로 목적함수의 형태에 대한 확률적인 추정을 수행하는 모델
2. Acquisition Function : 목적함수에 대한 현재까지의 확률적 추정 결과를 바탕으로 최적 입력값 x를 찾는 데 있어 유용할만한 다음 입력값 후보 x_t+1을 추천해주는 함수

Surrogate Model로 가장 많이 사용되는 확률 모델이 Gaussian Process(GP)이다. 함수들에 대한 확률 분포를 나타내기 위한 확률 모델, 구성 요소 간의 결합 분포가 가우시안 분포를 따름. 핵심은 조사된 점으로부터 거리가 먼 x일수록, 해당 지점에 대해 추정한 평균값의 불확실성이 크다.

Acquisition Function은 선정되는 x_t+1이 최적 입력값을 선정하는데 유용해야 한다. 이 유용하다는 것이 지금까지 조사된 점들 중 함숫값이 최대인 점 근방을 시도하는 것이 합리적이다 이런 뜻. 이 경우가 exploitation. 혹은, 조사된 두 점 사이에 위치하고, 표준편차(=불확실성)가 큰 경우, 탐색해봐야 한다는 것이 어느정도 그럴싸한 판단이다.이것이 exploration.

Expected Improvement(EI)는 exploration과 exploitation 두 전략 모두 일정 수준 포함하도록 설계된 것으로, Acquisition Function으로 가장 많이 사용된다. 현재까지 추정된 목적함수를 바탕으로 최대 합숫값보다 큰 함숫값을 도출할 확률 및 그 함숫값과의 차이값을 종합적으로 고려하여 입력값 x의 유용성을 나타내는 숫자를 출력한다. 최대 함숫값보다 큰 영역에 해당하는 부분이 초록색으로 표시되어 있음. 이 영역의 크기가 클 수록, 이 때의 함숫값이 지금까지의 최댓값보다 클 확률이 높다. 그런 x값은 유용할만한 후보로 판단할 수 있다. 이렇게 계산한 PI값에 함숫값에 대한 평균과 지금까지의 최댓값과의 차이값만큼 가중하여 EI값을 최종적으로 계산. 그런 가능성이 존재할 때, 그 값이 실제로 얼마나 더 큰가 또한 고려대상이기 때문에 이를 반영한 계산 방식. 긴 유도과정을 거치면 이렇게 정리된다.Φ와 ϕ는 각각 표준정규분포의 누적분포함수(CDF)와 확률분포함수(PDF)를 나타내며, ℇ는 exploration과 exploitation 간의 상대적 강도를 조절해 주는 파라미터이다. 이걸 크게 잡을수록 exploration의 강도가, 작게 잡을수록 exploitation의 강도가 높아진다.

실제 딥러닝 모델에서의 수행 예시

• 입력값 x : 학습률

• 목적함수 f(x) : 설정한 학습률을 적용하여 학습한 딥러닝 모델의 검증 데이터셋에 대한 성능 결과 수치 (정확도 등)

• 입력값 x의 탐색 대상 구간 : (a, b)

• 맨 처음에 조사할 입력값-함숫값 점들의 갯수 : n

• 맨 마지막 차례까지 조사할 입력값-함숫값 점들의 최대 개수 : N

  1. 초기 샘플링: 구간 (a, b)에서 n개의 입력값을 랜덤하게 샘플링하여 딥러닝 모델을 학습하고, 검증 데이터셋으로 성능을 평가하여 함숫값 계산.

2. Surrogate Model: 초기 샘플들을 이용해 Surrogate Model로 확률적 추정 수행.
3. 입력값 선택: 탐색된 점이 총 N개에 도달할 때까지, Surrogate Model의 추정 결과를 바탕으로 EI 값을 계산하여, 값이 가장 큰 점을 다음 입력값 후보로 선택.
4. 모델 학습: 선택된 입력값을 사용하여 딥러닝 모델을 학습하고 성능을 평가하여 함숫값으로 간주.
5. 반복: 새로운 점을 기존 점들에 추가하고 Surrogate Model을 갱신. 이 과정을 N개의 점이 모일 때까지 반복.
6. 최종 최적해 선택: 최종적으로 추정된 목적함수 결과물 중 평균 함수 µ(x) 를 최대로 만드는 최적해를 선택.

이번 스터디 참고 블로그

함수의 특정 x값에 대한 y값만 알 수 있고, 함수의 수학적 표현을 모를 때, 함수의 최댓값을 계산하기 위한 방법으로 사용.

소량의 실험 값과 확률적 추정으로 미지의 목적함수에 대한 최적값을 효과적으로 탐색할 수 있는 방법.

초기 추정치를 업데이트하면서 최적값을 찾아가는 방식. 실제 시스템에서 매개변수 조정이나 하이퍼파라미터 튜닝에 많이 사용.

베이지안 최적화 활용

1. 하이퍼파라미터 최적화 : 머신러닝 모델에서 사용되는 하이퍼파라미터 조정, 최적의 하이퍼파라미터 값을 찾을 수 있음. 예를 들어, SVM(Support Vector Machine), 신경망, 랜덤 포레스트 등의 모델에서 매개변수인 커널의 유형, 커널 함수의 매개변수, 학습률, 은닉층 수 등 조정, 딥러닝 모델에서의 하이퍼파라미터 조정.
2. 실험 최적화 : 베이지안 최적화의 기본적 사용에서 확장, 실험 디자인에서 베이지안 최적화 사용. 실험 재현성을 높이기 위해 실험 환경 조정, 실험에서 얻은 데이터를 최대한 활용하기 위해 실험의 파라미터 조정 등. 일반적으로 가장 좋은 성능을 뽑는 조건을 찾아내어 적용하기 위해 활용.

베이지안 최적화 과정

1. 사전 분포 설정(Prior Distribution) : 함수의 초기 추정치 설정. 주로 가우시안 프로세스(Gaussian Process, GP)사용, 함수의 예측 분포 모델링
2. 획득 함수(Acquisition Function) : 함수의 다음 평가 지점 선택. 주어진 사전 분포를 바탕으로 다음 샘플링 위치 결정. 주로 기대 개선(Expected Improvement), 확률 개선(Probability of Improvement), 상한 신뢰 구간(Upper Confidence Bound) 사용.
3. 함수 평가 : 선택된 지점에서 실제 함수 평가. 실제 데이터나 실험을 통해 결과 획득.
4. 사후 분포 업데이트 : 평가된 결과를 바탕으로 사전 분포 업데이트, 새로운 사후 분포 계산. 베이즈 정리를 통해 이루어짐.
5. 반복 : 위 단계 반복하여 최적화. 각 반복에서 새로운 정보를 얻어 이를 기반으로 더 정교한 최적화 수행.

Bayesian Optimization Algorithm

• 목적함수 f(x) : 우리가 구하고자 하는 함수 (검은 점선)
• Surrogate Model : 목적함수의 형태에 대한 확률적 추정 (검은 실선)
• 실제 측정 값 : 검은색 점
• Acquisition fuction : 다음 번 탐색할 입력 값 후보 추천 함수 (녹색 실선)
• 파란색 영역은 불확실성 정도

Progress

해당 모델에 데이터셋 입력. 데이터셋을 통해 딥러닝 모델 학습이 이루어지고 결과 계산 후 우리가 확률적으로 추정하는 Surrogate Model이 그려짐.

이미 가지고 있는 데이터셋 이후, 다음 iteration에서 측정할 하이퍼파라미터의 위치로서 Acquisition function 값이 큰 점을 후보로 선정.

Acquisition function은 모델을 통해 어떤 결과를 얻고 싶은가에 따라 다르다. 목적함수의 불확실성을 최소화하거나, 예측값을 최대/최소화할 수 있을 것으로 기대되는 포인트가 선정되도록 함수를 만든다. 전자가 탐색 전략 혹은 적극적 학습 전략, 후자가 활용 전략.

결과로서 나온 해당 샘플링 포인트에 대한 측정을 실시하고 그 측정값을 데이터에 편입. 그럼 모델은 추가된 데이터에 기반하여 목적함수의 추정 업데이트.

빈도론적 확률(Frequentist Probability): 확률은 객관적인 수치로, 반복 실험의 결과를 통해서만 정의된다.

매개변수 추정: 점 추정(Point Estimation)을 주로 사용하며, 신뢰구간을 통해 불확실성을 표현한다.

베이지안 확률(Bayesian Probability): 확률은 개인의 주관적인 신념을 수학적으로 표현한 것으로, 사전 확률(Prior Probability)과 사후 확률(Posterior Probability)을 포함한다.

매개변수 추정: 베이즈 정리를 사용하여 사전 확률을 업데이트하고, 이를 통해 매개변수의 분포를 추정한다.

"동전을 던졌을 때 앞면이 나올 확률은 1/2이다."

Frequentist Probability: "동전을 던졌을 때 앞면이 나올 확률이 0.5라는 것은, 무한히 많은 동전 던지기 실험에서 앞면이 나오는 비율이 50%라는 것을 의미한다."

Bayesian Probability: "동전을 던지기 전에 앞면이 나올 확률에 대해 어떤 사전 신념을 가지고 있다면, 던진 결과를 통해 그 신념을 갱신한다. 만약 동전을 여러 번 던져서 앞면이 자주 나온다면, 앞면이 나올 확률을 더 높게 갱신한다."

Significance of Bayesian Probabilty:

어떤 사건을 여러번 시행하기 어렵다면 베이지안과 같은 시선으로 바라보는 것이 합리적임.

사전 지식을 활용해 우리가 경험적으로 얻기 힘든 사건에 대해 확률을 추정하는 것이 필요.

Bayes' theorem

• 사건 ​θ를 원인, 사건 X를 결과 라고 생각
• 사전 확률 P(θ) : 결과가 나타나기 전에 결정되어 있는 원인(사건 θ)의 확률
• 우도 확률 P(X|θ) : 원인(사건 θ)가 발생하였다는 가정 하에 결과(사건 X)가 발생할 확률
• 사후 확률 P(θ|X) : 결과(사건 X)가 발생하였다는 가정 하에 원인(사건 θ)가 발생했을 확률 단순한 조건부 확률을 활용한 계산 식

예를 들어, 질병 검사에서 양성 반응이 나온 사건을 +, 실제 질병에 걸린 사건을 D로 정의하면,

• 관심 있는 사건 : 질병 검사의 양성 적중률 = P(D|+)
• 발병률 : P(D) = 0.01
• 병에 걸린 사람이 양성 : P(+|D) = 0.99
• 병에 걸리지 않은 사람이 양성 : P(+|D^c) = 0.10 → 질병 검사의 양성 적중률은 9.1%