분류 모델 vs 생성 모델

• 분류 모델
  • 입력 $x$ 가 주어졌을때 $y$ 가 나올 Posterior probability $p(y|x)$ 를 estimate 함.
• 생성 모델
  • 입력 $x$ 의 data probability distribution $p(x)$ or $p(x,z)$ 를 $p_{θ}(x)$ or $p_{θ}(x,z)$ 로 estimated 함.

2. Latent distribuion 이란 ?

high-dimensional 인 data 를 더 manageable 한 latent space 로 Mapping 하여 generation 이 쉽게 함.

3. VAE 란 ?

AE vs VAE

• AE
  • Goal: Dimension reduction
    • Ex) Face image (64x64) -> 5 latent variables (skin, gender, hair color ... )
      • Latent space
      • Latent variable
    • Latent variables with scalar values (vector)
  • VAE
    • Goal: Data generator
      • Latent distribution 에서 모든 샘플에 대해 정확한 reconstruction 을 기대
    • Latent variables with probability distirbution

4. VAE

Approach

• Aim to model $p_{θ}(x)$ -> data distribuion 을 학습.
• 가정: Latent structure z 가 존재 한다. $p_{θ}(x)$= $∫p_{θ}(z,x)dz$ =$∫p_{θ}(z)p_{θ}(x|z)dz$ -> Data (marginal) likelihood
• 학습 데이터의 likelihood 를 최대화하는 모델의 파라미터를 학습.

Intractability

• Data likelihood: $p_{θ}(x)$ = $∫p_{θ}(z)p_{θ}(x|z)dz$
  • $p_{θ}(z)$= Simple Gaussian prior $N(z;0,I)$
    • $p_{θ}(x|z)$ = Likelihood: complicated non-linear function
  • 모든 z 에 대한 integral 을 compute 하는 것은 Intractable 함.
• 그럼 신경망을 쓰자..
  • maximum likelihood estimation 을 직접 안 쓰는 이유
    • Monte Carlo MLE $p_{\theta}(x) \approx \frac{1}{N} \sum_{i=1}^{N} p_{\theta}(x|z)$
    • 1 픽셀이 shift 되어도 픽셀 간 오차 (MSE) 는 매우 커져 모델은 이를 나쁜 것으로 인식하고, 반대로 반이 짤려나가도 남은 픽셀이 일치하면 오차 (MSE) 가 작아서 모델은 이를 좋은 것으로 착각하게됨.
• Solution: Sampling $z$~$p_{θ}(z|x)$ instead of $p_{θ}(z)$
  • 그러나 이 또한 intractable 함.. $p_{θ}(z|x)=p_{θ}(x|z)p_{θ}(z)/p_{θ}(x)$ (여기서 $p_{θ}(x)$ 가 intractable)
• Solution: Sampling $z$~$q_{Φ}(z|x)$ approximates $p_{θ}(z|x)$
  • True posterior $p_{θ}(z|x)$ 는 unkonwn 임.
  • $q_{Φ}(z|x)$: True posterior $p_{θ}(z|x)$ 를 approximate 하는 다루기 쉬운 형태(Ex: Gaussian)로 가정한 분포

  • 그럼 $q_{Φ}(z|x)$ 에서 z 를 샘플링 할 수 있다 !!

  • encoder $q_{Φ}(z|x)$ 를 신경망으로 만들자 !!

Variational inference

• $q_{Φ}^{*}(z|x)$ = $arg min KLD(q_{Φ}(z|x)||p_{θ}(z|x))$ 단, $p_{θ}(z|x)$ 는 여전히 intractable 함. -> Special Technique (ELBO) 이 필요함.

  • ELBO: Evidence LowerBOund

  • $p_{θ}(x)$,$p_{θ}(z|x)$,$q_{Φ}(z|x)$ 간의 관계를 만들고 intractable 한 term 들을 지우는 것이 목표. $log(p_{θ}(x))$ = $∫log(p_{θ}(x))q_{Φ}(z|x)dz$ ($E_{z \sim q_{Φ}(z|x)}$$[log(p_{θ}(x)]$) $\quad\quad\quad\quad;=∫log(\frac{p_{θ}(x,z)}{p_{θ}(z|x)})q_{Φ}(z|x)dz$ (Bayes's Rule) $\quad\quad\quad\quad;=∫log(\frac{p_{θ}(x,z)}{q_{Φ}(z|x)}\cdot\frac{q_{Φ}(z|x)}{p_{θ}(z|x)})q_{Φ}(z|x)dz$ ($\frac{q}{q}$ technique) $\quad\quad\quad\quad;=∫log(\frac{p_{θ}(x,z)}{q_{Φ}(z|x)})q_{Φ}(z|x)dz+∫log(\frac{q_{Φ}(z|x)}{p_{θ}(x,z)})q_{Φ}(z|x)dz$ $\quad\quad\quad\quad;=ELBO(θ,Φ)$ + $KL(q_{Φ}(z|x)||p_{θ}(z|x))$

  이때, KL 텀은 항상 양수이며 관측된 데이터 $x$에 대해 좌변 $\log p_\theta(x)$는 고정된 값임. 따라서 좌변을 10이라고 예를 들어 본다면 $10 = 1(\text{ELBO}) + 9(\text{KL})$ 라고 할 때, 전체 합(10)이 고정되어 있으므로 KL(Gap)을 줄이는 것은 곧 ELBO(Lower Bound)를 키우는 것과 수학적으로 동치임.

따라서 $log(p_{θ}(x))$ = $ELBO(θ,Φ)$ + $\cancel{KL(q_{Φ}(z|x)||p_{θ}(z|x))}$ 가 됨. $ELBO(θ,Φ)$ = $∫log(\frac{p_{θ}(x,z)}{q_{Φ}(z|x)})q_{Φ}(z|x)dz$

$\quad\quad\quad\quad\quad\quad=∫log(\frac{p_{θ}(x|z)p_{θ}(z)}{q_{Φ}(z|x)})q_{Φ}(z|x)dz$ $\quad (p_{θ}(x,z)=p_{θ}(x|z)p_{θ}(z))$

$\quad\quad\quad\quad\quad\quad= ∫log({p_{θ}(x|z)}q_{Φ}(z|x)dz -∫log(\frac{q_{Φ}(z|x)}{p_{θ}(z)})q_{Φ}(z|x)dz$

$\quad\quad\quad\quad\quad\quad= E_{z \sim q_{Φ}(z|x)}[log({p_{θ}(x|z)}] - KL(q_{Φ}(z|x)||p_{θ}(z))$

로써 모든 텀이 tractable 해짐...

** 5. (studying)Reparameterization trick**

Reference Oh, Heeseok. (2025). Lec 07: Variational Autoencoder [PDF slides], Visual Intelligence Learning, Hansung Univ.

도움 준 사람.. @hyungyum

• We can sample at any arbitary time step $$t$$ by using reparameterization trick
  • Let $$\alpha_t =1-\beta_t,$$ and $$\bar{\alpha_t}=∏_{i=1}^t\alpha_i$$

$$\frac{𝐱-\mu}{\sigma}\sim𝒩{(0,1)}, 𝐱=\mu+\sigma\cdot\epsilon$$

$$𝐱t=\sqrt{\alpha_t}𝐱{t-1}+\sqrt{1-\alpha_{t-1}}\epsilon_{t-1}$$

$$=\sqrt{\alpha_t}(\sqrt{\alpha_t-1}𝐱{t-2}+\sqrt{1-\alpha{t-1}}\epsilon_{t-2})+\sqrt{1-\alpha_t}\epsilon_{t-1}$$ $$=\sqrt{\alpha_t\alpha_{t-1}}𝐱{t-2}+\sqrt{1-\alpha_t\alpha{t-1}}\bar\epsilon_{t-2}$$ $$=...$$ $$=\sqrt{\bar\alpha_t}𝐱0+\sqrt{1-\bar\alpha_t}\epsilon$$ ;where $$\epsilon{t-1},\epsilon_{t-2},...\sim𝒩{(0,1)}$$

• Histology imaging 은 microscopic level 에서 조직 구조와 구성을 검사할 수 있는 의학적 진단 및 연구에 중요한 도구이다.

• 질병 메커니즘을 밝히고 효과적인 치료법을 개발하려면 조직 구조의 기본 분자 메커니즘을 이해하는 것이 중요하다.

• 유전자 발현 프로파일링은 조직 구조의 근간이 되는 분자적 과정에 대한 통찰력을 제공 하지만, 이 과정은 시간이 많이 걸리고 비용이 많이 든다.

• 따라서 전체 슬라이드 헤마톡실린 및 에오신(H&E) 염색 조직학 이미지의 공간적으로 분해된 유전자 발현 프로파일을 생성할 수 있는 이중 모드 임베딩 프레임워크인 BLEEP(Bi-modaL Embedding for Expression Prediction)을 제시한다.

Introduction

• bulk RNA sequencing 은 하나의 샘플 내의 heterogeneity 를 포착하지 못함.
• scRNA-seq 나 snRNA-seq 는 spatial context 없이 heterogeneity 를 포착한다.
• 최근 몇넌 동안 spatial transcriptomics 가 histology imaging 과 gene expression profiling 간의 격차를 줄이는 방안으로 떠올랐다. (Visium, MERFISH, seqFISH+, STARmap, smFISH, Targeted ExSeq)
• 하지만 이러한 방법은 처리량이 낮거나 시간이 오래 걸리고 비용이 많이 들며 최적화를 위해 특수 장비와 광범위한 도메인 전문 지식이 필요하다.

• 이러한 bi-modal datasets 의 availability 로 조직의 histology image 만을 기반으로 전체 조직의 공간적으로 분해된 발현 프로파일을 예측할 가능성을 탐구할 수 있는 독특한 기회가 열린다.
• ST-Net 과 HisToGen 이 이러한 목적을 위해 개발된 방법이지만 제한적인 성공이다.

problem

1. 문제 정의가 잘못 되었다. Histology images 는 paired spatial transcriptomics 데이터와 일부 정보를 공유하지만, 이미지 특징이 모든 유전자의 발현을 예측하는데 사용될 수 없으며, 반대로 모든 유전자 발현이 이미지 특징을 예측하는 데 사용될 수 없을 가능성이 높다. 하지만 세포 유형 또는 아형인 marker genes(MG), 고발현 유전자인 highly expressed genes(HEG), 고변이 유전자 highly variable genes(HVG) 들의 발현은 질병 진단 및 약물 개발에서 생물학적으로 가장 관련성이 높은 후보로 간주되므로 우선적으로 다뤄져야 한다.
2. 차원적으로 저주 받음. 일반적인 포유류 세포는 약 5000~15,000개의 유전자를 발현하는 것으로 추정된다. 기존 솔루션들은 200개 정도의 발현만 예측하고 원본 데이터셋의 분산과 heterogeneity 를 보존하지 못한다. 이는 원본 데이터에 내재된 생물학적 신호를 흐리게 하여, 예측이 실질적인 활용에 비효과적이게 만든다.
3. Spatial Transcriptomic method 의 발전하는 환경 때문에 기존 데이터셋은 단일 샘플 내에서나 서로 다른 샘플 간에서 experimental artifacts 가 발생하기 쉽다. 이는 Expression prediction model 의 학습을 복잡하게 만든다. 게다가 measured gene expressions 는 종종 protein profiles 과 일치하지 않느데 이는 H&E staining 에 반영될 수 있다.

그래서 BLEEP 을 제시한다. 조직학 이미지에서 유전자 발현을 예측하는 것과 관련된 앞서 언급한 problem 들을 해결하도록 설계된 새로운 bi-modal embedding 프레임워크이다. BLEEP는 대조 학습(contrastive learning)을 사용하여, 참조 데이터셋에서 짝을 이루는 이미지와 발현 표현을 저차원 결합 임베딩 공간에서 효과적으로 정렬합니다. 이 joint embedding space 를 사용하여 BLEEP 은 참조 데이터셋의 expression profile 를 활용해 query image patch 의 gene expression 을 정확이 impute 한다.

• BLEEP의 효과를 10x Visium 플랫폼을 통해 수집된 도전적인 인간 간 조직 데이터셋을 사용하여 성능 벤치마크를 통해 입증함.
• BLEEP은 기존의 HisToGene 및 ST-Net과 같은 방법들에 비해 마커 유전자(MG), 고발현 유전자(HEG), 그리고 고변동 유전자(HVG)에서 원래 발현값과의 평균 상관 계수 측면에서 현저히 뛰어난 성능을 보임.
• BLEEP은 예측된 발현 프로파일에서 이질성을 보존하며, 원래 데이터셋에 존재하는 유전자 간 상관 관계를 재현하고 노이즈를 제거하는 데에도 성공함.

• Contrastive objective 를 통해 이미지와 expression modalities 간에 공유된 특징이 학습되도록 암묵적으로 유도함으로써, 발현 예측 문제의 ill-posed nature 를 완화한다.
• 학습된 joint embedding 에서 새로운 query-refence imputatoin 과정은 the expression prediction problem 에서 발생하는 curse of dimensionality 를 완화한다.
• 이는 쿼리 이미지 패치의 유전자 발현 프로파일이 독립적으로 예측 되는 것이 아니라 embedding space 에서 가장 가까운 k 개의 reference expression profiles 로부터 계산 되기 때문이다.

우리가 아는 한 histology images 에서 expression 을 예측 task 를 위해 제안된 최조의 bi-modal embedding-based 프레임 워크이다. 이 방식은 유전자 발현 프로파일링과 관련된 시간과 비용을 크게 줄여 연구 및 임상 응용 프로그램 모두에서 조직학 이미지의 고처리량 분석을 위한 새로운 길을 열 잠재력이 있다.

Related Works

• ST-Net 은 resnet50 이미지 인코더를 사용한 다음 Fully Connected layer 를 사용함.
• HisToGene 은 vision transformer 의 increased field of view 를 활용함. 이 두 방법은 predicted panel 측면에서 제한적이거나 overfitting 되기 쉬움.
• HisToGene 과 His2ST 는 spot-spatial relations 을 활용하여 성능을 개선함. 하드 코딩된 위치 정보는 데이터가 부족한 시나리오에서 과적합으로 이어질 수 있음.
• CLIP 은 이미지와 텍스트 설명의 pair 를 활용하여 언어와 시각 도메인의 격차를 메우고 cross-modal 이해와 추론을 가능하게함.
• SeuratV3 은 쿼리 데이터에 대해 참조 데이터셋 내 가장 가까운 앵커의 선형 결합을 통해 발현 프로파일을 계산함. 그러나 Seurat 은 모달리티 간 통합을 위해 shared expression panel 이 필요함. BLEEP 은 병리 이미지에 존재하는 형태학적 특징만을 기반으로 공간적으로 분해된 발현 예측을 수행할 수 있음.

Methods

• BLEEP, HisToGene, ST-Net 을 훈련하고 벤치마킹에 사용된 데이터 셋은 이식에 적합한 신경학적으로 사망한 기증자의 간 조직에서 얻은 네 개의 16 micrometer 두께의 슬라이스로 구성됨. 이 조직들은 OCT 로 임베딩 되고 냉동된 후 cryostat 로 슬라이스 처리되었으며, 10x Genomics Visium platfor 을 사용해 이미징됨.
• 슬라이스에는 각각 2378, 2349, 2277, 2265개의 스팟이 포함됨.
• 각 스팟을 중심으로 한 약 55μm 크기의 224x224 이미지 패치가 전체 슬라이드 H&E 이미지에서 추출되었으며, 해당 스팟의 유전자 발혀 프로파일과 paired 됨.
• 각 spot 은 Scanpy 패키지를 사용하여 총 개수 정규화 및 로그 정규화됨.
• 4개 슬라이스 각각의 top 1000 highly variable genes 의 합집합은 train 및 prediction 에 사용됨. 총 3467 개임.

1. 이미지 encoder와 expression encoder를 활용해서 두 모달리티에서 특징을 추출함.
2. B(Batch) 개의 쌍을 이룬 이미지 패치 $$V \in \mathbb{N}^{B \times L \times L}$$ 와 정규화된 expression profiles $$X \in \mathbb{N}^{B \times C}$$ 가 주어지면 (L = Image patch Size, C = gene set size) 이미지 인코더 $$f_{img}$$ 와 $$f_{expr}$$ 을 사용하여 input 을 h 차원의 이미지 임베딩 $$H_v = f_{img}(H) \in \mathbb{N}^{B \times h}$$ 과 expression 임베딩 $$H_x = f_{expr}(X) \in \mathbb{N}^{B \times h}$$으로 projection 한다.

여기서 constrastive learning 을 사용하여 $$H_v$$ 와 $$H_s$$ 간의 latent space 를 further align 한다.

$$H_x$$ 와 $$H^T_v$$ 를 내적해 이미지와 발현 임베딩 간의 유사도를 계산한다.

$$H_v$$ 와 $$H^T_v$$ 를 내적해 이미지간의 내부 유사도를 계산한다. $$H_x$$ 와 $$H^T_x$$ 를 내적해 expression 의 내부 유사도를 계산한다. $$target$$ 은 내부 유사도의 합을 softmax 함.

$$sim(H_v, H_x)$$ 로 이미지 임베딩 $$H_v$$ 와 expression 임베딩 $$H_x$$ 간의 유사성을 계산하고, target 간의 차이를 줄임. 뿐만 아니라 전치하여 $$H_x$$ 를 기준으로 $$H_v$$ 의 유사성을 학습하도록 유도함.

Citation

Xie, Ronald, et al. "Spatially resolved gene expression prediction from H&E histology images via bi-modal contrastive learning." Proceedings of the 37th International Conference on Neural Information Processing Systems. 2023.

회고

target 행렬을 대조 학습에서 일반적으로 쓰이는 identity matrix 가 아닌 자신들만의 새로운 target matrix 를 만든 것이 참신한 것 같다.