1. Poisson 분포 정의

Poisson 분포는 0 이상의 정수값$(0, 1, 2, \dots)$을 갖는 확률변수를 다룰 때 사용되는 이산 확률분포입니다.
일반적으로 다음과 같은 형태의 확률질량함수(PMF)를 갖습니다.

$$ [ X \sim \mathrm{Poisson}(\lambda) \quad \Longrightarrow \quad P(X = k) = \frac{\lambda^k e^{-\lambda}}{k!}, \quad k = 0,1,2,\ldots ] $$

여기서

• $( \lambda > 0)$는 평균 발생 횟수(단위시간·단위공간 등에서 기대되는 사건 발생 횟수)를 뜻합니다.
• $k!$는 $k$의 팩토리얼(factorial)입니다.

2. Poisson 분포의 의미

Poisson 분포는 흔히 “일정 시간(또는 구간) 내에 발생하는 사건의 횟수”를 모델링할 때 사용됩니다.
예를 들어,

• 특정 시간 구간에서 전화가 걸려오는 횟수
• 부품이 고장나는 횟수
• 웹사이트에 들어오는 방문자 수

등이 매우 짧은 간격에도 단 한 번씩만(동시에 여러 번 X) 발생하고, “단위 구간당 평균 발생 횟수$\lambda$”가 어느 정도 일정하다고 가정할 때 자연스럽게 Poisson 분포가 적용됩니다.

$\lambda$가 클수록 사건이 자주 발생하며, 그만큼 분산도 커집니다.
Poisson 분포는 사건들이 “순수 무작위”로, 서로 독립적으로 일어난다는 가정과도 밀접한 관련이 있습니다.

3. Binomial Distribution의 특정한 경우를 통한 Poisson Distribution의 유도 과정

보통 교과서에서는 이항 분포(Binomial distribution)의 극한 과정을 통해 Poisson 분포를 유도합니다.
아래와 같은 전형적인 상황을 생각해봅시다.

$\mathrm{Binomial}(n, \frac{\lambda}{n})$에서 $\mathrm{Poisson}(\lambda)$로 수렴하는 과정

이항 분포 $\mathrm{Binomial}(n, p)$의 확률질량함수(PMF)는 $$ [ P(X = k) = \binom{n}{k} p^k (1-p)^{n-k}, \quad k=0,1,\ldots,n ] $$ 에서, $p \to 0$, $n \to \infty$로 보내되, $\lambda = n p$는 고정한다고 합시다. 즉, 시행 횟수를 무한히 늘리고, 시행 횟수가 늘어나는 속도와 동일하게 발생 확률을 낮추어, 평균 발생 확률은 동일하게 유지가 되는 상황입니다. 이때, $$ [ P(X = k) = \binom{n}{k} \left(\frac{\lambda}{n}\right)^k \left(1 - \frac{\lambda}{n}\right)^{n-k} ] $$ 이 식이 $n \to \infty$에서 $\frac{\lambda^k e^{-\lambda}}{k!}$로 수렴함을 좀 더 자세하게 살펴보겠습니다.

1) 식을 세 부분으로 나누어 보기

$$ \binom{n}{k} \left(\frac{\lambda}{n}\right)^k \left(1 - \frac{\lambda}{n}\right)^{n-k} ;;=;; \underbrace{\binom{n}{k}}{\text{(a)}} \times \underbrace{\left(\frac{\lambda}{n}\right)^k}{\text{(b)}} \times \underbrace{\left(1 - \frac{\lambda}{n}\right)^{n-k}}_{\text{(c)}} $$

• (a) $\displaystyle \binom{n}{k}$
• (b) $\displaystyle \Bigl(\frac{\lambda}{n}\Bigr)^k$
• (c) $\displaystyle \Bigl(1 - \frac{\lambda}{n}\Bigr)^{,n-k}$ 이 세 부분을 각각 전개·근사하여 $n \to \infty$에서의 값을 구합니다.

2) $(a)=\binom{n}{k}$의 전개

$$ \binom{n}{k} = \frac{n!}{k!,(n-k)!} = \frac{n ,(n-1),\cdots,(n-k+1)}{k!} $$ 이 곱을 $n$으로 묶어서 보면, $$ n ,(n-1),\cdots,(n-k+1) = n^k \left(1 - \tfrac{1}{n}\right)\left(1 - \tfrac{2}{n}\right)\cdots\left(1 - \tfrac{k-1}{n}\right) $$ 즉, $$ \binom{n}{k} = \frac{n^k}{k!} \prod_{j=0}^{k-1}\left(1 - \frac{j}{n}\right) $$

3) $(b)=\Bigl(\frac{\lambda}{n}\Bigr)^k$

$$ \left(\frac{\lambda}{n}\right)^k = \frac{\lambda^k}{n^k} $$

4) $(a)\times(b)$를 곱해 보기

$$ \binom{n}{k} \left(\frac{\lambda}{n}\right)^k = \biggl[\frac{n^k}{k!} \prod_{j=0}^{k-1}\Bigl(1 - \tfrac{j}{n}\Bigr)\biggr] \times \frac{\lambda^k}{n^k} $$ 여기서 $n^k$와 $\tfrac{1}{n^k}$가 상쇄되어, $$ = \frac{\lambda^k}{k!} \prod_{j=0}^{k-1}\Bigl(1 - \tfrac{j}{n}\Bigr) $$

• $j=0$일 때 항은 $\bigl(1 - 0/n\bigr) = 1$ 이므로 실질적으로 $$ \prod_{j=0}^{k-1}\Bigl(1 - \tfrac{j}{n}\Bigr) = 1 $$

이제 $n \to \infty$일 때, 각 항 $\bigl(1 - \tfrac{j}{n}\bigr) \to 1$.
따라서 $$ \lim_{n\to\infty} \binom{n}{k} \Bigl(\tfrac{\lambda}{n}\Bigr)^k = \frac{\lambda^k}{k!} $$

5)$(c)=\Bigl(1 - \frac{\lambda}{n}\Bigr)^{n-k}$

$$ \left(1 - \frac{\lambda}{n}\right)^{n-k} = \left(1 - \frac{\lambda}{n}\right)^n \times \left(1 - \frac{\lambda}{n}\right)^{-k} $$

1. $\displaystyle \left(1 - \tfrac{\lambda}{n}\right)^n \xrightarrow[n\to\infty]{} e^{-\lambda}$
2. $\displaystyle \left(1 - \tfrac{\lambda}{n}\right)^{-k} \xrightarrow[n\to\infty]{} 1$ (왜냐하면 $k$는 고정된 유한 수).

결국, $$ \lim_{n \to \infty} \left(1 - \frac{\lambda}{n}\right)^{n-k} = e^{-\lambda} $$

6) 최종 합성

$(a)\times(b)$의 극한 결과$\bigl(\tfrac{\lambda^k}{k!}\bigr)$에, $c$의 극한 $e^{-\lambda}$를 곱하면, $$ \lim_{n\to\infty} \binom{n}{k} \Bigl(\tfrac{\lambda}{n}\Bigr)^k \Bigl(1 - \tfrac{\lambda}{n}\Bigr)^{n-k} = \frac{\lambda^k}{k!} ,\times, e^{-\lambda} = \frac{\lambda^k e^{-\lambda}}{k!} $$ 즉,
$$ \boxed{ \mathrm{Binomial}\Bigl(n, \frac{\lambda}{n}\Bigr) ;;\xrightarrow[n\to\infty]{};; \mathrm{Poisson}(\lambda) } $$

이로써 이항 분포가 Poisson 분포로 수렴한다는 것이 명시적으로 보이며, 해당 식이 Poisson 분포의 확률질량함수(PMF), $$ P(X=k) = \frac{\lambda^k e^{-\lambda}}{k!} $$ 로 딱 맞아떨어집니다.

4. Poisson 분포를 따르는 Random Value의 특징

(1) Mean = Variance

Poisson 분포의 가장 유명한 특징 중 하나는
$$ \boxed{ E[X] = \lambda, \quad \mathrm{Var}(X) = \lambda} $$
즉, 평균과 분산이 동일하다는 점입니다.

• 이는 Poisson 분포가 “단일 파라미터 $\lambda$” 하나에 의해 결정됨을 의미합니다.
• 사건이 완전히 무작위(독립적)로 발생하는 경우, “평균 발생 횟수 = 분산”인 구조가 자연스럽게 나타납니다.

(2) 왜 Mean과 Variance가 같은가?

--증명 추가 예정--

1. 정의 자체가 그렇게 만들어져 있음

   • Poisson 분포는 “평균 발생 횟수”가 $\lambda$인 과정을 수학적으로 모델화한 결과입니다.
   • 무작위 사건 발생(=완전 랜덤)의 경우, 평균에서 벗어나는 정도도 $\lambda$와 동일한 크기가 된다고 보아, 분산도 $\lambda$가 됩니다.

2. 포아송 과정(Poisson Process)에서의 사건 발생 해석

   • 작은 시간 구간에서도 사건이 동시에 여러 번 발생할 확률이 매우 작으며,
   • 각 시간 구간(또는 공간 구간)별 사건 발생 수가 독립적이고,
   • 전체 구간 내 발생 횟수를 세어보면, 자연스럽게 $Poisson(\lambda)$ 분포 형태가 됨.
   • 이때 “평균”도 “변동 폭(분산)”도 동일한 값을 갖게 됩니다.

결국, Poisson 분포가 나타나는 상황(매개변수 $\lambda$로 특징지어지는 순수 무작위 발생)에서, 사건 횟수의 평균과 분산이 모두 $\lambda$에 의해 동일하게 결정된다는 사실은 Poisson 분포의 핵심적인 특징이자, 이를 통해 Poisson 분포인지 간단히 식별하는 방법 중 하나가 됩니다.

참고 및 요약

1. 정의
   $$ P(X = k) = \frac{\lambda^k e^{-\lambda}}{k!}, \quad k=0,1,2,\dots $$
2. 의미: 특정 시간/공간 구간 내 사건(횟수)가 순수 무작위로 발생할 때, 그 횟수는 $Poisson(\lambda)$ 분포로 모델링 가능.
3. 유도 과정: $Binomial(n,p)$에서 $n\to\infty$, $p \to 0$, $np = \lambda$ 고정 → $Poisson(\lambda)$ 극한.
4. 특징: 평균과 분산이 $\lambda$로 동일. 이는 Poisson 분포가 갖는 대표적인 성질이며, 완전 무작위 발생을 수학적으로 표현한 결과.

위 내용을 통해 Poisson 분포가 왜 중요한지, 어떻게 등장하는지, 어떤 성질을 갖는지 이해할 수 있습니다.

출처 : Wikipedia, 블로그

Manifold hypothesis는 Generative Model을 비롯한, 다양한 기계학습 모델의 기저에서 사용되는 가설이다. Wikipedia의 원문을 빌려 설명하자면 다음과 같다.

The manifold hypothesis posits that many high-dimensional data sets that
occur in the real world actually lie along low-dimensional latent manifolds
inside that high-dimensional space.

즉, 실제로 세상에서 얻어지는 고차원 data들은, 고차원 공간 내부의 저차원의 "latent manifold"로 존재한다는 가설이다. 그러므로, 우리가 그 실제 data와 latent사이의 mapping 함수를 안다면, 고차원인 실제 데이터를 저차원으로 표현할 수 있는 방법을 찾게 되는 것이다. 이러한 함수와 그 역함수에 대해서 알게 된다면, 다음 두가지 생각을 할 수 있다.

고차원 $\rightarrow$ 저차원 으로의 mapping:

• 더 적은 차원으로 정보를 표현할 수 있으므로, "정보의 압축"이라는 관점에서 중요하다.
• 더 적은 차원에서 데이터를 비교할 수 있으므로, "데이터 분석"적으로 난이도를 낮추는 것이다.

실제로, 많은 Generative model들의 방법은, data를 통해 latent를 추론하고 해당 latent로부터 데이터를 생성하도록 설계 되었다. VAE(Variational autoencoder)의 경우, 특정 latent의 분포를 Gaussian으로 특정하고, model의 output을 Gaussian의 parameter인 $\mu$(평균)와 $\sigma$(분산)으로 설정한다. 여기서, model의 입력값인 $x$의 categorical 한 정보를 $\mu$, $\sigma$ 로 표현하고, 이 Gaussian의 한 point인, latent가 $x$의 저차원 정보라고 생각해 보자. 이렇게 설계된 latent를 실제 data로 mapping하는 함수를 찾는다면 우리는 다음 두 함수를 찾는것과 같다.

• $q_{\phi}():$고차원 $\rightarrow$ 저차원
• $p_{\theta}():$고차원 $\rightarrow$ 저차원

이 밖에도, GAN을 포함한 다양한 generative model들이 Manifold hypothesis에 기반을 두고있다.

Bayesian inference는 목표로 하는 "특정한 분포"를 inference(추론)하는 방법중의 하나이다. 이 포스팅에서는 목표로 하는 특정 분포를, Data를 생성하는 분포로 생각하고 정리하는 것이 Bayesian inference를 이해하는데 도움이 될 것이다.

Prior Distribution

Bayesian inference를 알아보기 전에, 다음 내용을 가정해야 한다.

"세상의 Data는 이를 생성해내는 분포에서 Sampling된 것이고, 이 분포는 Parametric 분포이다." 사실 위 가정이 하늘에서 뚝, 떨어진것은 아니다. 이는 Manifold hypothesis를 참고하면 좋을 것 같다.

위 가정에 의해, 우리가 Data생성 분포의 Parameter를 잘 찾는다면, Data를 생성하는 분포를 찾을 수 있고, 그 분포에서 Sampling하는 과정을 통해 실제 Data를 생성할 수 있게 된다.

그렇다면, 그 Parameter는 어떻게 생성되는가? 라는 질문에 도달하게 된다. Bayesian inference에서는 위에서와 동일한 방법을 사용한다. 즉, 이 Parameter 또한 특정한 분포에 의해서 발생된다는 것이다. 우리는 이 Parameter를 생성하는 분포를 Prior Distribution, 줄여서 Prior이라고 칭하고, $P(H)$으로 표기한다. 여기서 $H$는 hypothesis(가설)으로 표현했을 뿐이지, 우리의 Parameter, model의 weight, w 쯤으로 생각하면 된다.

사실 이러한 접근법이 혼란스러운건 사실이다. 결론적으로 말하면, 우리는 많은 경우에 Prior를 관측(Observe)할 수 없다(어렵다). 하지만, Prior을 정의하므로써, 우리가 선택한 Parameter가 생성될 확률을 표현할 수 있고, 이러한 표현으로 수학적 해석에 용이하기 때문에 정의했다고 생각하자.

Likelihood

그렇다면, 우리가 Data를 생성하는 분포를 추정하기 위해 사용할 수 있는 정보는 무엇인가? 당연하게도 Data이다. 우리는 이미 특정한 Data를 가지고 있고, 이 Data가 생성되는 분포를 추정하고 싶은 것이니 말이다. 위에서 언급했던 것처럼, 이 Data는 Parametric 분포에서 생성되고, 이를 적극적으로 활용하기 위해 $P(E|H)$로 표현할 수 있다. 여기서 $P(E|H)$는 Likelihood로 부르고, $E$는 Evidence(증거), Data쯤으로 생각하면 된다. 또한, $P(E|H)$의 의미를 생각해 보면, 우리가 특정한 $H$를 골랐을 때, 이 $H$의 영향을 받아 Data가 생성되었을 확률을 의미한다.

Posterior Distribution

정리하자면, 우리는 Data를 생성하는 분포를 추론하고 싶고, 궁극적으로는, 이 Data를 생성하는 분포의 Parameter를 찾고 싶은것이다. 이를 수식으로 표현하자면 $P(H|E)$으로 표현 할 수 있고, Posterior Distribution, 줄여서 Posterior으로 부른다. Posterior의 의미를 생각해보면, 주어진 Data가 있을 때, 우리의 Parameter($H$)가 발생할(맞을)확률 정도로 생각할 수 있다.

Bayes' Rule

위에서 Priror, Likelihood, Posterior의 의미와 수식을 정립했는데, 이들간의 관계에 대해서 생각해 보면 Bayes' Rule에 의해 다음과 같다 $$ P(H|E) = \frac{P(E|H)\cdot{}P(H)}{P(E)} $$ 여기서 $P(E)$는 우리가 가지고 있는 Data($E$)가 변함이 없다면 상수로 고정될 것이고, 다음과 같은 특징을 찾을 수 있다. $$ P(H|E) \propto P(E|H)\cdot{}P(H) $$

Bayesian inference

마지막으로, 위의 내용을 모두 정리하면 다음과 같다. 우리가 가지고 있는 Data를 생성하는 분포를 구성하는 Parameter를 찾으려고 한다. 그렇다면, 다양한 Parameter중, 어떤 Parameter가 정답과 가장 유사할까? 의미적으로는, Posterior이 최대확률을 가지는 Parameter가 가장 유사할 것이다. 이러한 방법을 Maximum A Posterior(MAP)이라고 한다. 하지만, Posterior을 구하기 어려운 상황에서는 대안이 없을까? Bayes' Rule에서 결론낸 것 처럼, Posterior은 Prior과 비례하기 때문에, Likelhood의 최대 확률을 가지는 Parameter또한 좋은 Parameter가 될 수 있다. 이러한 방법을 Maximum Likelihood Estimation(MLE)라고 부른다. 다만, 두 관계에 의해 일반적으로는 MAP이 MLE보다 더 정확한 지표임을 확인할 수 있다.

결론적으로, Bayesian inference는 위에서 나열한 가정을 통해 목적하는 분포를 추정하는 것인데, 이 포스팅의 독자들은 이 포스팅에서 설명한 순서의 역순으로 개념을 확인해 보는 것이 좋을 것 같다. Priror, Likelihood, Posterior이 하늘에서 뚝, 하고 떨어진 것이 아니고, Bayes' Rule에 의해 당연하게 생각해 볼 수 있는 과정이었음을 확인해 보시길 바란다.