[CSE] Generative Model 개괄 (2)

ㅇGenerative Model 개괄 (1) : https://nowolver.tistory.com/54 부터 읽는 것을 추천드립니다 :)

[CSE] Generative Model 개괄 (1)

 

본격적으로 키워드인 'Diffusion Model'로 넘어가보자. 

 

1. Stochastic differential Equation(SDE)란 무엇이며, Diffusion Model 하에서의 forward/reverse-time SDE는 무엇일까?

: ODE 식이 초기 조건 x(0) = x0으로 주어졌다고 하자.

이와 같은 경우, 아래와 같은 적분식으로 표현이 가능하며 해당 적분식은 x(t) = x(t,x0, t0)의 해를 갖는다. 

이런 ODE와 예시를 하나 가져와보면, 아래와 같은 예시가 있을 수 있다.

 

이런 ODE와 a(t)가 deterministic parameter(결정적 파라미터)가 아닌 stochastic parameter(stochastic은 현 주가수준이 일정 기간 동안 변동했던 범위 내에서 상대적으로 어느 수준에 위치해 있는가를 가지고 판단하는 지표로, deterministic에 비해 변동적인 지표라고 생각하면 됨) 라 가정한다면, SDE를 도출할 수 있다.

 

보다 전문적인(?) 정의는 아래와 같다.

Deterministic Parameter - 입력값 t가 같으면 항상 같은 결과값이 리턴되는 것을 보장하는 파라미터

Stochastic Parameter - 입력값 t에 따라 항상 같은 값을 리턴하지 않는 Parameter(정규분포 같은). 이때, stochastic 파라미터에 속하는 a(t)가 있다고 했을 때 white noise process ∮(t)가 있다고 하자. 그러면 아래와 같은 식을 얻을 수 있다. 

이 식을 미분 형태로 작성하고, dW(t)가 brownian motion(브라운 운동)의 미분 형태임을 이용해 보자. 여기다 사실 dW(t) =∮(t) dt라는 식을 곁들여(?) 사용해야 한다.  

 

일반적인 SDE는 아래와 같은 식의 형태를 띈다.

여기서 w(오메가)는 X = X(t,w)에서 random으로 나온 변수이며(랜덤변수), Probability random variable로 X(0,w) = X0의 초기 조건을 갖는다. 또한, 위 식의 f(t,X(T,w)와 g(t,X(t,w)는 모두 실수에 속하며 해당 식을 적분하면 아래와 같이 표현된다.

 

Diffusion Model 하에서의 forward-time // reverse-time SDE

: 가우시안에서 샘플링되며, 그 과정을 수식으로 표현해보았다.

1) 치환

2) Taylor Expansion

3) Forward time SDE 도출

그렇다면 Reverse SDE는? 

- Anderson, in Stochastic Processes and their Applications, 1982 에 의하면 위와 같이 SDE가 정의되어 있다는 전제 하의 Reverse SDE는 아래와 같다. 

2. Langevin Dynamics(랑주뱅 동역학) : 분자 시스템에서, 움직임의 수학적 모델링으로 자유도를 생략하면서 단순화된 모델을 사용한다는 특징이 있다. 

 

2-1. Diffusion model과의 연관성: Diffusion Model은 입력 이미지에서 Noise가 서서히 확산되기 때문에 Diffusion 이라는 이름을 가지게 된 것이며, 초기 상태의 분자들이 시간이 흐름에 따라 흩어지는 것을 나타내는 랑주뱅 동역학에서 유래되었다. 즉, 특정 이미지의 pixel들이 시간이 지나면서 흩어지고, Noise로 변하는 것을 수식화한 것이라고 할 수 있다. 

 

2-2. 수식 본문(?) : T가 무한대로 발산하고, ∮가 0으로 수렴할 때 xt는 확률분포 p(x)를 따르며 T < ∞,∮>0일 때도 각각 매우 크고 매우 작을 때 확률분포 p(x)를 거의 따른다.