On the journey of

CSE URP라는 카테고리 안에 글 쓸 날도 얼마 안 남은 것 같다 :) 자세한 것은 나아중에 적겠지만, 우선은..! 그렇다. StarGAN에서의 Instance Normalization에 대한 Key 질문은 아래와 같다. "왜 StarGAN에서는 (Image Classification에서 주로 사용되는) Batch Norm이 아닌 Instance Norm이 사용되었는가?" 이 질문의 답변에 앞서 Batch Norm과 Instance Norm에 대해서 간략하게 살펴보자. - Batch Norm을 수식으로 표현하면 아래와 같다. Instance Norm을 수식으로 표현하면 다음과 같다. (수식에 따르면) Batch Norm은 "normalize all images across batch and spatia..

2.4 From the Perspective of Variational Autoencoder BEIT 의 pre-training은 Variational Autoencoder 관점에서 설명할 수 있음 이를 분포를 기반으로 한 수식으로 나타내보면 아래와 같다. 이때 위 수식은 아래와 같이 변형될 수 있다. Stage 1 : dVAE에서 Image Tokenizer를 얻는 부분에 대한 Term Stage 2 : Masked Image가 주어졌을 때, Image Tokenizer를 얻는 것에 대한 Term 2.5 Pre-Training Setup BEIT 모델의 Pre-Training은 아래와 같이 설정되고 진행됨 VIT-B(Base) 모델 설정과 비슷하게 설정되어 있음 12-layer Transformer w..