On the journey of

Original paper ) https://arxiv.org/abs/1711.00937 Neural Discrete Representation Learning Learning useful representations without supervision remains a key challenge in machine learning. In this paper, we propose a simple yet powerful generative model that learns such discrete representations. Our model, the Vector Quantised-Variational AutoEnc arxiv.org https://arxiv.org/pdf/1711.00937.pdf (Dir..

CSE URP라는 카테고리 안에 글 쓸 날도 얼마 안 남은 것 같다 :) 자세한 것은 나아중에 적겠지만, 우선은..! 그렇다. StarGAN에서의 Instance Normalization에 대한 Key 질문은 아래와 같다. "왜 StarGAN에서는 (Image Classification에서 주로 사용되는) Batch Norm이 아닌 Instance Norm이 사용되었는가?" 이 질문의 답변에 앞서 Batch Norm과 Instance Norm에 대해서 간략하게 살펴보자. - Batch Norm을 수식으로 표현하면 아래와 같다. Instance Norm을 수식으로 표현하면 다음과 같다. (수식에 따르면) Batch Norm은 "normalize all images across batch and spatia..

Mutual Information for Inducing Latent Codes - 2 목표) 기존 GAN에서 Semantic 정보를 담당하는 Latent 벡터를 별도로 분류하여 Semantic 정보를 컨트롤할 수 있는 새로운 GAN 모델 개발 배경 일반적인 GAN은 하나의 Noise vector z로 가짜를 생성 ex) Mnist 숫자이미지 생성 가능, but 각도/굵기 등의 semantic 정보 컨트롤은 불가능 이러한 정보들이 학습 시 고려되지 않아 z에 복잡하게 얽혀져 있음 제안 InfoGAN은 위 문제를 해결하기 위해 두가지 Input vector를 사용: z&c z: 일반적인 GAN에서 사용하는 noise vector c: semantic 정보를 컨트롤 하기 위한 추가 벡터 P(c1,c2,.....

Original Paper) InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets arXiv link ) https://arxiv.org/pdf/1606.03657.pdf Abstract 💡 InfoGAN GAN + Information-theoretic(정보 이론) 정보 이론의 아이디어를 GAN에 붙여 확장시킨 모델 완전한 비지도 방식으로 **Disentanlged representations(분리된 표현)**을 학습할 수 있다. 이를 통해 InfoGAN은 아래와 같은 데이터에서 유의미한 특성을 분리해냈다. MNIST 데이터 세트의 숫자의 각도, 너비 3D 렌더링된 이미지에서의..