목록NLP (8)
On the journey of
[논문읽기] BEiT : BERT Pre-training of Image Transformers
Original Paper ) BEiT: https://arxiv.org/abs/2106.08254 BEiT: BERT Pre-Training of Image Transformers We introduce a self-supervised vision representation model BEiT, which stands for Bidirectional Encoder representation from Image Transformers. Following BERT developed in the natural language processing area, we propose a masked image modeling task to pre arxiv.org Contribution BERT의 Masked Lan..
[논문읽기] CLIP : Learning Transferable Visual Models From Natural Language Supervision
Multi-Modal 및 NLP, Multi task 관련 논문작업을 시작할 수도 있어서 (자세한 설명은 생략) 멀티모달 관련 공부를 시작했다. 멀티모달 같은 경우 처음은 아니지만 경험이 많은 건 더더욱 아니라서 ^.^ CV와 함께 공부해야 할 것 같다 :-) Original Paper ) https://arxiv.org/abs/2103.00020 Learning Transferable Visual Models From Natural Language Supervision State-of-the-art computer vision systems are trained to predict a fixed set of predetermined object categories. This restricted form..
[논문읽기] An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
Original Paper ) https://arxiv.org/abs/2010.11929 An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale While the Transformer architecture has become the de-facto standard for natural language processing tasks, its applications to computer vision remain limited. In vision, attention is either applied in conjunction with convolutional networks, or used to rep arxiv.org 0. Key..
NLP 서론(1) 임베딩, 한국어 형태소 분석기, 벡터 유사도, t-SNE
임베딩 임베딩의 종류는? 행렬 분해 기반 방법 말뭉치(corpus) 정보가 들어 있는 원래 행렬을 2개 이상의 작은 행렬로 쪼개는 방식 GloVe, Swivel 예측 기반 방법 어떤 단어 주변에 특정 단어가 나타날지 예측하거나, 이전 단어들이 주어졌을 때 다음 단어가 무엇일지 예측하거나, 문장 내 일부 단어를 지우고 해당 단어가 무엇일지 맞추는 과정에서 학습하는 방법 Word2Vec, FastText, BERT, ELMo, GPT 토픽 기반 방법 주어진 문서에 잠재된 주제를 추론하는 방식으로 임베딩을 수행하는 기법 LDA(Latent Dirichlet Allocation) 임베딩 평가방법은? 내적평가 -word embedding 자체의 성능을 측정하기 위해 specific/intermediate subt..