목록임베딩 (2)
On the journey of
[논문읽기] An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
Original Paper ) https://arxiv.org/abs/2010.11929 An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale While the Transformer architecture has become the de-facto standard for natural language processing tasks, its applications to computer vision remain limited. In vision, attention is either applied in conjunction with convolutional networks, or used to rep arxiv.org 0. Key..
NLP 서론(1) 임베딩, 한국어 형태소 분석기, 벡터 유사도, t-SNE
임베딩 임베딩의 종류는? 행렬 분해 기반 방법 말뭉치(corpus) 정보가 들어 있는 원래 행렬을 2개 이상의 작은 행렬로 쪼개는 방식 GloVe, Swivel 예측 기반 방법 어떤 단어 주변에 특정 단어가 나타날지 예측하거나, 이전 단어들이 주어졌을 때 다음 단어가 무엇일지 예측하거나, 문장 내 일부 단어를 지우고 해당 단어가 무엇일지 맞추는 과정에서 학습하는 방법 Word2Vec, FastText, BERT, ELMo, GPT 토픽 기반 방법 주어진 문서에 잠재된 주제를 추론하는 방식으로 임베딩을 수행하는 기법 LDA(Latent Dirichlet Allocation) 임베딩 평가방법은? 내적평가 -word embedding 자체의 성능을 측정하기 위해 specific/intermediate subt..