목록벡터 (2)
On the journey of
NLP 서론(1) 임베딩, 한국어 형태소 분석기, 벡터 유사도, t-SNE
임베딩 임베딩의 종류는? 행렬 분해 기반 방법 말뭉치(corpus) 정보가 들어 있는 원래 행렬을 2개 이상의 작은 행렬로 쪼개는 방식 GloVe, Swivel 예측 기반 방법 어떤 단어 주변에 특정 단어가 나타날지 예측하거나, 이전 단어들이 주어졌을 때 다음 단어가 무엇일지 예측하거나, 문장 내 일부 단어를 지우고 해당 단어가 무엇일지 맞추는 과정에서 학습하는 방법 Word2Vec, FastText, BERT, ELMo, GPT 토픽 기반 방법 주어진 문서에 잠재된 주제를 추론하는 방식으로 임베딩을 수행하는 기법 LDA(Latent Dirichlet Allocation) 임베딩 평가방법은? 내적평가 -word embedding 자체의 성능을 측정하기 위해 specific/intermediate subt..
[CSE URP] ViT Self-Attention 구조
* 해당 포스팅은 Attention 구조 및 Transformer에 대한 논의를.. 좀더 잘 이해하기 위해 공부하고 쓰는 글입니다. URP에서 본격적으로 다룬 내용은 아님을 밝혀둡니다 :) References(Github & Huggingface) https://nlpinkorean.github.io/illustrated-transformer/ https://github.com/hyunwoongko/transformer/blob/master/models/layers/multi_head_attention.py https://github.com/rwightman/pytorch-image-models/blob/a520da9b495422bc773fb5dfe10819acb8bd7c5c/timm/models/vis..