목록Pretrain (1)
On the journey of
[이브와] 한국어 언어모델을 정리해보자
NLP를 공부하다 보면 가장 많이 느끼게 되는 게, 한국어 데이터셋,한국어 모델이 정말 너무너무 부족하다는 것이다. 대부분이 영어에 초점을 맞추고 있기 때문..그래서, 이번 기회에 공부할 겸 한데 모델들을 모아봐야겠다 싶었다. 그렇다고 모든 종류를 기록하진 못하겠어서 (모두 기록하기엔.. 자료도 시간도 부족) 많이 쓰는 것들 중심으로 기록한다. 각 계열은 아래와 같다 :) Encoder Model(BERT 계열) Decoder Model(GPT 계열) Encoder-Decoder Model(Seq2seq 계열, 어텐션 나오는 그 계열) * 모든 종류가 궁금하다면 https://sooftware.io/korean-plm/ 참고하시길 :) 1. Encoder Model(BERT 계열) 가. KorBERT -..
Experiences & Study
2023. 6. 9. 18:21