On the journey of

BEiT: BERT Pre-Training of Image Transformers Hangbo Bao, Li Dong, Songhao Piao, Furu Wei * https://github.com/microsoft/unilm/tree/master/beit Abstract 논문의 제목인 BEIT (Bidirectional Encoder representation from Image Transformers)는 BERT 모델에서 차용한 것 입력 이미지를 2가지 방법을 통해 masked image modeling(MIM) 학습 VIT + Blockwise Masking : image patches (such as 16 x 16 pixles) DALL-E Tokenizer : visual toekns (i.e...

NLP 분야는 요새 large scaling에 대해 관심이 많음 Data augmetation의 경우 포항공대 논문> Seonj.H, Conversational QA Dataset Generation with Answer Revision BERT 활용하기 → 사전학습된 BERT를 사용하는 방법론에 대해 제시 학습 과정> 사전 학습된 BERT 모델 탐색 사전 학습된 BERT에서 임베딩을 추출하는 방법 BERT의 모든 인코더 레이어에서 임베딩을 추출하는 방법 다운스트림 태스크를 위함 BERT 파인 튜닝 방법 3.1 사전 학습된 BERT 모델 탐색 → BERT를 처음부터 사전 학습시키는 건 너무 고비용 ※ 아래 사전학습된 공개 BERT모델 참조 https://github.com/google-research/b..

1. 구글 : Google Assistant 소생 도전 시리 하면 생각나는 '음성인식' 계의 원조쯤 되는 구글의 보이스 어시스턴트지만, 타 업계에 비해 많이 밀리는 것이 사실이었다. 구글 또한 작년 하드웨어 관련 우선순위 재조정에서, 어시스턴트에서 일부 발을 빼는 모습을 보여주기도 했다. 그러나 최근 LLM(거대 언어 모델)을 활용한 GPT 모델이 각광받기 시작하면서, Google Assistant 또한 LLM을 활용한 업그레이드 version을 준비하는 듯한 모습을 보여주고 있다. ALEXA(알렉사)도 유사한 상황으로, 생성형 AI를 활용해 어시스턴트 사업의 부활을 준비하고 있다. 이것도 어떻게 보면 중꺾마 아닌가 2. 아마존(AMAZON) 최근 디지털파워온 필기를 옮겨오면서 아마존 웹서비스에 대해 많..

NLP를 공부하다 보면 가장 많이 느끼게 되는 게, 한국어 데이터셋,한국어 모델이 정말 너무너무 부족하다는 것이다. 대부분이 영어에 초점을 맞추고 있기 때문..그래서, 이번 기회에 공부할 겸 한데 모델들을 모아봐야겠다 싶었다. 그렇다고 모든 종류를 기록하진 못하겠어서 (모두 기록하기엔.. 자료도 시간도 부족) 많이 쓰는 것들 중심으로 기록한다. 각 계열은 아래와 같다 :) Encoder Model(BERT 계열) Decoder Model(GPT 계열) Encoder-Decoder Model(Seq2seq 계열, 어텐션 나오는 그 계열) * 모든 종류가 궁금하다면 https://sooftware.io/korean-plm/ 참고하시길 :) 1. Encoder Model(BERT 계열) 가. KorBERT -..