On the journey of

효율적으로 스파크를 최적화 및 튜닝하기 스파크는 튜닝을 위한 많은 설정이 있지만 중요하고 자주 사용되는 것만 다뤘다. 아파치 스파크 설정 확인 및 세팅 스파크 설정을 확인하고 설정하는 방법은 세가지가 있다. 설정 파일을 통한 방법 배포한 $SPARK_HOME 디렉터리안에 conf/spark-defaults.conf.template, conf/log4j.properties.template, conf/spark-env.sh.template 이 파일들 에 있는 기본값을 변경하고 .template 부분을 지우고 저장한다. (conf/spark-defaults.conf 설정을 바꾸면 클러스터와 모든 애플리케이션에 적용 스파크 애플리케이션 안에서 혹은 명령 행에서 —conf 옵션을 사용 2-1) 명령 행에서 —co..

NLP 분야는 요새 large scaling에 대해 관심이 많음 Data augmetation의 경우 포항공대 논문> Seonj.H, Conversational QA Dataset Generation with Answer Revision BERT 활용하기 → 사전학습된 BERT를 사용하는 방법론에 대해 제시 학습 과정> 사전 학습된 BERT 모델 탐색 사전 학습된 BERT에서 임베딩을 추출하는 방법 BERT의 모든 인코더 레이어에서 임베딩을 추출하는 방법 다운스트림 태스크를 위함 BERT 파인 튜닝 방법 3.1 사전 학습된 BERT 모델 탐색 → BERT를 처음부터 사전 학습시키는 건 너무 고비용 ※ 아래 사전학습된 공개 BERT모델 참조 https://github.com/google-research/b..