On the journey of

효율적으로 스파크를 최적화 및 튜닝하기 스파크는 튜닝을 위한 많은 설정이 있지만 중요하고 자주 사용되는 것만 다뤘다. 아파치 스파크 설정 확인 및 세팅 스파크 설정을 확인하고 설정하는 방법은 세가지가 있다. 설정 파일을 통한 방법 배포한 $SPARK_HOME 디렉터리안에 conf/spark-defaults.conf.template, conf/log4j.properties.template, conf/spark-env.sh.template 이 파일들 에 있는 기본값을 변경하고 .template 부분을 지우고 저장한다. (conf/spark-defaults.conf 설정을 바꾸면 클러스터와 모든 애플리케이션에 적용 스파크 애플리케이션 안에서 혹은 명령 행에서 —conf 옵션을 사용 2-1) 명령 행에서 —co..

일주일만에 .. 뉴스레터 기록을 남긴다 :) 오늘은 미라클레터! 1. 네옴시티 네옴시티는 지난 연말(22년 말) 사우디아라비아의 무함마드 왕세자가 만들겠다고 한 건축물로 최근 기초 공사에 착수했다고 밝힌 바 있다. 투자설명회도 개최될 예정이라지만(전 세계적으로) 그린 워싱 아니냐, 유토피아 속 디스토피아 등 비평이 꾸준히 이어지고 있는 상황. 그럼 우리나라엔 어떤 영향을 미치게 될까? 아니, 네옴시티는 대체 무슨 건축물인 걸까. 일단 면적이 서울시 43.8개의 면적에 해당하는, 좀더 직관적으로는 경기도 2개를 이어붙인 면적의 도시를 말한다. 약 660조 원을 투자하여 크게 4개 지역(신달라, 더라인, 트로제나, 옥사곤)으로 나눠 지을 예정이다. 신달라 - 초호화 관광 섬. 초호화 럭셔리 호텔을 지을 계획..

Abstract neural network 트레이닝을 위한 data augmentation 기법들과 동시에 모델의 robustness 평가하기 위한 image transformation set를 제안한다. 주요 차이점은 Common corruption과 같은 기존 접근 방식과는 달리 scene의 기하학이 적용되어 보다 real world와 같은 변환을 만들어내며 semantic corruption들에 대해 소개한다. 이런 변환이, 효율적(실시간 계산)이고, 확장 가능(기존 데이터셋에 적용)하며, robustness를 향상 시킬 수 있음을 보여줌 1. Introduction Real world에 배치된 컴퓨터 비전 모델들은 그들의 training data에서 자연스럽게 발생된 분포로 옮기게 된다. 이러한 ..

자바와 스칼라를 위한 단일 API 데이터세트는 강력한 형식의 객체를 위해 통합되고 단일한 API를 제공 오직 스칼라와 자바만이 강력하게 형식화된 타입으로 지정됨 파이썬과 R은 형식화되지 않은 타입의 데이터 프레임 API를 지원 데이터 세트는 데이터 프레임 API에서 익숙하게 사용되는 DSL 연산자나 함수형 프로그래밍을 사용하여 병렬로 작동할 수 있는 도메인별 형식화된 객체 데이터세트를 위한 스칼라 케이스 클래스와 자바빈 스파크는 작업 중 인코더를 통해 아래의 내부적 데이터 타입을 언어별 타입에 맞게 맵핑 stringType BinaryType IntegerType BooleanType MapType Dataset[T] 생성을 위한 예제 설명, T는 스칼라 객체이며 객체를 정의하는 case class가 필..