On the journey of

AWS와...여러 교육과..논문에 치여 1달 만에(마지막 chapter 10이 ... 9월 10일 글이었다) PySPARK 글을 쓴다.... https://nowolver.tistory.com/148 [PySPARK] MLlib을 사용한 머신러닝 지금까지는 스파크를 사용한 데이터 엔지니어링 워크로드에 중점을 뒀지만 이번장에서는 데이터를 활용한 머신러닝에 초점을 둘 것. 아파치 스파크의 머신러닝 라이브러리인 MLlib을 사용하여 M nowolver.tistory.com 모델 관리 머신러닝 솔루션의 종단 간 재현성 모델을 생성한 코드, 훈련에 사용된 환경, 훈련된 데이터 및 모델 자체를 재현할 수 있어야 함 재현성 관리 예시 라이브러리 버전 관리 라이브러리 버전이 언급되지 않은 경우 일반적으로 최신 버전을 ..

지금까지는 스파크를 사용한 데이터 엔지니어링 워크로드에 중점을 뒀지만 이번장에서는 데이터를 활용한 머신러닝에 초점을 둘 것. 아파치 스파크의 머신러닝 라이브러리인 MLlib을 사용하여 ML 모델을 구축하는데, 그 이전에 머신러닝이 무엇인지 살펴볼 것이다. 머신러닝이란 무엇인가? 머신러닝은 학습방식에 따라 아래와 같이 분류될 수 있다. 지도(supervised)학습 - 레이블이 존재하는 데이터로 학습하여, 레이블이 없는 데이터의 레이블 예측 반지도(semi-supervised)학습 - 레이블이 없는 데이터를 지도학습에 사용, 예를들어 분류 테스크에서 인접한 미분류 데이터를 동일 집단으로 레이블링하여 학습에 사용 비지도(unsupervised)학습 - 데이터의 구성,특징,패턴을 스스로 학습하는 방식 강화(r..