목록분산실행 (1)
On the journey of
[PySpark] 개괄 및 소개 (2) - 다운로드 전까지,데이터 분야 업무
Graph X 그래프를 조작하고 ex) SNS 친구 관계 그래프, 경로 등 그래프 병렬 연산을 수행하기 위한 라이브러리 분석, 연결 탐색 등 표준 그래프 알고리즘을 제공 커뮤니티 사용자들이 기여한 PageRank, 삼각 집계 등의 알고리즘도 포함 아파치 스파크의 분산 실행 스파크는 분산 데이터 처리 엔진이며, 각 컴포넌트들이 클러스터의 머신들 위에서 협업해 동작한다 아파치 스파크 컴포넌트와 아키텍처 [이미지 출처 blog.knoldus.com] 하나의 스파크 애플리케이션은 스파크 클러스터의 병렬 작업들을 조율하는 하나의 드라이버 프로그램으로 이루어진다. 드라이버는 SparkSession 객체를 통해 클러스터의 분산 컴포넌트(executor)에 접근한다. ✨아파치 스파크 컴포넌트 1. 스파크 드라이버 Sp..
Experiences & Study/PySPARK & Data Engineering
2023. 8. 30. 09:33