목록쿠버네티스 (2)
On the journey of
[PySpark] 개괄 및 소개 (2) - 다운로드 전까지,데이터 분야 업무
Graph X 그래프를 조작하고 ex) SNS 친구 관계 그래프, 경로 등 그래프 병렬 연산을 수행하기 위한 라이브러리 분석, 연결 탐색 등 표준 그래프 알고리즘을 제공 커뮤니티 사용자들이 기여한 PageRank, 삼각 집계 등의 알고리즘도 포함 아파치 스파크의 분산 실행 스파크는 분산 데이터 처리 엔진이며, 각 컴포넌트들이 클러스터의 머신들 위에서 협업해 동작한다 아파치 스파크 컴포넌트와 아키텍처 [이미지 출처 blog.knoldus.com] 하나의 스파크 애플리케이션은 스파크 클러스터의 병렬 작업들을 조율하는 하나의 드라이버 프로그램으로 이루어진다. 드라이버는 SparkSession 객체를 통해 클러스터의 분산 컴포넌트(executor)에 접근한다. ✨아파치 스파크 컴포넌트 1. 스파크 드라이버 Sp..
[디지털파워온] 구글 클라우드 개괄(Google Cloud)
별도 비용 발생X 자기만의 클라우드를 운영하고 있는 센터들이 광케이블에 의해 연결됨 구글 클라우드는 네트워크 깡패야! 네트워크 관련된 부분은 구글이 독보적으로 구축하고 있다 클라우드는 독자적으로 운영되는 경우가 드물다 VM 만들기 ⇒ EC2(instance) ⇒ 하나 만들기 위해서 함께 연결된 서비스 VPC, subnet, security group, instance type, EBS(storage service) 내부 인터넷과 연결 : 게이트웨이 필요, 공인IP 필요 공인 IP 획득 방법 : 유동IP, 고정IP application 배포 환경 : (CICD, Devops , agile 등) 도커, 쿠버네티스 환경 제공 storage option : storage service(aws = S3) EBS ..