On the journey of

Graph X 그래프를 조작하고 ex) SNS 친구 관계 그래프, 경로 등 그래프 병렬 연산을 수행하기 위한 라이브러리 분석, 연결 탐색 등 표준 그래프 알고리즘을 제공 커뮤니티 사용자들이 기여한 PageRank, 삼각 집계 등의 알고리즘도 포함 아파치 스파크의 분산 실행 스파크는 분산 데이터 처리 엔진이며, 각 컴포넌트들이 클러스터의 머신들 위에서 협업해 동작한다 아파치 스파크 컴포넌트와 아키텍처 [이미지 출처 blog.knoldus.com] 하나의 스파크 애플리케이션은 스파크 클러스터의 병렬 작업들을 조율하는 하나의 드라이버 프로그램으로 이루어진다. 드라이버는 SparkSession 객체를 통해 클러스터의 분산 컴포넌트(executor)에 접근한다. ✨아파치 스파크 컴포넌트 1. 스파크 드라이버 Sp..

Chapter 1. 아파치 스파크 소개: 통합 분석 엔진 구글은 대규모 데이터의 저장, 처리, 분석, 검색, 추천 등을 위해 분산 처리 시스템과 빅데이터 기술을 중요하게 다뤄왔다. 그 결과, 구글 파일 시스템(Google File System), 맵리듀스(MapReduce), 빅테이블(BigTable) 등을 만들어냈다. 구글 파일 시스템(Google File System) : 대규모 클러스터에서 서버가 내결합성을 가지는 분산 파일시스템 하둡 파일 시스템(HDFS) 빅테이블(BigTable) : GFS를 기반으로 정형화된 대규모 데이터의 저장 수단을 제공 HBase 맵리듀스(MapRedue) : 함수형 프로그래밍 개념을 기반으로 GFS와 빅테이블 위에서 대규모 데이터 분산 처리 프레임워크 분산 시스템의 특..

* 기록에 앞서 해당 포스트는 솔룩스 내에서 진행된 세미나의 수강기록이며, 저작권은 발표를 담당해주셨던 세미나부원께 있음을 밝힙니다. * 4월달에 진행된 세미나로, 제가 최근 KIBWA 프로젝트에서 피그마를 사용할 일이 생겨 당시 수강한 기록을 정리하는 포스트임을 밝힙니다. 섹션1 1.1 피그마 소개 ​피그마란 ? 웹 기반 ui / ux 디자인 프로토타이핑 툴 실시간 협업 가능 무료 사용 가능 사용량이 점점 증가하는 추세 ​웹이나 앱 기획 단계에서 디자인을 위해 많이 사용하는 툴 프로토타이핑 툴: 반응형 웹 디자인을 위해 동적인 시안을 만들 수 있는 디자인 툴 ​ 1.2 피그마 생성하기 ​ https://www.figma.com/ Figma: The Collaborative Interface Design..

OVERVIEW 의료, 기계 등의 분야에서 Anomaly detection (비정상 데이터 탐지)는 매우 중요하다. 현재 몇 회사들은 인공 지능을 활용해 기계의 결함을 분석한다든지, 의료 데이터를 활용해 환자의 질병을 도출하는 기술들을 개발 중이다. 하지만 위와 같은 데이터들은 몇 가지 문제점들이 있다. (1) 정상 데이터에 비해 비정상 데이터의 양은 현저히 낮다. (2) 모든 이미지 데이터를 라벨링 하기에는 큰 인력이 필요하다. (3) 이미지 전체의 특징 활용도가 낮다. 이외에도 몇 가지 문제점들이 존재하는데, 이 문제점들을 해결하고자 이 논문이 등장하게 되었고, 저자는 이 논문의 제목처럼 unsupervied learning (비 지도 학습)과 GAN을 사용하였다. 간략히 설명하자면 여기서 Unsup..