On the journey of

Streamlit은 Google Colab, Jupyter notebook 등 파이썬 언어를 지원하는 곳 어디에서나 활용이 가능한 시각화 툴이다. 분석 툴이 아니기 때문에, 프론트 지식이 어느 정도는 뒷받침되어야 한다고 생각함 (디자인 센스라도 ,,) 설치부터 실행까지 기본적인 코드는 아래와 같다. 만약 아래 기본 코드가 먹히지 않는다면 !pip install (magic command) 나 pip3 로 변경하면 된다. #1. Streamlit 모듈 설치하기 pip install streamlit #2. 앱 폴더 및 파일 만들기 mkdir apps cd apps touch app.py #3. Streamlit 모듈 import 하고 실행하기 import streamlit as st #4. Streamli..

시작에 앞서 해당 카테고리의 포스트는 AWS 본사 측의 교육을 수강 후 작성하는 것임을 밝힙니다. 때문에, 커리큘럼이나 순서가 해당 교육의 순서와 유사 혹은 일치할 수 있습니다. 먼저 Python을 활용한 서버리스(serverless) 코딩의 경우 이미 디지털파워온 교육 때 대략 접해봤던 영역이긴 했다. https://nowolver.tistory.com/m/79 [디지털파워온] Python Serverless Coding Python 클라우드는 다 빌려서 사용함 서버리스는 서버가 없다는 것이 아니라, 준비된 서버가 없다는 것(사용자가 요청한 후 만들어지는 것) 자바가 강세였지만, 이제는 파이썬(전 세계적으로 대세 nowolver.tistory.com 그러나 ... 이건 무려 7개월 전 + 단기교육이었기..

✨흐름 (for me...) 1. 아파치 하이브 및 아파치 스파크 모두에 대해 UDF를 사용한다. 2. JDBC 및 SQL 데이터베이스, PostgreSQL, MySQL, 태블로, 애저 코스모스 DB 및 MS SQL 서버와 같은 외부 데이터 원본과 연결한다. 3. 단순하거나 복잡한 유형, 고차 함수 그리고 일반적인 관계 연산자를 사용하여 작업한다. (part.2 (2)로 쓸 거) 스파크 SQL과 아파치 하이브 spark SQL 관계형 처리와 스파크의 함수형 프로그래밍 API를 통합하는 아파치 스파크의 기본 구성요소 더 빠른 성능 및 관계형 프로그래밍의 이점을 활용 가능 복잡한 분석 라이브러리 호출 가능 사용자 정의 함수 사용자 정의 함수 자신의 기능을 정의할 수 있는 유연성을 제공하는 함수 스파크 SQL..

이제 본격적으로 Spark를 다운받아 실행해보자 . 1단계 : 아파치 스파크 다운로드 Apache Spark 다운로드 페이지에서 아래와 같은 옵션으로 다운로드 해준다. 필요한 하둡 관련 바이너리를 포함하고 있으며, 운영중인 HDFS나 하둡 설치본이 있다면 버전을 맞춰준다. 2. 오직 파이썬으로만 Spark를 사용할 경우에는 PyPI로 파이스파크를 간단하게 설치해준다. pip install pyspark #SQL, ML, MLlib 을 위한 추가적인 라이브러리 설치 pip install pyspark[sql,ml,mllib] # SQL 의존성만 필요하다면 pip install pyspark[sql] 3. R을 사용할 경우는 R을 설치한후 sparkR을 실행해야한다. R을 통한 분산 컴퓨팅을 위해선 R 오픈..