On the journey of

복잡한 데이터 유형을 처리하기 위한 함수부터 작성해서... part.2를 마쳐보자 😂 복잡한 데이터 유형을 위한 내장 함수들 위의 복잡한 데이터 유형을 처리하는 두가지 방법은 잠재적 비용이 많이 소요될 수 있다. 그렇기 때문에 복잡한 데이터 유형에 대한 내장 함수를 사용하는 것이 좋다. 내장 함수 목록은 링크에서 확인할 수 있다. 배열 유형 함수 예시 array_distinct array_distinct(array) - Removes duplicate values from the array. > SELECT array_distinct(array(1, 2, 3, null, 3)); [1,2,3,null] array_except array_except(array1, array2) - Returns an ar..

✨흐름 (for me...) 1. 아파치 하이브 및 아파치 스파크 모두에 대해 UDF를 사용한다. 2. JDBC 및 SQL 데이터베이스, PostgreSQL, MySQL, 태블로, 애저 코스모스 DB 및 MS SQL 서버와 같은 외부 데이터 원본과 연결한다. 3. 단순하거나 복잡한 유형, 고차 함수 그리고 일반적인 관계 연산자를 사용하여 작업한다. (part.2 (2)로 쓸 거) 스파크 SQL과 아파치 하이브 spark SQL 관계형 처리와 스파크의 함수형 프로그래밍 API를 통합하는 아파치 스파크의 기본 구성요소 더 빠른 성능 및 관계형 프로그래밍의 이점을 활용 가능 복잡한 분석 라이브러리 호출 가능 사용자 정의 함수 사용자 정의 함수 자신의 기능을 정의할 수 있는 유연성을 제공하는 함수 스파크 SQL..

데이터프레임을 파케이 파일이나 SQL 테이블로 저장하기 parquet_path = … fire_df.write.format(“parquet”).save(parquet_path) # 혹은 하이브 메타스토어에 메타데이터로 등록되는 테이블로 저장 parquet_table = … fire_df.write.format(“parquet”).saveAsTable(parquet_Table) 트랜스포메이션과 액션 칼럼의 구성 확인 (타입 확인, null 값 확인 등) 프로젝션과 필터 프로젝션: 필터를 이용해 특정 관계 상태와 매치되는 행들만 되돌려 주는 방법 select() 메서드로 수행 필터: filter()나 where() 메서드로 표현 few_fire_df = (fire_df .select(“IncidentNumb..

Select_Big Countries Basic Joins_Customer Who Visited but Not Make Any Transactions Basic Joins_Rising Temperature Subqueries_Employees Whose Manager Left the Company 595. Big Countries https://leetcode.com/problems/big-countries/ (아래 첨부) Big Countries - LeetCode Can you solve this real interview question? Big Countries - Table: World +-------------+---------+ | Column Name | Type | +-----------..