목록윈도우 (1)
On the journey of
[PySPARK] 스파크 SQL과 데이터프레임 Part.2 (2)
복잡한 데이터 유형을 처리하기 위한 함수부터 작성해서... part.2를 마쳐보자 😂 복잡한 데이터 유형을 위한 내장 함수들 위의 복잡한 데이터 유형을 처리하는 두가지 방법은 잠재적 비용이 많이 소요될 수 있다. 그렇기 때문에 복잡한 데이터 유형에 대한 내장 함수를 사용하는 것이 좋다. 내장 함수 목록은 링크에서 확인할 수 있다. 배열 유형 함수 예시 array_distinct array_distinct(array) - Removes duplicate values from the array. > SELECT array_distinct(array(1, 2, 3, null, 3)); [1,2,3,null] array_except array_except(array1, array2) - Returns an ar..
Experiences & Study/PySPARK & Data Engineering
2023. 9. 3. 10:47