On the journey of

크롤링의 기초 코드는 예전에 다룬 적이 있다 :) https://nowolver.tistory.com/173 [AWS 사전공인교육] 10-1.Crawling 기본코드 정리 사실 AWS 사전공인교육이 아니더라도 크롤링은 데이터 수집의 가장 대표적인 방법론으로 언급되는 만큼, 내가 보기 위해서라도 정리할 필요가 있다고 생각해 노션에 올려만 뒀던 것들과 결합해 nowolver.tistory.com 이번에는 단순히 프로그램 깔자마자 이렇게 입력하세요! 가 아니라, lambda에서 실행 가능한 Selenium 등의 버전을 맞춰서 크롤링을 진행해보고자 한다. 그러나 현실적으로는 이 방법을 사용했을 때 특정 사이트는 Timeout/크롤링, 접속 자체를 막아두는 경우가 꽤 되며, click 등 기타 사용자의 동작이 인..

4-1. Lambda Trigger 1. HTTP API vs REST API : 결론부터 말하자면 아래와 같다. 그렇다면 HTTP API부터, AWS가 어떻게 서비스를 제공하는지 살펴보자. HTTP API 1) 트리거 추가 2) API Gateway 선택 3) 구성 설정 4) Security & CORS 설정 생성된 API endpoint 링크를 클릭하면 기존에 만들었던 Lambda 함수가 실행된다. Rest API 이후 저 트리거 추가에서 그리고 이때 API NAME 은 http api 의 name 과 다르게 정해야 한다! 그러면 API Endpoint가 생성된 것을 확인할 수 있다 :) 그리고 저 트리거 추가에서, Scheduler가 필요하면 EventBridge를 검색해 추가하면 된다. 구성은 아..

Lambda를 활용해 서비스를 배포한다고 해보자. 이 경우 크게 아래의 흐름을 따라가게 된다. Function 생성 function type language 선택 코딩 이벤트 생성 테스트 배포 배포 버튼 클릭 함수 URL 생성 Lambda의 장점은 아래와 같이 크게 4가지가 있는데, 디버깅이 어렵다는 단점이 있다. 유연한 스케일링: Lambda 함수는 요청에 따라 자동으로 스케일링되므로 사용자의 부하에 따라 자원을 최적으로 활용할 수 있습니다. 높은 가용성: Lambda는 다중 가용 영역에서 실행됩니다. 따라서 Lambda 함수가 실행되는 동안 장애가 발생해도 다른 가용 영역에서 자동으로 실행됩니다. 효율적인 비용 관리: Lambda 함수는 실행된 시간에 대해서만 과금이 이루어집니다. 따라서 사용자는 자..

자바와 스칼라를 위한 단일 API 데이터세트는 강력한 형식의 객체를 위해 통합되고 단일한 API를 제공 오직 스칼라와 자바만이 강력하게 형식화된 타입으로 지정됨 파이썬과 R은 형식화되지 않은 타입의 데이터 프레임 API를 지원 데이터 세트는 데이터 프레임 API에서 익숙하게 사용되는 DSL 연산자나 함수형 프로그래밍을 사용하여 병렬로 작동할 수 있는 도메인별 형식화된 객체 데이터세트를 위한 스칼라 케이스 클래스와 자바빈 스파크는 작업 중 인코더를 통해 아래의 내부적 데이터 타입을 언어별 타입에 맞게 맵핑 stringType BinaryType IntegerType BooleanType MapType Dataset[T] 생성을 위한 예제 설명, T는 스칼라 객체이며 객체를 정의하는 case class가 필..