On the journey of

크롤링의 기초 코드는 예전에 다룬 적이 있다 :) https://nowolver.tistory.com/173 [AWS 사전공인교육] 10-1.Crawling 기본코드 정리 사실 AWS 사전공인교육이 아니더라도 크롤링은 데이터 수집의 가장 대표적인 방법론으로 언급되는 만큼, 내가 보기 위해서라도 정리할 필요가 있다고 생각해 노션에 올려만 뒀던 것들과 결합해 nowolver.tistory.com 이번에는 단순히 프로그램 깔자마자 이렇게 입력하세요! 가 아니라, lambda에서 실행 가능한 Selenium 등의 버전을 맞춰서 크롤링을 진행해보고자 한다. 그러나 현실적으로는 이 방법을 사용했을 때 특정 사이트는 Timeout/크롤링, 접속 자체를 막아두는 경우가 꽤 되며, click 등 기타 사용자의 동작이 인..

Langchain은 하나 디지털 파워 온 프로젝트에서 사용해본 이후로 제대로 공부해본 적이 없었는데 개인적으로는 그래서 반가웠다 :) 환경 준비 AWS 서비스 → 검색 → Cloud9 Create environment m5.4xLarge, Amazon Linux2 선택 생성 완료되면 생성된 인스턴스 Open Python 환경 설정 requirements.txt 생성(아래 코드 참조) langchain==0.0.165 openai==0.27.6 chromadb==0.3.22 tiktoken==0.4.0 2. pip 로 python 3rd party library 설치 (터미널에서 아래 명령어 실행) pip install -r requirements.txt 2-1. 도중에 No space left of de..

5-1. Lambda ChatGPT 먼저 ChatGPT를 구현해보기 위해서는 OpenAI 상의 API Key가 필요하다. 그러므로 아래 링크에 접속해 본인의 고유한 API를 발급받은 후, 이를 복사해두자. (재발급이 되긴 하지만 귀찮으니까...) https://platform.openai.com/account/api-keys OpenAI Platform Explore developer resources, tutorials, API docs, and dynamic examples to get the most out of OpenAI's platform. platform.openai.com 여기서 왼쪽 카테고리의 API Keys 접속 - Create new secret Key 클릭하면 됨! 다시 코드로 돌아..

4-1. Lambda Trigger 1. HTTP API vs REST API : 결론부터 말하자면 아래와 같다. 그렇다면 HTTP API부터, AWS가 어떻게 서비스를 제공하는지 살펴보자. HTTP API 1) 트리거 추가 2) API Gateway 선택 3) 구성 설정 4) Security & CORS 설정 생성된 API endpoint 링크를 클릭하면 기존에 만들었던 Lambda 함수가 실행된다. Rest API 이후 저 트리거 추가에서 그리고 이때 API NAME 은 http api 의 name 과 다르게 정해야 한다! 그러면 API Endpoint가 생성된 것을 확인할 수 있다 :) 그리고 저 트리거 추가에서, Scheduler가 필요하면 EventBridge를 검색해 추가하면 된다. 구성은 아..