On the journey of

크롤링의 기초 코드는 예전에 다룬 적이 있다 :) https://nowolver.tistory.com/173 [AWS 사전공인교육] 10-1.Crawling 기본코드 정리 사실 AWS 사전공인교육이 아니더라도 크롤링은 데이터 수집의 가장 대표적인 방법론으로 언급되는 만큼, 내가 보기 위해서라도 정리할 필요가 있다고 생각해 노션에 올려만 뒀던 것들과 결합해 nowolver.tistory.com 이번에는 단순히 프로그램 깔자마자 이렇게 입력하세요! 가 아니라, lambda에서 실행 가능한 Selenium 등의 버전을 맞춰서 크롤링을 진행해보고자 한다. 그러나 현실적으로는 이 방법을 사용했을 때 특정 사이트는 Timeout/크롤링, 접속 자체를 막아두는 경우가 꽤 되며, click 등 기타 사용자의 동작이 인..

Langchain은 하나 디지털 파워 온 프로젝트에서 사용해본 이후로 제대로 공부해본 적이 없었는데 개인적으로는 그래서 반가웠다 :) 환경 준비 AWS 서비스 → 검색 → Cloud9 Create environment m5.4xLarge, Amazon Linux2 선택 생성 완료되면 생성된 인스턴스 Open Python 환경 설정 requirements.txt 생성(아래 코드 참조) langchain==0.0.165 openai==0.27.6 chromadb==0.3.22 tiktoken==0.4.0 2. pip 로 python 3rd party library 설치 (터미널에서 아래 명령어 실행) pip install -r requirements.txt 2-1. 도중에 No space left of de..

Original Paper ) BEiT: https://arxiv.org/abs/2106.08254 BEiT: BERT Pre-Training of Image Transformers We introduce a self-supervised vision representation model BEiT, which stands for Bidirectional Encoder representation from Image Transformers. Following BERT developed in the natural language processing area, we propose a masked image modeling task to pre arxiv.org Contribution BERT의 Masked Lan..

미국증시(16일 기준) 이스라엘-하마스 전쟁의 신호로 여러 변수가 생기고, 부각되면서 최근 투자자들이 이에 주목하기 시작했다. 중동의 불확실성이 커질수록 국제 유가에 더욱 불이 붙을 수 있기에 그 리스크를 무시할 수 없기 때문이다. 또한 이날을 기점으로 실적 발표 시즌이 시작되었는데, 대형 은행들부터 예상치를 상회하는 성적표를 보였다. 실적 발표 시즌치고 은행의 전반적인 분위기는 나쁘지 않지만 고금리 환경이 이어지고 있기에 예의주시는 필요해 보인다. 이스라엘-하마스 무력 갈등의 영향 5차 대전까지 번지진 않은 것도 그렇고.. 아직 반영되지 못한 변수가 많다는 것조차 하나의 변수로 작용할 수 있지만 인베스코의 수석 전략가는 "현재 환경에서 단기적으로 미국/글로벌 주식 시장에 큰 영향(material neg..