티스토리

On the journey of
검색하기

블로그 홈

On the journey of

nowolver.tistory.com/m

DS(Projects, ML & DL, AI), STAT & ETC

구독자
5
방명록 방문하기
공지 [공지] About this blog⋯ 모두보기

주요 글 목록

  • [AWS 사전공인교육] 6-1. Lambda-Selenium으로 크롤링하기 크롤링의 기초 코드는 예전에 다룬 적이 있다 :) https://nowolver.tistory.com/173 [AWS 사전공인교육] 10-1.Crawling 기본코드 정리 사실 AWS 사전공인교육이 아니더라도 크롤링은 데이터 수집의 가장 대표적인 방법론으로 언급되는 만큼, 내가 보기 위해서라도 정리할 필요가 있다고 생각해 노션에 올려만 뒀던 것들과 결합해 nowolver.tistory.com 이번에는 단순히 프로그램 깔자마자 이렇게 입력하세요! 가 아니라, lambda에서 실행 가능한 Selenium 등의 버전을 맞춰서 크롤링을 진행해보고자 한다. 그러나 현실적으로는 이 방법을 사용했을 때 특정 사이트는 Timeout/크롤링, 접속 자체를 막아두는 경우가 꽤 되며, click 등 기타 사용자의 동작이 인.. 공감수 1 댓글수 0 2023. 10. 20.
  • [AWS 사전공인교육] 5.AWS에서 ChatGPT 구현하기(2) (5-3.Cloud9-Langchain을 이용한 GPT 서비스~5-4.Cloud9 -ChatGPT Data Aware) Langchain은 하나 디지털 파워 온 프로젝트에서 사용해본 이후로 제대로 공부해본 적이 없었는데 개인적으로는 그래서 반가웠다 :) 환경 준비 AWS 서비스 → 검색 → Cloud9 Create environment m5.4xLarge, Amazon Linux2 선택 생성 완료되면 생성된 인스턴스 Open Python 환경 설정 requirements.txt 생성(아래 코드 참조) langchain==0.0.165 openai==0.27.6 chromadb==0.3.22 tiktoken==0.4.0 2. pip 로 python 3rd party library 설치 (터미널에서 아래 명령어 실행) pip install -r requirements.txt 2-1. 도중에 No space left of de.. 공감수 0 댓글수 1 2023. 10. 19.
  • [AWS 사전공인교육] 5. AWS에서 ChatGPT 서비스 구현하기 (1) 5-1. Lambda ChatGPT 먼저 ChatGPT를 구현해보기 위해서는 OpenAI 상의 API Key가 필요하다. 그러므로 아래 링크에 접속해 본인의 고유한 API를 발급받은 후, 이를 복사해두자. (재발급이 되긴 하지만 귀찮으니까...) https://platform.openai.com/account/api-keys OpenAI Platform Explore developer resources, tutorials, API docs, and dynamic examples to get the most out of OpenAI's platform. platform.openai.com 여기서 왼쪽 카테고리의 API Keys 접속 - Create new secret Key 클릭하면 됨! 다시 코드로 돌아.. 공감수 1 댓글수 1 2023. 10. 13.
  • [AWS 사전공인교육] 4. AWS의 서비스 종류 4-1. Lambda Trigger 1. HTTP API vs REST API : 결론부터 말하자면 아래와 같다. 그렇다면 HTTP API부터, AWS가 어떻게 서비스를 제공하는지 살펴보자. HTTP API 1) 트리거 추가 2) API Gateway 선택 3) 구성 설정 4) Security & CORS 설정 생성된 API endpoint 링크를 클릭하면 기존에 만들었던 Lambda 함수가 실행된다. Rest API 이후 저 트리거 추가에서 그리고 이때 API NAME 은 http api 의 name 과 다르게 정해야 한다! 그러면 API Endpoint가 생성된 것을 확인할 수 있다 :) 그리고 저 트리거 추가에서, Scheduler가 필요하면 EventBridge를 검색해 추가하면 된다. 구성은 아.. 공감수 0 댓글수 0 2023. 10. 11.
  • [AWS 사전공인교육] Streamlit 활용하기 (2) 요 이틀간...갑자기 조회수가 치솟아서 좀 무섭다 ,,, 뭘...검색하고 오는 거지...? 여튼 AWS Streamlit 활용교육 기록 2차 :) 9. 위젯 9.1. st.checkbox – 체크박스 import streamlit as st ## Checkbox if st.checkbox("Show/Hide"): st.write("체크박스가 선택되었습니다.") 9.2 라디오버튼 import streamlit as st ## Radio button status = st.radio("Select status.", ("Active", "Inactive")) if status == "Active": st.success("활성화 되었습니다.") else: st.warning("비활성화 되었습니다.") 9.3. s.. 공감수 0 댓글수 1 2023. 10. 7.
  • [AWS 사전공인교육] Streamlit 활용하기 (1) Streamlit은 Google Colab, Jupyter notebook 등 파이썬 언어를 지원하는 곳 어디에서나 활용이 가능한 시각화 툴이다. 분석 툴이 아니기 때문에, 프론트 지식이 어느 정도는 뒷받침되어야 한다고 생각함 (디자인 센스라도 ,,) 설치부터 실행까지 기본적인 코드는 아래와 같다. 만약 아래 기본 코드가 먹히지 않는다면 !pip install (magic command) 나 pip3 로 변경하면 된다. #1. Streamlit 모듈 설치하기 pip install streamlit #2. 앱 폴더 및 파일 만들기 mkdir apps cd apps touch app.py #3. Streamlit 모듈 import 하고 실행하기 import streamlit as st #4. Streamli.. 공감수 0 댓글수 1 2023. 10. 4.
  • [AWS 사전공인교육] 10-1.Crawling 기본코드 정리 사실 AWS 사전공인교육이 아니더라도 크롤링은 데이터 수집의 가장 대표적인 방법론으로 언급되는 만큼, 내가 보기 위해서라도 정리할 필요가 있다고 생각해 노션에 올려만 뒀던 것들과 결합해 작성해본다. 시험 끝나고 왔더니 죽을맛이다... BeautifulSoup 정적 페이지 크롤링 library !pip install beautifulsoup4 !pip install requests [BS4 기본 코드] import requests from bs4 import BeautifulSoup url = 'https://naver.com' response = requests.get(url) if response.status_code == 200: soup = BeautifulSoup(response.text, 'ht.. 공감수 0 댓글수 0 2023. 9. 28.
  • [AWS 사전공인교육] 3. Lambda ~ 3.1 Hello World API Lambda를 활용해 서비스를 배포한다고 해보자. 이 경우 크게 아래의 흐름을 따라가게 된다. Function 생성 function type language 선택 코딩 이벤트 생성 테스트 배포 배포 버튼 클릭 함수 URL 생성 Lambda의 장점은 아래와 같이 크게 4가지가 있는데, 디버깅이 어렵다는 단점이 있다. 유연한 스케일링: Lambda 함수는 요청에 따라 자동으로 스케일링되므로 사용자의 부하에 따라 자원을 최적으로 활용할 수 있습니다. 높은 가용성: Lambda는 다중 가용 영역에서 실행됩니다. 따라서 Lambda 함수가 실행되는 동안 장애가 발생해도 다른 가용 영역에서 자동으로 실행됩니다. 효율적인 비용 관리: Lambda 함수는 실행된 시간에 대해서만 과금이 이루어집니다. 따라서 사용자는 자.. 공감수 0 댓글수 0 2023. 9. 19.
  • [AWS 사전공인교육] 2. AWS Cloud9 - Hello World API 및 실행 2. AWS Cloud 9 Provisioning 시스템OS, 자원, 할당등 Windows, Linux, Ubuntu… Memory, CPU… Python library 설치 (java, js, c# 모든 언어 가능) 기본 제공한 Python 버전이 정해져 있음 dJango, Flask, FastAPI 등의 library 설치 WebService 제공 WebService App 실행 (참고) flask 의 경고문구 (wsgi) 개발, dev 용으로만 사용 Network 설정 cloud 에서 실행한 웹 서비스에 대한 접근 설정 inbound port 설정 8080, 8081, 8082 는 열려있음. 2-1. AWS Cloud9 - Hello World API AWS → Cloud9 → Create envi.. 공감수 0 댓글수 0 2023. 9. 16.
  • [AWS 사전공인교육] 1. Cloud와 Serverless 시작에 앞서 해당 카테고리의 포스트는 AWS 본사 측의 교육을 수강 후 작성하는 것임을 밝힙니다. 때문에, 커리큘럼이나 순서가 해당 교육의 순서와 유사 혹은 일치할 수 있습니다. 먼저 Python을 활용한 서버리스(serverless) 코딩의 경우 이미 디지털파워온 교육 때 대략 접해봤던 영역이긴 했다. https://nowolver.tistory.com/m/79 [디지털파워온] Python Serverless Coding Python 클라우드는 다 빌려서 사용함 서버리스는 서버가 없다는 것이 아니라, 준비된 서버가 없다는 것(사용자가 요청한 후 만들어지는 것) 자바가 강세였지만, 이제는 파이썬(전 세계적으로 대세 nowolver.tistory.com 그러나 ... 이건 무려 7개월 전 + 단기교육이었기.. 공감수 0 댓글수 0 2023. 9. 16.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.