컴퓨터 과학 (117) 썸네일형 리스트형 AWS CDK환경 구성하기 기준은 wsl을 사용한 linux 환경이다.깔려있는것은 아예 없는 상태에서 시작한다. 0. sudo apt update, venv 설치1. npm, nodejs 설치2. curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip" (파일 다운로드)3. unzip awscliv2.zip4. sudo ./aws/install (어느 디렉토리에서 aws 명령을 수행하도록 심볼릭 링크 생성)5. aws --version (설치 확인)6. 계정 우측 상단의 "보안 자격 증명" 메뉴로 들어가 액세스 키를 발급받고 7. 아래 명령어 입력 aws configure$ aws configure AWS Access Key ID [Non.. AWS EC2에 mlflow 설치후 연동시키기 AWS EC2에서 실행하는경우 (Ubuntu)sudo apt updatesudo apt install python3-pipsudo apt install python3.12-venvpython3 -m venv myenvsource myenv/bin/activatepip install mlflowModuleNotFoundError: No module named 'pkg_resources’ 에러등장 → pip install setuptoolsmlflow server —host 0.0.0.0 (호스트로 자신의 0.0.0.0을 할당하라) → 포트를 통해 mlflow 접근 가능 (같은 데스크탑(로컬)에서 실행했기에 접근 가능)mlflow server --host 0.0.0.0 --port 5000 &> /dev/n.. 쿼리 튜닝 1. 맨처음 리스트를 조회하는 화면에서 외부 REQ_MST, REQ_BLK 테이블을 조인하는 과정을 반복적인 쿼리로 3번 ACCESS하는 경우를 발견했다. -> WITH 문으로 임시테이블 생성 2. LEFT JOIN후 IS NOT NULL 조건을 사용하여 INTERSECTION하는 경우가 있었는데 이경우 처음 부터 INNER JOIN을 하여 쿼리 개선 하였음 반복적인 쿼리와 실행계획만 잘봐도 웬만한 속도는 나오는것 같다. aws lambda를 이용해 html 파일 s3에 떨구기 layer 는 plotly, aws에서 제공하는 pandas를 사용한다.python3.10 버전을 이용함 import jsonimport requestsdata = { "data": ["credit"], "category": [ "draw1", "draw2", "draw3", "draw4" ]}파이썬 코드에서 다음과 같은 json 파일을 보내주었다. (str형식) 여기선 쌍따옴표 (") 를 쓰도록하자 해당 파일을 보내면 event에 body에 encode된 상태로 올라가기때문에 decode해주는 과정이 필요하다. 이부분때문에 상당히 시간을 소비했던것 같은데lambda쪽에서 에러가 등장하면 cloudwatch를 확인해보도록 하자 오늘은 로컬에서 API-GA.. mlflow 환경 만들기 virtualenv를 사용해서 가상환경을 만들어놓고 이 안에서 해결하려한다. ls /bin /bin위에 있는 것이 가상환경 이름이라고 생각하면 된다. 여기있는env는 내가 만든 가상환경의 이름이다. __pycache__ 디렉토리는 Python의 바이트 코드를 저장하는 임시 디렉토리입니다. Python 코드가 실행될 때, 파이썬은 해당 코드를 바로 실행하는 것이 아니라 먼저 바이트 코드(bytecode)로 변환한 후 실행합니다. 이는 실행 속도를 향상시키기 위한 작업입니다.일반적으로 Python은 .pyc 확장자를 가진 바이트 코드 파일을 생성하여 이를 재사용합니다. 이러한 .pyc 파일들은 일반적으로 __pycache__ 디렉토리 내부에 저장됩니다. 파이썬은 이러한 디렉토리를 자동으로 생성하며, 코드.. AWS Solutions Architect - Associate SAA-C03 Dump 해설(21~30) Question #21Topic 1 An ecommerce company wants to launch a one-deal-a-day website on AWS. Each day will feature exactly one product on sale for a period of 24 hours. The company wants to be able to handle millions of requests each hour with millisecond latency during peak hours. Which solution will meet these requirements with the LEAST operational overhead? A. Use Amazon S3 to host the full web.. k8s k8s 의 구성요소 pod: k8s의 workload의 최소단위 namespace: 하나의 쿠버네티스 클러스터를 논리적으로 나누어 사용할수 있게하는 가상의 영역 QA와 PRD를 나눌 때 생각하면됨 (아예 분리된 두개의 서버) deployment - pod을 직접 제어하는 경우는 거의 없음 - 다수의 pod를 생성할수 있어야함 - 새로운 버전으로 업데이트 필요 - 새로운 버전에 문제가 있을 경우 롤백 필요 - deployment가 ReplicaSet을 생성 - ReplicaSet이 Pod를 생성 watch - 모니터링하는 하나의 툴 watch [command]를 사용하면 해당 상황을 모니터링할수 있다. kubectl 명령어들을 잘아야 많은 컨테이너들을 제어할수 있을듯 하다. 현재는 scale : pod 개.. k8s 다운로드 desktop docker를 사용하면서 docker를 사용하다가 k8s를 사용해야할 일이 있어서 이를 다운로드 하려했다. 환경은 ubuntu22.04 아주 고생했다... 1. docker 설치 이부분은 docker desktop을 설치하는 과정에서 설정되었기에 보다 간편히 설치했다.Docker version 24.0.5, build 24.0.5-0ubuntu1~22.04.1Client: Version: 24.0.5 API version: 1.43 Go version: go1.20.3 Git commit: 24.0.5-0ubuntu1~22.04.1 Built: Mon Aug 21 19:50:14 2023 OS/Arch: .. 이전 1 2 3 4 5 6 7 ··· 15 다음
