IT (42) 썸네일형 리스트형 [Jupyter] 종속성 패키지들 정리 환경설정할때 항상 설치하는 Jupyter! 어떤 것들이 설치되는 지 정리해보았음. (Python 3.10 기준) 번호패키지이름분류설명1jupyterJupyter 핵심 구성 요소Jupyter 메타 패키지 (전체 환경 구성)2notebookNotebook 서버 및 웹 UI3ipykernelPython 커널 (코드 실행 엔진)4jupyter_client커널과의 통신을 담당하는 클라이언트5ipython인터랙티브 Python 셸 (REPL)6widgetsnbextensionUI 및 위젯 관련Notebook 위젯 확장7ipywidgets인터랙티브 위젯 제공8jupyterlab_widgetsJupyterLab용 위젯 지원9jupyterlabJupyterLab 웹 UI10qtconsoleQt 기반 콘솔 인터페이스11p.. 제로필 포맷 (Zero Fill Format) 프로젝트 종료 후 로우 레벨 포맷을 수행하라는 지시를 받았음. 로우 레벨 포맷은 디스크의 트랙과 섹터를 물리적으로 재구성하여 디스크를 초기 상태로 되돌리는 작업. HDD 등장 초기인 1980 ~ 1990년대엔 직접 로우 레벨 포맷을 수행하는 것이 일반적인 유지 관리 작업이었지만 현대 HDD 기술 도입 이후 물리적 포맷은 제조 공정에서만 가능하게 됨. 사용자 입장에서는 제로필 포맷 (Zero Fill Format) 또는 보안 삭제 (Secure Erase)를 수행하면 된다. SSD는 윈도우가 설치되어 있어, 윈도우 재설치하며 포맷을 수행했고 HDD는 윈도우 재설치 전, 데이터 백업 후 제로필 포맷을 진행하였음. 제로필 포맷 수행 순서 diskpartlist disksel disk [선택할 디스크 번호]cl.. [AWS EC2] EC2 인스턴스 볼륨 용량 늘리기 ec2 인스턴스로 분석 서버를 구축하여 사용하다 보면 디스크 용량이 부족한 경우가 있다. 이런경우 인스턴스에서 볼륨을 변경하고, 파티션을 재설정하여 디스크 용량을 늘릴 수 있다. 1. 인스턴스 볼륨 변경 (용량 증가) 1.1. 볼륨을 변경할 인스턴스를 선택하고 스토리지 > 블록 디바이스 > 볼륨ID를 클릭한다. 1.2. 볼륨ID를 다시 클릭하고 수정을 클릭한 후 볼륨 크기, IOPS, 처리량을 수정한다. 이때 볼륨 크기는 기존 볼륨 크기보다 크게만 설정할 수 있음. 2. 인스턴스 볼륨 변경 (용량 증가)ec2 인스턴스 정보 수정에서 볼륨만 올려주면 되는 줄 알았는데... 그게 아니었다. df -h 명령어로 볼륨을 확인해보면 root 용량이 5.7TB인 것을 확인할 수 있다. lsblk 커맨드를 입력하.. [Prometheus] 모니터링을 위한 MongoDB Exporter 설치 (Ubuntu 22.04) 진행 상황에 따라 내용을 추가할 예정입니다. 사흘간 몇 개의 ec2 인스턴스를 종료 했는지 모르겠네요...!! 설치한 버전MongoDB 4.4MongoDB exporter 0.20.8 1. MongoDB 설치1.1. MongoDB 4.4 패키지를 설치할 수 있도록 저장소를 추가wget -qO - https://www.mongodb.org/static/pgp/server-4.4.asc | sudo apt-key add -echo "deb [ arch=amd64,arm64 ] https://repo.mongodb.org/apt/ubuntu focal/mongodb-org/4.4 multiverse" | sudo tee /etc/apt/sources.list.d/mongodb-org-4.4.list 1... [AWS EC2] 포트 개방 기본 (맨날 헷갈려서 메모) 최근 MQ 부하 확인을 위한 서버를 개방하던 중 알고 있지만 맨날 헷갈리던 부분,간단하게 짚고 넘어가기 위해 기록. A서버에서 B서버로 데이터를 전송하기 위해 인스턴스를 생성했어요.(A서버 : pub, B서버 : Broker) B서버 보안 설정의 인바운드 규칙에서 1. A서버의 퍼블릭IP와2. 접근하려는 포트를 입력하면! A서버에서 B서버로 접근 할 수 있다. [Airflow] Airflow 예제를 통한 DAG 구조 확인 및 실행 참고도서 : Apache Airflow 기반의 데이터 파이프라인 가장 기본이 되는 예제를 연습해보았습니다. 환경 : Vscode, WSL2 (Ubuntu 20.04), anaconda(python 3.10) 1. 환경설정 airflow 설치를 위해 아나콘다에서 가상환경을 생성합니다. conda create -n airflow python=3.10 conda activate airflow 가상환경에서 airflow와 virtualenv를 설치합니다. # airflow 설치 pip install apache-airflow # virtualenv 설치 pip install virtualenv # 설치하지 않은 경우 web ui에서 다음과 같은 에러로그를 출력하였음. #Broken DAG: [/home/kwan.. [GCP] VSCode SSH 원격 제어 원격 제어 환경 : Vscode, Windows 11 vscode 환경에서 gcp 서버에 붙어 작업할 수 있도록 하기 위해 작성 1. GCP에서 사용할 VM을 생성합니다. 2. 로컬 환경으로 돌아와서 cmd를 실행한 후 윈도우에 지정된 .ssh 폴더에 ssh 키 쌍을 생성합니다. ssh-keygen -t rsa -f C:\Users\[windows 사용자이름]\.ssh\[키이름] -C [gmail계정] -b 2048 3. 해당 경로에 키이름과 키이름.pub 파일이 생성되며, pub 키파일을 메모장으로 열고 내용을 복사합니다. 4. GCP로 돌아와서, 생성한 VM 인스턴스를 클릭하고 수정 버튼을 누른 후 SSH 키 항목 추가를 클릭하고, pub파일에서 복사한 내용을 붙여넣기 한 후 저장합니다. 5. vsc.. [FastAPI] 3. pydantic 모델을 사용한 요청 바디 검증 개발환경 : WSL2 (Ubuntu 20.04), Python 3.10 (anaconda 가상환경) pydantic 모델을 사용한 요청 바디 검증 FastAPI에서는 정의된 데이터만 전송되도록 요청 바디를 검증할 수 있음. (매우 중요한 기능!!) 다음은 model.py 작성 코드이다. from pydantic import BaseModel class Todo(BaseModel): id: int item: str 이 코드는 다음 두 개의 필드만 허용하는 pydantic 모델을 만든다. 정수형(int)인 id 문자열형(str)인 item 이 모델을 POST 라우트에 사용해보자. todo.py 파일에 다음과 같이 모델을 임포트 한다. from fastapi import APIRouter from model .. 이전 1 2 3 4 ··· 6 다음
