Data Engineering/Bigdata Fundamentals 9

ngrinder, nginix

1. ngrinder & nginixngrinder : 부하 테스트와 성능 테스트를 위한 툴.  nGrinder는 주로 시스템이 일정 수준의 트래픽을 견딜 수 있는지, 병목 현상이 발생하지 않는지를 확인하기 위해 사용된다. 이를 통해 성능 최적화가 필요한 부분을 미리 파악하고, 실제 운영 환경에서 발생할 수 있는 문제를 사전에 방지가능하다. 특히, Nginx와 같은 로드 밸런서와 함께 사용하면, 다양한 부하 조건에서의 성능을 테스트하여 시스템의 안정성을 확인할 수 있다. 웹서버 nginx : LB 역할하는 proxy 서버  + 프록시: 클라이언트의 요청을 받아 실제 서버로 전달하는 역할. nginx는 리버스 프록시로 사용되는데, 이는 클라이언트와 여러 백엔드 서버 사이에 위치하여 클라이언트의 요청을 적절..

[Git] Git 특강

1. Git, Github Intro1) 깃이 없다면?변경 내역 확인 어려움 : 변경사항이 적용된 파일을 제목을 변경해서 모두 저장하면 되지 않느냐? → 스토리지 비효율작업 되돌리기 어렵다협력하기 어렵다 : git을 이용하면 나와 무관한 부분 신경쓰지 않고, 같은 부분을 다르게 수정한 부분만 확인하면 됨. 2) git의 필요성 → 버전을 관리하기 위한 도구 변경 사항(버전)을 조금 더 일목요연하게 관리해보자!버전? 유의미한 변화가 결과물로 나온 것 (새 기능 추가, 버그 수정, 기존 기능 삭제 등)프로그램 개발 == 버전을 쌓아 프로그램을 만들어나가는 것 버전관리변경내역 기억필요하면 작업을 되돌리며여러명을 코드를 쉽게 나누고 합치며 개발하는 것 3) 깃허브 (원격 저장소 호스팅 서비스) 원격 / 저장소 ..

PDM을 이용한 파이썬 패키지, 의존성 관리

PDM은 파이썬 의존성 관리 도구이다. 프로젝트 설정, 종속 항목 관리, 배포 아티팩트 빌드를 위한 단일 인터페이스를 제공한다. 또한 패키지를 프로젝트에 로컬로 저장하기 위해 PEP 582 표준을 사용한다. 이는 각 프로젝트마다 독립적인 패키지 설치 및 관리를 가능케하여 프로젝트별 가상 환경을 만들 필요가 없다.1. 설치# PDM 설치$ curl -sSL https://pdm.fming.dev/install-pdm.py | python3 -# 환경변수 등록$ export PATH=/home/oddsummer/.local/bin:$PATH pyenv 포스팅에서와 마찬가지로 zsh 쉘을 사용하기 때문에, 부팅시 활성화 하기 위해 .zshrc 맨 아래에 추가해뒀다.  2. PDM 실행# 새로운 프로젝트 초기 ..

pyenv를 이용한 여러 개의 Python 버전 관리

1. 개요 pyenv는 다양한 버전의 파이썬을 관리하는 도구이다.프로젝트 별로 다양한 버전의 파이썬을 이용해야할 때가 있는데, 이때 pyenv를 이용하면 버전관리를 쉽게 할 수 있다. 우선순위는 shell > local > gloabal > system 순이다. system은 os에 설치되어 제공되는 파이썬이며, 모든 사용자가 사용 가능하다.2. 설치 (UNIX 기준)UNIX 환경에서 설치했다. 윈도우 버전도 들어가보면 잘 나와있다. https://github.com/pyenv/pyenv?tab=readme-ov-file#automatic-installer GitHub - pyenv/pyenv: Simple Python version managementSimple Python version managem..

[Git] Markdown

1. 헤더1) 큰제목 : 문서제목This is H1========== 2) 작은제목 : 문서 부제목This is H2---------- 3) 글머리 : 1~6까지 지원# This is a H1## This is a H2### This is a H3#### This is a H4##### This is a H5###### This is a H6 2. 코드 블럭`````` 3. 링크1) url 링크일반적인 URL 혹은 이메일주소인 경우 적절한 형식으로 링크를 형성한다.* 이메일링크:  2) 인라인링크사용문법: [링크이름](링크)적용예: [Google](https://google.com, "google link") 4. 체크박스- [ ] [] 사이에 한 칸 띄워주기!! 5. 폰트__bold__**bold**_..

[Git] Git 설치, 초기 설정, 기본 사용법

1. 깃 설치sudo apt-get install git-core 버전 확인git --version 2. 깃 초기설정사용자등록git config --global user.name ''git config --global user.email '' ssh key 생성 -> public key 깃헙 등록.ssh-keygen -t rsa -C -f  key 권한 변경, 개인키 등록chmod 600 ~/.ssh/key # 개인 키 파일 권한 설정chmod 644 ~/.ssh/key.pub # 공개 키 파일 권한 설정ssh-add ~/.ssh/ pushgit remote add origin git push -u origin main clonegit clone  3. 깃 사용mkdir gitstudy #새로..

[LINUX] VIM 명령어

vi [파일명] : 파일 열기, 작성1. 커서이동     k h     l     j   커서 맨 앞 이동: 02. 문자 입력- 커서 왼쪽 문자 추가: i- 커서 오른쪽 문자 추가: a 3. 종료:q (vim 종료):q! (파일 저장하지 않고 종료):wq (파일 덮어쓰기 저장 후 종료)  4. 문자 삭제d -지우는 명령 - 삭제: x- 커서에서 그 단어 끝까지 (공백 포함): dw- 커서에서 그 단어 끝까지 (공백 제외): de- 커서 기준 줄 앞까지 삭제: d0- 커서 기준 줄 끝까지 삭제: d$- 커서 있는 행 삭제: dd (dd => n줄 삭제)5. 복사, 붙여넣기- 현재 커서 있는 행 복사: yy- d로 지운 텍스트 붙여넣기: p 5. 취소, 재실행- 실행취소: u - 전체문장취소: U 6. 검색..

[LINUX] 리눅스 기본 명령어

1. pwd, cdpwd #현재 디렉토리cd ~ #홈 디렉터리 이동cd / #root 디렉터리로 이동cd - #이전 폴더 cd . #현재 위치 (새로고침)cd .. #상위 디렉토리 => cd ../../ 두단계의 상위 디렉토리 2. ls (파일이나 디렉터리의 목록 출력)lsls -l #상세 정보 함께 출력ls -t #시간 순ls -r #시간 역순ls -a #숨겨진 파일도 출력ls ba* => ba로 시작하는 파일목록 출력 (ba, bat, bash, basssssh 등) *는 임의의 문자열ls ba?? => ba로 시작하는 4개인 글자 (bash, bast, baqe, bxwq 등) ?은 임의의 한 문장 3. mkdir 명령어mkdir [옵션] mkdir -p report/2021/05 #중첩 디렉터리 ..

[LINUX] WSL로 윈도우에 Linux 설치 (하위 시스템에는 설치된 배포판이 없습니다, 0x8004032d 오류 해결)

wsl로 리눅스 설치하기https://learn.microsoft.com/ko-kr/windows/wsl/install WSL 설치wsl --install 명령을 사용하여 Linux용 Windows 하위 시스템을 설치합니다. Ubuntu, Debian, SUSE, Kali, Fedora, Pengwin, Alpine 등 원하는 Linux 배포판에서 실행되는 Windows 머신에서 Bash 터미널을 사용할 수 있습니learn.microsoft.com Power shell, CMD (명령 프롬프트) 관리자 권한 실행wsl --installwsl --list --online #사용 가능한 배포판 목록 확인 wsl.exe --install -d Ubuntu-24.04 이때, 설치는 완료되었다고 뜨는데 아래의 명..