oddsummer

redhat1. mariaDBhttps://mariadb.org/download/?t=repo-config&d=Red+Hat+Enterprise+Linux+9&v=11.2&r_m=xtom_jp 1) 설치sudo vi /etc/yum.repos.d/MariaDB.repo# MariaDB 11.2 RedHatEnterpriseLinux repository list - created 2024-11-07 01:39 UTC# https://mariadb.org/download/[mariadb]name = MariaDB# rpm.mariadb.org is a dynamic mirror if your preferred mirror goes offline. See https://mariadb.org/mirrorbits..

ngrinder (server) / blog (agent)1. 서버에 kube installcurl -sfL https://get.k3s.io | sh - sudo k3s kubectl get node  2. 서버에서 token url 조회sudo cat /var/lib/rancher/k3s/server/node-tokensudo kubectl get node 3. Agent에서 run agentcurl -sfL https://get.k3s.io | K3S_URL=https://:6443 K3S_TOKEN= sh - +) 혹시 안될때 uninstall 실행 후 재실행하기/usr/local/bin/k3s-agent-uninstall.sh 4. 서버에서 잘 띄워졌는지 확인sudo kubectl get nod..

FACTSdynamic jsonline notifykafka https://oddsummer.tistory.com/50 8월 3주차 (8/19~8/23)0819dynamic json 자습^^.. (0820에서 이어짐)08201. git merge 충돌해결1) git push 실행 Updates were rejected because the remote contains work that you do not have locally 에러. 즉 git pull 하라는 뜻2) git pull 실행merge strategy 설정oddsummer.tistory.com 1. dynamic json 실습https://oddsummer.tistory.com/49 movies-dynamic-jsonGITHUBhttps://..

0819dynamic json 자습^^.. (0820에서 이어짐)08201. git merge 충돌해결1) git push 실행 Updates were rejected because the remote contains work that you do not have locally 에러. 즉 git pull 하라는 뜻2) git pull 실행merge strategy 설정하라고 뜸.  git config pull.rebase false 으로 설정3) 다시 git pull Automatic merge failed; fix conflicts and then commit the result. 병합충돌 해결하라는 에러 뜸 4) 충돌된 파일 열면 이런식으로 표시                 현재 branch의 충돌 ..

FACTS부하/성능 테스트 복습fast api 동작, 성능 테스트spark clusterspark-submitmovdata 광고데이터 분석 (zeppelin) https://oddsummer.tistory.com/44 8월 2주차 (8/12~8/16)8/12 (월)서버 부하 테스트 실습 fastapi 1.  지난 주 리뷰1)  ngrinder, ngnix- ngrinder : 부하 테스트와 성능 테스트를 위한 툴. Nginx와 같은 로드 밸런서와 함께 사용하면, 다양한 부하 조건에서의 성능oddsummer.tistory.com1. ngrinder, ngnix- ngrinder : 부하 테스트와 성능 테스트를 위한 툴. Nginx와 같은 로드 밸런서와 함께 사용하면, 다양한 부하 조건에서의 성능을 테스트하..

8/12 (월)서버 부하 테스트 실습 fastapi 1.  지난 주 리뷰1)  ngrinder, ngnix- ngrinder : 부하 테스트와 성능 테스트를 위한 툴. Nginx와 같은 로드 밸런서와 함께 사용하면, 다양한 부하 조건에서의 성능을 테스트하여 시스템의 안정성을 확인할 수 있다. - 웹서버 nginx : LB 역할하는 proxy 서버 + 프록시: 클라이언트의 요청을 받아 실제 서버로 전달하는 역할. + 로드밸런싱: 여러 서버에 걸쳐 트래픽을 균등하게 분산시키는 역할 2) 실행(1) 웹서버 실행$ nohup python -m http.server &$ echo $! > pid (2) ngrinder 실행 - controllerjava -jar ngrinder-controller-3.5.9-p..

FACTS팀 프로젝트 스파크, 제플린 설치 / 분산처리, 배치처리 개념ngrinder 성능, 부하테스트s3 에서 데이터 복사해와서 지정된 위치에 저장 1. 팀 프로젝트 시작https://github.com/pladata-encore/DE32_101/issues/47https://oddsummer.tistory.com/45 TRG 팀 프로젝트1. 프로젝트 주제영화 박스오피스 데이터 수집/처리/보관 및 활용 2. 프로젝트 내용영화 박스오피스 데이터 수집/처리/보관 및 활용에 대하여각각 단계에 대하여 파이썬 프로그램을 package(PIP설oddsummer.tistory.com영화 박스오피스 데이터 수집/처리/보관 및 활용에 대하여각각 단계에 대하여 파이썬 프로그램을 package(PIP설치) 단위로 개발개발..

FACTS영화진흥위원회 OPEN APImovie pipeline팀프로젝트 시작!1. 영화진흥위원회 OPEN API https://oddsummer.tistory.com/28 영화진흥위원회 API (pytest 실습)1. 새로운 환경 세팅pyenv global 3.11.9pdm initls -l .venv #제대로 생겼는지 확인source .venv/bin/activate2. 영화진흥위원회 https://www.kobis.or.kr/kobisopenapi/homepg/main/main.do 영화진흥위원회 오픈APIOPEN API 서비스oddsummer.tistory.com 영화진흥위원회 openAPI를 활용하여 특정 날짜의 박스 오피스 데이터를 받아오고 이를 원하는 방식으로 저장하는 실습을 진행하였다. p..

FACTSairflow import_db 파이프라인airflow make_parquet 파이프라인argparser를 이용한 히스토리 cli 고도화pytestmovie pipeline (진행 중)플레이데이터 토킹데이 (주말) 0. Intro - simple_bash 파이프라인https://oddsummer.tistory.com/16 [AIRFLOW] simple_bash 파이프라인 만들기 실습DAG이 실제로 작업을 수행하기 위해서는 태스크 정의를 해야한다. 하나의 테스크들이 모여 하나의 DAG을 구성하고, DAG들이 모여 workflow가 이루어진다.  Airflow 태스크의 특징은 항상 멱등성을 가oddsummer.tistory.com 3주 차에서 완성한 simple_bash 파이프라인은 history_..

FACTSPDM, 첫 번째 팀 프로젝트 mo-cmd (PDM add, sub, div calculate package)airflow 시작하기airflow simple_bash 파이프라인 airflow import_db 파이프라인 (진행 중)GIT 특강 (주말)1. PDM1) pyenv를 이용한 python 버전관리 https://oddsummer.tistory.com/7 pyenv를 이용한 여러 개의 Python 버전 관리1. 개요 pyenv는 다양한 버전의 파이썬을 관리하는 도구이다.프로젝트 별로 다양한 버전의 파이썬을 이용해야할 때가 있는데, 이때 pyenv를 이용하면 버전관리를 쉽게 할 수 있다. 우선순위는 shelloddsummer.tistory.com프로젝트 별로 다양한 버전의 파이썬을 이용해야..