oddsummer

데이터 분석가 : 문제 해결을 위한 KPI 설계, 인사이트, 대시보드 제공, 데이터 의사결정을 도와줌사이언티스트 : 프로덕트 디벨롭하고 만드는데 활용엔지니어 : 데이터 수집을 위한 데이터 파이프라인 개발, 유지보수 1. 기술 역량 (SQL, 대시보드 툴, 파이썬)2. 프로젝트 경험 : 문제 정의 -> 가설 설정 -> 데이터 분석 -> 결과 (2~3개면 충분, 중요한건 분석을 통한 문제해결)3. 포트폴리오 (원인 분석, 제안, 결과 예상, 분석 결과정리 핵심) 산업군 선택 -> 도메인 맞춤 전략 프로젝트 쌓기

백준 15552번 : 빠른 A+B 알고리즘 문제를 풀 때, 사용자의 입력을 받기 위해 input() 과 sys.stdin.readline() 을 사용한다.이 때, 반복문으로 여러줄을 입력 받아야 할 때 input() 으로 입력 받으면 시간초과가 발생할 수 있다. 시간초과가 나타나는 input() 코드num = int(input())for i in range(num): a, b = map(int, input().split()) print(a+b) sys.stdin 코드import sysinput = sys.stdin.readline()num = int(input())for i in range(num): a, b = map(int, input().split()) print(a+b) 1...

redhat1. mariaDBhttps://mariadb.org/download/?t=repo-config&d=Red+Hat+Enterprise+Linux+9&v=11.2&r_m=xtom_jp 1) 설치sudo vi /etc/yum.repos.d/MariaDB.repo# MariaDB 11.2 RedHatEnterpriseLinux repository list - created 2024-11-07 01:39 UTC# https://mariadb.org/download/[mariadb]name = MariaDB# rpm.mariadb.org is a dynamic mirror if your preferred mirror goes offline. See https://mariadb.org/mirrorbits..

ngrinder (server) / blog (agent)1. 서버에 kube installcurl -sfL https://get.k3s.io | sh - sudo k3s kubectl get node  2. 서버에서 token url 조회sudo cat /var/lib/rancher/k3s/server/node-tokensudo kubectl get node 3. Agent에서 run agentcurl -sfL https://get.k3s.io | K3S_URL=https://:6443 K3S_TOKEN= sh - +) 혹시 안될때 uninstall 실행 후 재실행하기/usr/local/bin/k3s-agent-uninstall.sh 4. 서버에서 잘 띄워졌는지 확인sudo kubectl get nod..

0. git clone1. pdm 환경 설정pip install pdmpdm initpdm add requests beautifulsoup4 selenium 2. chrome driver 설치 chrome driver 저장소 추가# 필수 패키지 설치sudo apt updatesudo apt install -y wget# Google Chrome 설치 파일 다운로드wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb chrome driver 설치sudo apt install -y ./google-chrome-stable_current_amd64.debgoogle-chrome --version

1. JSON 파일 불러오기%spark.pysparkimport osinput_path = os.path.expanduser('~/data/movbotdata/movieList.json')jdf = spark.read.option("multiline", "true").json(input_path)#jdf = spark.read.option("multiline","true").json('/home/odsummer/data/movbotdata/movieList.json') json파일 안에 데이터 형식 단일이 아닌 여러줄로 구성되어 있는 경우, multiline 값을 true로 주는 옵션을 줘야한다.2. JSON 파일 스키마 확인%spark.pysparkjdf.printSchema()root |-- comp..

FACTSdynamic jsonline notifykafka https://oddsummer.tistory.com/50 8월 3주차 (8/19~8/23)0819dynamic json 자습^^.. (0820에서 이어짐)08201. git merge 충돌해결1) git push 실행 Updates were rejected because the remote contains work that you do not have locally 에러. 즉 git pull 하라는 뜻2) git pull 실행merge strategy 설정oddsummer.tistory.com 1. dynamic json 실습https://oddsummer.tistory.com/49 movies-dynamic-jsonGITHUBhttps://..

0819dynamic json 자습^^.. (0820에서 이어짐)08201. git merge 충돌해결1) git push 실행 Updates were rejected because the remote contains work that you do not have locally 에러. 즉 git pull 하라는 뜻2) git pull 실행merge strategy 설정하라고 뜸.  git config pull.rebase false 으로 설정3) 다시 git pull Automatic merge failed; fix conflicts and then commit the result. 병합충돌 해결하라는 에러 뜸 4) 충돌된 파일 열면 이런식으로 표시                 현재 branch의 충돌 ..

GITHUBhttps://github.com/oddsummer56/movdata/tree/v0.2/movieListhttps://github.com/oddsummer56/spark_flow/tree/0.3.0/movies-dynamic-json DAG movies_dynamic_json from datetime import datetime, timedeltafrom textwrap import dedent# The DAG object; we'll need this to instantiate a DAGfrom airflow import DAG# Operators; we need this to operate!from airflow.operators.bash import BashOperatorfrom airf..

https://github.com/pladata-encore/DE32_101/issues/65 v0.2 : 영화목록API를 호출해서 연도별 영화목록 추출하기이미 다운받은 연도의 영화목록은 SKIP 하도록 설정import requestsimport osimport jsonimport timefrom tqdm import tqdmAPI_KEY = os.getenv('MOVIE_API_KEY')def save_json(data, file_path): # 파일저장 경로 MKDIR os.makedirs(os.path.dirname(file_path), exist_ok=True) with open(file_path, 'w', encoding='utf-8') as f: json.dump(..