airflow 13

airflow k8s (helm) 설치

마땅히 할만한 qa서버를 못 구해서 다른 분들처럼 걍 로컬에서 VM에 올리기로 함. VM은 최소 CPU 2개, RAM 2기가, 하드 20기가 필요. (아니면 실행이 안 됨.) 네트워크 설정은 아래 내용 참고 https://sooonworld.tistory.com/17 위 내용대로 했으면, ssh 접속은 192.168.11.3으로 하면 됨. 1. K8s 설치 https://kubernetes.io/ko/docs/tasks/tools/install-kubectl-linux/ 리눅스에 kubectl 설치 및 설정 시작하기 전에 클러스터의 마이너(minor) 버전 차이 내에 있는 kubectl 버전을 사용해야 한다. 예를 들어, v1.27 클라이언트는 v1.26, v1.27, v1.28의 컨트롤 플레인과 연동될..

삽질/Airflow 2023.05.18

Airflow 1 > 2 버전 업그레이드

https://airflow.apache.org/docs/apache-airflow/stable/upgrading-from-1-10/index.html Upgrading from 1.10 to 2 — Airflow Documentation airflow.apache.org 공식 문서가 존재한다. 현재 쓰는 건 1.10.15인데, 이걸 2.3.4로 올려야 한다. 2.3버전대부터는 파이썬 3.6을 지원하지 않아서 3.7이상을 써야하고, 1.10에서 2로 바로 올릴 수 없어서 브릿지 버전인 1.10.15가 존재하는데, 다행스럽게도 나는 1.10.15를 쓰고 있어서 따로 설치해줄 필요가 없다. 사실 list_dags을 쓰면서 왜 1버전대가 2버전 얘기를 하나 했는데, 문서에 1.10.15가 브릿지 버전이라고 해..

삽질/Airflow 2022.09.05
반응형