k8s 2

airflow 2버전에서 filter_by_owner 사용하기

계정 만들어서 테스트 하다가 오너를 분명 다른 계정으로 해놨는데 나오길래 찾아보니 filter_by_owner 설정을 하면 된다고 하길래 설정에서 찾아보니 없음... 2버전에서는 없어졌다고 한다. role설정으로 처리가 가능하겠지 했는데 해당 role에 DAG를 하나씩 넣어줘야 해서 사람 할 짓이 아닌 거 같았다. API로 자동화를 할까 했다가 너무 비효율적이라서 그냥 소스 수정하기로 함. 버전에 맞게 에어플로우 저장소에서 가져와도 되긴 하는데, 혹시나 해서 실제 쓰는 걸 가져오기로 함. airflow k8s helm으로 설치를 한 거라 webserver pod 들어가서 찾아봄. /home/airflow/.local/lib/python3.7/site-packages/airflow/www/views.py ..

삽질/Airflow 2023.06.07

airflow k8s (helm) 설치

마땅히 할만한 qa서버를 못 구해서 다른 분들처럼 걍 로컬에서 VM에 올리기로 함. VM은 최소 CPU 2개, RAM 2기가, 하드 20기가 필요. (아니면 실행이 안 됨.) 네트워크 설정은 아래 내용 참고 https://sooonworld.tistory.com/17 위 내용대로 했으면, ssh 접속은 192.168.11.3으로 하면 됨. 1. K8s 설치 https://kubernetes.io/ko/docs/tasks/tools/install-kubectl-linux/ 리눅스에 kubectl 설치 및 설정 시작하기 전에 클러스터의 마이너(minor) 버전 차이 내에 있는 kubectl 버전을 사용해야 한다. 예를 들어, v1.27 클라이언트는 v1.26, v1.27, v1.28의 컨트롤 플레인과 연동될..

삽질/Airflow 2023.05.18
반응형