maengis blog

helm으로 airflow 설치 후 dag 작성하고 테스트를 하려는데 kafka-python을 설치해야 했다. 예제로 mariadb > kafka로 데이터를 넣는 걸 작성하려고 했는데, 문제는 이걸 비개발자가 chatgpt만 사용해서 dag을 작성할 수 있게 하는 게 목표라서 미리 PyPI인 kafka-python을 설치해야 했다. values.yaml에 있는 extraPipPackages를 사용 했는데 설치가 안 됐다. https://github.com/airflow-helm/charts/blob/main/charts/airflow/docs/faq/configuration/extra-python-packages.md GitHub - airflow-helm/charts: The User-Community..

1. 깃랩 연동을 위해 계정 정보 등록 apiVersion: v1 kind: Secret metadata: name: git-credentials namespace: airflow type: Opaque data: GIT_SYNC_USERNAME: {아이디 base64인코딩} GIT_SYNC_PASSWORD: {비번 base64인코딩} 적용 kubectl apply -f airflow_gitlab_secret.yaml 2. airflow gitsync 설정 변경 values.yaml 수정 # Git sync dags: persistence: # Annotations for dags PVC annotations: {} # Enable persistent volume for storing dags enabl..

마땅히 할만한 qa서버를 못 구해서 다른 분들처럼 걍 로컬에서 VM에 올리기로 함. VM은 최소 CPU 2개, RAM 2기가, 하드 20기가 필요. (아니면 실행이 안 됨.) 네트워크 설정은 아래 내용 참고 https://sooonworld.tistory.com/17 위 내용대로 했으면, ssh 접속은 192.168.11.3으로 하면 됨. 1. K8s 설치 https://kubernetes.io/ko/docs/tasks/tools/install-kubectl-linux/ 리눅스에 kubectl 설치 및 설정 시작하기 전에 클러스터의 마이너(minor) 버전 차이 내에 있는 kubectl 버전을 사용해야 한다. 예를 들어, v1.27 클라이언트는 v1.26, v1.27, v1.28의 컨트롤 플레인과 연동될..

https://airflow.apache.org/docs/apache-airflow/stable/upgrading-from-1-10/index.html Upgrading from 1.10 to 2 — Airflow Documentation airflow.apache.org 공식 문서가 존재한다. 현재 쓰는 건 1.10.15인데, 이걸 2.3.4로 올려야 한다. 2.3버전대부터는 파이썬 3.6을 지원하지 않아서 3.7이상을 써야하고, 1.10에서 2로 바로 올릴 수 없어서 브릿지 버전인 1.10.15가 존재하는데, 다행스럽게도 나는 1.10.15를 쓰고 있어서 따로 설치해줄 필요가 없다. 사실 list_dags을 쓰면서 왜 1버전대가 2버전 얘기를 하나 했는데, 문서에 1.10.15가 브릿지 버전이라고 해..