Helm 4

airflow k8s (helm) webserver pod 80포트 변경시 안 되는 증상

기본 포트인 8080로 띄우고 업스트림을 8080로 잡았는데, 접근 자체가 안 돼서 확인을 해보니 회사에서 쓰는 건 80, 443만 쓸 수 있었다. 왜 이러나 하다가 결국 포트를 바꾸기로 함. values.yaml에서 포트를 80으로 바꾸고 적용 했는데, webserver pod가 계속 재시작 함. 찾아보니 내부에서는 8080을 쓰고 그걸 구니콘을 통해 쓰는 거 같았다. 그래서 80으로 올리면 구니콘이랑 같이 80을 쓰려고 하니까 안 되는 거. https://github.com/apache/airflow/issues/16039

삽질/Airflow 2023.06.01

failed post-install: timed out waiting for the condition

실서버에 에어플로우를 설치하려고 하니 해당 오류가 발생. client.go:773: [debug] airflow-run-airflow-migrations: Jobs active: 1, jobs failed: 0, jobs succeeded: 0 W0530 19:16:15.686219 23727 reflector.go:456] k8s.io/client-go@v0.27.1/tools/cache/reflector.go:231: watch of *unstructured.Unstructured ended with: an error on the server ("unable to decode an event from the watch stream: stream error: stream ID 293; INTERNAL_..

airflow k8s(helm) pip 패키지 설치 추가

helm으로 airflow 설치 후 dag 작성하고 테스트를 하려는데 kafka-python을 설치해야 했다. 예제로 mariadb > kafka로 데이터를 넣는 걸 작성하려고 했는데, 문제는 이걸 비개발자가 chatgpt만 사용해서 dag을 작성할 수 있게 하는 게 목표라서 미리 PyPI인 kafka-python을 설치해야 했다. values.yaml에 있는 extraPipPackages를 사용 했는데 설치가 안 됐다. https://github.com/airflow-helm/charts/blob/main/charts/airflow/docs/faq/configuration/extra-python-packages.md GitHub - airflow-helm/charts: The User-Community..

삽질/Airflow 2023.05.24

GitLab, Airflow 연동

1. 깃랩 연동을 위해 계정 정보 등록 apiVersion: v1 kind: Secret metadata: name: git-credentials namespace: airflow type: Opaque data: GIT_SYNC_USERNAME: {아이디 base64인코딩} GIT_SYNC_PASSWORD: {비번 base64인코딩} 적용 kubectl apply -f airflow_gitlab_secret.yaml 2. airflow gitsync 설정 변경 values.yaml 수정 # Git sync dags: persistence: # Annotations for dags PVC annotations: {} # Enable persistent volume for storing dags enabl..

삽질/Airflow 2023.05.22
반응형