maengis blog

docker-compose.yaml에서 _PIP_ADDITIONAL_REQUIREMENTS: ${_PIP_ADDITIONAL_REQUIREMENTS:- kafka-python==2.0.2 clickhouse-driver==0.2.6} 추가로 설치한 pypi 적고 파드 올리려는데 파드가 안 올라가서 docker logs로 로그를 봄. gcc -pthread -Wno-unused-result -Wsign-compare -DNDEBUG -g -fwrapv -O3 -Wall -fPIC -I/usr/local/include/python3.7m -c lib/zoneinfo_module.c -o build/temp.linux-aarch64-cpython-37/lib/zoneinfo_module.o -std=c99 e..

계정 만들어서 테스트 하다가 오너를 분명 다른 계정으로 해놨는데 나오길래 찾아보니 filter_by_owner 설정을 하면 된다고 하길래 설정에서 찾아보니 없음... 2버전에서는 없어졌다고 한다. role설정으로 처리가 가능하겠지 했는데 해당 role에 DAG를 하나씩 넣어줘야 해서 사람 할 짓이 아닌 거 같았다. API로 자동화를 할까 했다가 너무 비효율적이라서 그냥 소스 수정하기로 함. 버전에 맞게 에어플로우 저장소에서 가져와도 되긴 하는데, 혹시나 해서 실제 쓰는 걸 가져오기로 함. airflow k8s helm으로 설치를 한 거라 webserver pod 들어가서 찾아봄. /home/airflow/.local/lib/python3.7/site-packages/airflow/www/views.py ..

회사 꺼라 docker desktop 쓰면 안 돼서 rancherdesktop 사용함. curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.5.3/docker-compose.yaml' # 임의 경로에 airflow 디렉토리 생성 후 mkdir ./dags ./logs ./plugins echo -e "AIRFLOW_UID=$(id -u)\nAIRFLOW_GID=0" > .env docker-compose up airflow-init docker-compose up -d http://localhost:8080 airflow / airflow