삽질/Airflow

Airflow 2버전에서 한글이 있는 DAG이 등록 안 되는 문제

maengis 2023. 6. 8. 18:31

로그를 봤으면 금방 찾았을 건데 정신이 없어서 한글이 문제라는 걸 아는 것도 시간이 좀 걸렸다.

파이썬 오류로 보면 UnicodeEncodeError...가 나올 건데, 이래저래 찾아보니 sql_engine_encoding 옵션을 쓰라거나 sql_alchemy_conn에 charset을 쓰라거나 하는 얘기가 있었지만, helm chart로 설치해서 예전 버전에 있던 옵션들은 존재하지 않았다.

 

https://github.com/apache/airflow/issues/28798

 

Processor unable to parse DAG with non english characters · Issue #28798 · apache/airflow

Apache Airflow version Other Airflow 2 version (please specify below) What happened Airflow version: 2.3.2 OS: Linux When processor tries to load DAG files with non english characters (for example ...

github.com

 

이걸 보고 설마 해서 postgresql 설정을 보니

 

client_encoding = sql_ascii

 

흡...

기존에 쓰던 데이터들은 한글이 아니라서 문제가 안 되었다. 여튼 utf-8로 바꾸고 리로드 해서 해결함.

반응형