maengis blog

ASRock Q1900-ITX를 고친 건 아니고... 결국 HTPC에 SSD, HDD를 전부 옮겨서 후기 겸 쓴다. 정전을 한다고 해서 미리 NAS를 껐다. 한 시간 정도 후에 정전이 끝나서 다시 켰는데, 켜지긴 했는데 서버에 접근이 안 됨. HDMI 연결해서 모니터에서 보려고 하는데 화면도 안 나옴. 뒤에 보니 랜에도 불이 안 들어옴. 보통 이런 경우에는 전원을 차단하고 몇 분 있다가 다시 켜 보기 (안 됨) 전원을 차단하고 메인보드에 배터리 제거 하고 몇 분 있다가 다시 켜 보기 (안 됨) CMOS 클리어 점퍼로 클리어 해 보기 (안 됨) 램 빼서 청소 후 껴 보기 (안 됨) 파워 서플라이 바꿔 보기 (안 됨) USB에서 5v는 온전히 나오는 걸 봐서 파워 서플라이 문제는 아니고, CPU가 아예 죽은..

docker-compose.yaml에서 _PIP_ADDITIONAL_REQUIREMENTS: ${_PIP_ADDITIONAL_REQUIREMENTS:- kafka-python==2.0.2 clickhouse-driver==0.2.6} 추가로 설치한 pypi 적고 파드 올리려는데 파드가 안 올라가서 docker logs로 로그를 봄. gcc -pthread -Wno-unused-result -Wsign-compare -DNDEBUG -g -fwrapv -O3 -Wall -fPIC -I/usr/local/include/python3.7m -c lib/zoneinfo_module.c -o build/temp.linux-aarch64-cpython-37/lib/zoneinfo_module.o -std=c99 e..

2017년 8월에 경성글로벌코리아 UHD3216R REAL 4K MINE 제품을 36만원 주고 구입 했다. PC로 주로 하는 게 코드 작성, 사진 편집, 웹서핑, 동영상 재생 정도라서 해상도가 큰 게 필요해서 구입을 했고, 3년 반 정도 지난 2021년 1월에 좌측 하단 LED 하나가 고장이 나서 현금 15만원을 주고 수리 했다. (15만원이나 주고 수리를 했는데, 해당 LED만 딱 교체를 해 버려서 밝기가 안 맞았다. 미리 얘기를 해주긴 했는데 사설 수리 업체에서도 그 정도로 심하지 않게 맞춰 줄 텐데... 뭐 다시 경성글로벌꺼 안 사면 되니까) 새로 사는 게 나을 수도 있었지만, 당시에는 같은 32인치 4K 제품으로 새로 구입하는 거보다 수리하는 게 낫다고 생각을 했다. (고치면 그래도 4~5년 더 ..

postgresql 기준으로 아래처럼 owners 컬럼을 추가한다. (varchar 2000인 건, dag 테이블에 owners랑 동일하게 해서 그렇다. 나처럼 모델 파일 수정을 나중에 하는 경우에만 추가하면 된다. 모델 파일 수정하고 에어플로우를 띄우면 생성 되어 있음.) alter table variable add column owners character varying(2000); alter table connection add column owners character varying(2000); airflow/models/variable.py airflow/models/connection.py 위 두 개 파일에 owners를 추가한다. 코드 보면 대충 뭘 넣어야 될지 보임. 내 경우엔 웹에서만 부..

* 스포 있음. 엔딩까지 젤다 야숨 DLC 포함해서 3회차 할 때랑 비슷하게 걸렸다. 스위치에서 나오는 거 기준으로 야숨이 135시간, 왕눈은 140시간. 야숨 DLC 포함보다 훨씬 할 게 많았지만, 야숨보다 더 친절해졌고, 야숨보다 전투가 많이 쉬워져서 비슷하게 시간이 걸린 것 같다. (메모리 이슈 때문에 붉은달이 자주 떠서 템 파밍이 편해진 것도 있고) 야숨에 비해 스토리 진행은 어느 정도 정해진 길이 있었다. 사실 야숨은 스토리에 크게 관심이 없었는데, 스토리가 궁금해서 왕눈은 코로그와 일부 퀘스트는 하지 않고 바로 가논돌프 잡으러 갈 정도로 스토리가 좋았다. 스토리에 빠지게 된 건 바로 마스터소드. 나는 스토리 순서상 마스터소드를 찾느라 백룡을 보게 됐는데, 젤다가 마스터소드를 전달하려고 백룡 머..

로그를 봤으면 금방 찾았을 건데 정신이 없어서 한글이 문제라는 걸 아는 것도 시간이 좀 걸렸다. 파이썬 오류로 보면 UnicodeEncodeError...가 나올 건데, 이래저래 찾아보니 sql_engine_encoding 옵션을 쓰라거나 sql_alchemy_conn에 charset을 쓰라거나 하는 얘기가 있었지만, helm chart로 설치해서 예전 버전에 있던 옵션들은 존재하지 않았다. https://github.com/apache/airflow/issues/28798 Processor unable to parse DAG with non english characters · Issue #28798 · apache/airflow Apache Airflow version Other Airflow 2 v..

계정 만들어서 테스트 하다가 오너를 분명 다른 계정으로 해놨는데 나오길래 찾아보니 filter_by_owner 설정을 하면 된다고 하길래 설정에서 찾아보니 없음... 2버전에서는 없어졌다고 한다. role설정으로 처리가 가능하겠지 했는데 해당 role에 DAG를 하나씩 넣어줘야 해서 사람 할 짓이 아닌 거 같았다. API로 자동화를 할까 했다가 너무 비효율적이라서 그냥 소스 수정하기로 함. 버전에 맞게 에어플로우 저장소에서 가져와도 되긴 하는데, 혹시나 해서 실제 쓰는 걸 가져오기로 함. airflow k8s helm으로 설치를 한 거라 webserver pod 들어가서 찾아봄. /home/airflow/.local/lib/python3.7/site-packages/airflow/www/views.py ..

기본 포트인 8080로 띄우고 업스트림을 8080로 잡았는데, 접근 자체가 안 돼서 확인을 해보니 회사에서 쓰는 건 80, 443만 쓸 수 있었다. 왜 이러나 하다가 결국 포트를 바꾸기로 함. values.yaml에서 포트를 80으로 바꾸고 적용 했는데, webserver pod가 계속 재시작 함. 찾아보니 내부에서는 8080을 쓰고 그걸 구니콘을 통해 쓰는 거 같았다. 그래서 80으로 올리면 구니콘이랑 같이 80을 쓰려고 하니까 안 되는 거. https://github.com/apache/airflow/issues/16039

실서버에 에어플로우를 설치하려고 하니 해당 오류가 발생. client.go:773: [debug] airflow-run-airflow-migrations: Jobs active: 1, jobs failed: 0, jobs succeeded: 0 W0530 19:16:15.686219 23727 reflector.go:456] k8s.io/client-go@v0.27.1/tools/cache/reflector.go:231: watch of *unstructured.Unstructured ended with: an error on the server ("unable to decode an event from the watch stream: stream error: stream ID 293; INTERNAL_..

helm으로 airflow 설치 후 dag 작성하고 테스트를 하려는데 kafka-python을 설치해야 했다. 예제로 mariadb > kafka로 데이터를 넣는 걸 작성하려고 했는데, 문제는 이걸 비개발자가 chatgpt만 사용해서 dag을 작성할 수 있게 하는 게 목표라서 미리 PyPI인 kafka-python을 설치해야 했다. values.yaml에 있는 extraPipPackages를 사용 했는데 설치가 안 됐다. https://github.com/airflow-helm/charts/blob/main/charts/airflow/docs/faq/configuration/extra-python-packages.md GitHub - airflow-helm/charts: The User-Community..