maengis blog

클릭하우스에 ALTER 요청시 오류가 나고 있었다. clickhouse_driver.errors.ServerException: Code: 159. DB::Exception: Watching task /clickhouse/task_queue/ddl/query-0000363944 is executing longer than distributed_ddl_task_timeout (=180) seconds. There are 1 unfinished hosts (0 of them are currently active), they are going to execute the query in background. Stack trace: 0. DB::Exception::Exception(DB::Exception::Mes..

docker-compose.yaml에서 _PIP_ADDITIONAL_REQUIREMENTS: ${_PIP_ADDITIONAL_REQUIREMENTS:- kafka-python==2.0.2 clickhouse-driver==0.2.6} 추가로 설치한 pypi 적고 파드 올리려는데 파드가 안 올라가서 docker logs로 로그를 봄. gcc -pthread -Wno-unused-result -Wsign-compare -DNDEBUG -g -fwrapv -O3 -Wall -fPIC -I/usr/local/include/python3.7m -c lib/zoneinfo_module.c -o build/temp.linux-aarch64-cpython-37/lib/zoneinfo_module.o -std=c99 e..

graph LR kafka --> chq[clickhouse queue table] chq --> chc[clickhouse consumer table] chc --> cht[clickhouse table] kafka engine으로 메시지를 가져와서 클릭하우스에 넣으면 보통 위와 같은 순서로 데이터를 넣는다. 문제는 ENGINE = Kafka로 지정하고 보통은 kafka_format을 JSONEachRow를 사용해서 데이터를 넣는데, 이게 key, value로 넣다보니 json 구조에 object > object가 있으면 넣질 못한다. 클릭하우스가 JSONExtract 함수를 지원하니까 이걸 쓰면 되긴 하는데, 버전이 낮으면 메모리 누수 문제가 있어서 되도록 안 쓰는 방향으로 컨슈밍을 하고 있었는데, ..

Received exception from server (version 22.9.3): Code: 999. DB::Exception: Received from localhost:9000. Coordination::Exception. Coordination::Exception: Connection loss, path: All connection tries failed while connecting to ZooKeeper. nodes: 192.168.26.91:2181, 192.168.26.93:2181, 192.168.26.92:2181 Code: 33. DB::Exception: Cannot read all data. Bytes read: 0. Bytes expected: 4.: while receivi..

클릭하우스는 참 자료 찾기가 힘들다. 그만큼 사용이 쉽다는 얘기인 건가 싶기도 하고. 여튼 공식 문서에서는 주키퍼 사용시 마이그레이션 과정을 아래와 같이 설명하고 있다. https://clickhouse.com/docs/en/operations/clickhouse-keeper#migration-from-zookeeper ClickHouse Keeper | ClickHouse Docs ClickHouse Keeper provides the coordination system for data replication and distributed DDL queries execution. ClickHouse Keeper is compatible with ZooKeeper. clickhouse.com 주키퍼 모든 노..