이 가이드는 프로덕션 배포를 위해 ClickHouse open-source를 평가하는 기업 팀에 모니터링 및 관측성 기능에 대한 포괄적인 정보를 제공합니다. 기업 고객은 기본 제공 모니터링 기능, Datadog 및 AWS CloudWatch 같은 도구를 포함한 기존 관측성 스택과의 통합, 그리고 ClickHouse의 모니터링이 자체 호스팅 배포와 비교해 어떠한지에 관해 자주 문의합니다.
ClickHouse는 배포 모델에 따라 서로 다른 엔드포인트를 통해 Prometheus 호환 메트릭을 노출하며, 각 엔드포인트마다 운영 특성이 다릅니다:
자가 관리형/OSS ClickHouse
ClickHouse 서버의 표준 /metrics 엔드포인트를 통해 Prometheus 엔드포인트에 직접 접근할 수 있습니다. 이 방식은 다음과 같은 특징이 있습니다:
- 전체 메트릭 노출: 기본 제공 필터링 없이 사용 가능한 ClickHouse 메트릭 전체를 노출
- 실시간 메트릭: 스크레이프할 때 시스템 테이블(system tables)에서 직접 생성됨
시스템에 직접 접근
프로덕션 시스템 테이블을 직접 쿼리하므로 모니터링 부하가 발생하며, 비용 절감을 위한 유휴(idle) 상태를 사용할 수 없게 됩니다
외부 통합을 사용하면 조직은 기존 모니터링 워크플로를 유지하고, 익숙한 도구에 대한 팀의 기존 전문성을 활용하며, 현재 프로세스를 중단하거나 대규모 재교육 없이도 ClickHouse 모니터링을 더 광범위한 인프라 관측성에 통합할 수 있습니다.
팀은 기존 알림 규칙과 에스컬레이션 절차를 ClickHouse 메트릭에 적용하는 동시에, 통합된 관측성 플랫폼에서 데이터베이스 성능을 애플리케이션 및 인프라 상태와 연계해 분석할 수 있습니다. 이러한 접근 방식은 현재 모니터링 환경에 대한 투자 수익을 극대화하고, 통합된 대시보드와 익숙한 도구 인터페이스를 통해 더 빠르게 문제를 해결할 수 있게 합니다.
Grafana는 직접 플러그인 통합 방식과 Prometheus 기반 방식으로 ClickHouse 모니터링을 제공합니다. Prometheus 엔드포인트 통합을 사용하면 기존 Grafana Cloud 인프라 내에서 시각화할 수 있으며, 동시에 모니터링 워크로드와 프로덕션 워크로드를 운영 측면에서 분리할 수 있습니다. 구성 방법은 Grafana의 ClickHouse 문서를 참조하십시오.
Datadog는 서비스의 유휴 상태 전환 동작을 고려하면서 클라우드 서비스 모니터링을 제대로 제공하는 전용 API 통합을 개발하고 있습니다. 그때까지는 운영상 분리와 비용 효율적인 모니터링을 위해 ClickHouse Prometheus 엔드포인트를 통한 OpenMetrics 통합 방식을 사용할 수 있습니다. 구성 지침은 Datadog의 Prometheus 및 OpenMetrics 통합 문서를 참조하십시오.
ClickStack는 ClickHouse를 스토리지 engine으로 사용해 로그, 메트릭, 트레이스를 위한 통합 플랫폼을 제공하는, 심층적인 시스템 분석과 디버깅을 위한 ClickHouse의 권장 관측성 솔루션입니다. 이 방식은 ClickStack UI인 HyperDX가 ClickHouse 인스턴스 내부의 시스템 테이블에 직접 연결하는 구조를 사용합니다.
HyperDX에는 Selects, Inserts, Infrastructure 탭이 포함된 ClickHouse 중심의 dashboard가 기본 제공됩니다. 또한 팀은 Lucene 또는 SQL 구문을 사용해 시스템 테이블과 로그를 검색하고, Chart Explorer를 통해 사용자 지정 visualizations를 만들어 상세한 시스템 분석을 수행할 수 있습니다.
이 방식은 실시간 프로덕션 알림보다는 복잡한 문제의 디버깅, 성능 분석, 심층적인 시스템 내부 검사에 더 적합합니다.
이 방식에서는 HyperDX가 시스템 테이블을 직접 쿼리하므로 유휴 상태의 서비스가 활성화될 수 있다는 점에 유의하십시오.
- Helm: Kubernetes 기반 디버깅 환경에 권장됩니다.
values.yaml을 통해 환경별 구성, 리소스 제한, 스케일링을 설정할 수 있습니다.
- Docker Compose: 각 구성 요소(ClickHouse, HyperDX, OTel collector, MongoDB)를 개별적으로 배포합니다.
- HyperDX Only: 독립 실행형 HyperDX 컨테이너입니다.
전체 배포 옵션과 아키텍처 상세 정보는 ClickStack 문서 및 데이터 수집 가이드를 참조하십시오.
Grafana용 ClickHouse 데이터 소스 플러그인을 사용하면 시스템 테이블을 통해 ClickHouse의 데이터를 직접 시각화하고 탐색할 수 있습니다. 이 방식은 성능 모니터링과 세부적인 시스템 분석을 위한 사용자 지정 대시보드 생성에 적합합니다.
플러그인 설치 및 구성에 대한 자세한 내용은 ClickHouse data source plugin을 참조하십시오. 사전 구축된 대시보드와 알림 규칙이 포함된 Prometheus-Grafana mix-in을 사용한 전체 모니터링 구성은 Monitor ClickHouse with the new Prometheus-Grafana mix-in을 참조하십시오.
Datadog는 시스템 테이블(system tables)을 직접 쿼리하는 에이전트용 ClickHouse Monitoring 플러그인을 제공합니다. 이 통합은 clusterAllReplicas 기능을 통해 클러스터 인식을 지원하는 종합적인 데이터베이스 모니터링을 제공합니다.
이 통합은 비용 최적화를 위한 유휴(idle) 동작과 호환되지 않고 클라우드 프록시 계층의 운영상 제한도 있어 ClickHouse Cloud 배포에는 권장되지 않습니다.
system.query_log에 연결해 직접 쿼리하면 쿼리 성능을 심층적으로 분석할 수 있습니다. SQL 콘솔 또는 clickhouse client를 사용하면 느린 쿼리를 식별하고, 리소스 사용량을 분석하며, 조직 전반의 사용 패턴을 추적할 수 있습니다.
쿼리 성능 분석
시스템 테이블의 쿼리 로그를 사용해 쿼리 성능을 분석할 수 있습니다.
예시 쿼리: 모든 클러스터 레플리카에서 실행 시간이 가장 긴 상위 5개 쿼리 찾기:
ClickHouse 커뮤니티는 널리 사용되는 관측성 스택과 통합되는 종합적인 모니터링 솔루션을 개발해 왔습니다. ClickHouse Monitoring은 사전 구축된 대시보드와 함께 완전한 모니터링 구성을 제공합니다. 이 오픈 소스 프로젝트는 검증된 대시보드 구성과 확립된 모범 사례를 바탕으로 ClickHouse 모니터링을 도입하려는 팀에 빠른 시작 방법을 제공합니다.
다른 직접 데이터베이스 모니터링 방식과 마찬가지로, 이 솔루션은 ClickHouse 시스템 테이블(system tables)을 직접 쿼리하므로 인스턴스가 유휴 상태로 전환되지 않으며 비용 최적화에도 영향을 줍니다.
