Перейти к основному содержанию
Apache Kafka — это распределённая платформа потоковой обработки событий с открытым исходным кодом, которую тысячи компаний используют для высокопроизводительных конвейеров данных, потоковой аналитики, интеграции данных и критически важных приложений. ClickHouse предоставляет несколько способов для чтения из и записи в Kafka и другие брокеры, совместимые с Kafka API (например, Redpanda, Amazon MSK).

​
Доступные варианты

Выбор подходящего варианта для вашей задачи зависит от нескольких факторов, включая тип развертывания ClickHouse, направление потока данных и операционные требования. Более подробное сравнение этих вариантов см. в разделе Выбор варианта.

​
ClickPipes for Kafka

ClickPipes — это управляемая интеграционная платформа, которая делает ингестию данных из самых разных источников простой задачей — буквально в несколько кликов. Благодаря тому, что ClickPipes — полностью управляемое решение, специально разработанное для рабочих нагрузок в продакшне, платформа существенно снижает затраты на инфраструктуру и эксплуатацию, избавляя от необходимости использовать внешние инструменты стриминга данных и ETL.
Это рекомендуемый вариант для пользователей ClickHouse Cloud. ClickPipes — полностью управляемое решение, специально созданное для обеспечения наилучшей производительности в средах Cloud.

​
Основные возможности

  • Оптимизировано для ClickHouse Cloud и обеспечивает исключительно высокую производительность
  • Горизонтальная и вертикальная масштабируемость для рабочих нагрузок с высокой пропускной способностью
  • Встроенная отказоустойчивость с настраиваемым числом реплик и автоматическими повторными попытками
  • Развертывание и управление через интерфейс ClickHouse Cloud, Open API или Terraform
  • Безопасность уровня Enterprise с поддержкой облачной авторизации (IAM) и закрытого подключения (PrivateLink)
  • Поддерживает широкий спектр источников данных, включая Confluent Cloud, Amazon MSK, Redpanda Cloud и Azure Event Hubs
  • Поддерживает большинство распространённых форматов сериализации (JSON, Avro, Protobuf)

​
Начало работы

Чтобы начать работу с ClickPipes for Kafka, см. справочную документацию или перейдите на вкладку Data Sources в интерфейсе ClickHouse Cloud.

​
Приёмник Kafka Connect

Kafka Connect — это фреймворк с открытым исходным кодом, который служит централизованной платформой для простой интеграции данных между Kafka и другими системами. Коннектор Приёмник ClickHouse Kafka Connect предоставляет масштабируемое и легко настраиваемое решение для чтения данных из Apache Kafka и других брокеров, совместимых с Kafka API.
Это рекомендуемый вариант, если вам нужна высокая гибкость настройки или вы уже используете Kafka Connect.

​
Основные возможности

  • Можно настроить для поддержки семантики «ровно один раз»
  • Поддерживает наиболее распространённые форматы сериализации (JSON, Avro, Protobuf)
  • Непрерывно тестируется с ClickHouse Cloud

​
Начало работы

Чтобы начать работу с Приёмником ClickHouse Kafka Connect, см. справочную документацию.

​
Движок таблицы Kafka

Движок таблицы Kafka можно использовать для чтения данных из Apache Kafka и других брокеров, совместимых с Kafka API, а также для записи данных в Kafka. Этот вариант входит в состав open-source ClickHouse и доступен для всех типов развертывания.
Это рекомендуемый вариант, если вы самостоятельно размещаете ClickHouse и вам нужен вариант с низким порогом входа, либо если вам нужно записывать данные в Kafka.

​
Основные возможности

  • Можно использовать для чтения и записи данных
  • Входит в состав open-source ClickHouse
  • Поддерживает наиболее распространённые форматы сериализации (JSON, Avro, Protobuf)

​
Начало работы

Чтобы начать работу с движком таблицы Kafka, см. справочную документацию.

​
Выбор варианта

​
Другие варианты

  • Confluent Cloud - Confluent Platform предоставляет возможность загрузить и запустить ClickHouse Connector Sink в Confluent Cloud или использовать коннектор HTTP Sink для Confluent Platform, который интегрирует Apache Kafka с API по HTTP или HTTPS.
  • Vector - Vector — это независимый от поставщика конвейер данных. Благодаря возможности читать данные из Kafka и отправлять события в ClickHouse, это надёжный вариант интеграции.
  • JDBC Connect Sink - Коннектор Kafka Connect JDBC Sink позволяет экспортировать данные из топиков Kafka в любую реляционную базу данных с драйвером JDBC.
  • Собственный код - Собственный код с использованием Kafka и клиентских библиотек ClickHouse может быть уместен в случаях, когда требуется пользовательская обработка событий.
Последнее изменение 25 июня 2026 г.