Passer au contenu principal
ClickPipes prend en charge l’intégration à un registre de schémas afin de décoder des topics encodés en Avro et en Protobuf.

​
Registres de schémas pris en charge pour Kafka ClickPipes

Les registres de schémas compatibles avec l’API de Confluent Schema Registry sont pris en charge, notamment :
  • Confluent Schema Registry
  • Redpanda Schema Registry
ClickPipes ne prend pas encore en charge AWS Glue Schema Registry ni Azure Schema Registry. Si vous avez besoin de la prise en charge de ces registres de schémas, contactez notre équipe.

​
Configuration

Pour intégrer un registre de schémas lors de la configuration de ClickPipes, vous devez utiliser l’une des approches suivantes :
  1. Fournir un chemin complet vers le sujet du schéma (par ex. https://registry.example.com/subjects/events)
    • Vous pouvez également faire référence à une version spécifique en ajoutant /versions/[version] à l’URL (sinon, ClickPipes récupérera la version la plus récente).
  2. Fournir un chemin complet vers l’ID de schéma (par ex. https://registry.example.com/schemas/ids/1000)
  3. Fournir l’URL racine du registre de schémas (par ex. https://registry.example.com)

​
Connectivité réseau

ClickPipes se connecte au registre de schémas en HTTPS à l’URL que vous fournissez. Le registre de schémas n’a pas besoin d’être accessible publiquement. Si vos brokers Kafka sont accessibles via un reverse private endpoint (AWS PrivateLink ou GCP Private Service Connect), le registre de schémas peut utiliser la même connectivité privée. ClickPipes résout le hostname du registry via le private DNS du reverse private endpoint ; ainsi, un registry hébergé en privé aux côtés de vos brokers reste accessible tant que son hostname se résout vers les adresses IP privées du reverse private endpoint (via la prise en charge du private DNS de l’endpoint ou un mapping de private DNS personnalisé). Gardez les points suivants à l’esprit :
  • L’URL du registre de schémas doit utiliser https://.
  • Si le hostname du registry se résout vers une adresse privée, il doit être accessible via un reverse private endpoint sélectionné pour le ClickPipe ; sinon, la vérification de connectivité lors de la configuration échouera.

​
Fonctionnement

ClickPipes récupère et applique dynamiquement le schéma à partir du registre de schémas configuré.
  • Si un ID de schéma est inclus dans le message, il sera utilisé pour récupérer le schéma.
  • Si aucun ID de schéma n’est inclus dans le message, l’ID de schéma ou le nom du sujet spécifié dans la configuration du ClickPipe sera utilisé pour récupérer le schéma.
  • Si le message est écrit sans ID de schéma inclus et qu’aucun ID de schéma ni nom du sujet n’est spécifié dans la configuration du ClickPipe, le schéma ne sera pas récupéré et le message sera ignoré, avec une SOURCE_SCHEMA_ERROR consignée dans la table d’erreurs de ClickPipes.
  • Si le message n’est pas conforme au schéma, il sera ignoré, avec une DATA_PARSING_ERROR consignée dans la table d’erreurs de ClickPipes.
  • Pour les schémas Protobuf uniquement : ClickPipes chargera tous les schémas importés définis comme dépendances. Les schémas Avro avec des références externes ne sont pas encore pris en charge.

​
Mappage de schéma

Les règles suivantes s’appliquent au mappage entre le schéma récupéré et la table de destination ClickHouse :
  • Si le schéma contient un champ qui n’est pas inclus dans le mappage de destination ClickHouse, ce champ est ignoré.
  • S’il manque au schéma un champ défini dans le mappage de destination ClickHouse, la colonne ClickHouse sera renseignée avec une valeur « zéro », telle que 0 ou une chaîne vide. Notez que les expressions DEFAULT ne sont pas prises en charge.
  • Si le champ du schéma et la colonne ClickHouse sont incompatibles, l’insertion de cette ligne/de ce message échouera, et l’échec sera enregistré dans la table d’erreurs ClickPipes. Notez que plusieurs conversions implicites sont prises en charge (par exemple, entre types numériques), mais pas toutes (par exemple, un champ d’enregistrement Avro ne peut pas être inséré dans une colonne ClickHouse Int32).
Dernière modification le 25 juin 2026