Transférer des données depuis un stockage objet dans le cloud vers ClickHouse Cloud

Si vous utilisez un Cloud Object Storage comme data lake et souhaitez importer ces données dans ClickHouse Cloud, ou si votre système de base de données actuel peut décharger directement des données vers un Cloud Object Storage, vous pouvez utiliser l’une des table functions pour migrer des données stockées dans un Cloud Object Storage vers une table ClickHouse Cloud :

Si votre système de base de données actuel ne peut pas décharger directement des données vers un Cloud Object Storage, vous pouvez utiliser un outil ETL/ELT tiers ou clickhouse-local pour déplacer des données de votre système de base de données actuel vers un Cloud Object Storage, afin de migrer ensuite ces données vers une table ClickHouse Cloud dans un second temps. Bien qu’il s’agisse d’un processus en deux étapes (décharger les données vers un Cloud Object Storage, puis les charger dans ClickHouse), l’avantage est qu’il peut passer à l’échelle jusqu’à plusieurs pétaoctets grâce à la prise en charge robuste de ClickHouse Cloud pour les lectures hautement parallèles depuis un Cloud Object Storage. Vous pouvez également tirer parti de formats sophistiqués et compressés comme Parquet. Un article de blog contient des exemples de code concrets montrant comment importer des données dans ClickHouse Cloud à l’aide de S3.