対応しているソース
- MySQL/MariaDB/AuroraMySQL
- Oracle
- PostgreSQL/AuroraPostgreSQL
- MongoDB
- Kafka
- PolarDB-MySQL
- OceanBase
- TiDB
1
BladePipe をダウンロードして実行する
- BladePipe Cloud にログインします。
- Worker のインストール (Docker) または Worker のインストール (バイナリ) の手順に従って、BladePipe Worker をダウンロードしてインストールします。
または、BladePipe Enterprise をダウンロードしてデプロイすることもできます。
2
ターゲットとして ClickHouse を追加する
- BladePipe は ClickHouse バージョン
20.12.3.3以降をサポートしています。 - ClickHouse をターゲットとして使用するには、ユーザーに SELECT、INSERT、および一般的な DDL 権限が付与されていることを確認してください。
- BladePipe で、“DataSource” > “Add DataSource” をクリックします。
-
ClickHouseを選択し、ClickHouse のホストとポート、ユーザー名とパスワードを入力して設定を行い、“Test Connection” をクリックします。 - 下部にある “Add DataSource” をクリックすると、ClickHouse インスタンスが追加されます。
3
MySQL をソースとして追加する
このチュートリアルでは、ソースとして MySQL インスタンスを使用し、MySQL のデータを ClickHouse に読み込む手順を説明します。MySQL をソースとして使用するには、ユーザーに必要な権限があることを確認してください。
- BladePipe で、“DataSource” > “Add DataSource” をクリックします。
-
MySQLを選択し、MySQL のホストとポート、ユーザー名、パスワードを入力して設定を行い、“Test Connection” をクリックします。 - 下部の “Add DataSource” をクリックすると、MySQL インスタンスが追加されます。
4
パイプラインを作成する
- BladePipe で、“DataJob” > “Create DataJob” をクリックします。
- 追加した MySQL インスタンスと ClickHouse インスタンスを選択し、“Test Connection” をクリックして BladePipe がそれぞれのインスタンスに接続できることを確認します。続いて、移行対象のデータベースを選択します。
- DataJob Type で “Incremental” を選択し、あわせて “Full Data” オプションも選択します。
- 複製するテーブルを選択します。
- 複製するカラムを選択します。
- DataJob の作成を確認すると、DataJob は自動的に実行されます。
5
データを検証する
- MySQL インスタンスへのデータ書き込みを停止し、ClickHouse でデータがマージされるまで待ちます。
ClickHouse の自動マージのタイミングは予測できないため、
OPTIMIZE TABLE xxx FINAL; コマンドを実行して手動でマージをトリガーできます。ただし、この手動マージは必ず成功するとは限りません。または、CREATE VIEW xxx_v AS SELECT * FROM xxx FINAL; コマンドを実行してビューを作成し、そのビューに対してクエリを実行することで、データが完全にマージされていることを確認できます。- 検証用 DataJob を作成します。検証用 DataJob が完了したら、結果を確認し、ClickHouse のデータが MySQL のデータと一致していることを確認します。