CData SyncでBoxのExcelファイルをADBに連携してみた

はじめに

CData Syncは様々なSaaS/DBにあるデータを抽出して、データ分析基盤への同期に特化したデータパイプラインツールです。
詳しくはこちらをご覧ください。
CData Syncの現在のバージョンは「v23」となります。
以前のバージョンからUIのモダナイズ、dbt Cloud 対応、CDC 強化、新コネクタなどユーザビリティと機能面が強化されています。

今回は、CData Syncを使ってクラウドストレージ「Box」内のExcelファイルをOCI(Oracle Cloud Infrastracture)に構築済みのAutonomous Database（以下「ADB」と表記）に連携してみます。
ADBの主なWorkloadのうち、今回は、Autonomous Data Warehouse(以下「ADW」と表記)で検証を行います。

実現したい構成

パブリックサブネット内に配置されたComputeインスタンスにインストールされたCData SyncでBoxのExcelファイルをADBへ連携する。

前提条件

1. サーバにCData Syncがインストール済みであること
   詳しくはこちらをご覧ください。
   　LinuxOS：CData Sync v23をインストールしてみる
   　WindowsServer：CData Sync v23をWindows Serverにインストールしてみる

2. OCI上にADBが構築済みであること
   詳しくはこちらをご覧ください。
   　Autonomous Databaseの作成

3. BOXが利用可能であること
   　Box無料トライアル – 14日間無料

4. CData SyncがHTTPS接続で構成されていること
   詳しくはこちらをご覧ください。
   　Java版のCDataSyncをHTTPSで構成する方法について
   ※こちらは必須ではなく、HTTPS構成でない場合は、CData Syncをインストールしたサーバからブラウザで「http//localhost:8181」で管理コンソールにアクセスすればBoxとの接続設定が可能です

   手順

   1.ADBコネクション設定

   まずは同期先となるADBのコネクション設定を行います。

   1.1.Oracle JDBC Driverセットアップ

   こちらのサイトからZipped JDBC driver (ojdbc11.jar) and Companion Jarsをダウンロードします。
   　JDBCダウンロードサイト
   ダウンロードしたファイルを展開後、JDBCドライバ（ojdbc11.jar、oraclepki.jar、osdt_core.jar、osdt_cert.jar）をCData Syncのインストールフォルダにコピーします。

Windows Serverの場合：
例）C:\Program Files\CData\CData Sync\jre\jdk-17.0.5+8\lib

LinuxOSの場合:
/インストーラを展開したディレクトリ/libs
例）/opt/sync/libs

1.2.ADB接続文字列のコピー

対象のADB（ADW）を選択後、詳細画面で「データベース接続」をクリックし、「MEDIUM」の接続文字列をコピーします。
接続文字列はCData SyncからADB（ADW）に接続する際に必要な情報となるためテキスト等に控えておきます。

1.3.CData Syncのコネクタの設定

CDataSync管理コンソールにログイン後、左メニューの「接続」をクリックします。

「Connections」画面で「接続を追加」をクリックします。

「コネクタを選択」画面で「同期先」タブに切り替え、コネクタの一覧から「oracle」を選択します。（今回は検索ワードでコネクタを検出しています）

設定画面で以下の各項目を設定します。
・接続名：任意の接続名
・Connection Type：Data Source
・User：ADBに設定した管理者ユーザ
・Password：ADBに設定した管理者ユーザのパスワード
・Data Source：取得した「ADB接続文字列」

設定画面の右上にある「保存およびテスト」をクリックします。
「接続は正常に作成されました」と表示されれば設定が完了となります。

「Connections」画面を開き、ADBの接続が作成されていることを確認します。

2.Boxコネクション設定

つぎにデータソースとなるBoxコネクション設定を行います。

2.1.CData Syncコネクタの設定

CDataSync管理コンソールにログイン後、左メニューの「接続」をクリックします。

「Connections」画面で「接続を追加」をクリックします。

「コネクタを選択」画面で「データソース」タブになっていることを確認し、コネクタの一覧から「Microsoft Excel」を選択します。（今回は検索ワードでコネクタを検出しています）

設定画面で以下の各項目を設定します。
・接続名：任意の接続名
・URL：box://folder/file.xlsx
・Connection Type：Box
・Auth Scheme：OAuth

設定画面の下にある「Microsoft Excelへの接続」をクリックすると、Boxへのアクセス認証画面が表示されます。
BoxへのログインIDとパスワードを入力し「承認」をクリックします。

設定画面の右上にある「保存およびテスト」をクリックします。
「接続は正常に作成されました」と表示されれば設定が完了となります。

「Connections」画面を開き、「Box(Excel)」の接続が作成されていることを確認します。

3.ジョブ設定

データソースと同期先のコネクション設定が完了したら、BoxからADBへのデータ連携ジョブを作成します。

3.1.CData Syncのジョブの設定

管理コンソールの左メニューの「ジョブ」をクリックします。

「ジョブ」画面で「ジョブを追加」をクリックします。

「ジョブを追加」ダイアログ画面で以下の項目を設定します。
・名前：任意のジョブ名
・データソース：Boxのコネクション名
・同期先：ADBのコネクション名

項目を設定後、「ジョブを追加」をクリックします。

「ジョブ」画面でジョブが作成されていることを確認します。

作成したジョブをクリックし、ジョブの詳細画面で「タスク」タブに切り替えます。
「タスクを追加」をクリックします。

「タスクを追加」ダイアログが表示されます。
データソースとなるBoxのオブジェクトが表示され、ここで選択したオブジェクトがテーブルとして連携されます。
任意のオブジェクトにチェックを入れ「タスクを追加」をクリックします。

ジョブの詳細画面で「タスク」タブに切り替え、追加したオブジェクトが設定されていることを確認します。

今回はわかりやすいように、同期先でのテーブル名を意図的に変更します。
追加したタスクをクリックし「タスクの詳細画面」で右側の「同期先情報」右上の「Edit Setting」アイコンをクリックします。

「同期先情報」ダイアログが表示され「テーブル名」を変更することができます。
デフォルトではオブジェクト名がそのままテーブル名として同期されます。
今回は、Boxからのデータであることを明記するため「顧客リスト_Box(Excel)」というテーブル名に変更します。
変更後、「保存」をクリックします。

「ジョブの詳細」画面で右上の「実行」をクリックします。

「ジョブ名（今回は[Box(Excel)_ADB]）が完了しました」と表示されればデータ連携が成功です。

同期先のADBにデータが同期されていることを確認します。

以上がCData Syncを使用してBox内のExcelをADBへデータ連携する流れとなります。

まとめ

今回、CData Syncでデータ連携を検証してみてみました。
今回は一部の機能のみを使用してデータ連携の検証を行いましたが、CData Syncには他にも多くの機能が備わっており既存の環境に合わせた柔軟なデータ連携が可能です。
CData Syncは400種類以上のデータソースと20種類以上のデータベースを同期先としてサポートしています。
複数のSaaS/DBを使用している環境において、データの集約と分析のための可視化を課題と感じられているお客様も多く、CData Syncであればシンプルな構成および手順(3ステップ)でデータ連携が実現できます。
また複数のデータソースから同じのデータベース同期先へ、複数の連携実現も容易です。