Azure
Batch ETL (Azure Data Factory)
Azure Data Factory + Azure Batch + ADLS Gen2 + Synapse のバッチETL構成。コードレスなGUIパイプライン設計とAzure Batchの並列コンピュートにより、大規模データ変換を管理しやすい形で実装できます。
アーキテクチャ構成図
トリガー
スケジュール / イベント / 手動
Azure Data Factory パイプライン
GUIフロー設計
Integration Runtime
オンプレ / Azure 選択可
Azure Batch
大規模並列変換処理
ADLS Gen2
ステージング
Azure Synapse Analytics / Azure SQL
ロード
↑ リクエスト / データの流れ（上から下）
採用サービス構成
- パイプライン
- Azure Data Factory
- 並列処理
- Azure Batch
- ストレージ
- ADLS Gen2
- ロード先
- Azure Synapse / Azure SQL
代表的なユースケース
- ✓SSIS パイプラインのADF移行
- ✓オンプレミスDB → Azure DWH 移行
- ✓定期的な多ソース統合バッチ
- ✓SAP / Salesforce データ統合
このパターンを選ぶ判断基準
オンプレミスのSSIS (SQL Server Integration Services) をクラウドに移行する場合や、コードレスでETLパイプラインを構築・運用したい組織に最適です。