データ基盤におけるデータ取り込み方式の選び方 —— ゼロコピー、CDC、Create or Replace、クエリベース増分更新
- データ取り込み方式はゼロコピー、CDC、Create or Replace、クエリベース増分更新の4種類に分類される
- ゼロコピーはソースを直接参照し、CDCは変更ログを捕捉し、Create or Replaceは全件洗い替え、クエリベース増分更新は差分抽出する
- データ量やリアルタイム性、更新日時カラムの有無で方式を選択し、大規模なテーブルにはCDCやクエリベース増分更新が適する
データ基盤におけるデータ取り込み方式の選び方 —— ゼロコピー、CDC、Create or Replace、クエリベース増分更新


