AWSでデータレイクハウスを構築してApache Icebergの更新・履歴管理を検証した
- AWSのS3、Glue Data Catalog、Athena、Apache Icebergを組み合わせてデータレイクハウスを構築し、更新と履歴管理を検証した
- Icebergのスナップショットで履歴参照、UPDATE/DELETEでS3のParquetファイルが変更され、OPTIMIZEでファイルを最適化した
- S3上のデータファイルとメタデータを分離して管理し、削除情報はPosition Deleteファイルに保存されることが確認できた
AWSでデータレイクハウスを構築してApache Icebergの更新・履歴管理を検証した


