Apache Icebergは、データレイク/レイクハウス向けのオープンテーブルフォーマット。
大規模データ運用で必要になる、スキーマ変更や履歴管理を扱いやすくする。
主な特徴
- スキーマ進化(列追加・変更)を安全に扱いやすい
- パーティションの進化をサポート
- スナップショットベースのタイムトラベル
- オブジェクトストレージ上でもテーブル管理を行いやすい
関連コンポーネント
- テーブルフォーマット本体(Iceberg)
- カタログ(メタデータ管理)
- 実行エンジン(Spark / Flink / Trino / Athena など)
hsb.horse