ORC Schema
ORCスキーマは、HiveのORC列指向ファイルにおける列の型とネスト構造を記述する。union、struct、list、mapなどの複合型をサポートする。
目的
ORCファイルに型記述を提供し、Hive/Sparkが列データとネスト構造を正しく読み書きできるようにする。
メカニズム
スキーマは列型のツリーである:スカラー(int/string/...)、struct(名前付きフィールド)、list(要素型)、map(キー/値の型)、union(型のリスト)。各列は独立して符号化されインデックスが付く。
ユースケース
- HiveのORCファイル
- Sparkでのデータ読み込み
- 列指向スキーマ