コンテンツへスキップ
uencoder

ORC Schema

ORCスキーマは、HiveのORC列指向ファイルにおける列の型とネスト構造を記述する。union、struct、list、mapなどの複合型をサポートする。

目的

ORCファイルに型記述を提供し、Hive/Sparkが列データとネスト構造を正しく読み書きできるようにする。

メカニズム

スキーマは列型のツリーである:スカラー(int/string/...)、struct(名前付きフィールド)、list(要素型)、map(キー/値の型)、union(型のリスト)。各列は独立して符号化されインデックスが付く。

ユースケース

  • HiveのORCファイル
  • Sparkでのデータ読み込み
  • 列指向スキーマ

関連ツール

References