Parquet Schema

Parquetスキーマは、Thrift IDLを使って列指向データの論理型とネスト構造を記述する。List/Mapなどの論理アノテーションをサポートする。

目的

Parquet列指向ファイルに型記述とネスト構造のマッピングを提供し、リーダーとライターが列データを正しく解釈できるようにする。

メカニズム

スキーマはThrift定義のメッセージ型であり、物理型（BOOLEAN/INT32/...）と論理アノテーション（STRING/DECIMAL/LIST/MAP）を含む。ネストは繰り返しレベル（REQUIRED/OPTIONAL/REPEATED）で表現される。

ユースケース

Parquetの列指向ファイル
データレイクのスキーマ
Spark/Hiveでの読み取り

関連ツール

JSON フォーマッター

Format, minify, or sort JSON online。無料、プライベート、100%クライアントサイド。

CSV コンバーター

Convert between CSV and JSON online. Supports comma, semicolon, and tab delimiters。無料、プライベート、100%クライアントサイド。

References