NDJSON

NDJSON（改行区切りJSON）は1行に1つの独立したJSONオブジェクトを格納する形式であり、大規模データセットのストリーミング処理に適する。

目的

配列全体をメモリに読み込まずにストリームとして処理できるJSON形式を提供する。

メカニズム

各行が改行で区切られた完全なJSON値であり、外側の配列ラッパーを持たない。パーサは行単位で読み取りストリーミングを可能にする。ログ、データベースのエクスポート、APIストリームで広く使われる。

ユースケース

ElasticsearchのバルクAPI
データベースのエクスポートとインポート
ログストリーム処理
ビッグデータパイプラインの中間形式

例

入力

{"a":1}
{"a":2}

Output

Two JSON objects, one per line

Newline-delimited

よくあるエラー

A string containing a literal newline breaks the line format: Newlines inside JSON strings are already escaped as \n

関連用語

JSON（JavaScript Object Notation）は、JavaScript のオブジェクトリテラルに基づく軽量なデータ交換形式である。キー・バリューペアと配列を使う。

JSONL（JSON Lines）は NDJSON と等価である。1 行に 1 つの JSON オブジェクトを置く、同じ形式の別名である。

CSV（comma-separated values）は、フィールドをカンマで区切る表形式のデータ形式である。RFC 4180 が標準を定義し、データの入出力に広く使われる。

関連ツール

NDJSON フォーマッター

Ndjson Format — 純クライアントサイドツール。プライバシーファースト、サーバー往復なし。

NDJSON バリデーター

Ndjson Validate — 純クライアントサイドツール。プライバシーファースト、サーバー往復なし。

References