CSV Stream
CSV ストリーム処理は、ファイル全体をバッファリングせず 1 行ずつパースし、大きなファイルやパイプラインを支える。
目的
メモリが限られる場面や大きなファイルで CSV を行ごとにパースし、パイプライン変換とストリーミング出力を支える。
メカニズム
ストリーミングパーサーは行バッファを保ち、行終端を検出して 1 行をパースし、ファイル全体を待たずにレコードオブジェクトを吐き出す。変換ストリームや書き込みストリームへパイプできる。
ユースケース
- 大きな CSV ファイルの処理
- ETL パイプライン
- データベースのバルクインポート