CSV Stream
Le traitement en flux du CSV analyse ligne par ligne sans mettre tout le fichier en tampon, prenant en charge gros fichiers et pipelines.
Objectif
Analyser le CSV ligne par ligne dans des scénarios à mémoire limitée ou gros fichiers, en soutenant transformations en pipeline et sortie en flux.
Mécanisme
Un parseur en flux garde un tampon de ligne, détecte le terminateur de ligne, analyse une ligne et émet un objet enregistrement sans attendre le fichier entier. Il peut être redirigé vers des flux de transformation et d'écriture.
Cas d’usage
- Traitement de gros fichiers CSV
- Pipelines ETL
- Import en masse en base de données