MapReduce Join
Une jointure MapReduce implémente les jointures dans un cadre de calcul distribué : Map étiquette la source, Shuffle regroupe par clé de jointure, Reduce fusionne.
Objectif
Comprendre le modèle d'exécution des jointures distribuées et analyser les coûts de shuffle des jointures de big data.
Mécanisme
Map : chaque ligne émet (clé_jointure, (étiquette, ligne)). Shuffle : les lignes de même clé se rassemblent sur un Reducer. Reduce : regroupement par étiquette puis jointure par boucles imbriquées ou hachage. Les jointures côté Reduce sont générales mais lourdes en shuffle ; celles côté Map exigent la diffusion de la petite table.
Cas d’usage
- Jointures de big data
- Optimisation MapReduce
- Analyse du coût de shuffle