MapReduce Join
MapReduce 连接在分布式计算框架中实现连接:Map 端标记来源、Shuffle 按连接键、Reduce 合并。
用途
理解分布式连接执行模型,分析大数据连接的 Shuffle 代价。
机制
Map:每行输出 (join_key, (tag, row))。Shuffle:同键行聚到同一 Reducer。Reduce:按 tag 分组后做嵌套循环或哈希连接。Reduce-side join 通用但 Shuffle 重;Map-side join 需小表广播。
用例
- 大数据连接
- MapReduce 优化
- Shuffle 代价分析