跳到主要内容
uencoder

MapReduce Join

MapReduce 连接在分布式计算框架中实现连接:Map 端标记来源、Shuffle 按连接键、Reduce 合并。

用途

理解分布式连接执行模型,分析大数据连接的 Shuffle 代价。

机制

Map:每行输出 (join_key, (tag, row))。Shuffle:同键行聚到同一 Reducer。Reduce:按 tag 分组后做嵌套循环或哈希连接。Reduce-side join 通用但 Shuffle 重;Map-side join 需小表广播。

用例

  • 大数据连接
  • MapReduce 优化
  • Shuffle 代价分析

相关工具

参考链接