MapReduce编程

最新推荐文章于 2022-06-16 12:58:31 发布

zealscott

最新推荐文章于 2022-06-16 12:58:31 发布

阅读量278

点赞数

分类专栏： DistributionSystem 文章标签： MapoReduce 编程

本文链接： https://blog.csdn.net/crazy_scott/article/details/82981730

版权

32 篇文章 1 订阅

订阅专栏

MapReduce Coding Criteria

单个MapReduce

对于 input，来自不同的关系表，对于MapReduce而言都是文件
在Map过程中，需要标记来自哪个关系表
- 把来自 R的每个元组 <a,b >转换成一个键值对 <b, <R,a >> ，其中的键就是属性 B的值
- 把来自 S的每个元组 <b,c >，转换成一个键值对<b,<S,c>>
Reduce 过程
- 具有相同 B值的元组被发送到同一个 Reduce中
- 来自关系 R和S的、具有相同属性 B值的元组进行合并
- 输出则是连接后的元组 <a,b,c >，通常写到一个单独的输出文件中

对于二元运算，例如Join、交集、并集都差不多，首先需要标记来自哪个关系表，然后再处理。

好处：
- 系统能拿到调度信息，避免上个程序运行失败导致后面出错
- 如果自己编程，例如J4/J5都依赖于J3，其中J4/J5一定会有一个顺序，而如果让系统调度，可以利用调度策略效率最大化（通常短作业优先）
在config中实现：

例子：词频统计后，过滤掉词频高于10的
WordCount程序已经写好，不能修改
Map可以串很多ChainMapper，Reducer也可以串很多ChainReducer
- 注意，这里的ChainReducer为Mapper

整个Job只有一个Reduce
- 整个框架只允许一次Shuffle
- 进行Map不会造成数据重新排列，不会改变MapReduce整体框架

许多机器学习算法都需要进行迭代（牛顿迭代、EM算法）
迭代式任务的特征：
- 整个任务一系列子的循环构成
- 子任务的执行操作是完全相同的
- 一个子任务的输出是下一个子任务的输入
- 一个子任务是一个MapReduce Job
迭代多少次，就相当于运行多少次MapReduce
迭代MapReduce示意
- 每一迭代结束时才将结果写入HDFS，下一步将结果读出
- 非常浪费资源和IO

当表的大小差异很大时，使用Join会导致大量的数据移动：
- 编程时将小表广播出去（每个节点上发一份，移动计算）
- 例如，在Kmeans中，可以将中心点广播出去

声明

Job job= new Job(); 
job.addCacheFile (new Path(filename).toUri ());

使用

Path[] localPaths = context.getLocalCacheFiles();