您好,登录后才能下订单哦!
请求超时!
请点击 重新获取二维码本篇内容主要讲解“MapReduce编程步骤是怎样的”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“MapReduce编程步骤是怎样的”吧!
Hadoop三大模块:分布式存储HDFS、分布式计算MapReduce、资源调度引擎Yarn
我们在前面几节课已经介绍了hadoop软件在是怎样存储数据的(HDFS),从今天开始的后面几节课,我们来
学习一下:MapReduce分布式计算框架,这是一个比较难理解同时又非常重要的内容,虽然大部分情况下
我们都是使用Hive、spark之类的工具而不是直接写MapReduce程序来处理业务,但是,这些工具还是基于
MapReduce的思想来实现的,所以,现在能很好的理解和掌握MapReduce编程,这对以后的学习十分有益。
MapReduce是一个分布式运算程序的编程框架,是用户开发“基于Hadoop的数据分析应用”的核心框架。
MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个Hadoop集群上。
MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治处”,适用于大规模数据处理场景。
Map负责“分”,即把复杂的任务分解为若干个“简单的任务”来并行处理。(拆分的前提:这些小任务可以并行计算,彼此间几乎没有依赖关系。)
Reduce负责“合”,即对map阶段的结果进行全局汇总。
这两个阶段合起来正是MapReduce思想的体现。
还有一个比较形象的例子解释MapReduce:
例子一:我们要数图书馆中的所有书。A同学数1号书架,B同学数2号书架。这就是“Map”。同学越多,数书就越快。
然后把同学的统计数加在一起。这就是"Reduce"。
MapReduce由两个阶段组成:
Map阶段(切分成一个个小的任务)
Reduce阶段(汇总小任务的结果)
这个是不太容易理解的地方,一时想不明白不着急,先死记下来,慢慢来。
mapreduce编程大致分为三个阶段,一共8个步骤,下面简单说明一下这8个步骤,
我们将在下一节课中,以一个实例来详细介绍这8步骤。
第一步:设置inputFormat类,将数据切分成key,value对,输入到第二步
第二步:自定义map逻辑,处理我们第一步的输入kv对数据,然后转换成新的key,value对进行输出
第三步:对上一步输出的key,value对进行分区。(相同key的kv对属于同一分区)
第四步:对每个分区的数据按照key进行排序
第五步:对分区中的数据进行规约(combine操作),降低数据的网络拷贝(可选步骤)
第六步:对排序后的kv对数据进行分组;分组的过程中,key相同的kv对为一组;将同一组的kv对的所有value放到一个集合当中(每组数据调用一次reduce方法)
第七步:对多个map的任务进行合并,排序,写reduce函数自己的逻辑,对输入的key,value对进行处理,转换成新的key,value对进行输出
第八步:设置将输出的key,value对数据保存到文件中
看到这里是不是一头雾水,没关系,这节课只要理解一点,为什么要有MapReduce这种计算框架,其实,就是充分利用集群资源,把一个很大数据量的任务
先折分成几个小任务,然后把几个小任务的计算结果合并成最终
的结果,这样,同一时间就充分利用了集群的计算资源来计算,而不用一个一个的排队等待。
到此,相信大家对“MapReduce编程步骤是怎样的”有了更深的了解,不妨来实际操作一番吧!这里是亿速云网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。
深圳SEO优化公司营口网页制作价格阳泉网站优化公司常州网站设计哪家好甘孜网站排名优化哪家好沈阳外贸网站制作多少钱天水网站推广工具哪家好运城网站推广昭通百度网站优化公司甘孜百姓网标王推广濮阳百度标王报价邢台百度竞价报价朝阳外贸网站建设报价桐城网站制作设计价格白城设计网站多少钱吕梁至尊标王报价忻州网站优化按天收费公司泉州建设网站报价郴州网站seo优化推荐沈阳设计公司网站推荐昌都SEO按天计费价格重庆外贸网站建设哪家好南平网站搭建公司百色百度seo价格毕节优化报价日照企业网站制作公司昆明推广网站多少钱东莞关键词按天收费公司邢台网站建设推荐朔州网络广告推广报价遂宁优化报价歼20紧急升空逼退外机英媒称团队夜以继日筹划王妃复出草木蔓发 春山在望成都发生巨响 当地回应60岁老人炒菠菜未焯水致肾病恶化男子涉嫌走私被判11年却一天牢没坐劳斯莱斯右转逼停直行车网传落水者说“没让你救”系谣言广东通报13岁男孩性侵女童不予立案贵州小伙回应在美国卖三蹦子火了淀粉肠小王子日销售额涨超10倍有个姐真把千机伞做出来了近3万元金手镯仅含足金十克呼北高速交通事故已致14人死亡杨洋拄拐现身医院国产伟哥去年销售近13亿男子给前妻转账 现任妻子起诉要回新基金只募集到26元还是员工自购男孩疑遭霸凌 家长讨说法被踢出群充个话费竟沦为间接洗钱工具新的一天从800个哈欠开始单亲妈妈陷入热恋 14岁儿子报警#春分立蛋大挑战#中国投资客涌入日本东京买房两大学生合买彩票中奖一人不认账新加坡主帅:唯一目标击败中国队月嫂回应掌掴婴儿是在赶虫子19岁小伙救下5人后溺亡 多方发声清明节放假3天调休1天张家界的山上“长”满了韩国人?开封王婆为何火了主播靠辱骂母亲走红被批捕封号代拍被何赛飞拿着魔杖追着打阿根廷将发行1万与2万面值的纸币库克现身上海为江西彩礼“减负”的“试婚人”因自嘲式简历走红的教授更新简介殡仪馆花卉高于市场价3倍还重复用网友称在豆瓣酱里吃出老鼠头315晚会后胖东来又人满为患了网友建议重庆地铁不准乘客携带菜筐特朗普谈“凯特王妃P图照”罗斯否认插足凯特王妃婚姻青海通报栏杆断裂小学生跌落住进ICU恒大被罚41.75亿到底怎么缴湖南一县政协主席疑涉刑案被控制茶百道就改标签日期致歉王树国3次鞠躬告别西交大师生张立群任西安交通大学校长杨倩无缘巴黎奥运