您好,登录后才能下订单哦!
请求超时!
请点击 重新获取二维码第一天
1.大数据典型特性与分布式开发难点
1. | 大数据典型特性与分布式开发难点 |
2. | Hadoop框架介绍与搜索技术体系介绍 |
3. | Hadoop版本与特性介绍 |
4. | Hadoop核心模块之HDFS分布式文件系统架构介绍 |
5. | Hadoop核心模块之Yarn操作系统架构介绍 |
6. | Linux安全禁用设置与JDK安装讲解 |
7. | Hadoop伪分布式环境部署HDFS部分 |
8. | Hadoop伪分布式环境部署Yarn和MR部分 |
9. | Hadoop环境使用常见的错误集合 |
10. | Hadoop环境常规设置与辅助功能讲解(-) |
11. | Hadoop环境常规设置与辅助功能讲解(二) |
12. | Windows环境下部署Eclipse插件注意事项 |
1.大数据典型特性与分布式开发难点
1.大数据典型特性
没有大数据据技术之前,我就以抽样统计为例(统计一个城市的男女人口比例),我们的做法是不是找个人多的地方,随机抽取一部分人,统计出男女比例,作为城市的男女人口比例,这样的误差非常大,数据量越大,统计出来的结果越准确。这样我们就要先解决这么大数据量的存储问题,(这个例子不能体现出数据类型繁多),接下来是不是要解决数据计算的问题,总不能人工一个一个数吧,大数据技术就能为我们解决这些问题。
传统RDBMS 的瓶颈,关系型数据的特点是各个数据项之间有一定的关系,这个在设计数据库的设计阶段必须设计好,但是当今需求中,我们往往分析的数据之间没有关系,例如我们在设计一个推荐系统的时候,要分析客户的行为,客户的行为数据之间就没有相应的关系,结构化数据和非结构化数据共存使数据多样化。
海量的数据,这么大的数据量,我们还要处理的非常快。这对技术是很大的挑战。这就是大数据的特性
多:这里的多就是海量数据,我们要解决海量数据的存储问题
繁:结构化,非结构化,半结构化数据的共存
快:这么大的数据量,这么繁多的不同类型的数据,还要处理的快,不然就会成为系统的瓶颈。
我们的最终目的是挖掘出有用的,有价值的数据。
2.大数据的能做什么?
3.一个数据平台的工作(完整的平台)
3.1离线
-》批量计算
3.2 实时
-》流式计算
-》在线分析
3.3数据共享
4.数据平台指标
-》设备台数:5000台
-》总存储数量:100PB+
-》日新增数量:200TB+,月数据增长比率10%
-》有多个数据产品
-》存储表10w+
-》日均运行JOB数
-》日均计算量5PB+
5.分布式开发的难点
-》平台搭建
-》分布式
-》同步,一致性(配置(会搭建很多框架),时间(微妙误差))
-》自动化部署管理平台
-》cloudera 发布的hadoop版本 CDH
-》cloudera manager,简称:CM
-》框架是开源的 不可靠
所以很多公司都是以开源框架为基础,开发自己的框架,例如:淘宝的 TFS文件系统
任务调度框架oozie,淘宝自己的框架 宙斯 。
-》成本的问题
由于集群用到的机器比较廉价,所以会出现节点故障,我们必须有相应的容错机制,保证集群的健壮性。
6.学习大数据的基础:
自己学习的随笔,在组织存在问题,不喜勿说
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。
深圳SEO优化公司观澜品牌网站设计平湖seo排名深圳网页设计双龙seo网站优化永湖关键词排名包年推广坑梓百度网站优化坂田百度关键词包年推广坪山百度爱采购布吉高端网站设计东莞关键词按天收费宝安百度标王观澜建网站南山关键词按天扣费罗湖网站搜索优化同乐网站改版坑梓网站推广系统宝安网站制作设计石岩关键词按天计费龙华推广网站南澳营销型网站建设同乐seo排名松岗百度竞价包年推广石岩阿里店铺运营南山网站推广工具龙岗网站搜索优化福田网站推广方案坑梓SEO按天收费丹竹头营销型网站建设大运网站优化爱联百度竞价歼20紧急升空逼退外机英媒称团队夜以继日筹划王妃复出草木蔓发 春山在望成都发生巨响 当地回应60岁老人炒菠菜未焯水致肾病恶化男子涉嫌走私被判11年却一天牢没坐劳斯莱斯右转逼停直行车网传落水者说“没让你救”系谣言广东通报13岁男孩性侵女童不予立案贵州小伙回应在美国卖三蹦子火了淀粉肠小王子日销售额涨超10倍有个姐真把千机伞做出来了近3万元金手镯仅含足金十克呼北高速交通事故已致14人死亡杨洋拄拐现身医院国产伟哥去年销售近13亿男子给前妻转账 现任妻子起诉要回新基金只募集到26元还是员工自购男孩疑遭霸凌 家长讨说法被踢出群充个话费竟沦为间接洗钱工具新的一天从800个哈欠开始单亲妈妈陷入热恋 14岁儿子报警#春分立蛋大挑战#中国投资客涌入日本东京买房两大学生合买彩票中奖一人不认账新加坡主帅:唯一目标击败中国队月嫂回应掌掴婴儿是在赶虫子19岁小伙救下5人后溺亡 多方发声清明节放假3天调休1天张家界的山上“长”满了韩国人?开封王婆为何火了主播靠辱骂母亲走红被批捕封号代拍被何赛飞拿着魔杖追着打阿根廷将发行1万与2万面值的纸币库克现身上海为江西彩礼“减负”的“试婚人”因自嘲式简历走红的教授更新简介殡仪馆花卉高于市场价3倍还重复用网友称在豆瓣酱里吃出老鼠头315晚会后胖东来又人满为患了网友建议重庆地铁不准乘客携带菜筐特朗普谈“凯特王妃P图照”罗斯否认插足凯特王妃婚姻青海通报栏杆断裂小学生跌落住进ICU恒大被罚41.75亿到底怎么缴湖南一县政协主席疑涉刑案被控制茶百道就改标签日期致歉王树国3次鞠躬告别西交大师生张立群任西安交通大学校长杨倩无缘巴黎奥运