学习大数据需要用到什么软件?
10 个回答
你好。
大数据需要用到的软件有很多的,学习大数据的基础是java和linux,主流的大数据处理平台如hadoop,爬取数据如python,ETL常用sql,等等。
另外,面向就业的大数据学习是有一定要求的,最低大专学历,年龄20-32岁,不知道你的具体情况如何,希望你考虑清楚。
知乎专栏: 从头学习大数据 供你参考学习大数据的基础知识!
下面附上一份大数据课程大纲,也供你参考了解
说到大数据,肯定少不了分析软件,这应该是大数据工作的根基,但市面上很多各种分析软件,如果不是过来人,真的很难找到适合自己或符合企业要求的。小编通过各大企业对大数据相关行业的岗位要求,总结了以下几点:
(1)SQL数据库的基本操作,会基本的数据管理
(2)会用Excel/SQL做基本的数据分析和展示
(3)会用脚本语言进行数据分析,Python or R
(4)有获取外部数据的能力,如爬虫
(5)会基本的数据可视化技能,能撰写数据报告
(6)熟悉常用的数据挖掘算法:回归分析、决策树、随机森林、支持向量机等
对于学习大数据,总体来说,先学基础,再学理论,最后是工具。基本上,每一门语言的学习都是要按照这个顺序来的。
1、学习数据分析基础知识,包括概率论、数理统计。基础这种东西还是要掌握好的啊,基础都还没扎实,知识大厦是很容易倒的哈。
2、你的目标行业的相关理论知识。比如金融类的,要学习证券、银行、财务等各种知识,不然到了公司就一脸懵逼啦。
3、学习数据分析工具,软件结合案列的实际应用,关于数据分析主流软件有(从上手度从易到难):Excel,SPSS,stata,R,Python,SAS等。
4、学会怎样操作这些软件,然后是利用软件从数据的清洗开始一步步进行处理,分析,最后输出结果,检验及解读数据。
一般是在自己电脑操作,虚拟机,以及安装大数据相关的组件:jdk,hadoop,zk,mysql,hive,flume,kafka,hbase,spark,如果有需要,还可以安装其它的组件,spark很重要
推荐你看一看“ 小白学大数据”网站( www.xueai8.com),首页上有个“大数据技术导论”的视频,对大数据是什么以及如何学习大数据,讲得非常清楚。
不知道题主的大数据具体指什么。如果是算法同学那可能更偏 coding,那么 python,spark 什么的应该都比较常用,不太了解。如果是指数据分析,仅我自己而言,数据提取常用 SQL/hive,数据可视化常用 Excel,Tableau,建模需要 R/python。
你是不是应该问要用到什么语言?
c,c++,java,spark-scala都可以
spark-scala着重推荐
看什么方向了,大数据开发的话,Hadoop+hive+spark差不多是一个方向,这就得会java了和数据库了,分析的话就要会很多数据分析软件
挖掘软件,存储软件,展示软件
用SQL调用数据,用R/Python写code,这就足够够啦!如果用cloud的话还涉及到Spark,Hadoop之类