首发于猴子数据分析

想做数据分析，分析用的数据get到了吗？

想做数据分析吗?

我从大学开始学了7年数学，一直以来我都没有找到自己学习数学的意义，尽管别人说数学是基础学科，什么都可以做。可对我来说，毕业了找工作不知道自己适合做什么；甚至对于别人问“你学数学都学些什么，那些都有什么用呢”都不知道如何回答。我一直在思考怎样才能学有所用，用自己的知识来赢得优势。

在经历了单纯的觉得数据分析好像跟我有点匹配，所以半踏入门槛后（工作换为统计相关），最近突然意识到数据分析的奇妙乐趣还有很多看得见的好处--

最近都沉浸在新世界大门打开的喜悦之中，不过也不能光顾着乐，既然这么喜欢，那就应该让自己在数据分析方面变得更加专业，实现精神物质共同提高。

怎么能做到呢？

开始做数据分析了？

还没有那么快，我们得先get到分析用的数据。也许有人会说真正工作中，数据往往都是被准备好的，这一步真的有必要吗？

我认为有。一方面我对数据分析应用的期待是全部生活而不是仅限于工作。另一方面，即使只在工作中用，作为一个数据分析者，数据是工作的源头，自己对于怎么得到源头一点都不了解，相当于自己工作从头就不可控，这个风险我不想要。最后，现在学习阶段，有了自己抓取的数据，对于之后的可视化和分析都很有用。

所以我们的课程作业从抓取数据开始。具体的要求是：

1. 数据内容：自己感兴趣行业数据或者自己工作相关，可以在之后用来进行分析和可视化
2. 数据量：>10000条
3. 数据获取工具：易操作的第三方软件（建议）比如 JSK

Step1 梳理任务内容

Step2 制定操作计划

1. 确定抓取目标：
(1) 智联招聘网站上数据分析职位在全国范围内的招聘情况；
(2) 包括的信息层面有：公司(城市+规模+性质+行业)+职位要求(学历+经验+人数+职位类别)+薪资+福利;
(3) 数据量要大于1万条.
2. 学习爬虫工具的操作。
3. 整合数据存成excel文件。
4. 总结反思。

Step3 具体执行

确定爬虫工具需要使用的功能，如下图所示：列表和翻页采集保证了数据条数，层级保证了数据内容的全面。

2. 爬取数据：我一共尝试了三次来解决碰到的问题，主要是根据实际情况调整目标设定以及软件操作问题：

问题1：智联招聘每次搜索，结果列表最多只显示90页。也就是说，我希望做的后续分析中，一线城市本身职位需求分布情况(因为实际结果显示不全)以及不同城市的职位数量对比都没有办法做。

问题分析：网站无法满足我的任务目标。可以考虑的路径：
1) 不换内容，更换招聘网站：我对其他招聘网站不熟，找寻时间不可控.
2) 更换项目内容: 按照可以搜集到1W条的网站更换内容，不想本末倒置；
3) 不换网站，调整任务目标：思考是否可以在现有网站条件下达成目标。

解决办法：我选择了调整任务，考虑将原有任务分解，减少每次搜索结果的数量使其控制在5400条之内；然后将分解采集的数据合并起来。
任务分解思路1：将全国改为北上广深杭5大城市分别采集再合并；缺点是一线城市的职位搜索数量必然是超过5400条的，所以每个城市都采集不全。但因为已经周五了，马上要到交作业的时候了，我还是尝试了这种方式，数据内容大于10000条达标了，就是用于分析的意义不大。
任务分解思路2：最后还是不能接受为了完成作业而完成作业，所以重新梳理分析目标：看北京最近一周招聘数据学析相关岗位分布情况。为了能够get全部数据，搜索条件为：北京+最近一周招聘+全职+职位类别。每个职位类别单独出结果最后再合并。

问题2：采集列表数据不全，每一页上显示60条招聘信息，只抓取到了10几条。

原因分析：设定路径时选定的内容位置并不是固定的。这是网站的显示方式设定为“详细”时的情况。
解决办法：没有查到如何应对位置不固定的方法，所以从如何能让信息位置固定，发现将网站显示方式设定为“列表”即可，缺点是在这一层采集到的目标信息变少了，第二层的信息要相应增加。

问题3：要采集的职位类别有10个，需要建立10个规则吗？
解决办法：只需要在测试成功的规则中加入线索就好了，把10个职位类别第1页的网址添加到线索栏即可。(图片是网络示例，不是我项目的)

问题4：分层采集时间很长，而且最后合并的时候发现采集内容不正确，串行了。
原因分析：涉及2方面，一个是在设定规则的时候没有注意确认测试内容是否正确；另一方面，对于采集数据的时间预估不够。
解决办法：
采集内容部分：
1. 设定规则时仔细确认测试内容是否符合预期再保存；
2. 进行抓取时检查，先将部分采集信息导入excel，确认信息符合预期。
采集速度部分：
利用“单搜”+“集搜”同时进行。还是会有点慢，没有发现更好的方法。

问题5：从软件系统导入excel后无法使用vlookup公式。
原因分析：系统导出的数据是设有格式的，不能直接运算。
解决办法：将数据选择性粘贴一下，按text格式。

问题6：将结果导入excel文件，因为抓数软件的免费导数额度是10000条，不能满足需求。
解决办法：直接用excel导入