作者:坨大大 | 来源:互联网 | 2023-01-24 20:53
官网:https:scrapy.orgscrapy用途广泛,可用于数据挖掘、监测和自动化测试。安装方法:https:docs.scrapy.orgenlatestintroinst
官网:https://scrapy.org/
scrapy用途广泛,可用于数据挖掘、监测和自动化测试。
安装方法:
https://docs.scrapy.org/en/latest/intro/install.html
将lxml、Twised、pyOpenSSL等都安装好后,执行 pip install scrapy
安装好后,在cmd命令行下,执行scrapy会出现菜单:
想要创建爬虫项目,我们在该目录下G:\python\code\lesson9\scrapydemo
1.执行scrapy startproject + projname(想创建的工程名)
2.然后创建一个Spider(确定我们要爬的网址) :
scrapy genspider +spidername(爬取Spider名) +"www.douban.com"(例如)
3.运行爬虫:scrapy crawl + spidername(爬取Spider名)
创建的工程目录结构如下:
spiders目录:爬虫脚本,负责解析文档,提取我们感兴趣的内容
items.py:数据格式的定义
pipeline.py:对我们爬到的感兴趣的内容进行持久化、保存 (它和spiders并不是耦合的是解耦的)
settings.py:各种配置