在Anaconda进行网络爬虫
requests:导入库
安装:pip install requests
方法:
r=requests.get('url'):发送请求获取资源对象,并且返回
资源对象
requests.request(代码标签):构造请求
requests.head():获取网页头信息
注意:如果访问失败
r.request.headers:查找本网页的用户代理
网络爬虫步骤:
import requests:导入库
r=requests.get('url'):发送并返回请求资源对象
print(r.status_code):查看状态码(是否发送成功)
r.encoding:查看网页编码
r.apparent_encoding:根据网页内容评估的备用编码
r.text:查看整个网页内容
r.encoding=r.apparent_encoding:将备用编码替换头编码
r.text[-500:]
r.text[:1000]
from bs4 import BeautifulSoup
demo=r.text[:1000]
2301_78725964: 直接安装pip install requests吗?不用设置什么意思吗
youcans_: 写的很好,感谢分享。欢迎回访关注:https://blog.csdn.net/youcans/article/details/121328057