在使用python爬虫时，我们经常会遇到想要抓取的网站采用严格的防抓取机制。当网页信息被高强度、高效率的抓取时，往往会给网站服务器带来很大的压力，那么如果同一个IP反复抓取同一个网页，很有可能会被屏蔽，那么如何解决呢？只有海量的代理IP资源可供选择，俗话说:一个IP被封杀，千千就有几千个IP。

 

 

那么你从哪里获得海量的代理IP资源呢？别忘了找百度，百度搜索，大量代理IP资源，大量大量免费代理IP，代理IP提供商。

 

经过总结，代理IP大致可以分为四种类型:自由代理IP、普通代理IP池、共享IP池和独享IP池。这四个有什么区别？免费代理IP在互联网上共享。任何人都可以未经授权使用它。因为任何人都可以用，所以大部分免费的代理IP号都没有，而且用得很烂。普通代理IP或者开放代理IP其实是免费的代理IP。通过收集免费代理IP，经过初步验证筛选后，放入IP池，通过API提取使用。这种代理IP的效率也高不了多少，一般在1-40%左右，被称为“万人骑”。共享IP池是由代理IP提供商通过机房构建的IP池，然后销售给不同的客户。这种IP效率高，大多数付费代理IP都是如此。IP池的大小和用户数量决定了业务的成功率，独享IP池是一个人用一个IP池，不断重拨获取海量IP的完全独享的拨号服务器池！

 

考虑成本，优先级为:免费代理IP >普通代理IP >共享IP池>独享IP池。代理IP基本没有成本，只要写几段代码爬取验证就可以了。至于能用多少，我知道。普通代理IP的成本也很低。一天几块钱，一个月几十块钱，可以有很多代理IP。至于有多少，就看运气了。共享IP池的成本略高，目前市场上基本相同，存在提取间隔、每次获取的IP数量、并发使用等各种限制。独享IP池的成本相对较高。目前市面上只有少数，很大一部分是打着独家IP池的幌子骗人，选择时要睁大眼睛。

 

 

很多时候，我们选择 代理IP都是从成本和效率的考虑出发，但有时候我们并不是只考虑一个方面，而是会通过成本和效率的综合考虑来考虑，最终做出最合适的选择。