爬虫抢票何时休——旅行网站如何摆脱恶意爬虫的影响？
还记得若干年前，网上广为流传的“12306史上最难辨认的验证码”吗？从过去的“点击验证”再到现在“拼眼力”、“拼智商”的验证码，不少购票者感慨——赢得了网速，却又输在了验证码上。那么人机验证为何会成为出行者购票之路上的一大“拦路虎”呢？
其实并不是旅行和购票网站在有意为难购票者，而是如今的恶意爬虫程序已十分先进和智能，简单的人机验证很难对爬虫程序起到实质性的限制作用。如果旅行和购票网站对爬虫抢票放任不顾，人们的购票体验就会变得更糟。爬虫抢票并流入灰色市场进行转售还会进一步对品牌及其营销活动造成影响。
恶意爬虫的威胁
恶意爬虫程序不仅会严重影响真实用户的购票体验，还会对旅行网站带来多重威胁：
一、非法爬取
黑客会利用爬虫程序不断抓取旅行网站的航班/车次、酒店订购和旅行团/景区售票等信息，这可能会造成商业数据外泄，被竞争者加以利用并最终影响收益。
除此以外，大量爬虫对旅行网站/应用的爬取行为也会被纳入后台系统的数据统计，运营人员可能会对大量只看不买的“旅客”行为感到困惑，影响网站数据分析和营销业绩。
二、暴力破解
除了抢票和爬取售价信息，黑客还可能利用爬虫程序破解优惠码和消费券并在灰色市场中进行转售，旅行网站的营销活动会因此遭受巨大损失。
黑客会利用爬虫程序入侵网站进行拖库和撞库攻击，窃取用户信息并暴力破解用户在多个网站上的账户，或出售用户数据。这将引发用户隐私泄露、网站声誉受损以及一系列严重后果。
三、应用程序DDoS
大量爬虫“淹没”旅行网站会对其源服务带来巨大的负担并增加流量成本。合法的访客流量可能会因此受阻，当网站（尤其是支付页面）变得卡顿，客户的订购欲望会大幅减退。
如今的黑客在发动网络攻击时往往会利用多种手段，配合爬虫程序和其他攻击来对网站的多个维度造成影响。网站部分服务的下线会严重损害效益，甚者，爬虫攻击会令网站停摆并彻底中断其收入。
如何应对恶意爬虫
除去设置人机验证问答、文字信息转图片等手段，旅行网站和应用还有没有更好的应对爬虫的补充手段呢？从根源出发，在网络的层面上阻断恶意爬虫，固然是网站防爬的最佳策略，但旅行企业还需要细化地解决更多难题。
- 如何准确区分“合法爬虫”和“恶意爬虫”？
- 如何知道何时受到攻击，攻击程度如何，以及保护效果如何？
- 第三方WAF服务是否部署复杂，或影响网站性能？
Cloudflare一站式防爬策略
对于以上的难题，Cloudflare云平台集成性能和安全性服务的特点完美地契合了旅行网站的各项需求，并可以有效抵御恶意爬虫流量。透过客户案例，让我们一起来看一看Cloudflare的解决方案具体能起到哪些效果吧！
http://lastminute.com是一家全球旅行公司，其网站每月有超过6000万独立访问者，每日需要处理超过2万名旅客的出行安排。lastminute早期依赖CDN供应商提供的第三方WAF服务来管理Bot流量，这带来了不必要的复杂性，并且，lastminute的团队仍然无法分辨是否受到攻击，防护效果如何。
迁移到Cloudflare服务后的关键成果：
- Cloudflare的WAF和Bot管理帮助 http://lastminute.com旗下800余站点缓解了恶意爬虫攻击，每月阻止20万+恶意请求到达源站。
- 得益于Cloudflare集成的性能服务， http://lastminute.com的网站加载速度平均提高了20％
- Cloudflare的控制面板提供了网站流量和攻击的全视图，可以帮助 http://lastminute.com了解各地区或各站点的流量和爬虫访问状况。
Cloudflare防爬解决方案的优势：
- 学习2700万+互联网属性的流量情报——Cloudflare现已保护了超过2700万个互联网属性，通过对我们全球网络上的流量进行机器学习，Cloudflare可以准确区分恶意爬虫及合法流量。
- 易于部署，集成性能和安全性——无需对基础架构或网站代码进行大量更改，旅行网站可以轻松部署Cloudflare服务，并受益于我们集成化的性能和安全功能套件，旅行企业可放心专注于服务最终客户。
- 合理的定价，清晰的流量洞察——Cloudflare产品服务不会将恶意爬虫带来的额外流量纳入计费，并通过控制面板提供了清晰的网站流量和源服务状况全视图，可帮助企业轻松了解Cloudflare服务带来的效益和改进。
点击下方链接，领取你的网站防爬解决方案