400-893-5552

反爬虫原理与绕过

 
2020-07-02 14:18所属分类
  互联网时代,反爬虫应运而生,并且不断进化,爬虫工作举步维艰,若不能调整好,只能被淘汰。那么,到底是什么行为触发了目标网站的反爬机制呢,请看下面的介绍。
 
 
  1、单一的访问频次过高,反人类:普通人10秒访问一个网页,爬虫一秒获取10个网页。
 
  2、单一的ip出现非常规的流量,某个IP流量反差巨大。
 
  3、大量的重复简单的网页浏览行为,有规律的访问相同网页。
 
  4、只下载html文档,不下载js。
 
  5、在页面设置陷阱,用户看不懂,爬虫是可以的,比如hidden。
 
  6、在页面写一段js代码,浏览器直接执行,程序不会执行。
 
  7、判断请求头:什么都变了,user-agent万古不变。
 
  原因已经总结出来了,接下来要做的事就是找出相关的解决办法,请看下面。
 
  1、多主机的策略,解决单一ip的问题,分布式爬取。
 
  2、调整访问频次,设置随机休眠时间,爬一会休息一下。
 
  3、通过不断切换代理ip,或者直接使用ip代理的形式。
 
  4、频繁的修改user-agent头。
 
  5、Header中的Cache-Control修改为no-cache。
 
  6、当返回状态码是403(服务器资源禁止访问),改变Header和IP。
 
  这个就是小编给大家带来的总结分享了,朋友们如果有做爬虫工作的,一定要注意这些点啊,期待大家都能够以高效率完成自己的工作。
友情链接    PPTP 代理IP 极速加速 91IP代理 IP代理 51IP代理 代理IP