爬虫攻击事件_小伙爬虫攻击网站

爬虫攻击事件_小伙爬虫攻击网站

如何防止网站被爬虫爬取的几种办法

1、通过JS算法,文字经过一定转换后才显示出来,容易被破解。某技术网站采用了这种方法 通过CSS隐藏技术,可见的页面样式和HTML里DIV结构不同,增加了爬虫的难度,同时增加自己的维护难度。

2、限制User-Agent字段User-Agent字段能识别用户所使用的操作系统、版本、CPU、浏览器等信息,如果请求来自非浏览器,就能识别其为爬虫,阻止爬虫抓取网站信息。

3、操作方式有三种,一种是直接在网站后台进行设置(目前只有wordpress和Zblog程序才有这个功能),另一种就是通过上传robots文件即可,最后一种就是在服务器上面利用“网站安全狗”软件设置静止抓取的方式。

71 0 2024-02-26 攻击网站