爬虫过程中ip被封,怎么解决？
找代理解决问题。出现这个现象的原因是因为网站采取了一些反爬中措施，如：服务器检测IP在单位时间内请求次数超过某个阀值导致，称为封IP。为了解决此类问题，代理就派上了用场，如：代理软件、付费代理、ADSL拨号代理，以帮助爬虫脱离封IP的苦海。
使用爬虫时ip限制问题的六种方法。
方法1
1、IP必须需要，如果有条件，建议一定要使用代理IP。
2、在有外网IP的机器上，部署爬虫代理服务器。
3、你的程序，使用轮训替换代理服务器来访问想要采集的网站。
好处：
1、程序逻辑变化小，只需要代理功能。
2、根据对方网站屏蔽规则不同，你只需要添加更多的代理就行了。
3、就算具体IP被屏蔽了，你可以直接把代理服务器下线就OK，程序逻辑不需要变化。
方法2
1、ADSL+脚本，监测是否被封，然后不断切换ip。
2、设置查询频率限制正统的做法是调用该网站提供的服务接口。
方法3
1、useragent伪装和轮换。
2、使用雷电ip代理。
3、cookies的处理，有的网站对登陆用户政策宽松些。
方法4
尽可能的模拟用户行为：
1、UserAgent经常换一换。
2、访问时间间隔设长一点，访问时间设置为随机数。
3、访问页面的顺序也可以随机着来。
方法5
网站封的依据一般是单位时间内特定IP的访问次数。将采集的任务按目标站点的IP进行分组通过控制每个IP在单位时间内发出任务的个数,来避免被封。当然,这个前题采集很多网站。如果只是采集一个网站,那么只能通过多外部IP的方式来实现了。
方法6
对爬虫抓取进行压力控制；可以考虑使用代理的方式访问目标站点。
1、降低抓取频率，时间设置长一些，访问时间采用随机数。
2、频繁切换UserAgent（模拟浏览器访问）。
3、多页面数据，随机访问然后抓取数据。
4、更换用户IP，这是最直接有效的方法。
网站老是被DDOS，CC攻击，一攻击服务器就被封IP,请问有好的解决办法吗
对于DDOS，加cdn可以缓解，或者还可以买高防的抗攻击ip。对于CC攻击，cdn是一个办法，本身也可以通过服务器的web应用程序或者内部防火墙拦截。
所以我认为你其实可以准备两台服务器，或者多个ip，而且都加上cdn，数据两边都可以互相同步。一台服务器是你现在的，一台服务器是欧美地区高防低价的，延迟通过cdn缓解，主服务器被攻击空路由立刻切换到备用。
服务器IP为什么会被封？
DDoS攻击导致流量过高
这是当前导致服务器ip被封的最常见原因。DDoS攻击，会对你的服务器突发性地输入/输出大量无效或慢速的访问请求，导致服务器流量需求激增，导致带宽超限、服务器卡死，ip下的所有网站无法访问。DDoS攻击不但会造成目标服务器瘫痪，还会影响机房内网正常运作。机房防火墙检测到这种情况，将直接封停服务器IP。
黑客入侵控制服务器进行违法操作
服务器须做好安全防护，一旦被黑客攻破，可能将你的服务器作为肉鸡，扫描、攻击其他服务器。一旦被机房防御系统发现、识别，将自动拦截，并自动封停服务器ip。
服务器流量超载过多
如果你的服务器流入/流出的数据过多，远超出已订购的服务器带宽资源，那么服务商将有权封停你的服务器IP。在你加大带宽，处理好相关问题后再行解封。这种情况，在服务器租用过程中较为少见，多见于VPS、云服务器中。
服务器IP为什么会被封，以及解决办法
主要原因有以下几点：
1.域名没备案
使用国内服务器的前提是需要备案，有些开发者可能会觉得备案太麻烦之类的原因不备案就解析到服务器上使用，被检测到的话服务商会让你把未备案域名解析走，不然会封IP，得不偿失。域名备案还会涉及到运营内容要与备案主体要相符合，不然容易掉备案。
2.违反法律法规
国内的服务商基本都是在符合国家法律法规的基础上加一些更细致的规定。如果用户使用服务器做了一些违法违规的业务，被机房检测到或者被举报核实后，机房以及运营商会采取封IP的措施。为了有更好的绿色网络环境，用户必须严格遵守法律法规。
3.受到攻击，服务器IP暂封
因为流量攻击而被封IP是最常见的情况，对于这种原因，普通的低防服务器毫无招架之力，一旦受到攻击就会被封。
如果长期都有受到流量攻击，建议还是租用高防服务器，它所在的机房能提供较高的硬防设备，能防住常见的DDOS、UDP、SYN等流量攻击，可以为客户提供安全维护，能够拒绝服务攻击。
不方便更换服务器的话可以考虑使用云防产品，游戏类可以使用无视攻击的游戏盾，网站类可以使用高防CDN，都有涉及到可以考虑使用高防IP。这类云防产品的原理就是隐藏真实IP，对外显示的是高防节点IP，让攻击者找不到真实IP，攻击也是到高防节点上。不需要转移数据，也不需要重新搭建，只要做好设置马上就能使用，方便快捷！
0条大神的评论