爬虫被封禁怎么办?在进行爬虫的时候我们都习惯准备一些代理ip软件,通过大量的代理ip掩护爬虫的爬行,如果没有准备代理ip爬虫很容易就会被封禁,下面就为大家讲讲遇到爬虫被封禁的情况该怎么解决。
1. 使用代理IP,在IP被封掉之前或者封掉之后迅速换掉该IP,这种做法主要需要大量稳定的代理IP,代理IP有免费的,可以花点时间去找,但是量不大,而且不稳定,大量稳定的一般需要购买,购买是另一个问题了,网上大把就不深入说了。购买之后可以使用一些支持代理的采集软件,这里的技巧是循环使用,在一个IP没有被封之前,就换掉,过一会再换回来。这样就可以使用相对较少的IP进行大量访问。
2. 使用虚拟专用网络,虚拟专用网络跟代理作用类似,只是技术上稍有差别,本质是一样的。
3. 使用有大规模云采集集群的软件工具
以上三种方式,优先推荐使用代理IP,当然我看还有人说使用拨号网络,断网拨号,这种方法很古老,效率很低,重新拨号获取到跟之前一样的IP的概率很高。实际使用中效果很差,我就不推荐了。【推荐阅读:爬虫必须用代理ip吗?】