为什麽会使用代理IP爬虫？伴随着大数据时代的到来，爬虫已成为获取数据不可或缺的手段，为了解决IP封禁的问题，通常会采用以下两种方法：
1.放慢抓取速度，降低对目标站点带来的压力，但是会减少单位时间类别的抓取量。
2.利用代理IP，在使用代理IP后，可以让爬虫替代自己的真正IP。
对python爬虫来说，有时候工作量很大，分布式爬虫是提高效率的最佳方法，而分布式爬虫则迫切需要大量IP资源，这个免费IP一点也不能满足，所以对于免费代理来说，真的不用考虑，它的IP可用率能达到10%以上都是谢天谢地，利用这样的IP资源实在是太苦了。
