初学者在练习时，经常需要一些代理IP来进行爬虫抓取，但由于学习阶段，对IP质量要求不高，主要是搞懂原理，所以花钱购买代理IP就显得没有必要(忽略不计)，今天和大家分享一下，如果使用爬虫抓取免费代理IP。
因为有些网站对爬虫进行了限制，所以经常需要通过代理来隐藏爬虫的实际IP地址，代理还具有透明代理、隐藏代理等功能。
这篇文章主要介绍如何获得代理IP以及如何存储和使用。
获得这些页面上的代理IP和端口也可以通过爬虫程序获得，通常的处理方法是：解析当前页->代理IP->存储当前页->跳到下一页，重复这个过程。
第一步要解析页面，因为在网页中显示代理IP时会在表格中显示，所以只需在网页源码中找到相关的表格元素。请参阅python中的requests和bs4，获取页面http://t.cn/A6cl9CLG，以了解IP和端口。
存储代理IP
在爬行器中使用代理IP的情况也很多，因此有必要将这些IP存储起来，使程序能够多次使用。
在这里，这些代理IP主要通过relateDatabase来存储，relatabase是一个SQL数据库，具体使用参考官方文档，这里不做详细说明。
使用代理IP。
如果我们需要通过代理访问某个网站，首先需要从resident中随机选择一个代理ip，然后尝试通过代理ip是否可以连接到我们需要访问的目标网站，因为这些代理IP是公开使用的，通常也会很快被封掉，假设通过代理ip无法访问目标网站，那么就将代理IP从数据库中删除。相反，可以通过此代理访问目标站点。
此外，在爬取免费提供代理的网站的代理IP时，爬取的速度不能太快，原因之一是爬取太快有可能被封，另一个原因是如果每个人都没有间隔地从该网站爬取，那么网站的负担就会比较大，甚至有可能崩溃，所以采取一种可持续爬取的策略很有必要。
不过，免费ip毕竟也只能用来练手，免费ip在可用率、速度、安全性上，都无法与付费IP代理相比较，特别是独享IP代理，所以对于商家来说，收集IP资源要更快、更稳定。
为了更快、更稳定地开展业务，建议大家购买付费IP代理，免费送10000个IP，网址注册自动到账：http://t.cn/A6cl9CLG，提供优质的付费IP，可以试试，付费IP具有并发、高效的特点，这样就能在短时间内获取大量IP进行数据收集。