爬虫的运行过程中需要大量的代理ip来支持数据采集工作，那么今天分享一个简单的代理ip池的搭建方法。希望对大家有用
工具/原料
1
ip代理抓取： requests
2
后台搭建： Django+Redis
3
代理检测： ip地址查询
4
代理抓取地址： 西刺代理
方法/步骤
1
爬取代理ip，获取如下信息：IP地址、端口、服务器地址、类型、是否匿名、类型、存活时间、验证时间
2
分别在Redis中和ip查询接口中，验证代理，成功则计算过期时间，并进行分类。
3
将状态，类型，过期时间分别写入Redis。
4
每隔15分钟进行爬取ip代理自动去重提供Python的调用的接口，和http接口保证代理的高可用，在每次调用的时候验证代理可靠性
5
具体所会遇到的一些代码说明
注意事项
1
通常代理可以从免费的代理ip网站爬取
2
当需求量过大的时候建议使用换ip软件，诸如太阳换ip软件之类的，效率会有所提高