做过网络爬虫的人应该都知道，抓的网站和数据多了，如果网络爬虫抓取速度过快，免不了触发网站的防爬机制，几乎用的同一招就是封IP。解决方法有2个：1、同一IP，放慢速度(抓取速度慢)2、使用代理IP访问第一种方案牺牲的就是时间和速度，来换取数据，但是一般情况下当我们的时间很珍贵的，理想状况下是用最短的时间获得最多的统计数据。因此第二种方案是推荐的，那么从哪里能找到这么多代理IP呢?
工具/原料
1
电脑
2
爬虫
3
代理ip
方法/步骤
1
找寻代理上网搜索会发现有很多免费网站，但是拿过来之后会失效，于是可以采取多找几家网站集合起来使用，数量大致能够达到几百到几千个ip
2
测试代理最快速的，用curl命令就可以检测某个代理是否能用：# 使用代理 48.139.133.93:3128 访问 某易首页curl -x '48.139.133.93:3128'理所当然，这类方式仅仅为了演试便捷，实际最好是的方式是：用多线程方式，应用代理去访问某一网站，随后输出能用的代理。这样做能最快速的找出能用代理。
3
使用代理1、读取代理文件2、随机选择代理IP，发起HTTP请求
4
这样，如果代理有几百个，基本上可以保持过段时间抓取某个网站的数据了，抓个几千几万条数据不成问题。但如果数量不足以满足需求，那么就需要寻求专业供应商的帮助了。
注意事项
1
代理ip技术现在都非常成熟，供应商也很多，要合理挑选
2
太阳换ip软件是一款性价比较高的，推荐试试，其他类似的软件也可以
上一篇：Python 简易爬虫开发教程
下一篇：教你如何实现爬取数据