电脑/网络
反爬机制自然是限制网络爬虫为所欲为的第一道坎，毕竟为所欲为的网络爬虫非常可怕，会对目标网站的服务器造成非常大的负荷，让真实用户的访问受到影响，而目标网站也不想自己的辛辛苦苦做的内容被人轻而易举的窃取，于是，反爬虫机制与网络爬虫的战争就开始了。
代理IP是网络爬虫用来对抗反爬虫机制的得力武器，有了代理IP就能事半功倍，如虎添翼。但适合自己项目的优质代理IP也不是那么好找的，市场上代理IP服务商犹如过江之鲫，多不可数，但质量良莠不齐，需要擦亮火眼金睛，选购到高效稳定同时性价比高的代理IP，研究透了反爬机制，也选购了高效稳定的代理IP，是不是可以为所欲为了呢？网络爬虫还需要遵守一个准则，那就是robots协议。Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
学习网络爬虫只是让工作和生活更加方便，并不能为所欲为，需要守住自己的底线，遵守网络行业的规则，以免引起不必要的纠纷，且爬且珍惜。
看IP的流水。流水越大，说明IP重复的几率越小，能使用的代理IP越多，一些大型IP代理服务器上的每日流水高达数万以上，用户可以根据自己的需求尽情的使用。
有效率。有的代理IP服务商他的流水是很大，号称几百万几千万，但是连接的有效率却很低，那样是不行的，举个很简单的例子，日流水一万的代理有效率90以上和日流水五十万的代理IP有效率10左右，你愿意选择哪个呢？虽然后者算起来有效的代理IP还更多，但使用的效率太低了，将会浪费大量的时间和成本。
连接质量。其实，这是一个硬性的综合指标，它包括有效率、速度以、稳定性及其它因素，像一手私密代理IP，他的上网速度和连接速度极快，且具有高度的隐匿功能，具备一手的特性，而非万人骑，有效率极高，这绝对是顶级的质量了。
简单分享，不可做违规的事。