我们学习Python的过程中总是遇到很多难题，最常见的比如IP限制，我们学会通过使用换IP软件来解决，其他情况下也会存在很多异常或者麻烦，需要大家耐心学习，今天来聊聊Python爬虫怎么设置请求头。使用Python爬虫采集数据，需要先向目标网站发起请求，网站会进行自动检测，如果请求头设置有问题，即请求失败，返回失败码，那么Python爬虫怎么设置请求头？
方法/步骤
1
Python爬虫请求流程：无论是浏览器还是爬虫程序，在向服务器发起网络请求的时候，都会发过去一个头文件：headers，比如知乎的requestsheaders:
2
这里面的大多数的字段都是浏览器向服务器“表明身份”用的，对于爬虫程序来说，最需要注意的字段就是：User-Agent。很多网站都会建立user-agent白名单，只有属于正常范围的user-agent才能够正常访问。
3
可以看到，这里的请求被拒绝了，并且返回了一个500的错误码：这里就是因为requests库本身的headers是这样的：
4
这里面并没有user-agent字段，自然不被知乎的服务器所接受了。解决方法：可以自己设置一下user-agent，或者更好的是，可以从一系列的user-agent里随机挑出一个符合标准的使用，代码如下：
5
通过上文，我们可以知道Python爬虫怎么设置请求头有效，避免错误的设置，另外可以多备不同的user-agent，轮换使用，更好的伪装自己。如果遇到IP限制，可以使用换IP软件如芝麻软件进行IP切换，突破IP限制，可以持续的采集数据，提高工作效率。