多语言展示
当前在线:351今日阅读:113今日分享:31

如何找到网页的User-Agent请求头?

一般,我们在编写网页爬虫时,目标网站都会设置一些反爬的机制,这个时候就需要我们在编写爬虫的时候,编写一下请求头,请求头我们可以到目标网站上去查找,下面就来看下如何来找到目标网站的请求头吧?
工具/原料
1

pycharm

2

目标网页

方法/步骤
1

我们在pycharm上编写网络爬虫的时候,为了防止出现403的错误,一般都会首先设置一下请求头,具体如下图所示。

2

请求头,不需要我们手动去敲代码,我们其实可以直接从目标网站上,找到这个请求头,如下图,我们首先需要进入到目标网页当中。

3

进入到目标网页之后,我们右键鼠标,点击检查按钮选项,或者直接使用快捷键Ctrl+shift+I进行操作。

4

进入到检查页面之后,在如下图所示的这个位置,我们选择Network,具体如下图所示。

5

我们点击目标网页信息,然后,在右侧的信息的最下面的部分,就可以看到User-Agent的信息啦!

6

我们可以复制一下这个User-Agent请求头,模仿浏览器的浏览行为,将其粘贴在pycharm的headers的后面,并以字典的形式进行呈现即可完成请求头的代码编写。

推荐信息