谷歌浏览器
webscraper插件
电脑
webscraper插件地址https://pan.baidu.com/s/1EK_V4k57pjfO6GLr8DpGdw下载完成后安装在谷歌浏览器上
打开我们需要爬虫的网址(这里我们拿58招聘为例子)我们按下F12打开开发者工具,选择webscraper选项
新建一个项目,点击Create new sitemap->Create sitemap选项
上面点击完之后会出现这样的界面,Sitemap name随便取个名字,我这里就填写job,而Start URL里面填写需要爬取的地址,我们复制浏览器地址栏里面的地址,填写完之后我们单击按钮Create Sitemap
上面步骤执行完后会出现一个蓝色按钮,点击它,
这里我们id名字随便取一个,我们这里就取jobElement,type类型选择Element,然后点击select按钮,会出现一个框,用鼠标点击覆盖整个招聘信息的绿色区域,在左上角点击一下,第二个招聘信息也是这样点击一下,然后下面的区域也会自动覆盖。选择好后,点击蓝色的按钮Done selecting!
勾选多条数据Multiple,再点击下面蓝色按钮保存
点击红色框框中的地方,点击进去
点击蓝色Add new selector按钮进去后,ID随便取一个名字,type类型不改,点击select按钮,因为这个时候需要爬取标题,按下select后会有黄色区域,在黄色区域内选择标题然后按下,点击蓝色按钮Done selecting!,接着multiple别勾选,最后点击保存Save selector
因为我们还要获取金额，所以我们还要新建一个子选择器,再点击Add new selector,进去后id随便取,type类型不改,点击select，点击页面中金额部分,点击蓝色按钮Done selecting!,multiple不勾选,最后点击保存
这次我们还要获取链接,有数据但是没链接,将来还咋找到它啊,所以我们还要新建一个子选择器,点击Add new selector，id随便取,type选择link(因为是链接嘛),然后点击Select按钮(网页中点击标题就能进入到页面中,所以标题里面包含链接)这次我们点击标题(之前的点击都是点击标题旁边出现绿色区域,这次直接点击标题)接着按下Done selecting!,multiple不勾选,最后点击保存
现在就可以开始爬取了,点击上面的Create new sitemap->Scrape,然后点击蓝色按钮,就可以开始爬虫了
耐心等待,过了一会就会爬取出来
现在就是导出来了,点击上面的Create new sitemap->Export data as CSV点击里面的蓝色部分,浏览器会自动下载下来
现在就算完成了是不是很方便呢