多语言展示
当前在线:171今日阅读:75今日分享:44

node.js 爬虫-Puppeteer 包的使用

在做爬虫的时候,使用 Puppeteer  模拟用户操作~用户点击,截图,输入,拖拽,等等操作~
工具/原料
1

电脑

2

编辑器:vscode

方法/步骤
1

一、使用 Puppeteer 包前提已经安装好  nodejs 环境,后面执行命令行来执行

2

二、安装 Puppeteer 包github 仓库地址:https://github.com/GoogleChrome/puppeteer```BASH# 命令行中执行$ npm install puppeteer# 或$ yarn add puppeteer# 或$ cnpm install puppeteer# 或$ pnpm install puppeteer```自行选择适合自己的包管理器,还有一个 puppeteer-core 版本,puppeteer-core  是一个简化版本,通常就使用 puppeteer 的完整版本就好。```BASH# 命令行中执行$ npm install puppeteer-core# 或$ yarn add puppeteer-core# 或$ cnpm install puppeteer-core# 或$ pnpm install puppeteer-core```

3

三、如何使用中文文档:https://zhaoqize.github.io/puppeteer-api-zh_CN/#/①引入 puppeteer 包② 使用 const browser = await puppeteer.launch(); 创建 browser 对象③ 使用 const page = await browser.newPage();创建 page 对象④ 使用 await page.goto('https://example.com');登录目标网站⑤ 。。。。。中间可以做自己想要做的操作,爬虫操作就写在这里⑥ 使用 await browser.close(); 关闭 browser 窗口,     爬虫结束只会要用这个关闭之前创建的 browser 对象,否则就会占用资源

4

四、API 方法使用   就是运用来做爬虫操作的各种方法,都是写在上面的,第 5 个步骤当中,例如:await page.type('#loginname', username)await page.type('#nloginpwd', password)这里可以用来输入用户名以及密码,要对应上自己的选择器,不能照搬。await page.click('.login-btn') 用来点击一个按钮,选择器也是根据你要爬的网站来确定,不要照搬。

注意事项
1

puppeteer 包更多的 API 使用需要去慢慢学习,这里是一个简单的示例

2

以上图片例子,选择器都是目标网站,实际请根据您的目标网站改变,不要照搬

3

问题可以在下方评论

推荐信息