多语言展示
当前在线:856今日阅读:152今日分享:13

怎样创建scrapy项目,怎样简单运行scrapy

scrapy是一种爬虫框架,今天小编我就来跟大家分享一下怎样创建scrapy项目以及运行scrapy项目的方法,这样让各位学习爬虫的小伙伴更好的练习scrapy爬虫。
工具/原料
1

电脑 python scrapy

2

vscode

方法/步骤
1

准备工作当然是在vscode中进入命令行了,如图所示,小编我在vscode中进入了一个文件夹。

2

然后使用命令创建scrapy项目,当然,你要先搭建好scrapy框架,这样才可以使用scrapy命令哦,jy可变,代表scrapy项目名称。

3

之后,scrapy项目便会创建好了,这个spiders文件夹就是用来存放爬虫文件的哦。

4

而scrapy里面的这个settings文件可以设置User-Agent,IP以及爬取时间等等。

5

items用来编写字段的,类似数据库的字段哟。pipelines则是处理爬取好的文件的。

6

接着进入spiders文件夹,开始用命令创建爬虫文件。

7

如图,用这个命令便可以创建爬虫文件了,后面要指定一下网址哦,不指定会报错的呀。

8

然后在这里就多了一个myjy(创建的),然后编写爬取规则就可以了。

9

如图,里面有自动生成的内容,name不要改,parse函数也不要改,不然报错。在parse里面写解析规则即可。

10

运行爬虫文件可以用这个命令,myjy就是爬虫名称,跟name里面的一致哟。

注意事项
1

有用可以收藏分享。

2

没用可以投反对票。

推荐信息