多语言展示
当前在线:1090今日阅读:167今日分享:16

python+scrapy安装教程

大数据的概念越来越火,数据挖掘的第一部是数据收集,这时候就要用到爬虫!Scrapy是进行网站数据抓取的框架,下面贴出安装过程以供分享。
工具/原料

电脑

方法/步骤
1

1.安装Python    安装完了记得配置环境,将python目录和python目录下的Scripts目录添加到系统环境变量的Path里。在cmd中输入python如果出现版本信息说明配置完毕(如下面截图)。python下载网站,https://www.python.org/downloads/。请选择对应的Python版本安装。我装了2.7(记得设置环境变量)

2

2.安装lxml    lxml是一种使用 Python 编写的库,可以迅速、灵活地处理 XML。下载地址 https://pypi.python.org/pypi/lxml/3.3.1,可用pip下载,下载命令:python -m pip install lxml

3

3.安装setuptools  一般都已经安装了的,可在cmd中用 python -m pip list 查看是否已经安装,如果没安装,用下载命令:python -m pip install setuptools安装,下载地址https://pypi.python.org/packages/2.7/s/setuptools/

4

4.安装zope.interface可在cmd中用下载命令:python -m pip install zope.interface 也可以使用第三步下载的setuptools来安装egg文件,现在也有exe版本,点击https://pypi.python.org/pypi/zope.interface/4.1.0#downloads下载。

6

6.安装pyOpenSSL    pyOpenSSL是Python的OpenSSL接口, 可在cmd中用下载命令:python -m pip install pyOpenSSL安装,下载地址:https://launchpad.net/pyopenssl

7

7.安装win32py          提供win32api,下载地址:https://sourceforge.net/projects/pywin32/files/

8

8.安装Scrapy    直接在cmd中输入easy_install scrapy回车即可。安装后在cmd命令行输入scrapy,如果出现下图,则安装成功。

推荐信息