Python实现网页源码抓取

电脑

Python开发工具

Urllib模块

用import 命令导入 urllib 库，具体代码为：import urllib.request

用 urllib.request.urlopen 打开一个网页，具体代码为：file = urllib.request.urlopen('http://www.baidu.com')经过上面的处理，我们把读取到的网页内中存到了变量 file当中

用 read 方法将内容读取出来，具体代码为：data = file.read()

读取到内容之后，我们用文件操作方式，将读取的内容存放到文件当中。f = open('date.html','wb') f.write(data) f.close()

我们将内容存到了 date.html 当中，查看文件内容如图所示

上面代码是先读取内容，然后用文件操作方式进行保存源码，下面我们直接用模块中的方法进行保存，代码如下： filename = urllib.request.urlretrieve('http://www.baidu.com',filename='2.html') urllib.request.urlcleanup()

代码总结：import urllib.request file = urllib.request.urlopen('http://www.baidu.com') data = file.read() f = open('date.html','wb') f.write(data) f.close() #直接将网页写入本地 filename = urllib.request.urlretrieve('http://www.baidu.com',filename='2.html') urllib.request.urlcleanup()以上是通过两种不同方式，读取指定网页的内容