ForeSpider爬虫软件链接抽取脚本教程

前嗅ForeSpider数据采集软件是一款通用性互联网数据采集软件，今天的案例使用的是大众点评网，要抽取下面的翻页链接。

第一步先看每一页的链接地址有没有规律。如图中第二页和第三页URL链接地址中最后面的数字表明了页码。

现在发现了url的不同点，我们可以通过拼接的方式得到所有翻页的链接地址。下面写了拼接第二页链接地址的脚本，图中是我写的一个简单的抽取链接的脚本，只能抽取一个链接，先给大家介绍一下每一行代码的作用，之后再补全抽取全部链接的功能。第一行代码：定义一个url类的变量u第二行代码：u.urlname是网页的链接地址，为其赋值第三行代码：u.tmplid是这个链接抽取所要关联的模板id，这里是翻页，所以关联自身模板第四行代码：这个链接抽取所对应的频道id第五行代码：u.title是链接标题，为其赋值第六行代码：将所拼接的链接添加到最后的结果中

下面是加上了循环的脚本，这样就能抽取到所有的翻页。可以跟上一张图对比一下，看看加了什么代码。

脚本写完了，给大家看一下预览图，看看是不是把需要的链接全部都取到了。今天的链接抽取教程就到这里，下次教程准备出一个数据抽取的教程，两个结合起来就能实现从网站上抓取数据的功能了。