多语言展示
当前在线:641今日阅读:113今日分享:31

轻轻松松掌握抓取图片三大要素

我们在采集网页图片的过程中,会遇到很多问题。掌握这三大要素:明确图片网站类型、学会使用图片批量下载工具、明确能够/不能够实现的功能,图片采集不再是难事。
方法/步骤
1

一、明确图片网站的几大类型1、非瀑布流网站的图片采集示例网站:豆瓣网八爪鱼可以对网页中图片的URL进行采集,然后通过专用的图片批量下载工具将URL转化为图片,下载并保存到本地电脑。

3

3、瀑布流网站采集:只可点击图片进入图片详情页,再采集图片地址示例网站:花瓣网此类网站,具有以下两个特征:页面上的图片不是一次加载完成,需要滚动多次才会滚动到底部;图片详情页不能通过点击标题进入,而需要点击图片才能进入。针对这类网站,除了要对采集规则进行Ajax滚动设置外,还需要增加一个点击“a标签”的步骤。如下图设置Ajax滚动,此步骤与2相同,在此不再赘述。

4

由于我们采集时需要点击图片,才能进入到产品详情页,在建立元素循环列表的时候,需要将图片链接设置为列表项。点击页面内的第一张图片,再点击“A标签”,系统会选中图片的链接并发现同类链接。选择“选中全部”,再选择“循环点击每个链接”

5

而、学会使用图片批量下载工具1、八爪鱼图片批量下载工具使用教程图片批量下载工具:https://pan.baidu.com/s/1c2n60NI1)下载八爪鱼图片批量下载工具,双击文件中的MyDownloader.app.exe文件,打开软件

7

3)进行相关设置,设置完成后,点击OK即可导入文件选择EXCEL文件:导入你需要下载图片地址的EXCEL文件EXCEL表名:对应数据表的名称文件URL列名:表内对应URL的列名称保存文件夹名:EXCEL中需要单独一个列,列出图片想要保存到文件夹的路径,可以设置不同图片存放至不同文件夹如果要把文件保存到文件夹,则路径需要以“\”结尾,例如:“D:\同步\”,如果要下载后按照指定的文件名保存,则需要包含具体的文件名,例如“D:\同步\1.jpg”如果下载的文件路径和文件名完全一样,则原先存在的文件会被删除

9

如下图,花瓣网直接采集下来的图片URL,没有出现图片格式,属于后一种。遇到这种情况时,我们需要进行一些更复杂的操作,以找到可以转换为图片的URL,在此不做细说。

推荐信息