Firefox
Downthemall(firefox 插件)
下载安装好Firefox
打开firefox,从菜单栏里打开Add-ons (插件)选项页,如图
搜索 down them all!插件。或者直接访问官方页面 http://www.downthemall.net/ 下载安装firefox插件
一键下载当前页面所有同类型的资源 (或者所有链接资源)。 在目标页面单击右键,选择Downthemall, 在弹出的界面选择对应的 过滤器, 譬如,AVI,或者文档(pdf,doc,ppt...)
批量构造下载链接 从FF工具->downthemall管理器界面,根据示例构造下载链接,譬如 http://www.abc.com/1http://www.abc.com/2...http://www.abc.com/1000 可以用正则表达式, 直接写成 http://www.abc.com/[1:1000:1] ,即从1到1000,每次增加1的方式构造1000个下载链接
下载后资源命名现在后的资源根据命令规则自动重命名 - 根据文件的真实名字命名, *name*.*ext* - 根据文档的下载url来命名 *curl*.*ext* - 根据下载url最后的数字ID命名 *qstring*.*ext* .....
下载参数的设置Concurrent download - 最大的并行下载线程数Download per Server - 每个目标服务器的最大并行下载数Retry each - 失败的下载链接每隔多少秒 重试Max retries - 失败链接的最大尝试下载数
当前下载速度的控制 可以根据实际情况从菜单里面选择速度控制
合理设置downthemall 下载管理器, 个人经验,如果内存4G, 一次批量下载不超过3万, 8G 一次批量可下载10万个
downthemall会默认的占掉所有能有的带宽,所以如果大批量,基本上电脑不宜处理其它任务