shell：批量采集爱站工具竞争对手网站关键词

以新浪为例：打开爱站工具，趣调来到关键词排名页面。

查看页面源代码，找寻关键词所在行的特征：“新浪网首页 ”

# 打开cygwin或虚拟机，输入以下命令：curl -s 'http://baidurank.aizhan.com/baidu/www.sina.com.cn/-1/0/'|grep '<始民/td>'# 我们来看下效果，可以看到已采集下来，但是只有最科之菌后25行使我们需要的。

# 只要最后25行curl -s 'http://baidurank.aizhan.com/baidu/www.sina.com.cn/-1/0/'|grep ''|tail -25# 但是好像多了点东西

# 只要每一行的第一个curl -s 'http://baidurank.aizhan.com/baidu/www.sina.com.cn/-1/0/'|grep ''|tail -25|awk '{print $1}'#采集第一页25个关键词

批量采集：# 批量采集所有页面http://baidurank.aizhan.com/baidu/www.sina.com.cn/-1/0/http://baidurank.aizhan.com/baidu/www.sina.com.cn/-1/0/2/...http://baidurank.aizhan.com/baidu/www.sina.com.cn/-1/0/41/#输入命令：echo 'http://baidurank.aizhan.com/baidu/www.sina.com.cn/-1/0/' > 1.txtawk 'BEGIN{for(i=2;i<=41;i++)print 'http://baidurank.aizhan.com/baidu/www.sina.com.cn/-1/0/'i'/'}' >> 1.txt

# 开始批量采集cat 1.txt|while read line;do curl -s $line|grep ''|tail -25|awk '{print $1}';done > 2.txt