大数据时代已然到来,获取数据当然不能只靠人工搜集下载,本文就向大家介绍数据获取利器--网络爬虫的学习路线和方法。
工具/原料
1
Python
2
电脑
方法/步骤
1
工欲善其事必先利其器,小编不建议大家使用原生的Python的IDLE,推荐大家使用sublime text3,搭建Python环境
2
学习爬虫首先学习Python,建议通过中国大学mooc和《笨方法学Python》来实现入门,那本书的内容可以有所取舍。通过这两个途径再上网上针对性地查找相关内容完全可以入门,重点在于理解“面向对象”。
3
爬虫入门首先要明白一些网络技术,了解TCP/IP参考模型,并且对应用层的HTTP协议的方法和工作原理有一定的认识。爬虫爬取网页内容,大多数网页服务由HTTP协议实现。
4
正式学习爬虫库urllib和正则表达式,urllib灵活性很高,并且和你所学的网络原理、HTTP原理非常贴合,利于新手学习,正则表达式看看内容,再看几个实例就应该会用了,不推荐看乱七八糟的教程和MOOC(效果非常差,讲的跨度太大),推荐书籍《精通Python网络爬虫 核心技术、框架与项目实战 》(韦玮)。同样是选择性的阅读。
5
学习完成之后,多加实践,推荐实战项目:1、爬取漫画网上的一部漫画的所有图片,并用PowerPoint做成PDF 2、爬取电影下载网站上的所有电影下载链接并整理到Excel。能独立完成这两个实战项目,恭喜你已经成功入门!
6
学习是一件苦差事,但是学习可以创造财富和乐趣,入门爬虫和Python义工需要2周左右,坚持下去就会成功!
注意事项
1
Python只需入门即可,要多多实战
2
切忌太过深入网络技术,爬虫用不了那么多的网络知识
上一篇:怎么用神箭手编写基于JS的爬虫?