房价总是一路高啊,高得仰起头看都要扭到脖子了,但是呢,做人还是要有目标的,提前了解市场,研究一下自己喜欢地区的放假还是有作用的,万一有捡漏呢~今天利用selenium爬取58上的二手房信息。
工具/原料
1
python
2
selenium+firefox
方法/步骤
1
试了用requests来爬取58,效果不是很好,因为每一个链接地址点击之后,都会生成很多参数,如果不加的话,很快就会跳验证码,所以使用了selenium进行模拟点击,不去管这些参数怎么生成了,实测采集整个城市的信息都很流畅。话不多说,先记录下代码:
2
因为,58网点击一个链接之后,就会打开一个页面标签,为了避免打开的窗口过多,导致电脑卡顿,使用了driver.window.handles 窗口句柄来控制标签页进行操作,切换到指定的窗口命令为:driver.switch_to_window(句柄值)获取当前窗口句柄命令为:driver.current_window_handle获取所有窗口句柄命令为:driver.window.handles
3
当程序点击主窗口里的列表链接后,马上切换到点击之后的窗口,进行相关的源码解析,获取数据,写入csv文件,之后即时关闭此窗口,回到主窗口,点击下一个链接,依次循环。双手离开键盘,鼠标,看着浏览器自动的打开,关闭页面,还是很有意思的~~程序运行完毕后,打开表格文件,数据一览无遗,
注意事项
1
需要对python语言有入门了解
2
请遵守网页爬取道德,数据仅供个人研究应用
上一篇:二手车如何预约看车
下一篇:瑞思迈呼吸机S9设置教程