多语言展示
当前在线:1489今日阅读:75今日分享:44

使用selenium爬取二手房源信息

房价总是一路高啊,高得仰起头看都要扭到脖子了,但是呢,做人还是要有目标的,提前了解市场,研究一下自己喜欢地区的放假还是有作用的,万一有捡漏呢~今天利用selenium爬取58上的二手房信息。
工具/原料
1

python

2

selenium+firefox

方法/步骤
1

试了用requests来爬取58,效果不是很好,因为每一个链接地址点击之后,都会生成很多参数,如果不加的话,很快就会跳验证码,所以使用了selenium进行模拟点击,不去管这些参数怎么生成了,实测采集整个城市的信息都很流畅。话不多说,先记录下代码:

2

因为,58网点击一个链接之后,就会打开一个页面标签,为了避免打开的窗口过多,导致电脑卡顿,使用了driver.window.handles 窗口句柄来控制标签页进行操作,切换到指定的窗口命令为:driver.switch_to_window(句柄值)获取当前窗口句柄命令为:driver.current_window_handle获取所有窗口句柄命令为:driver.window.handles

3

当程序点击主窗口里的列表链接后,马上切换到点击之后的窗口,进行相关的源码解析,获取数据,写入csv文件,之后即时关闭此窗口,回到主窗口,点击下一个链接,依次循环。双手离开键盘,鼠标,看着浏览器自动的打开,关闭页面,还是很有意思的~~程序运行完毕后,打开表格文件,数据一览无遗,

注意事项
1

需要对python语言有入门了解

2

请遵守网页爬取道德,数据仅供个人研究应用

推荐信息