BeautifulSoup模块是用来从HTML/XML等文件提取所需数据的Python库.模块定义了许多有效的方法,便于处理导航、搜索、修改分析树等功能.与re模块相比,实现相同的功能简便高效.下图是bs4模块定义的子模块以及BeautifulSoup模块定义的函数.下文将介绍如何遍历文档树.
工具/原料
1
ubuntu 16.04LTS系统
2
交互开发环境IPython 2.4.1
3
Python 2.7.12
方法/步骤
1
子节点概念:HTML文件中某个TagA可能包含多个字符串或其它的TagB,TagC,这些都是这个TagA的子节点.BeautifulSoup提供了许多操作和遍历子节点的函数.
2
通过对属性tag.children的调用,可以得到某个tag直接的子节点.如图所示:.children会返回一个迭代器,包含所有的子节点.
3
.descendants属性的使用,从上文看直接调用.children得到直接的子节点,如果用descendants属性,可以获取该tag的所有子孙节点.方法如下图所示:
4
属性.string,.strings和stripped_strings的区别如下图用例所示:如果tag有一个子节点,可以用.string;如果有多个子节点,可以用strings;如果输出的字符串中可能包含了很多空格或空行,使用 .stripped_strings 可以去除多余空白内容.
5
父节点概念:每个tag或字符串都有父节点:被包含在某个tag中,可以通过.parent属性来获取父节点.如下图用例所示:需要注意下图用例当tag=head时,它的父节点是html,也就是整个对象.
6
兄弟节点的概念:和一个节点同级的tag称为兄弟节点.注意:在同级中,第一个tag只有.next_sibling的属性,最后一个节点只有.previous_sibling的属性.
7test HTML解析器把这段字符串转换成一连串的事件: “打开”,”打开”,”打开”,读取字符串'test',关闭,关闭.以上描述可以通过以下的属性说明.next_element 和 .previous_element以及返回迭代器的属性:.next_elements 和 .previous_elements,如下图所示:
回退和前进的概念:
注意事项
注意属性.next_element 和属性.next_sibling的区别.