Python中 etree.xpath实践
先记录下python的一个陷阱
如图：
python获取字典里不存在的字段返回None
None是一个特殊的常量。
None和False不同。
None不是0。
None不是空字符串。
None和任何其他的数据类型比较永远返回False。
None有自己的数据类型NoneType。
你可以将None复制给任何变量，但是你不能创建其他NoneType对象当使用str()函数时，返回的是 'None' 字符串！！！！！
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------
下面说下自己使用xpath的情况
解析下面这个网页：http://www.520apk.com/android/shenghuoyingyong/100015839.html
详细信息源代码：
下载地址源代码
现在利用xpath分别从详细信息和下载地址源代码提取我们想要的
我们先获取class="app_top"的div（这个节点里面有要提取的app详细信息）：
tree = etree.HTML(webInfo)
appInfoNodes=tree.xpath('/html/body/div[@class="wrapper wrapper_1000 clearfix"]/div[@class="arc_728 fl"]/div[@class="app_top"]')
这里使用的是绝对路径，即从html节点开始找，找body节点，再找body节点下class=‘wrapper wrapper_1000 clearfix‘的div，再在这个div节点下找class='app_top'的div节点，返回的是一个节点List对象。
接着获取class="dl-bd clearfix"的ul（这个节点有下载的链接）：
appDownload=tree.xpath('/html/body//ul[@class="dl-bd clearfix"]')
这句话的意思是从html节点开始，进入body节点，找body节点下所有的class="dl-bd clearfix"的ul节点（不管是不是直接节点），得到的结果即为网页源代码所示，有两个节点，返回的也是一个List对象。
开始提取所需的信息
appName=appInfoNodes[0].xpath('./h1/text()')[0] #从当前节点开始搜索
appInfo=appInfoNodes[0].xpath('./div[@class="app_right"]/p')
appCategory=appInfo[0].xpath('./a/text()')[0] #text()返回的是一个list
appVersion=appInfo[0].xpath('./span[2]/text()')[0] #span标签从1开始
appSize=appInfo[1].xpath('./span[1]/text()')[0]
appUploadDate=appInfo[1].xpath('./span[2]/text()')[0]
appDeviceRestriction=appInfo[1].xpath('./span[3]/text()')[0]
appRating=appInfo[3].xpath('./cite/text()')[0]
appDownloadLink=appDownload[0].xpath('./li[4]/a')#xpath返回的始终是一个list，尽管结果只有一个元素
appDownloadUrl=appDownloadLink[0].get('href','')
上面这段代码中，
appName=appInfoNodes[0].xpath('./h1/text()')[0] #从当前节点开始搜索
前面讲了，xpath解析时返回的是一个List，不管返回的结果有多少个，而且这个List从下标0开始，因为前面解析的app信息只有一个节点，即class="app_top"的div。这句代码是指以appInfoNodes[0]这个节点（即div节点，以‘ . ’ 表示当前节点）为起始节点，搜索其节点下的h1标签，使用text()获得h1标签的文本内容，返回的也是一个List，故使用[0]获得第一个文本内容，也即源代码里的“腾讯路宝 3.0.0.1”，这句代码还可以替换成这样：
appNameNode=appInfoNodes[0].xpath('./h1')[0] #从当前节点开始搜索
appName=appNameNode.text这里的意思是先获得h1标签节点，注意这里不要忘了[0]，再获取这个节点的文本内容
其他代码也类似，但要注意xpath解析网页里的标签是从1开始计数，比如下面这句：
appVersion=appInfo[0].xpath('./span[2]/text()')[0] #span标签从1开始获取app的版本，我们先搜索定位到如下源代码：
获取里面的span标签，这里有两个，其中版本在第二个span标签，故这里使用span[2]，而不是span[1]