Python实战案例:金庸的功夫流派、人物关系的分析案例(上）
Python实战案例:金庸的功夫流派、人物关系的分析案例(上）
一、项目说明
在香港的探案剧中， 经常见到这样的场景，为了分析某一桩谋杀案或者是失踪案，会把案件的可疑人员和与被害者的关系人员全部找出来，构建一个关系网。对关系网中的每一个人分析其做案动机。如下图所示。
类似上图这种网络关系的图表，可能使用python的networkx来进行网络关系图的绘制。不过，这里没有案件，这里没有被害人。我们以金庸的人物、武功及小说原文来说明networkx的使用，这也可以说是金庸的功夫流派、人物关系的分析案例。
二、金庸小说爬取
要完成金庸的功夫流派，人物关系的分析，首先需要爬取金庸的小说内容，然后爬取金庸小说中的人物，再去爬取金庸小说中的功夫密籍，也要去爬取金庸小说中的门派。
这里先爬取金庸小说的数据，爬取的网站是http://www.jinyongwang.com，进入页面后，点击导航中的“金庸小说阅读”。页面如下图所示。
可以看到图中数据有金庸小说的修订版、新修版和旧版。这里爬取的数据为金庸小说修订版的所有文本数据。使用的模块就是requests和lxml.
首先用requests.get()方法获取网页http://www.jinyongwang.com/book/中所有代码。可以添加请求头headers={“User-Agent”:”Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36”}
这样,requests的请求语句就变成了。
res=requests.get(“http://www.jinyongwang.com/book/”,headers=headers)
在这句代码中,res存储的就是请求这个页面后的结果.get中的参数headers=headers的作用就是在请求的时候模拟浏览器的效果.
获取代码后的结果数据是保存在res.content中,把res.content中的数据进行decode(“utf8”)解码,就可以把形如”\0304”这样的代码解析成”utf8”编码的汉字.代码如下.
result=res.content.decode("utf8")
接下来用lxml进行网页数据的提取.
首先需要调用lxml中的etree方法,然后通过etree.HTML(请求响应结果)将获取的结果形成树,最终使用xpath从树结构中选取网页元素.相关代码如下.
from lxml import html
etree=html.etree
html_result=etree.HTML(result)
接下来要xpath技术提取网页中包含的书的名字及书详情内容的链接地址页.
在金庸书名列表页的”查看网页元素"后的效果图如下所示.
从上图的html树形结构中可以看出,在
和元素标签，每个标签里面其实就是金庸小说版本的相关说明，如下图所示。
再去看每个
标签的下面就是一堆的- 标签，也就是金庸各版小说对应的书名及链接标签。
如下图展开“飞狐外传小说”的html标签名称，结构如下。
通过对html展开式可以得到，需要获取到金庸每本小说修订版的链接地址和书名，需要先访到ul元素，因为页面中有3个元素，这里需要访问到是有修订版内容h2标的同级ul标签，当然我通过内容可以看出来是第一个ul,如果直接定位第一个ul是可以把ul标签定位，这样显得技术含量有些欠缺了，最重要的不是定位元素的结果，是如何用一种不变的方法去定位元素，提高技术的含金量，有助于面试时的表现。然后再去遍历ul下面的- 元素标签，再将每个li标签中的a标签元素及
标签元素找到，就可以解决书名及具体链接内容地址的获取。
先用代码去找到h2中含有“修订版”3个字的元素，xpath可以通过contains方法去查找包含关系，通过[@属性=”属性名"]去定位具备这种属性的元素.代码如下.
h2s=html_result.xpath("//h2[@class='bookname']/span[contains(text(),'修订版')]")[0]
上述代码的xpath是从class=”bookname”属性的h2元素中找到span标签中的文本包含"修订版"的元素.因为获取到的是列表,所以用到[0]的索引来获取列表的中第一个元素,也是唯一的元素.
找到包括"修订版"的元素之后,再找跟"修订版"元素的兄弟ul元素,就定位到了金庸小说修订版书目的页面.xpath可以通过following-sibling查找当前元素后面的兄弟元素,如果要查找当前元素前面的兄弟元素,可以使用preceding-sibling,这里查找的是当前元素后面的第一个ul标签元素,可以使用下面的代码查找.
ul=h2s.xpath("../following-sibling::ul[1]/li")
上面的代码就会把h2中包含”修订版"内容的下一个兄弟元素ul中的所有的li标签取出.继续遍历每个li标签,查找每个li标签下的
元素里面的a标签的href属性和text(）文本内容，href属性中存放的就是小说内容的链接，text(）内容中存放的就是小说的名称。
截图如下。
提取每个li元素金庸小说的链接和内容代码如下：
for li in ul:
p_title=li.xpath("./p[@class='title']/a/text()")[0]
p_href=li.xpath("./p[@class='title']/a/@href")[0]
通过代码爬取到的书名可以存到文件夹中，书的具体详情地址就需要再次请求获取的a标签链接。继续用requests.get去请求页面的地址，需要注意的是，页面地址是由爬取的内容地址前加上http://www.jinyongwang.com得到的。具体代码如下。
os.makedirs("./book/"+str(p_title))
url2="http://www.jinyongwang.com"+p_href
res2=requests.get(url2,headers=headers)
再次请求每本书章节列表的内容返回也是放在content属性中，也是需要decode进行解码的。代码如下。
result2=res2.content.decode("utf8")
有了金庸小说书名章节列表的页面，就可以查看每个章节的html树形结构。如下图所示.
由上图显示可以看出，这里需要获取的是
标签里面其实就是金庸小说版本的相关说明，如下图所示。
再去看每个
- 标签的下面就是一堆的
- 标签，也就是金庸各版小说对应的书名及链接标签。
如下图展开“飞狐外传小说”的html标签名称，结构如下。
通过对html展开式可以得到，需要获取到金庸每本小说修订版的链接地址和书名，需要先访到ul元素，因为页面中有3个
- 元素，这里需要访问到是有修订版内容h2标的同级ul标签，当然我通过内容可以看出来是第一个ul,如果直接定位第一个ul是可以把ul标签定位，这样显得技术含量有些欠缺了，最重要的不是定位元素的结果，是如何用一种不变的方法去定位元素，提高技术的含金量，有助于面试时的表现。然后再去遍历ul下面的
- 元素标签，再将每个li标签中的a标签元素及
标签元素找到，就可以解决书名及具体链接内容地址的获取。
先用代码去找到h2中含有“修订版”3个字的元素，xpath可以通过contains方法去查找包含关系，通过[@属性=”属性名"]去定位具备这种属性的元素.代码如下.
h2s=html_result.xpath("//h2[@class='bookname']/span[contains(text(),'修订版')]")[0]上述代码的xpath是从class=”bookname”属性的h2元素中找到span标签中的文本包含"修订版"的元素.因为获取到的是列表,所以用到[0]的索引来获取列表的中第一个元素,也是唯一的元素.
找到包括"修订版"的元素之后,再找跟"修订版"元素的兄弟ul元素,就定位到了金庸小说修订版书目的页面.xpath可以通过following-sibling查找当前元素后面的兄弟元素,如果要查找当前元素前面的兄弟元素,可以使用preceding-sibling,这里查找的是当前元素后面的第一个ul标签元素,可以使用下面的代码查找.
ul=h2s.xpath("../following-sibling::ul[1]/li")上面的代码就会把h2中包含”修订版"内容的下一个兄弟元素ul中的所有的li标签取出.继续遍历每个li标签,查找每个li标签下的
元素里面的a标签的href属性和text(）文本内容，href属性中存放的就是小说内容的链接，text(）内容中存放的就是小说的名称。
截图如下。
提取每个li元素金庸小说的链接和内容代码如下：
for li in ul: p_title=li.xpath("./p[@class='title']/a/text()")[0] p_href=li.xpath("./p[@class='title']/a/@href")[0]通过代码爬取到的书名可以存到文件夹中，书的具体详情地址就需要再次请求获取的a标签链接。继续用requests.get去请求页面的地址，需要注意的是，页面地址是由爬取的内容地址前加上http://www.jinyongwang.com得到的。具体代码如下。
os.makedirs("./book/"+str(p_title)) url2="http://www.jinyongwang.com"+p_href res2=requests.get(url2,headers=headers)再次请求每本书章节列表的内容返回也是放在content属性中，也是需要decode进行解码的。代码如下。
result2=res2.content.decode("utf8")有了金庸小说书名章节列表的页面，就可以查看每个章节的html树形结构。如下图所示.
由上图显示可以看出，这里需要获取的是
- 元素标签，再将每个li标签中的a标签元素及
