关于爬虫分析数据的三种方式

1.import re

re.split('\d', 'one,two,2three')
   ['one,two,', 'three']

re.sub('\d', '-', 'one,two,3three')
    # 将前面的用后面的替换掉
    'one,two,-three'
re.subn('\d', '=', 'one two 3three')
    # 这个不仅替换，还返回替换的次数
    ('one two =three', 1)

str = "hello 123, word 789"
pattern = re.compile('(\w+) (\d+)')
print(pattern.sub(r'\2***\1', str))
    123***hello, 789***word

2.from lxml import tree

此方法需要安装lxml库：pip install lxml
select = etree.Html(html)

data = select.xPath("/div[start-with(@id, 'test')]/text()")
    提取div中所有id属性以test开头的内容

data = select.xPath("//div[contains(@id, "tag")]")
    模糊查询

/bookstore/bool[1]	第一个book子元素
/bookstore/bool[last(1)]	最后一个book子元素
/bookstore/bool[last()-1]	倒数第二个book子元素

3.from bs4 import BeautifulSoup

soup = BeautifulSoup(html,'lxml')
soup = BeautifulSoup(html,'html.parser')

soup.prettify()     美化代码，即有换行
soup.attrs      获取属性值，是一个字典
soup.attrs['type']  获取指定属性值
soup.span.string    获取之间的内容

soup.find_all('div')    返回包含所有div的元素列表
soup.find(id='menu')    返回id为menu的第一个元素

soup.select('p')    通过css选择器查找符合条件的所有元素
soup.get_text()     获取内容
    print(soup.select('p')[0].text)
    print(soup.select('p')[0].get_text)

soup.p.contents     查找子节点
soup.p.descendants  查找子孙节点
soup.p.parent       找父节点
soup.p.parents      找祖先节点（这是一个生成器）
    print(list(soup.p.parents)) -- 最简单的查看方法