python爬取数据豆瓣读书

xpath爬取脚本：
from urllib import request
from lxml import etree

base_url=“https://tieba.baidu.com/f?kw=nba”
response=request.urlopen(base_url)
html=response.read().decode(‘utf-8’)
htmls=etree.HTML(html)
titles=htmls.xpath(’//div[@class=“threadlist_lz clearfix”]/div/a/@title’)

一开始在父级div没找到，因此再上一级找爷爷辈div，然后加个/div回到父级

//表示在整个html文档寻找，@表示寻找类名，再加一个/div表示它的下一级

print(titles)发现输出的是一个列表

for i in titles:
print(i)

为啥不直接找呢？
因为没有class标签，所以不好找，所以找它的父亲，看套再哪个class里
//div[@class=“pl2”]/a/@title

//p[@class=“pl”]/text()作者
P标签下用text找
//span[@class=“rating_nums”]/text()评分
短评
//span[@class=“inq”]/text()
//div[@class=“movie-content”]/a/img/@src
图片

#爬取豆瓣读书top250

建立一个文件io对象

fp=open(’./douban.txt’,‘a’,encoding=‘utf-8’)

采集源码

def index():
for i in range(0,226,25):#制作页码
# print(i)
base_url=‘https://book.douban.com/top250?start={0}’.format(i)
# print(base_url)
#抓取源码阶段
response=request.urlopen(base_url)
html=response.read().decode(‘utf-8’)
#处理源码（用etree将html转换为xml
htmls=etree.HTML(html)#就可以用xpath语言写了
clean_sto(htmls)

清洗数据并保存

def clean_sto(htmls):
titles=htmls.xpath(’//div[@class=“pl2”]/a/@title’)
# print(titles)发现是一个一个的列表
for i in titles:
# print(i)
fp.write(i+’\n’)
if name==‘main’:
index()
fp.close()