开篇之前，想打一波硬广(没(fen)广(si)告(fu)费(li)(ง •̀_•́)ง)。爸爸会不会打我？
天善智能，专注商业智能和数据库性能优化，如果你有自己的问题苦苦找不到解决的办法，可以在天善问答社区寻求帮助。
和一样，它有着很多优秀的技术类的文章，和不同的是它有着自己的问答社区，在天善问答社区，可以发表自己的问题寻(yao)求(qing)各位大佬的帮助。
最近在学习ETL，于是在天善关键词搜索，光看目录就已经觉得很牛逼了～ <数据仓库设计、ETL设计框架>等等。作为一个爱学习的人，看到这么多有内涵的博客，当然想学习新技能(flag+1)，但是我更习惯在手机上浏览，如果我想在手机上看，网页端显然是不太方便的，所以果断转换成pdf存一份(说干就干)
1.采集数据
有一段时间没有在博客中分析了，今天就不(luo)厌(li)其(luo)烦(suo)再头来一遍。
- chrome浏览器右键检查，在弹出窗口中选择network，这时点击我们想要查看的博客链接，天善社区的博客列表显然是972这个，有的时候链接不一定是在XHR分类下，具体网页我们要具体分析。
-
点击972，查看RequestURL，复制这个链接打开，发现获得的内容和我们当前点开的链接一样，此时我们就大工告成了一半。
import requests
url = 'https://ask.hellobi.com/blog/biwork/972'
my_headers = {
"Accept-Language":"zh-CN,zh;q=0.9",
"Host":"ask.hellobi.com",
"User-Agent":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36"
}
r = requests.get(url=url, headers=my_headers)
print(r.content)
写到这以为完成了一半，那就大错特错了，既然我们想将整个目录都转换为pdf，那么只采集一篇怎么能行，这里我们就需要采集所有的文章地址。
天善博客社区提供 博客地图，这对我们的提取所有的链接提供了便利，所以下一步我们就来采集这些链接。
- 代码
import requests
from lxml import etree
map_url = 'https://ask.hellobi.com/blog/biwork/sitemap/'
map_headers = {
"Host": "ask.hellobi.com",
"Upgrade-Insecure-Requests": "1",
"User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36",
}
rel = requests.get(url=map_url, headers=map_headers).content
html = etree.HTML(rel)
datas = html.xpath('//div[@class="col-md-12"]')
list_url = []
for data in datas[0]:
blog_urls = data.xpath('./li/a/@href')
print(blog_urls)
2.将网页转换为pdf
既然要转换pdf，我们就需要使用一个神器。wkhtmltopdf
生成PDF时会自动根据你在HTML页面中的标签生成树形目录结构，同时也可以在通过相应的函数设置将网页中的指定部分转换为pdf。
- 终端输入命令
pip install wkhtmltopdf
pip install pdfkit
匹配查看网页html信息，找出作者，标题，作者
soup = BeautifulSoup(result, 'html.parser')
body = soup.find_all(class_='message-content')
- 写入html文件
# 将标题加入正文居中
center_title = soup.new_tag('center')
title_tag = soup.new_tag('h1')
title_tag.string = title
center_title.insert(1, title_tag)
html = str(body)
print(html)
html = html_template.format(content=html)
html = html.encode("utf-8")
f_name = ".".join([str(index), "html"])
with open(f_name, 'wb') as f:
f.write(html)
htmls.append(f_name)
- 将html文件合并为pdf
pdfkit.from_file(htmls, user_name + "的文章合辑.pdf", options=options)
- 执行完毕 pdf效果
大功告成，我们可以愉快的把想看的博客转换成pdf了。
完整代码已上传Github.
如果你觉得我的文章还可以，可以关注我的微信公众号：Python攻城狮
可扫描二维码，添加关注