Python3下基于bs4和sqlalchemy的爬虫实现

本文来自网易云社区

作者：王贝

小学生现在都在学python了，作为专业程序员当然不能落下了，所以，快马加鞭，周六周末在家学起了python3，python3的基本语法比较简单，相比于Java开发更加敏捷，python3的基础就不讲了，这里主要讲下我这里的爬虫小程序的实现逻辑吧

上下模块图：

一目了然，总体上就是这5步，涉及到python3的requests,bs4,re,sqlalchemy这四个模块。

（1）requests：

是一个很强大的http客户端库，提供了丰富的api，比如发一个get请求：

with requests.get(url,params={},headers={}) as rsp:
   res.text   #返回值文本内容

发一个入参为json的post请求：

with requests.post(url,json={},headers={}) as rsp:
   res.text #返回值文本内容

等等。

这里值得说一下，为什么用with as，with会先执行__enter__()方法，其返回值就是as，requests里返回值就是rsp，当with as 这一逻辑行执行结束时，就会执行__exit__()方法，requests里__exit__()方法将request close掉了，这就是程序没有显示调用close的原因。下面程序里会有一个例子彰显with as的功能。

requests还有很多强大的功能，参考：https://www.cnblogs.com/lilinwei340/p/6417689.html。

（2）bs4 BeatifulSoup

学过java的都知道java有个jsoup，jsoup就是对html模版进行解析，变成各个标签集合，这里bs4和jsoup如出一辙，api也基本一致，比如，一下html代码，我们想获取新闻，地图，视频，贴吧 这些内容，只要：

soup=BeautifulSoup(html,'html.parser')
atags=soup.find('div',{'id':'u1'}).findChilren('a',{'class':'mnav'})
values=[]for atag in atags:
   values.append(atag.text)

以上程序即可实现我们的要求，python解析html的还有一个scrapy框架的xpath，以后分享scrapy时再讲。

                                                                                                                                   autocomplete=off autofocus>