python爬虫初学者常用库BeautifulSoup的简单介绍

python想要完成爬虫，有两个库是必不可少的，其中一个是requests库，用于向服务器发送请求和接受服务器返回的内容，最常见的返回内容是html，而想要从html中提取信息BeautifulSoup库是必不可少的。用pycharm安装bs4库，BeautifulSoup库就在这里面
BeautifulSoup库可以解析html文档，并从相应的标签里提取信息，用法请参看代码：

import requests  #导入requests库，用于发送get请求
from bs4 import BeautifulSoup #从bs4中导入BeautifulSoup库

url = 'https://www.baidu.com'#百度的url
req = requests.get(url)#发送请求

soup = BeautifulSoup( req.text, "html.parser")
# BeautifulSoup函数的第一个参数，是被解析的文档，这里的文档是req.text,即是一个html
# 第二个参数，是解析器。解析器有html.parser,lxml,html5lib
#### html.parser是python标准库中的
#### lxml是用c语言编写的解析器，执行速度快
#### html5lib是以浏览器的方式解析生成html5文档
# 在我们爬虫过程中html.parser解析器就够了
# 解析得到的soup是一个树，可以认为他就是html的节点树

a = soup.find_all( 'div', 'item' )
# 这个函数是用于查找html中的所有的div标签，并且它的class属性为item
# 其返回的是所有满足条件的标签的集合

b = soup.select('#u1 > a')
#b = soup.select('#u1 > a.lb')

# 该方法是按条件筛选，括号的内容可以通过浏览器复制得到，
# 其中#u1 > a是指节点的路径位置， .lb是节点的class属性，可以单独筛选
# 返回的数据也是满足条件的标签的列表
for c in b:
    print(c.get("href"))
##遍历b中的标签
##get用于获取标签中的href元素的值

安装库请参考https://blog.csdn.net/scx_qsnl/article/details/89705889
get请求请参考https://blog.csdn.net/scx_qsnl/article/details/89787511