自己要有自己的思考系统，才能临场不乱
from bs4import BeautifulSoup
import bs4
file_path ="./gushi.html"
#把本地文件加载过程，底层封装的就是LXML，也是根据正则或者XPATH语法去找的
soup = BeautifulSoup(open(file_path,encoding="utf-8"),"lxml")
#为什么叫soup，因为爬回来的数据杂论无章，我们把数据封装到Beautifulsoup里面，
print(soup.find_all("li"))
#寻找第一个 li
tag = soup.find("li",title ="thrid line")
#寻找第一个li，并改名为thrid line
tag = soup.find("li",class_="hehe")
#寻找里面有个class = hehe的tag
#为什么class底下有个_，因为class可以定义类，是个误区
#文件命名和变量命名不能和关键字冲突
"""
如果要找两个标签怎么找?可以用列表形式找，而find只返回第一个找到的元素
所以用find_all
"""
print(soup.find_all(["li","a"],limit=2))
#print(tag)
#api接口虽然好用，但是效率低，可以运用select
print(soup.select("a"))
#这个直接用element，叫标签元素
#根据class属性找，
print(soup.select(".hehe"))
#CSS选择器通过权重确定优先级（面试重点）
#根据id属性
print(soup.select("#yoyoyo"))
#根据class属性确定li标签
print(soup.select('li[class]'))
#定位到class里面有属性
print(soup.select('li[class="li"]'))
#寻找id=two的属性
print(soup.select('li[id="two"]'))
#element有几种类型
#BeautifulSoup也是一种文档结构，要有几个数据类型支撑
for nodein soup.descendants:
print(type(node))
#BS4里面的四种数据类型
li = soup.find("li")
attr = li.attrs
print(li)
print(attr)
#如何从字典上取值
print(attr["class"])
print(attr["name"])
print(attr["id"])
#另外一种做法是
print(li.get("class"))
print(li.get("name"))
print(li.get("id"))
思考：在运用BS4的find时，由于效率低，是否能在所有场景，用select代替？而在爬取网站上某一信息的时候，是先把整个网站爬下来再
搜索，还是能直接用BS4爬取网页中想要的讯息呢？
总结：select对比中发现，select无法完全取代find，因为部分使用不同：
select(self, selector, namespaces=None, limit=None, **kwargs)
find(self, name=None, attrs={}, recursive=True, text=None,**kwargs)
1、find可以使用attrs在字典里找到指定的内容，而select没有
2、可以使用find_all的方法可以传入text参数，参数为正则表达式对象，结果返回所有匹配正则表达式的节点文本组成的列表。
3、select可以使用limit限制寻找的内容，而find却不行