# 第一个爬虫小程序,爬虫还是要遵守互联网相关规定,敬畏版权,不要乱爬...不然很容易被请喝茶
# 中间踩到的一些坑,需要使用cmd命令导入的库
# pip install requests
# pip install BeautifulSoup4
# pip install lxml
import requests
from bs4 import BeautifulSoup
headers = {
# 这里写各位自己的agent吧...我的就删除了...可以在谷歌浏览器里面的F12里面==>Network==>刷新页面==>随便点击一个Name==>查看右边的Headers==>往下滑就可以找到你的user-agent
'user-agent': 'Mozilla/5.0' #这里要注意,这是个字典,需要前面后面都加上引号
}
for i in range(1,31,10): #最后一个参数是步长
html = requests.get('https://cn.bing.com/search?q=VBA&first={}&FORM=PORE'.format(i),headers = headers)
soup = BeautifulSoup(html.text,'lxml')
VBA_soup = soup.select('.b_algo') #LI列表,其实select就是一个列表
for VBA_soup_title in VBA_soup:
VBA_soup_title_text = VBA_soup_title.select('h2 a')[0].text #这里使用[0]代表第一个元素
print(VBA_soup_title_text)