【python爬虫专项（27）】拉勾网数据采集（关键词网址不发生变化）
拉勾网登陆后，选择某城市，搜索任意关键字，采集岗位信息数据
起始参考网址：全国数据分析岗位招聘
前一篇是搜索关键词网址发生变化的情况，接下来就处理搜索关键词不发生变化情况下的数据爬取，就以上一篇提及的‘数据分析’作为关键词，进行相同字段数据的爬取
爬虫逻辑：【登陆】-【访问页面 + 采集岗位信息 - 翻页】
1）函数式编程
函数1：login(u,username,password) → 【登陆】
u：起始网址
username：用户名
password：密码
函数2：get_data(ui,table,page_n) → 【访问页面 + 采集岗位信息 - 翻页】
ui：数据页面网址
table：mongo集合对象
page_n：翻页次数
2）上一篇文章是以第一种方式获取字段的内容，那么这一篇就使用第二种方式
区别在于方法一是找到了字段内容所在的【li】标签，然后再【li】标签内部查找对应标签的信息，方法二是直接在全局的范围里面，直接通过xpath定位，然后进行遍历输出
前期准备和封装第一个函数都是和之前的一样
import re
import time
import random
import pymongo
from selenium import webdriver
def login(u,username,password):
browser.get(u)
browser.find_element_by_xpath('//*[@id="changeCityBox"]/p[1]/a').click()
#选择全国站
browser.find_element_by_xpath('//*[@id="lg_tbar"]/div/div[2]/ul/li[3]/a').click()
#点击登录按钮
user_name = browser.find_element_by_xpath('/html/body/div[2]/div[1]/div/div/div[2]/div[3]/div[1]/div/div[1]/form/div[1]/div/input')
#用户名
pass_word = browser.find_element_by_xpath('/html/body/div[2]/div[1]/div/div/div[2]/div[3]/div[1]/div/div[1]/form/div[2]/div/input')
user_name.clear()
pass_word.clear()
#清空里面的内容
user_name.send_keys(username)
pass_word.send_keys(password)
#输入个人信息
browser.find_element_by_xpath('/html/body/div[2]/div[1]/div/div/div[2]/div[3]/div[2]/div[2]/div[2]').click()
print(browser.current_url)
#点击登录按钮并返回当前页面的网址
if __name__ == '__main__':
browser = webdriver.Chrome()
login('https://www.lagou.com/', 'xxx','xxx')
这里完成拉勾网账号的登录，和封装第一个函数
相应字段内容的获取和时间问题
前一个函数的功能，只是会进入到登录之后的拉勾网界面，这时候，可以将页面跳转到“数据分析”为关键的页面上，可以执行如下代码，为了防止浏览器未反应过来，这一部分要给系统一个反应时间（包含了之前的手动输入验证码的时间，建议是15s）
time.sleep(15)
browser.get('https://www.lagou.com/jobs/list_%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90/p-city_0?px=default#filterBox')
#跳转到‘数据分析’搜索的界面
browser.find_element_by_xpath('/html/body/div[6]/div/div[2]').click()
#这一步是因为会弹出来一个广告，因此需要过滤掉
然后就是进入了以"数据分析"为关键字的招聘信息的界面，这时候先选择第一页的内容进行爬虫试错，如下：
dic = {}
dic['岗位名称'] = browser.find_element_by_xpath(f'//*[@id="s_position_list"]/ul/li[1]/div[1]/div[1]/div[1]/a/h3').text
dic['发布时间'] = browser.find_element_by_xpath(f'//*[@id="s_position_list"]/ul/li[1]/div[1]/div[1]/div[1]/span').text
dic['公司名称'] = browser.find_element_by_xpath(f'//*[@id="s_position_list"]/ul/li[1]/div[1]/div[2]/div[1]/a').text
info1 = re.split(r'[ /]+', browser.find_element_by_xpath(f'//*[@id="s_position_list"]/ul/li[1]/div[1]/div[1]/div[2]/div').text)
dic['薪酬'] = info1[0]
dic['经验水平'] = info1[1]
dic['学历要求'] = info1[2]
info2 = browser.find_element_by_xpath(f'//*[@id="s_position_list"]/ul/li[1]/div[1]/div[2]/div[2]').text.split(' / ')
dic['企业类型'] = info2[0]
dic['融资情况'] = info2[1]
dic['公司规模'] = info2[2]
print(dic)
输出的结果是：
进行数据验证，可以确定是需要爬取的数据：
接下来就可以配置数据库和进行第二个函数的封装了，首先是进行数据库的设置（数据库的创建与命名以及保存数据的集合）
myclient = pymongo.MongoClient('https://localhost:27017/')
db = myclient['拉勾网数据（2）']
datatable = db['data']
三行代码配置好数据库的问题，接着就是封装第三个函数，就是遍历输出加上翻页的功能（模仿人的操作）
def get_data(page_num,table):
count = 0
for j in range(page_num):
for i in range(1,16):
dic = {}
dic['岗位名称'] = browser.find_element_by_xpath(f'//*[@id="s_position_list"]/ul/li[{i}]/div[1]/div[1]/div[1]/a/h3').text
dic['发布时间'] = browser.find_element_by_xpath(f'//*[@id="s_position_list"]/ul/li[{i}]/div[1]/div[1]/div[1]/span').text
dic['公司名称'] = browser.find_element_by_xpath(f'//*[@id="s_position_list"]/ul/li[{i}]/div[1]/div[2]/div[1]/a').text
info1 = re.split(r'[ /]+', browser.find_element_by_xpath(f'//*[@id="s_position_list"]/ul/li[{i}]/div[1]/div[1]/div[2]/div').text)
dic['薪酬'] = info1[0]
dic['经验水平'] = info1[1]
dic['学历要求'] = info1[2]
info2 = browser.find_element_by_xpath(f'//*[@id="s_position_list"]/ul/li[{i}]/div[1]/div[2]/div[2]').text.split(' / ')
dic['企业类型'] = info2[0]
dic['融资情况'] = info2[1]
dic['公司规模'] = info2[2]
table.insert_one(dic)
print(dic)
count += 1
browser.find_element_by_xpath('//*[@id="s_position_list"]/div[2]/div/span[6]'.click()
print(n)
get_data(3,datatable)
运行结果是，程序可以正常运行，也会把数据存放到数据库，经过检查核对发现，并不是我们所要爬取的前三页数据，只是爬取了第一页后，浏览器翻页翻到了最后一页（第30页），因此尝试着将3改成10 ，最后输出的数据全是第30页的招聘信息
究其原因，发现，原来“下一页”这个按钮的出现的位置有一定的差异，自然就导致其对应的标签位置有所改变，由上面直接输出30页，可以推测第一页的位置和最后一页的位置是相同的，下面就开始查找
//*[@id="s_position_list"]/div[2]/div/span[6] #第一页
//*[@id="s_position_list"]/div[2]/div/span[7] #第二页
//*[@id="s_position_list"]/div[2]/div/span[8] #第三页
//*[@id="s_position_list"]/div[2]/div/span[9] #第四页
//*[@id="s_position_list"]/div[2]/div/span[9] #第五页
//*[@id="s_position_list"]/div[2]/div/span[9] #第二十七页
//*[@id="s_position_list"]/div[2]/div/span[8] #第二十八页
//*[@id="s_position_list"]/div[2]/div/span[7] #第二十九页 这一页翻完就是最后一页了
//*[@id="s_position_list"]/div[2]/div/span[6] #第三十页
看一下，“下一页”按钮的布置情况：
1）第一页中，“下一页”按钮的位置
2）第三十页中，“下一页”按钮的位置（可以看出是与第一页相同的）
3）第二页中，“下一页”按钮的位置（多一个按钮）
4）第三页中，“下一页”按钮的位置（又多一个按钮）
5）第四页中，“下一页”按钮的位置（又多一个按钮）
6）第五页中，“下一页”按钮的位置（和第4块的一致了，之后的都是一致的）
7）第二十八页中，“下一页”按钮的位置（开始少了一块）
8）第二十九页中，“下一页”按钮的位置（又少一个按钮）
9）就是第三十页，和第一页的位置一样，因此就可以看出规律，从第一页至第四页逐渐加一，最后四页逐渐减一
最终的修改代码为：
if j < 3:
browser.find_element_by_xpath('//*[@id="s_position_list"]/div[2]/div/span[{}]'.format(6+j)).click()
sleeptime = 5
print('程序正在休息......',sleeptime)
time.sleep(sleeptime)
else:
browser.find_element_by_xpath(f'//*[@id="s_position_list"]/div[2]/div/span[{9}]').click()
sleeptime = 5
print('程序正在休息......',sleeptime)
time.sleep(sleeptime)
这里的停止时间一定需要给够，不然页面没有及时刷新成功，就会导致系统报错，因为每一页的“下一页”翻页按钮都和程序的下一步执行有关系，注意爬取的页数这里设置，如果要设置爬取的页数多少的话不可以超过27，这也是“下一页”按钮设置的规律决定的
最终的输出结果
进行登录界面和跳转到以“数据分析”为关键字的招聘页面
最后的数据爬取过程如下：（这里选取前十页进行数据爬取）