爬虫:爬取分析拉勾网数据分析职位信息

本文是我第三篇爬虫实战的代码,主要针对拉勾这一类有反爬机制的网站构思爬取思路,并对爬取的数据进行可视化及分析

本来信心满满觉得可以写出这篇代码,但自己第一次完成的时候并不能成功爬取,于是我在各个网站上学习了各路大佬的思路,很有启发,下面的代码是我模仿其中最喜欢的爬虫代码风格写出的

第一部分是爬虫的代码

import requests
import pandas
import time
import random

#用于获取页面信息
def getWebResult(url,cookies,form,header):
    html = requests.post(url=url,cookies=cookies,data=form, headers=header)
    result = html.json()
    #找到html中result包含的招聘职位信息
    data = result['content']['positionResult']['result'] # 返回结果在preview中的具体返回值
    return data
#     if 'content' in result:
#         data = result['content']['positionResult']['result'] # 返回结果在preview中的具体返回值
#         return data
#     else:
#         print('not exist')
#     return None
###   在文末会提到以上注释的含义

#将招聘信息按照对应的参数，组装成字典
def getGoalData(data):
    for i in range(15):#每页默认15个职位
        info={
            'positionName': data[i]['positionName'],    #职位简称
            'companyShortName': data[i]['companyShortName'],    #平台简称
            'salary': data[i]['salary'],    #职位薪水
            'createTime': data[i]['createTime'],    #发布时间
            'companyId':data[i]['companyId'],   #公司ID
            'companyFullName':data[i]['companyFullName'],   #公司全称
            'companySize': data[i]['companySize'],  #公司规模
            'financeStage': data[i]['financeStage'],    #融资情况
            'industryField': data[i]['industryField'],  #所在行业
            'education': data[i]['education'],  #教育背景
            'district': data[i]['district'],    #公司所在区域
            'businessZones':data[i]['businessZones']    #区域详细地
        }
        data[i]=info
    return data

#保存data至csv文件
def saveData(data,stage):
    table = pandas.DataFrame(data)
    table.to_csv('lagou.csv', header=stage, index=False, mode='a+')

def main():
    # 拼装header信息
    header = {
        'Host': 'www.lagou.com',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36',
        'Accept': 'application/json, text/javascript, */*; q=0.01',
        'Accept-Language': 'zh-CN,zh;q=0.9',
        'Accept-Encoding': 'gzip, deflate, br',
        'Referer': 'https://www.lagou.com/jobs/list_%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90?px=default&city=%E6%88%90%E9%83%BD',
        'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
        'X-Requested-With': 'XMLHttpRequest',
        'X-Anit-Forge-Token': 'None',
        'X-Anit-Forge-Code': '0',
        'Content-Length': '55',
        'Connection': 'keep-alive',
        'Pragma': 'no-cache',
        'Cache-Control': 'no-cache, no-store, max-age=0'
        }
    cookies = {
        'Cookie':'user_trace_token=20190701195626-413b5187-9bf7-11e9-bb89-525400f775ce; LGUID=20190701195626-413b53d1-9bf7-11e9-bb89-525400f775ce; sensorsdata2015jssdkcross=%7B%22distinct_id%22%3A%2216bad64b2e0177-0b9dbc99c10c49-e343166-1327104-16bad64b2e16f2%22%2C%22%24device_id%22%3A%2216bad64b2e0177-0b9dbc99c10c49-e343166-1327104-16bad64b2e16f2%22%2C%22props%22%3A%7B%22%24latest_traffic_source_type%22%3A%22%E7%9B%B4%E6%8E%A5%E6%B5%81%E9%87%8F%22%2C%22%24latest_referrer%22%3A%22%22%2C%22%24latest_referrer_host%22%3A%22%22%2C%22%24latest_search_keyword%22%3A%22%E6%9C%AA%E5%8F%96%E5%88%B0%E5%80%BC_%E7%9B%B4%E6%8E%A5%E6%89%93%E5%BC%80%22%7D%7D; _ga=GA1.2.801986302.1561982196; JSESSIONID=ABAAABAAADEAAFI4839E11CD94A977EEB2B1E95652FD697; WEBTJ-ID=20190810164200-16c7ab1117275-04bee1efa35a37-c343162-1327104-16c7ab111735a3; index_location_city=%E5%85%A8%E5%9B%BD; isCloseNotice=0; TG-TRACK-CODE=search_code; X_MIDDLE_TOKEN=a17a1fb36651540303bd945a47e31611; X_HTTP_TOKEN=c8d3763e5add9d9d9787255651a16cc9be556fcc48; LGRID=20190811205119-b72d08e6-bc36-11e9-8915-525400f775ce; SEARCH_ID=84e789e6c95a450bacac50045bccfaca'
    }


    # 职位关键字
    job='数据分析'

    # 职位所属地
    city = '成都'
    # 模拟请求的url
    url = 'https://www.lagou.com/jobs/positionAjax.json?px=default&city=' + city + '&needAddtionalResult=false'

    #用于定义开始爬取的起始页码
    startPage=1

    #拉勾网有个限制，单次只能连续爬取5页，所以使用一个以5页为轮循的小策略
    while startPage<26:
        for i in range(startPage, startPage+5):
            #拼装Form Data信息
            if i == 1:
                flag = 'true' #当是首次请求时，使用flag=true标志
                stage = True  #stage是用来标示csv是否创建表头的参数，仅在第一次保存数据时创建
            else:
                flag = 'false'
                stage = False
            num = i
            form = {'first': flag,  # 标示是否是首次请求标示，第二页以后则为false
                    'kd': job,
                    'pn': str(num)}
            print('------page %s-------' % i) #打印当面爬取的页码

            #调用函数，获取相应的招聘信息
            data = getWebResult(url,cookies,form, header)
            #调用函数，拼装招聘信息
            data_goal = getGoalData(data)
            #调用函数，保存info数据
            saveData(data_goal, stage)

        #以5页为单次，依次轮循
        startPage+=5

        #休眠一定时间
        time.sleep(20+random.randint(10,30))

if __name__ == '__main__':
    main()

这里解答一下问题,这个代码无法运行成功,始终会报'content'错误.
我并不能理解为什么,且发现网上其他作者的不同代码我运行都会报这个错,我搜索了相关解决方案,只找到如下:

作者如图

解决方法

我尝试了这个方法(即大概为上述代码的注解),但是报出另一个错误:我定义的(如图)字典键不存在值.我完全不能理解了...尝试许久还是没有解决,但这部分的代码和思路倒是十分熟练,只好告诉自己有缘再解决这个问题了...

下面是分析相关的代码

import pandas as pd  
import matplotlib.pyplot as plt  
import statsmodels.api as sm  
from wordcloud import WordCloud  
from scipy.misc import imread  
import jieba  
from pylab import mpl  

# 使matplotlib模块能显示中文  
mpl.rcParams['font.sans-serif'] = ['SimHei'] # 指定默认字体  
mpl.rcParams['axes.unicode_minus'] = False # 解决保存图像是负号'-'显示为方块的问题  

# 读取数据  
df = pd.read_csv('lagou_jobs.csv', encoding = 'gbk')  

# 数据清洗,剔除实习岗位  
df.drop(df[df['职位名称'].str.contains('实习')].index, inplace=True)  
# print(df.describe())  

# 由于CSV文件内的数据是字符串形式,先用正则表达式将字符串转化为列表,再取区间的均值  
pattern = '\d+'  
df['工作年限'] = df['工作经验'].str.findall(pattern)  

avg_work_year = []  
for i in df['工作年限']:  
    # 如果工作经验为'不限'或'应届毕业生',那么匹配值为空,工作年限为0  
    if len(i) == 0:  
        avg_work_year.append(0)  
    # 如果匹配值为一个数值,那么返回该数值  
    elif len(i) == 1:  
        avg_work_year.append(int(''.join(i)))  
    # 如果匹配值为一个区间,那么取平均值  
    else:  
        num_list = [int(j) for j in i]  
        avg_year = sum(num_list)/2  
        avg_work_year.append(avg_year)  

df['经验'] = avg_work_year  

# 将字符串转化为列表,再取区间的前25%，比较贴近现实  
df['salary'] = df['工资'].str.findall(pattern)  

avg_salary = []  
for k in df['salary']:  
    int_list = [int(n) for n in k]  
    avg_wage = int_list[0]+(int_list[1]-int_list[0])/4  
    avg_salary.append(avg_wage)  

df['月工资'] = avg_salary  
# 将清洗后的数据保存,以便检查  
df.to_csv('draft.csv', index = False)  

# 描述统计  
print('数据分析师工资描述：\n{}'.format(df['月工资'].describe()))  

# 绘制频率直方图并保存  
plt.hist(df['月工资'],bins = 12)  
plt.xlabel('工资 (千元)')   
plt.ylabel('频数')   
plt.title("工资直方图")   
plt.savefig('histogram.jpg')  
plt.show()  

# 绘制饼图并保存  
count = df['区域'].value_counts()  
# 将龙华区和龙华新区的数据汇总  
count['龙华新区'] += count['龙华区']   
del count['龙华区']  
plt.pie(count, labels = count.keys(),labeldistance=1.4,autopct='%2.1f%%')  
plt.axis('equal')  # 使饼图为正圆形  
plt.legend(loc='upper left', bbox_to_anchor=(-0.1, 1))  
plt.savefig('pie_chart.jpg')  
plt.show()  

# 绘制词云,将职位福利中的字符串汇总  
text = ''  
for line in df['职位福利']:  
    text += line  
# 使用jieba模块将字符串分割为单词列表      
cut_text = ' '.join(jieba.cut(text))  
color_mask = imread('cloud.jpg')  #设置背景图  
cloud = WordCloud(  
        font_path = 'yahei.ttf',   
        background_color = 'white',  
        mask = color_mask,  
        max_words = 1000,  
        max_font_size = 100          
        )  

word_cloud = cloud.generate(cut_text)  
# 保存词云图片  
word_cloud.to_file('word_cloud.jpg')  
plt.imshow(word_cloud)  
plt.axis('off')  
plt.show()  

# 实证统计,将学历不限的职位要求认定为最低学历:大专  
df['学历要求'] = df['学历要求'].replace('不限','大专')  

# 学历分为大专\本科\硕士,将它们设定为虚拟变量  
dummy_edu = pd.get_dummies(df['学历要求'],prefix = '学历')  
# 构建回归数组  
df_with_dummy = pd.concat([df['月工资'],df['经验'],dummy_edu],axis = 1)  

# 建立多元回归模型  
y = df_with_dummy['月工资']  
X = df_with_dummy[['经验','学历_大专','学历_本科','学历_硕士']]  
X=sm.add_constant(X)   
model = sm.OLS(y,X)  
results = model.fit()  
print('回归方程的参数：\n{}\n'.format(results.params))  
print('回归结果：\n{}'.format(results.summary()))  

(因为爬取部分始终没能成功,所以分析部分的代码也就没能实施辽 hin难受)

总结

1.找到了自己爬虫的代码风格,也对这一类有反爬机制的网站爬取有了一系列心得体会;
2.对使用 python 进行数据分析有了实践和更多的思考