嗨喽,大家好呀~这里是爱看美女的茜茜呐
又到了学Python时刻~
在我们学习的时候,通常会产生疑问:这个行业前景好不好呢?
今天我们就用python的数据分析这个就业方向来举例
看一下都有哪些因素影响了薪资的高低呢?
requests 第三方模块
pyecharts 可视化模块
pandas 操作表格
版 本: python3.8
编辑器: pycharm
导入模块
import requests # 第三方模块 发送请求
import re # 内置模块
import json # 内置模块
import csv
f = open('lagou.csv', mode='a', newline='', encoding='utf-8')
csv_writer = csv.writer(f)
csv_writer.writerow(['positionName', 'companyFullName', 'companySize', 'financeStage', 'city', 'district', 'salary', 'salaryMonth', 'workYear', 'jobNature', 'education'])
伪装 像正常的用户
( 因不可抗原因,不能出现网址,会发不出去,用图片代替了,大家照着敲一下
或者点击此处跳转跳转文末名片加入裙聊,找管理员小姐姐领取呀~ )
for page in range(1, 31):
print(f'###正在爬取第{page}页###')
response = requests.get(url=url, headers=headers)
html_data = response.text
# 结构化数据: json数据 ==> {}所包裹的数据 非常好提取
# 非结构化数据: 网页源代码 方式方法: css/xpath/re 模块/工具: bs4/lxml/parsel/re
# re: 搜索功能 高级用法
# .*?: 匹配任意字符
#