随着互联网的发展,任何岗位都离不开数据分析
硬技能 => 硬性数据处理和分析工具的使用
=> 电子表格 Excel
=> 数据库操作语言 SQL
=> 可视化面板 Tableau
=> 大数据处理分析 Python
软技能 => 对事物的认知方式、经验积累
普适性
运营、产品、市场或者销售
数据分析的硬技能
互联网行业经验
=> 细分行业、企业、商业模式
运营策略、思维模型、业务指标
实战性
真实的数据、案例
第一阶段:大数据人才需求分析、销售情况分析
第二阶段:用户行为、用户画像、营销渠道分析、留存转化
从0到1
目标确定=>数据获取=>数据清洗=>数据探索=>洞察结论=>数据报告
互联网:
纸币、硬币
数字货币
数据分析:
对数据的规律进行总结、提炼
决策
互联网 数据分析岗人才需求 => 线上 线下
招聘信息 => 统计职位数 => 同类比较
数据 => 生产材料
以下哪个是基于互联网的数据分析:
A. 统计某产品线下调研结果
B. 分析某课程线上引流效果
从认识数据开始
根据计量层次,进一步对数据进行分类
黄瓜、番茄、森林、书本,无法计算比较,计量层次低
1,2,3,4,5,这些数据可以计算比较,那么计量层次就高
颜色:红色、白色、黄色
性别:男性、女性
职位:数据产品经理、数据运营、市场营销运营
按照类别属性进行分类,各类别之间是平等并列关系
这种数据不带数量信息,并且不能在各类别间进行排序
主要数值运算,计算每一类别中的项目的频数和频率
受教育程度:小学、初中、高中、大学、硕士、博士
季度:春、夏、秋、冬
等级:合格、良好、优秀
定序数据之间可以进行排序、比较优劣
通过将编码进行排序,可以表示之间的高低差异
温度:20、50、100
成绩:50、65、70、100
年龄:8、25、40、60
具有一定单位的实际测量值
定距数据的精确性比定类数据和定序数据更高
可以计算出各变量之间的实际差距(加、减)
利润:10万、20万、30万
薪酬:3000、6000、9000、12000
用户数:210、3500、49000
可以比较大小,进行加、减、乘、除运算
定距尺度中,0表示数值,定比尺度中,0表示"没有"
定比数据中是存在绝对零点的,而定距数据不存在
定性数据(定类数据、定序数据)
是一组表示事物性质、规定事物类别的文字表述型
定类数据(定距数据、定比数据)
指以数量形式存在着的属性,并因此可以对其进行
什么是数据
数据的类型
定类数据 => 定性数据
定序数据 => 定性数据
定距数据 => 定量数据
定比数据 => 定量数据
数据矩阵是怎么组成的
对应的是什么数据类型
定性:姓名、性别、职业
定量:用户标识、年龄、薪酬
房屋设计:建筑面积、竣工面积、技术装备率
提升用户转化率:网站浏览量、着陆页、跳失率
选择理财产品:往期业绩、风险系数、年化收益
GDP(国内生产总值)
总人口 => 总和(SUM)
销售总额
用一个数字显示其一般水平
=> 集中趋势指标
近2个月的销售情况?
环比增长率:
(本期数-上期数)/上期数*100%
(12000-11000)/11000 = 9.09%
环比更注重短期的涨幅表现
同比更注重长期的
1、今年销售总额
2、每月占总销售的比例
3、平均每月销售额
哪个营销渠道引流效果最佳?
什么岗位的薪酬水平最高? => 平均值
哪个产品最受欢迎?
…… => 初步结论
1、计算平均值、中位数、众数
2、哪一组薪酬水平更高
什么是数据
数据分析流程
数据分析技能
什么是离散趋势指标
数据 => 点线面
数据相关的工作
企业对工作经验有什么要求
数据分析岗位 vs 大数据开发
高度 => 一般水平:均值
宽度 => 离散程度
1、判断数据样本的分布形态
2、计算均值、中位数以及众数,能发现什么规律吗
观察检测值与整体数据的差异度
基金业绩走势
1、是否存在异常值
2、你是如何检测的
3、分析下可能的成因,
提示:旅游业为周期性行业
* 海南三亚交易额数据,单位:亿元
检测/识别 => 判定 => 处理
1. 错误记录:修改正确
2. 错误添加:删除
3. 正确、真实
3.1 是否反映特殊事件:修改、调整
3.2 周期性数据:不做处理
1. 错误数据
填充空值
填充样本平均值
2. 正确、真实,需要做调整的数据
根据实际情况调整:数值*需调整比率
检测/识别:与总体差异度
判定:是否需要处理
处理:调整方式
1. 标红数据是否为异常值
2. 猜测产生的原因
3. 假设当天分红导致净值下跌3%,如何调整数值使其恢复正常水平
描述性分析
预测性分析
字段设计
数据提取
异常值:异常值的识别、判定、处理
空白值、无效值、重复值 => 修正、平均值填补、删除
格式化:日期的处理、行列格式化
指标计算:基础的计算,如平均值、总额
数据描述
指标统计
变化:随着时间变动而增减近期销售额表现
分布:不同层次上的表现,地域分布、人群分布
预测:根据现有的增减幅度预测未来销售额
分析过去4周的支出情况
1. 需要哪些数据
2. 计算哪些指标
数据分析岗位招聘信息 => 数据分析岗位需求分析报告
预处理数据样本:清洗、提取、整合
Excel电子表格
电子:存储形式,通过电子设备存储
1. 预处理
文本函数
重复数据的处理
拆分列数据
数据排序与筛选
2. 统计和分析
数学函数:SUM、AVERAGE
逻辑函数:OR、NOT
条件聚合函数:COUNTIF、SUMIF
LOOKUP引用函数
3.
数据透视表:Pivot Table
认识图表类型
制作可视化图表
7个基础功能板块
常用功能介绍
1. 公式的分类有哪些
2. 你最常用的函数有哪些
1. 公式的分类
2. 最常用的函数
计算过去4周的平均支出?
对文本进行提取、查找、转换、更新的函数
"文本合并"函数:CONCATENATE
1、MID函数
双击第一个单元格右下角十字+,列数据自动填充
2、SUBSTITUE函数
3、FIND函数
文本函数:是对文本类数据进行处理
去除以下字符:
=SUBSTITUTE(SUBSTITUTE(SUBSTITUTE(B2,"工作职责:",""),"岗位职责:",""),"职位描述:","")
=MID(C2,3,6)
注意:
简单说函数stdev的根号里面的分母是n-1,而stdevp是n,如果是抽样当然用stdev。
在十个数据的标准偏差如果是总体时就用STDEVP,如果是样本是就用STDEV。
至于STDEVA与STDEV差不多,只不过它可以把逻辑值当数值处理。
计算集中趋势指标:平均值、中位数、众数
清洗、格式化、去重、排序、基础计算 >=50%
数据准确性
统计结果与结论
数据的清理
数据的合并、汇总
针对海量数据,如何快速定位?
选择单列或这个文本,进行去重处理,结果不是想要的。
清除规则
点击【下一步】,再点击【完成】
将所有列都去重处理,再放在同一列,然后进行去重处理即可
导入数据时的分列
拆分列数据
1. 拆分类别数据
2. 对拆分后的数据去重
3. 统计标签个数:81
单位招聘需求量
薪资范畴
工作经验要求
× 理性认识
√ 排序
根据工作经验排序,选中所有,【排序和筛选】-【自定义排序】-【工作经验】
将“经验1年以下”改成“经验0-1年”
将“经验应届毕业生”改成“经验0 经验应届毕业生”
【排序和筛选】-【筛选】,选中“数据分析师”
1. 薪资区间从小到大排序
2. 筛选出薪资10k-20k,地点上海,工作经验1-3年的数据
真假:TRUE FALSE 1 0, 一种计算机语言
逻辑值的运算:与运算 AND、或运算OR、非运算NOT
逻辑运算:与、或、非
交集
1 && 1 = 1
1 && 0 = 0
0 && 0 = 0
并集
1 || 1 = 1
1 || 0 = 1
0 || 0 = 0
求反
!0 = 1
!1 = 0
根据发布时间确定上下午
=IF(INT(LEFT(O5,2))<10,"早上",IF(INT(LEFT(O5,2))<12,"上午","下午"))
=IF(INT(LEFT(O5,2))<12,"上午","下午")
判断岗位是否为数据分析师
1)是,输出“目标岗位”
2)不是,输出空值“”
=IF(COUNTIF(A2,"*开发*"),"开发岗","非开发岗")
=IF(A2="数据分析师","目标岗位","")
职位需求总数:SUM函数
一二三线城市职位需求总数:?
SUM函数:点选符合标准的城市
缺点:
SUMIF(S)条件聚合函数:在公式中写死条件,原始数据顺序随意
=SUMIFS(E:E,D:D,{"北京","上海","广州","深圳"})
条件聚合函数:对符合特定条件的数据项进行统计;数学函数 + 逻辑函数
SUMIF(S):针对符合条件的数据项求和
COUNTIF(S):针对符合条件的数据项计次
1. 对招聘岗位进行去重处理
2. 统计每一类岗位出现的总次数
3. 统计 *开发工程师与非*开发工程师的职位总数
统计频率:=COUNTIF(C:C,E2)
开发类岗位:=COUNTIF(C:C,"*开发工程师*")
异常数据?
特殊现象?
对比分析:数据项之间的大小关系,比较型图表
职位需求量与城市划分类型存在相关性?
变量A随着变量B增加
正相关
关系型图表
城市划分:GDP从小到大
可视化数据的重要性:更有助于理解
图表类型
1. 高频能力要求
2. 近5年职位需求分析
3. 行业类型与平均薪酬
4. 数据洞察
1. 预处理
2. 汇总与统计
3. 可视化
数据分析人才需求报告
数据洞察:数据报告
电影 => 电影评分网站 => 抓取网站信息
爬取信息
推荐观看指数 = 评分*0.2 + 导演*0.2 + 演员*0.2 + 评价分数*0.4 + 剧情偏好
定位目标网址:url
获取网页信息:Requests库
提取目标信息:网页结构,BeautifulSoup库
爬虫是什么:利用技术手段实现网页信息的抓取
为什么要爬虫:获取以及处理信息的效率倍增
如何实现:Requests库,访问并获取网页信息
BeautifulSoup库,解析并提取信息
1. 访问网页并获取网页信息,可以使用的Python库?
2. 解析网页结构并提取目标信息,可以使用的Python库?
在百度里搜【requests官方中文文档】,选择【快速入手】
https://docs.python-requests.org/zh_CN/latest/user/quickstart.html
https://html5-editor.net/ # 可将html代码放入此网站查看网页显示情况
Request库入门.py
# 导入模块
# 需要安装Requests库,可通过anaconda安装 或 pip install requests
import requests
# https://movie.douban.com/
# 定义url
url_douban_movie = 'https://movie.douban.com/' # 注意:http和https一定要添加
# headers 在requests入手文档中搜索headers
headers = {'user-agent': 'my-app/0.0.1'}
# 访问、并获取网页信息
# response 响应 request 请求
# response_douban_movie = requests.get(url=url_douban_movie) # 此时打印页面内容为空,网站有反爬虫机制,加上headers参数伪装成浏览器请求
response_douban_movie = requests.get(url=url_douban_movie, headers=headers)
# print(response_douban_movie.text) # 打印响应内容,此时为页面html代码,可复制html代码保存到文件test.html
# https://html5-editor.net/ 可将html代码放入此网站查看网页显示情况
# XX电影主页
url2 = "https://movie.douban.com/subject/34961898/"
# url2 = "https://movie.douban.com/subject/34961898/?tag=热门&from=gaia"
response2 = requests.get(url=url2, headers=headers)
# print(response2.text)
# 百度百科
url3 = "https://baike.baidu.com"
response3 = requests.get(url=url3, headers=headers)
# print(response3.text)
基本功能:
代码编写
抓取豆瓣电影《楚门的世界》的网页信息:https://movie.douban.com/subject/1292064/
# 楚门的世界
import requests
headers = {'user-agent': 'my-app/0.0.1'}
url = "https://movie.douban.com/subject/1292064/"
response = requests.get(url,headers=headers)
print(response.text)
https://movie.douban.com/subject/1292064/
打开页面
快捷键 F12/Ctrl+Shift+I,打开开发者工具
Elements板,最左边小箭头,可用于查看页面元素,可临时修改页面内容
标题
电影简介
特色介绍
影评
这是一个段落
这是一个重点
这是一个段落
这是一个重点
这是一个段落
这是一个重点
相关推荐
认识网页结构:通过网页标签定位数据
定位标识符:浏览器开发者工具,目标信息的标签、标识
网页的基本结构
改写电影页面《楚门的世界》:
1.将名字改为《真实的世界》
2.将简介改为:"感人至深的爱情故事"
3.将电影封面改为任意网络图片(替换图片链接)
BeautifulSoup 有哪些功能
在百度里搜【BeatuifulSoup 官方文档】,选择【快速入手】
https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/
安装命令:
pip install beautifulsoup4
BeatifulSoup库入门.py
import requests
from bs4 import BeautifulSoup
# 获取网页全部信息
url = "https://movie.douban.com/subject/1292064/"
headers = {'user-agent': 'my-app/0.0.1'}
response = requests.get(url=url,headers=headers)
# print(response.text)
# print("\n"+("-"*50)) # print("\n--------------------------")
# 解析网页
soup = BeautifulSoup(response.text, 'html.parser')
# print(soup.prettify()) # 按照标准的缩进格式的结构输出
# soup = soup.prettify()
# 查看 Beautiful Soup 文档【指定文档解析器】
# 提取目标消息
# print(soup.title) # 提取title标签
# print(soup.title.text) # 提取title标签内容
print(soup.title.string) # 标题
# print(soup.find_all(property="v:summary")) # property="v:summary"
print(soup.find_all(property="v:summary")[0].text)
基本功能:匹配目标标签、提取信息
代码编写:
soup = BeautifulSoup(html)
soup.prettify()
soup.find(tag=value)
1. 美化获取到的网页数据
2. 提取标签文本
3. 提取短评部分的所有文本
获取目标信息.py
import requests
from bs4 import BeautifulSoup
def get_list(soup_list):
"""
清洗解析后的网页信息,并以列表形式返回
:params soup_list: bs_list
:return: list
"""
list = []
for ele in soup_list:
list.append(ele.string)
return list
# 访问网页、获取信息
url = "https://movie.douban.com/subject/1292064/"
headers = {'user-agent': 'my-app/0.0.1'}
response = requests.get(url=url,headers=headers)
# 获取目标信息
soup = BeautifulSoup(response.text,'html.parser')
# print(soup.prettify())
# 存储容器
movie_info = {}
# 电影名称
# property="v:itemreviewed"
# movie_name = soup.find(property="v:itemreviewed")
movie_info['title'] = soup.find(property="v:itemreviewed").string
# print(movie_name)
# 简介部分
movie_info['director'] = soup.find(rel="v:directedBy").string #导演
movie_info['writer'] = soup.find_all(class_="attrs")[1].string # 编剧
# actlist = soup.find_all(rel="v:starring")
# for 遍历数据项,.string获取目标信息
# act_list = []
# for ele in soup.find_all(rel="v:starring"):
# act_list.append(ele.string)
# # print(act_list)
# actors = act_list # 演员列表
movie_info['actors'] = get_list(soup.find_all(rel="v:starring")) # 演员列表
movie_info['genre'] = get_list(soup.find_all(property="v:genre")) # 类型
movie_info['language'] = soup.find(text="语言:").next_element.strip() # 语言
movie_info['release_date'] = soup.find(property="v:initialReleaseDate").string # 上映日期
movie_info['runtime'] = soup.find(property="v:runtime").string # 片长
# 评分部分
movie_info['average'] = soup.find(property="v:average").string
movie_info['votes'] = soup.find(property="v:votes").string
# print(movie_info)
# for k,ele in movie_info.items():
# print(k,': ',ele)
for key in movie_info:
print(key, ': ', movie_info.get(key))
Python阶段目标
提取电影信息
提取电影基础数据
一部电影:电影单链
大量数据:?
电影链接 => 访问链接,获取基础数据 => 提取数据、页面跳转?
连续获取多个页面信息.py
import requests
from bs4 import BeautifulSoup
# 访问top250主页;访问页面、获取信息
# base_url = "https://movie.douban.com/top250"
headers = {'user-agent': 'my-app/0.0.1'}
# 跳转页面 ?start=225&filter=
# 先访问url链接,加上参数0,25,50,75~225
page = 0
max_page = 225 # start参数对应的值,也就是说第10页对应的start值
movie_links = []
movie_names = []
while page<=max_page:
# 访问页面
url = "https://movie.douban.com/top250?start=" + page.__str__() + "&filter="
response = requests.get(url=url,headers=headers)
# 实现每个页面信息的抓取: 电影单链
soup = BeautifulSoup(response.text,'html.parser')
# print(soup.find_all(class_="hd"))
for ele in soup.find_all(class_="hd"):
# print(ele.find(class_="title").string)
# print(ele.find('a',href=True).attrs['href']) # BeautifulSoup如何获取到href
movie_names.append(ele.find(class_="title").string)
movie_links.append(ele.find('a',href=True).attrs['href'])
# 修改start参数
page += 25
# 验证数据正确性
# print(url)
# 浏览所有抓取到的信息
for name,link in zip(movie_names,movie_links):
print(name, ': ', link)
# movie_links = []
# movie_names = []
# base_url = "https://movie.douban.com/top250"
# for start in range(0,250,25):
# url = base_url + "?start=" + start.__str__() + "&filter="
# response = requests.get(url=url,headers=headers)
# soup = BeautifulSoup(response.text,'html.parser')
# for title in soup.find_all(class_="hd"):
# movie_names.append(title.find(class_="title").string)
# movie_links.append(title.find('a',href=True).attrs['href'])
# for movie_name,movie_link in zip(movie_names,movie_links):
# print(movie_name, ': ', movie_link)
为什么要连续抓取
如何实现连续抓取
代码编写
抓取TOP250所有高分电影链接
整合爬虫功能函数.py
import requests
from bs4 import BeautifulSoup
headers = {'user-agent': 'my-app/0.0.1'}
movie_links = []
movie_names = []
def get_list(soup_list):
"""
清洗解析后的网页信息,并以列表形式返回
:params soup_list: bs_list
:return: list
"""
list = []
for ele in soup_list:
list.append(ele.string)
return list
# 1. 访问主页面,并且完成页面跳转
def get_page(page_link):
page = 0
max_page = 225 # start参数对应的值,也就是说第10页对应的start值
while page<=max_page:
# 访问页面
url = page_link + "?start=" + page.__str__() + "&filter="
response = requests.get(url=url,headers=headers)
get_links(response)
# 修改start参数
page += 25
# print(url)
# 2. 抓取每个页面所有的电影链接
def get_links(response):
# 实现每个页面信息的抓取: 电影单链
soup = BeautifulSoup(response.text,'html.parser')
for ele in soup.find_all(class_="hd"):
movie_names.append(ele.find(class_="title").string)
movie_links.append(ele.find('a',href=True).attrs['href'])
# 3. 根据电影链接,获取基本信息、评分信息
def get_infos(url):
# 访问网页、获取信息
response = requests.get(url=url,headers=headers)
# 获取目标信息
soup = BeautifulSoup(response.text,'html.parser')
# 存储容器
movie_info = {}
movie_info['title'] = soup.find(property="v:itemreviewed").string
try:
# 简介部分
movie_info['director'] = soup.find(rel="v:directedBy").string #导演
# movie_info['writer'] = soup.find_all(class_="attrs")[1].string # 编剧
writer = soup.find_all(class_="attrs")
# if len(writer)>1:
# movie_info['writer'] = soup.find_all(class_="attrs")[1].string
# else:
# movie_info['writer'] = ""
movie_info['writer'] = soup.find_all(class_="attrs")[1].string if len(writer)>1 else ""
movie_info['actors'] = get_list(soup.find_all(rel="v:starring")) # 演员列表
movie_info['genre'] = get_list(soup.find_all(property="v:genre")) # 类型
movie_info['language'] = soup.find(text="语言:").next_element.strip() # 语言
movie_info['release_date'] = soup.find(property="v:initialReleaseDate").string # 上映日期
movie_info['runtime'] = soup.find(property="v:runtime").string # 片长
# 评分部分
movie_info['average'] = soup.find(property="v:average").string
movie_info['votes'] = soup.find(property="v:votes").string
except AttributeError:
print("电影已下架")
for key in movie_info:
print(key, ': ', movie_info.get(key))
print('*'*100)
# return movie_info
# 获取每个页面信息 > 调用了获取页面所有电影链接 > for循环,调用获取信息的功能
if __name__ == '__main__':
# 调用功能1.实现页面的访问
get_page(page_link="https://movie.douban.com/top250")
# 测试
# get_infos("https://movie.douban.com/subject/26430107/")
# exit()
# 获取所有链接
# 浏览所有抓取到的信息
for name,link in zip(movie_names,movie_links):
print(name, ': ', link)
get_infos(link)
获取网页信息
获取电影链接
爬取电影信息
抓取TOP250所有高分电影信息
import requests
from bs4 import BeautifulSoup
import pandas as pd
headers = {'user-agent': 'my-app/0.0.1'}
movie_links = []
movie_names = []
all_infos = []
def get_list(soup_list):
"""
清洗解析后的网页信息,并以列表形式返回
:params soup_list: bs_list
:return: list
"""
list = []
for ele in soup_list:
list.append(ele.string)
return list
# 1. 访问主页面,并且完成页面跳转
def get_page(page_link):
# page = 0
page = 200
max_page = 225 # start参数对应的值,也就是说第10页对应的start值
while page<=max_page:
# 访问页面
url = page_link + "?start=" + page.__str__() + "&filter="
response = requests.get(url=url,headers=headers)
get_links(response)
# 修改start参数
page += 25
# print(url)
# 2. 抓取每个页面所有的电影链接
def get_links(response):
# 实现每个页面信息的抓取: 电影单链
soup = BeautifulSoup(response.text,'html.parser')
for ele in soup.find_all(class_="hd"):
movie_names.append(ele.find(class_="title").string)
movie_links.append(ele.find('a',href=True).attrs['href'])
# 3. 根据电影链接,获取基本信息、评分信息
def get_infos(url):
# 访问网页、获取信息
response = requests.get(url=url,headers=headers)
# 获取目标信息
soup = BeautifulSoup(response.text,'html.parser')
# 存储容器
movie_info = {}
movie_info['title'] = soup.find(property="v:itemreviewed").string
try:
# 简介部分
movie_info['director'] = soup.find(rel="v:directedBy").string #导演
# movie_info['writer'] = soup.find_all(class_="attrs")[1].string # 编剧
writer = soup.find_all(class_="attrs")
# if len(writer)>1:
# movie_info['writer'] = soup.find_all(class_="attrs")[1].string
# else:
# movie_info['writer'] = ""
# movie_info['writer'] = soup.find_all(class_="attrs")[1].string if len(writer)>1 else ""
movie_info['writer'] = get_list(soup.find_all(class_="attrs")[1].find_all('a')) if len(writer)>1 else ""
movie_info['actors'] = get_list(soup.find_all(rel="v:starring")) # 演员列表
movie_info['genre'] = get_list(soup.find_all(property="v:genre")) # 类型
movie_info['language'] = soup.find(text="语言:").next_element.strip() # 语言
movie_info['release_date'] = soup.find(property="v:initialReleaseDate").string # 上映日期
movie_info['runtime'] = soup.find(property="v:runtime").string # 片长
# 评分部分
movie_info['average'] = soup.find(property="v:average").string
movie_info['votes'] = soup.find(property="v:votes").string
movie_info['link'] = url # 链接
except AttributeError:
print("电影已下架")
# for key in movie_info:
# print(key, ': ', movie_info.get(key))
# print('*'*100)
# 电影信息存到列表中
all_infos.append(movie_info)
# return movie_info
# 获取每个页面信息 > 调用了获取页面所有电影链接 > for循环,调用获取信息的功能
if __name__ == '__main__':
# 调用功能1.实现页面的访问
get_page(page_link="https://movie.douban.com/top250")
# 测试
# get_infos("https://movie.douban.com/subject/26430107/")
# exit()
# 获取所有链接
# 浏览所有抓取到的信息
for name,link in zip(movie_names,movie_links):
print(name, ': ', link)
get_infos(link)
# print(all_infos)
# 将电影信息转为二维表,并存到电子表格中
data = pd.DataFrame(all_infos)
data.to_excel("250部高分电影.xlsx")
list数据容器
pandas库
将250部电影信息存储为Excel电子表格