数据分析相关知识整理_--秋招面试版
一、关于sql语句(常问）
1）sql写过的复杂的运算
聚合函数，case when then end语句进行条件运算，字符串的截取、替换，日期的运算，排名等等；行列转换；
eg：行列转换
SELECT userid,
SUM(CASE WHEN subject='语文' THEN score END) as '语文',
SUM(CASE WHEN subject='数学' THEN score END) as '数学',
SUM(CASE WHEN subject='英语' THEN score END) as '英语',
SUM(CASE WHEN subject='政治' THEN score END) as '政治'
FROM tb_score
GROUP BY userid
2）sql的逻辑执行顺序
From—on—join—where--group by—with—having—select—distinct—orderby
3）如何优化sql语句
1 避免 select *，只取需要的列；
2 连接列或where子句创建索引，提高读取速度；写的速度变慢；
3 Update不要写成delete+insert，功能相同但是性能差别很大；
4 减少数据类型的转换；
5 减少不必要的子查询和连接操作；如果要使用子查询，not in 、not exist改成left join写法，in 和 exist可以改写 inner join；
6 综合多个表的数据或连接多个表时可以考虑用临时表分布汇总结果；
7 不要对索引字段进行一些操作，函数、模糊查询、数据类型转换、数学运算，会失去索引的效果；
8 多表连接条件，on where order by(排序)
4）外连接、全连接、左连接、右连接的区别
INNER JOIN：返回两个表之间共同满足连接条件的行；交
Left join：左边表中的所有行，以及右边表中与左表中的行匹配的行；
Right join：右边表中的所有行，以及左边表中与右表中的行匹配的行
FULL OUTER JOIN：返回左表和右表中的所有行
取出A、B表连接之后A表中不符合条件的行
SELECT ### FROM A
Left join
SELECT ### FROM B
ON A.column1 = B.column2
Where B. column2 IS NULL
二、Hadoop、Spark和Hive
1）Hadoop：
(核心：Hbase分布式数据库—-管理+MapReduce分布式计算框架+HDFS分布式文件系统—存储)；批处理框架，适用于大规模数据的离线处理；Java编程）
2）Spark：
基于内存的并行计算框架（快），解决了Hadoop中MapReduce计算模型延迟过高的问题；
可以批处理、交互式处理、流处理，更加灵活地处理离线和实施任务；
多种编程语言；Python、Java、R等；
3）Hive：
数据仓库工具，允许用户查询和分析存储在Hadoop上的数据
三、数据仓库和数据库的区别
1）设计目标：前者支持数据分析和决策制定存储大量历史数据，后者用于管理和维护操作性数据
2）数据类型：前者多种维度，历史数据、汇总数据、维度数据和事实数据；后者主要包含事务性数据，用户信息、订单、交易信息等
3）数据结构：前者星型或雪花型数据模型，包括事实表和维度表，支持复杂的多维数据分析；后者通常是关系型数据模型，表格存储，表格通过关系链接
4）数据量：前者大规模，后者存储量级相对较小的数据集
5）更新频率：前者批处理，更新频率低；后者通常实施更新，适用交互性操作
四、数据库常见数据结构
1）关系型数据，表是基本数据单元，主键唯一标识，外键建立表之间的关联关系；
2）星形数据结构，事实表和维度表，事实表通常是一些指标，例如，营业额、库存量，维度表是描述事实表的信息，如时间、位置、产品；查询性能比较高，但因为只有一个维度无法处理复杂的多维关系，且维度表的数据冗余比较多；
3）雪花型数据结构，星型进一步规范化，维度表进一步分解成多个子维度表，层次结构，减少数据冗余处理多维数据关系，查询起来更复杂多表链接，没那么快
五、非结构化数据的处理和分析
1）数据收集（爬虫、抓取）
2）文本分析、图像处理、音频处理
3）数据转换（数据标准化、特征向量）
六、NLP一般步骤
1）收集和清洗文本数据，删除不需要的字符、停用词、标点符号
2）特征提取，向量化，TF-IDF，词嵌入、词袋模型
TF(t,d)= 词项 t在文档 d 中出现的次数/文档 d 中的总词项数
IDF(t)=log(文档集合的总文档数/包含词项 t 的文档数+1) 评价重要性
3）选择模型：svm、RNN、CNN等
4）训练和评估
七、评价分类常见的指标和公式
准确率=正确的样本数/总样本数
精确度= (真正例) / (真正例 + 假正例) ，预测为正中实际为正的比例
召回率= (真正例) / (真正例 + 假负例) ，实际为正中预测为正的比例
F1 分数（F1 Score），综合评价准确率和召回率=2（准确率*召回率）/（准确率+召回率）
ROC 曲线：真正例率与假正例率之间的关系，值越大性能越好
PR 曲线：不同的分类阈值绘制精确度与召回率之间的关系图；AUC 是 PR 曲线下的面积，用于衡量分类器在不同精确度和召回率下的性能
八、分类问题中样本类别不均衡怎么办
1）欠采样、过采样;
2）设置样本权重;
3）使用不同的指标评估(精确度、召回率、F1 分数、ROC-AUC等);
4）集成学习方法处理不均衡的问题
九、假设检验原理
原假设和备择假设，一般原假设没有显著差异，备择假设有显著差异；
基于样本数据计算统计量，设定显著性水平alpha，落在拒绝阈，拒绝原假设；
两类错误：
第一类，原假设为真，拒绝原假设，alpha越低，第一类风险越小；第二类风险越大
第二类，备择假设为真，但是接受原假设；
P值小于显著性水平，拒绝原假设，接受备择。
十、LSTM门控机制
1）遗忘门（Forget Gate）：
遗忘门决定了在当前时间步骤应该保留多少过去的信息。它接收当前输入和上一个时间步骤的隐藏状态作为输入，并输出一个0到1之间的值，表示要保留的信息比例。具体来说，遗忘门的计算包括一个Sigmoid激活函数，它的输出乘以上一个时间步骤的细胞状态，以确定要保留的信息。
2）输入门（Input Gate）：
输入门决定了要更新细胞状态的哪些部分。它接收当前输入和上一个时间步骤的隐藏状态作为输入，并输出一个0到1之间的值，表示每个部分的更新比例。输入门的计算包括一个Sigmoid激活函数，以确定要更新的部分，以及一个Tanh激活函数，用于生成新的候选值。
3）输出门（Output Gate）：
输出门决定了当前时间步骤的隐藏状态应该是什么。它接收当前输入和上一个时间步骤的隐藏状态作为输入，并输出一个0到1之间的值，表示要输出的信息比例。输出门的计算包括一个Sigmoid激活函数，以确定要输出的部分，以及一个Tanh激活函数，用于生成最终的隐藏状态。
十一、Pyecharts的一些可视化函数
Liquid、gauge、Funnel、heatmap、wordcloud、Bar条形图、Line折线图、scatter散点图、EffectScatter涟漪散点图、boxplot箱型图、Pie饼图、Radar雷达图