python-sql-spark常用操作

数据抽取提速：

1. 不要把rdd或者df展示出来，只有第一遍跑流程的时候看看中间结构，后面就只保存不展示。

2. 尽量使用spark.sql，而不是rdd。sql处理groupby会快很多。基本上10min的rdd，sql只需2min。所以基本除了复杂函数，都用sql解决。

3. reduceByKey 在大数据集上比groupByKey快很多。 深入理解groupByKey、reduceByKey - 简书

【Spark系列2】reduceByKey和groupByKey区别与用法_spark groupbykey和reducebykey-CSDN博客

Python：

链接：datetime --- 基本日期和时间类型 — Python 3.12.0 文档

datetime.datetime.now()

返回表示当前地方时的 date 和 time 对象。

datetime.timedelta(days=1)

timedelta 对象表示两个 date 或者 time 的时间间隔。

Pandas-排序函数sort_values()-CSDN博客

pandas排序

pd concat：PANDAS 数据合并与重塑（concat篇）_pandas.concat-CSDN博客

pd drop：python进行数据处理——pandas的drop函数_python drop-CSDN博客

pd mean：Python Pandas dataframe.mean()用法及代码示例 - 纯净天空

pandas创建dataframe：创建Pandas DataFrame的6种方法 - 知乎

list数据转为dataframe数据：Pandas将列表（List）转换为数据框（Dataframe）_python list 转dataframe-CSDN博客

dataframe和pandas：https://blog.csdn.net/weixin_43469047/article/details/104188643

mac上python安装：http://nidele.com/code/python/how-to-setup-python3-in-Mac/

shift函数：https://blog.csdn.net/brucewong0516/article/details/80157639

reset_index删除原索引行：https://blog.csdn.net/liyazhou0215/article/details/70160115

tail显示数据倒数几行：pandas中的tail()方法的使用说明_pandas tail-CSDN博客

pandas loc和iloc：Pandas中loc和iloc函数用法详解（源码+实例）-CSDN博客

pandas与numpy区别：Pandas与NumPy区别以及dataframe和ndarray对象转换_ndarray dataframe-CSDN博客

pandas确实值与空值处理：https://blog.csdn.net/lwgkzl/article/details/80948548

SQL：

https://www.cnblogs.com/WeiKing/p/11790871.html

SQL CREATE VIEW的用法-CSDN博客

CREATE VIEW "VIEW_NAME" AS "SQL 语句"

create temporary view OLD_T15_USERS as select

temporary临时存在的表/视图，只在当前连接中可见。当前数据库连接关闭，mysql会自动删除临时表并且释放所有的空间。

drop view if exists

获取31-75天内下单的末单用户user_id列表。

select 语句中 if 的用法 - 知乎

Mysql coalesce()函数认识和用法-CSDN博客

select coalesce(a,b,c); 

如果a==null,则选择b；如果b==null,则选择c；如果a!=null,则选择a；如果a b c 都为null ，则返回为null（没意义）。

SQL 连接(JOIN) | 菜鸟教程

insert overwrite table 表名

插入覆盖数据。

SQLServer随机数的获取_51CTO博客_sqlserver 随机数

可以直接运行select rand() 获取0~1之间的float型的数字，类似的，如果想获得例如1~100之间的整数随机数可以运行 select round(100*rand(),0)

SQL之CASE WHEN用法详解 - 知乎

SQL中的distinct的使用方法_sql distinct-CSDN博客

distinct用来查询不重复记录的条数,即用distinct来返回不重复字段的条数（count(distinct id)）,其原因是distinct只能返回他的目标字段，而无法返回其他字段。

SQL中 group by 1， order by 1 语句是什么意思-CSDN博客

group by， order by 后面跟数字，指的是 select 后面选择的列（属性），1 代表第一个列（属性），依次类推。

注意：这边从1开始数，而不是0。

SQL 语句中, asc 指定列按升序排列，desc 指定列按降序排列。

SQL中的cast()函数_sql cast-CSDN博客

CAST函数用于将某种数据类型的表达式显式转换为另一种数据类型。

例如：cast(b.recent_day7_visit_times as bigint)

hive sql 聚合函数：Hive SQL 内置聚合函数 | Hive SQL 教程 - 盖若

concat函数：

SQL Server Concat()函数 -SQL Server教程
 

concat_ws函数：

SQL CONCAT_WS()函数 -SQL教程

row_number用法：SQL Server中row_number的用法-CSDN博客

percentile_approx：【数据库】Hive SQL--如何使用分位数函数（percentile）_hive percentile-CSDN博客

get_json_object：https://blog.csdn.net/qq_34105362/article/details/80454697

Spark：

https://www.cnblogs.com/yyy-blog/p/spark-sql.html

createOrReplaceTempView：创建临时视图，此视图的生命周期与用于创建此数据集的[SparkSession]相关联。

createOrReplaceTempView（）: 创建或替换本地临时视图。

createGlobalTempView：创建全局临时视图，此时图的生命周期与Spark Application绑定。

ROW FORMAT DELIMITED FIELDS

TERMINATED BY '\t'     列分割用'\t'

STORED AS ORC        列式存储，占用空间最小，非常适合用来做数仓

spark rdd介绍：Spark RDD是什么？ - 知乎

https://juejin.cn/post/6844903826953076750

flatMap：spark中flatMap函数用法--spark学习（基础）_spark flatmap-CSDN博客

flatMap ：https://blog.csdn.net/zlbingo/article/details/113118584

filter：Spark的Dataset操作(二)-过滤的filter和where_spark where-CSDN博客

repartition：Spark中repartition和coalesce的用法 - 简书

parquet：Spark基础：读写Parquet - 知乎

sc.parallelize：spark使用parallelize方法创建RDD_sc.parallelize-CSDN博客

Pyspark读取parquet数据过程解：https://www.w3xue.com/exp/article/20203/79644.html

Spark-SQL之DataFrame操作大全_dataframe orderby-CSDN博客

Spark-SQL之DataFrame操作大全

https://www.cnblogs.com/BlueSkyyj/p/9640626.html

Spark-SQL常用命令

pyspark机器学习实战：

pyspark在机器学习中实战小练 - 知乎

spark文件读取：https://km.sankuai.com/page/459578031

pyspark RDD 一行转多行：

https://blog.csdn.net/qq_36079077/article/details/105430128

hive：

UDF创建

常用查询：https://km.sankuai.com/page/28277531 

Hive之UDFs(User-Defined Functions )-腾讯云开发者社区-腾讯云

CREATE TEMPORARY FUNCTION datekey2date AS 'com.sankuai.meituan.hive.udf.DateKey2Date'

创建临时函数

详解ROC和AUC计算过程：

详解ROC/AUC计算过程_计算roc-CSDN博客

dataframe直接保存到hive表中：

如何把dataframe直接保存到hive表中？_dataframe到hive-CSDN博客

spark-scala

基础语法：Spark从入门到精通2 -- Scala基础语法_spark语言基本语法-CSDN博客

取行中制定列：Spark 之 Row：Spark 之 Row_rowapl-CSDN博客

Scala map中下划线_._2的含义：Scala map中下划线_._2的含义_.map(_._2)-CSDN博客

val wordAndOne: RDD[(String, Int)] = words.map((_, 1)) //按单词和一组合

xgb优化：

class_weight：

使用class weight和sample weight处理不平衡问题-CSDN博客

样本不均衡处理：

样本不均衡的处理（Xgboost，pytorch及tensorflow） - 知乎

xgb自定义损失函数开发：

xgb自定义损失函数：XGB自定义损失函数

mlp自定义损失函数demo：https://dev.sankuai.com/code/repo-detail/~zhangkaishun/mlp_plugins_demo/file/detail?branch=refs%2Fheads%2Fmaster&path=plugins%2Fsrc%2Fmain%2Fjava%2FFocalLoss.scala

hope组件开发：

demo：https://mlp.sankuai.com/ide/67071080/

esmm实验：https://mlp.sankuai.com/ml/#/graph/67065799/version/0?name=rtb_%E7%B2%BE%E6%8E%92_esmm%E5%AE%9E%E9%AA%8C

pip安装：

https://zhuanlan.zhihu.com/p/335220647

tensorflow：

Tensorflow中的Placeholder及用法：Tensorflow中的Placeholder及用法 - 知乎

FixedLenFeature 使用：FixedLenFeature 使用_tf.fixedlenfeature-CSDN博客

tensorflow中解析Example数据 tf.parse_example：tensorflow中解析Example数据 tf.parse_example-CSDN博客

tf.nn.sigmoid_cross_entropy_with_logits用法：tf.nn.sigmoid_cross_entropy_with_logits_tf.sigmoid_cross_entropy_with_logits-CSDN博客

tf.losses.log_loss()用法：Tensorflow 中的损失函数 —— loss 专题汇总 - 知乎

tf.metrices.auc用法：tf.metrices.auc源码解读 - 知乎

tf.feature_column.numeric_column与tf.feature_column.categorical_column_with_vocabulary_list用法：

Tensorflow.feature_column的总结-CSDN博客

tf.feature_column.embedding_column用法：构建分布式Tensorflow模型系列:特征工程 - 知乎

当某些特征的类别数量非常大时，使用indicator_column来把原始数据转换为神经网络的输入就变得非常不灵活，这时通常使用embedding column把原始特征映射为一个低维稠密的实数向量。同一类别的embedding向量间的距离通常可以用来度量类别直接的相似性。

tf.layers.dense用法：tf.layers.dense()的用法-CSDN博客

tf.estimator.export.PredictOutput用法：《Estimator工程实现》系列三： 模型导出示例_estimator 导出模型-CSDN博客

pytorch：

pytorch中squeeze()和unsqueeze()函数介绍：【学习笔记】pytorch中squeeze()和unsqueeze()函数介绍-CSDN博客

nn.linear()：

PyTorch的nn.Linear（）详解_nn.linear()-CSDN博客

torch.mmh和torch.mul：torch.mul() 和 torch.mm() 的区别_torch mul-CSDN博客

torch.linspace：PyTorch中linspace的详细用法_pytorch linspace-CSDN博客

torch.where(condition, x, y)：torch.where(condition, x, y) - 知乎

python中list-numpy.array-torch.tensor互相转换: python中list-numpy.array-torch.tensor互相转换 - CodeAntenna

torch.sum()：torch.sum()的用法-CSDN博客

git：

在Git的PR(Pull Request)提示冲突无法merge合并的解决方案：https://www.cnblogs.com/xxcanghai/p/12160556.html

Git合并远程分支：

Git 合并远程分支-CSDN博客

git删除远程分支文件：

git 删除远程分支文件-CSDN博客

scala：

基础教程：Scala 基础语法 | 菜鸟教程

在 Scala 中，使用关键词 "var" 声明变量，使用关键词 "val" 声明常量。

SparkSQL中DataFrame的getAs和getString函数解析：[转]SparkSQL中DataFrame的getAs和getString函数解析_spark sql getas_楓尘林间的博客-CSDN博客

Scala中的some：Spark（八） scala中的Option、Some、None - 简书

Scala map中下划线_._2的含义：

Scala map中下划线_._2的含义_.map(_._2)-CSDN博客

linux：

输出文件指定行：awk 'NR>=5 && NR <=8' file.txt