目录一.DataFrame详解1.数据清洗API1.去重:2.去除空:3.填充替换:2.SparkSQL的shuffle分区设置3.SparkSQL数据写出操作3.1写出到文件系统3.2写出到数据库一.DataFrame详解1.数据清洗API1.1去重:DropDupilcates:init_df.dropDuplicates().show()init_df.dropDuplicates(subs

目录1.简述SparkSQL与HIVE的对比2.SparkSQL是什么?3.代码题需求1直接基于DataFrame来处理，完成SparkSQL版的WordCount词频统计。DSL和SQL两种方式都要实现4.创建SparkDataFrame的几种方式?5.创建得到DataFrame的方式有哪些,各自适用场景是怎么样的?3.1text方式读取:3.2CSV方式读取:3.3JSON读取数据:1.简述S

一、UDF函数定义（1）函数定义（2）Spark支持定义函数（3）定义UDF函数（4）定义返回Array类型的UDF（5）定义返回字典类型的UDF二、窗口函数（1）开窗函数简述（2）窗口函数的语法一、UDF函数定义（1）函数定义无论Hive还是SparkSQL分析处理数据时，往往需要使用函数，SparkSQL模块本身自带很多实现公共功能的函数，在pyspark.sql.functions中。Spa

历经版本迭代更新，sparksql中原本带有模式信息的RDD即SchemaRDD，在spark1.3之后变成了新的数据结构DataFrameRDD是风不是的java对象的集合，RDD无法知道RDD内部存储的数据结构的详细模式信息。DataFrame是以RDD为基础的分布式数据集，也就是分布式的Row对象的集合（每个Row对象代表一行记录），提供详细的结构信息，也就是我们常说的数据库模式信息。Spa

Spark_SQL性能调优众所周知，正确的参数配置对提升Spark的使用效率具有极大助力，帮助相关数据开发、分析人员更高效地使用Spark进行离线批处理和SQL报表分析等作业。

目录Spark_SQL性能调优性能调优选项几种压缩选项的特点可选的调优选项代码示例Spark_SQL性能调优众所周知，正确的参数配置对提升Spark的使用效率具有极大助力，帮助相关数据开发、分析人员更高效地使用

目录Spark_SQL的UDF使用UDF简单使用Spark_SQL的UDF使用用户自定义函数，也叫UDF，可以让我们使用Python/Java/Scala注册自定义函数，并在SQL中调用。

开发技术前端：vue.js后端API：springboot+mybatis-plus数据分析：PySpark、Spark_Java_API、Spark_SQL数据可视化：echarts爬虫(数据源)：Python

IDEA创建SparkSQL程序IDEA中程序的打包和运行方式都和SparkCore类似，Maven依赖中需要添加新的依赖项：org.apache.sparkspark-sql_2.112.1.1packagecom.atguigu.sparksqlimportorg.apache.spark.sql.SparkSessionimportorg.apache.spark.{SparkConf,Sp

开发技术前端：vue.js后端API：springboot+mybatis-plus数据分析：PySpark、Spark_Java_API、Spark_SQL数据可视化：echartsSpider(数据源

sparkSql参数调优目录前言异常调优spark.sql.hive.convertMetastoreParquetspark.sql.files.ignoreMissingFiles&&spark.sql.files.ignoreCorruptFilesspark.sql.hive.verifyPartitionPathspark.files.ignoreCorruptFiles&&spark.

SparkSQL简介Spark为结构化数据处理引入了一个称为SparkSQL的编程模块。它提供了一个称为DataFrame的编程抽象，并且可以充当分布式SQL查询引擎。SparkSQL的特性集成无缝地将SQL查询与Spark程序混合。SparkSQL允许您将结构化数据作为Spark中的分布式数据集(RDD)进行查询，在Python，Scala和Java中集成了API。这种紧密的集成使得可以轻松地运

目录一.hive和sparksql的集成方式(面试可能会问到)二.spark_shell和spark_sql操作spark_shellspark_sql使用hiveserver2+beeline三.脚本使用

什么是SparkSQLSparkSQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和DataSet，并且作为分布式SQL查询引擎的作用。我们已经学习了Hive，它是将HiveSQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduc的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所有SparkSQL的应运而生，它是将S

创建成临时表（createGlobalTempView(spark_view)）,然后通过%%sql-o-qspark_sqlselect*fromspark_view最后检查发现sparkdataframe和spark_sql

执行环境：spark_sql、hive/kudu。lag()取出某个字段前N条记录的值。注意：第一条记录已经无法再取前一条记录，所以第一条记录LAG()函数返回为

SparkSQL相关语句总结1.in不支持子查询eg.select*fromsrcwherekeyin(selectkeyfromtest);支持查询个数eg.select*fromsrcwherekeyin(1,2,3,4,5);in40000个耗时25.766秒in80000个耗时78.827秒2.unionall/union不支持顶层的unionalleg.selectkeyfromsrcU

目的TODO功能配置数据库功能使用XML来配置数据库表和字段的对应属性xml文件应该再提供一个数字，说明是第几个字段读数据本地：hdfs结构化数据hive的数据json数据csvhdfs：hdfs结构化数据hive的数据json数据xml数据一次只能有一种格式查询功能支持普通的sql查询支持多表的关联查询保存功能保存到hdfs文本结构化数据，支持保存的分隔符支持压缩支持保存为paquarty支持输

从json文件读数据json文件内容示例{"id":1,"name":"leo","age":18}{"id":2,"name":"jack","age":19}{"id":3,"name":"marry","age":17}从json文件读取SparkSessionspark=SparkSession.builder().appName("QSH").master("local[*]").con

二、详细流程将处理完成后的训练数据导出用做线下训练的源数据（可以用Spark_Sql对数据进行处理）insertoverwritelocaldirectory'/opt/data/traindata'rowformatdelimitedfieldsterminatedby