HiveContext

SparkSession介绍

中引入的新概念，它是SparkSQL、DataFrame和DatasetAPI的入口点，是Spark编程的统一API，也可看作是读取数据的统一入口；它将以前的SparkContext、SQLContext和HiveContext
阿君聊风控·2023-11-23 08:24

Spark 从零到开发（六）HiveContext

SparkSQL执行引擎的一个实例，它与存储在Hive中的数据集成在一起。从类路径上的hive-site.xml读取Hive的配置。1.java本地执行1.1json文件：{"id":1,"name":"FantJ","age":18}{"id":2,"name":"FantJ2","age":18}{"id":3,"name":"FantJ3","age":18}{"id":4,"name":"
FantJ·2023-11-21 03:06

Spark SQL编程之DataFrame

DataSet，并且作为分布式SQL查询引擎的作用SparkSession创建在老的版本中，SparkSQL提供两种SQL查询起始点：一个叫SQLContext，用于Spark自己提供的SQL查询；一个叫HiveContext
涟漪海洋·2023-10-19 04:27

SparkContext 与 SparkContext 之间的区别是什么

而SparkSession是Spark2.0新增的API，它是对SparkContext、SQLContext和HiveContext的封装，提供了统一的编程接口和数据访问方式。因此，Sp
Solitary_孤影照惊鸿·2023-10-15 09:56

实训笔记——Spark SQL编程

编程SparkSQL编程一、准备SparkSQL的编程环境1.1创建SparkSQL的编程项目，scala语言支持的1.2引入编程依赖：二、SparkSQL程序编程的入口2.1SQLContext2.2HiveContext2.3SparkSession
cai-4·2023-09-27 22:44

4.pyspark.sql.Column

pyspark.sql.DataFrame：将分布式数据集分组到指定列名的数据框中pyspark.sql.Column：DataFrame中的列pyspark.sql.Row：DataFrame数据的行pyspark.sql.HiveContext
丫丫iii·2023-09-21 21:00

6.pysparl.sql.DataFrameNaFunctions

pyspark.sql.DataFrame：将分布式数据集分组到指定列名的数据框中pyspark.sql.Column：DataFrame中的列pyspark.sql.Row：DataFrame数据的行pyspark.sql.HiveContext
丫丫iii·2023-09-11 15:30

3.pyspark.sql.GroupedData

pyspark.sql.DataFrame：将分布式数据集分组到指定列名的数据框中pyspark.sql.Column：DataFrame中的列pyspark.sql.Row：DataFrame数据的行pyspark.sql.HiveContext
丫丫iii·2023-06-18 19:54

Spark SQL 概念

(1)分支SQLContext仅支持SQL语法解析起HiveContext支持SQL和HiveSQL语法解析器默认为HiveSQL语法解析器执行顺序：词法/语法解析>绑定>优化>执行(2)组成Core负责处理数据的输入输出
Finok·2023-03-23 02:53

Spark 电商应用开发过程中出现的问题汇总

原因:HiveContext的创建依赖于本地的hadoop库。Exception具体问题问题行解决:这边的null其实是环境变量HADOOP_HOME，也就是依赖于HADOOP_
yosql473·2023-03-17 06:55

7.pyspark.sql.DataFrameStatFunctions

pyspark.sql.DataFrame：将分布式数据集分组到指定列名的数据框中pyspark.sql.Column：DataFrame中的列pyspark.sql.Row：DataFrame数据的行pyspark.sql.HiveContext
丫丫iii·2023-03-15 20:32

9.pyspark.sql.WindowSpec

pyspark.sql.DataFrame：将分布式数据集分组到指定列名的数据框中pyspark.sql.Column：DataFrame中的列pyspark.sql.Row：DataFrame数据的行pyspark.sql.HiveContext
丫丫iii·2023-02-04 14:41

5.pyspark.sql.Row

pyspark.sql.DataFrame：将分布式数据集分组到指定列名的数据框中pyspark.sql.Column：DataFrame中的列pyspark.sql.Row：DataFrame数据的行pyspark.sql.HiveContext
丫丫iii·2023-02-01 21:49

python spark dataframe_Spark2.1.0入门：DataFrame的创建(Python版)

从Spark2.0以上版本开始，Spark使用全新的SparkSession接口替代Spark1.6中的SQLContext及HiveContext接口来实现其对数据加载、转换、处理等功能。
weixin_39719101·2023-01-10 09:37

IDEA写hiveContext报错HiveSessionState

错误：Exceptioninthread“main”java.lang.IllegalArgumentException:Errorwhileinstantiating‘org.apache.spark.sql.hive.HiveSessionState’:atorg.apache.spark.sql.SparkSession.org.org.orgapachesparksparksparksql
xby_1997·2023-01-07 03:17

Spark SQL之RDD, DataFrame, DataSet详细使用

SparkCore的一种封装，不仅仅在模型上进行了封装，上下文环境对象也进行了封装；在老的版本中，SparkSQL提供两种SQL查询起始点：一个叫SQLContext，用于Spark自己提供的SQL查询；一个叫HiveContext
逆风飞翔的小叔·2022-06-16 00:47

创建SparkSession和sparkSQL的详细过程

目录一、概述二、创建SparkSession三、SQLContext四、HiveContext一、概述spark有三大引擎，sparkcore、sparkSQL、sparkStreaming，sparkcore
·2021-08-10 12:11

2.pyspark.sql.DataFrame

pyspark.sql.DataFrame：将分布式数据集分组到指定列名的数据框中pyspark.sql.Column：DataFrame中的列pyspark.sql.Row：DataFrame数据的行pyspark.sql.HiveContext
丫丫iii·2021-06-25 15:59

spark的collect()函数

code1tb=hiveContext.sql("select*fromtb")typ
小甜瓜Melon·2021-04-21 23:14

SPARK

+Pyspark交互式界面Spark为我们提供了一个交互式界面运行我们的代码，在命令行下运行pyspark$pyspark在交互式界面下，pyspark会自动帮我们创建SparkContextsc，和HiveContext
银行间的小蓬蓬·2020-10-11 06:25

Spark读取文本文档创建DataFrame, 通过RDD转换成DataFrame, 通过SparkSession构建DataFrame 20

前言在Spark2.0版本之前,SparkSQL中SQLContext是创建DataFrame和执行SQL的入口,可以利用hiveContext通过hivesql语句操作hive表数据,兼容hive操作
啊策策·2020-09-17 07:23

SparkSQL中开窗函数

开窗函数注意：row_number()开窗函数是按照某个字段分组，然后取另一字段的前几个的值，相当于分组取topN如果SQL语句里面使用到了开窗函数，那么这个SQL语句必须使用HiveContext来执行
道法—自然·2020-09-17 06:32

spark 开窗函数

importorg.apache.spark.api.java.JavaSparkContext;importorg.apache.spark.sql.DataFrame;importorg.apache.spark.sql.hive.HiveContext
贾红平·2020-09-17 06:21

Spark 开窗函数

row_number()开窗函数是按照某个字段分组，然后取另一字段的前几个的值，相当于分组取topN如果SQL语句里面使用到了开窗函数，那么这个SQL语句必须使用HiveContext来执行，HiveContext
墨玉浮白·2020-09-17 05:14

Spark2.0版本新特性学习笔记

、SparkCore&SparkSQLAPI1、dataframe与dataset统一，dataframe只是dataset[Row]的类型别名2、SparkSession：统一SQLContext和HiveContext
风中的大数据·2020-09-16 13:38

【Spark】Spark2.x版新特性

Spark2.x版新特性一、API二、SQL三、性能四、SparkStreaming五、SparkMLlib六、Other一、API出现新的上下文接口：SparkSession，统一了SQLContext和HiveContext
太阳下的兰花草·2020-09-15 17:31

Spark Streaming源码阅读（1）SparkSession和SparkContext

程序以及用来创建DataSet和DataFrame的入口类,SparkSession实质上是用来合并这一系列的Context（未来可能还会加上StreamingContext），所以在SQLContext和HiveContext
周英俊520·2020-09-15 17:22

SparkSession与SparkContext SparkConf SQLContext HiveContext StreamingContext

SparkSession与SparkContextSparkConfSQLContextHiveContextStreamingContext参考blog：https://blog.csdn.net/dufufd/article/details/790888911.SparkContext：valsparkConf=newSparkConf().setAppName("SparkSessionZi
不急吃口药·2020-09-15 17:18

SparkSQL编程之SparkSession新的起始点

在老的版本中，SparkSQL提供两种SQL查询起始点：一个叫SQLContext，用于Spark自己提供的SQL查询；一个叫HiveContext，用于连接Hive的查询。
qq_43193797·2020-09-15 16:11

Spark+Parquet分片规则

在调用HiveContext.read.parquet(path)时，会触发ParquetRelation2对象生成Sql
就问你吃不吃药·2020-09-15 16:14

java.lang.AssertionError: assertion failed: No plan for HiveTableRelation的解决方法

java.lang.AssertionError:assertionfailed:NoplanforHiveTableRelation....一般来说这种错误的产生是因为在创建SparkSession对象的时候HiveContext
Lestat.Z.·2020-09-14 21:50

PySaprk 将 DataFrame 数据保存为 Hive 分区表--转载

SparkSessionfrompyspark.sqlimportSparkSessionspark=SparkSession.builder.enableHiveSupport().appName('test_app').getOrCreate()sc=spark.sparkContexthc=HiveContext
zuoseve01·2020-09-11 06:58

【Spark系列7】Spark如何读写hive

hive数据表建立可以在hive上建立，或者使用hiveContext.sql（“createtable...."）1）写入hive表caseclassPerson(name:String,col1:Int
江南小白龙·2020-09-10 22:45

spark高速写入hive数据 python源码

#-*-coding:utf-8-*-importosfrompysparkimportSparkContext,HiveContext,Row,StorageLevelfrompyspark.mllib.statimportStatisticsimporttempRain
神帝·2020-09-10 22:12

SparkSQL 使用SQLContext读取csv文件 分析数据 （含部分数据）

前两天开始研究SparkSQL，其主要分为HiveContext以及SQLContext目前打算先学习SQLContent，因为Hive环境还没搭好，:oops::oops:一步一步来先把spark的原理弄明白后再去研究
zhouxucando·2020-08-23 04:12

spark DataFrame的创建几种方式和存储

从Spark2.0以上版本开始，Spark使用全新的SparkSession接口替代Spark1.6中的SQLContext及HiveContext接口来实现其对数据加载、转换、处理等功能。
weixin_30251587·2020-08-23 03:09

Pyspark 读取本地csv文件，插入parquet格式的hive表中

（注意事项：Spark2.0版本开始将sqlContext、hiveContext统一整合为SparkSession）2、读取文件并转换为SparkDataFrame格式。（坑1：路径和语
小晓酱手记·2020-08-23 02:39

sparkSQL1.1入门之三：sparkSQL组件之解析

本篇将详细地介绍一下关键的一些概念和组件，由于hiveContext继承自sqlContext，关键的概念和组件类似，只不过后者针对hive的特性做了一些修正和重写，所以本篇就只介绍sqlContext
mmicky20110730·2020-08-22 21:37

sparkSQL1.1入门之十：总结

基本概念：SchemaRDDRuleTreeLogicPlanParserAnalyzerOptimizerSparkPlan运行架构：sqlContext运行架构hiveContext运行架构基本操作原生
mmicky20110730·2020-08-22 21:37

在Spark中使用UDF对HIVE表进行查询，再将查询结果RDD写入另一个HIVE表

:String,field2:String)//table1defmain(args:Array[String]):Unit={...valhiveContext=newHiveContext(sc)hiveContext.u
shiyanwudi922·2020-08-20 14:21

数据库迁移问题

经过测试sqoop底层是使用MapReduce程序把Oracle数据导入到Hive中的所以我们应该使用hive的引擎去读这些表，需要在Spark代码中添加配置hiveContext.setConf("spark.sql.hive.convertMetastoreParquet
lhxsir·2020-08-19 18:56

将数据量很大的CSV写入到HIVE

具体操作如下(pyspark下):frompyspark.sqlimportHiveContexthivec=HiveContext(sc)#创建一个hivecontext对象用于写执行SQL，sc为sparkconte
那年的茶馆·2020-08-19 08:44

sparksql读取hive表中数据

hive-site.xml文件拷贝到resource目录中pom.xmlorg.apache.sparkspark-hive_2.111.6.0代码importorg.apache.spark.sql.hive.HiveContext
_张不帅·2020-08-18 12:36

Spark SQL：Hive数据源复杂综合案例实战

操作Hive中的数据时，必须创建HiveContext，而不是SQLContext。
weixin_34390996·2020-08-18 12:36

8.Spark SQL：Hive数据源实战

操作Hive中的数据时，必须创建HiveContext，而不是SQLContext。
十点进修·2020-08-18 12:29

第3章 SparkSQL解析

第3章SparkSQL解析3.1新的起始点SparkSession在老的版本中，SparkSQL提供两种SQL查询起始点，一个叫SQLContext，用于Spark自己提供的SQL查询，一个叫HiveContext
weixin_30914981·2020-08-18 12:28

SparkSQL编程之DataFrame详解

SparkSession新的起始点在老的版本中，SparkSQL提供两种SQL查询起始点：一个叫SQLContext，用于Spark自己提供的SQL查询；一个叫HiveContext，用于连接Hive的查询
大数据小同学·2020-08-18 12:21

pyspark总结2——DataFrame

各种Sparkcontexts，包括:HiveContext,SQLContext,Streami
端坐的小王子·2020-08-18 12:18

SparkSQL 基础编程

在老的版本中，SparkSQL提供两种SQL查询起始点：一个叫SQLContext，用于Spark自己提供的SQL查询；一个叫HiveContext，用于连接Hive的查询。Spa
火成哥哥·2020-08-18 10:19

Spark通过Dataframe操作hive

1.1、创建一个SQLContext,SQLContext（及其子类，如本节的HiveContext）是SparkSQL所有功能的入口SqlContext:应该是对应spark-sql这个project
chbxw·2020-08-18 10:39
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他