E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
sqlContext
解压parquet格式文件到text
SparkContextfrompyspark.sqlimportSQLContextinputpath=sys.argv[1]outputpath=sys.argv[2]sc=SparkContext(appName="TransformPqtoCsv")
sqlContext
x10232
·
2016-11-15 13:00
Spark SQL+Spark Streaming案例
{Row,
SQLContext
}importorg.apache.spark.sql.types.
霄嵩
·
2016-11-10 16:41
Spark
Streaming
Maven用Scala编译，bad symbolic reference. A signature in package.class refers to type compileTimeOnly
今天再用Maven来编写Spark程序的时候，在使用了
SQLContext
的API之后，每次编译就是不通过。
leishenop
·
2016-10-14 09:18
Spark与Hive的交互
caseclass]的形式,然后通过.toDF的Func,来实现将RDD转换为DF从原始的RDD转换为RDD[Row],创建一个StructType,里面通过StructField标明各个属性.最后通过
sqlContext
BlackPoint_CX
·
2016-09-20 18:01
工程基础
Spark与Hive的交互
caseclass]的形式,然后通过.toDF的Func,来实现将RDD转换为DF从原始的RDD转换为RDD[Row],创建一个StructType,里面通过StructField标明各个属性.最后通过
sqlContext
BlackPoint_CX
·
2016-09-20 18:01
工程基础
SparkSql 函数的使用
{SparkConf,SparkContext} importorg.apache.spark.sql.
SQLContext
importorg.apache.spark.sql.functions._
UnionIBM
·
2016-09-12 21:00
spark
函数
对象
大数据
sparkrdd转dataframe的两种方式
{Row,
SQLContext
,SaveMode}importorg.apache.s
此用户有点逗号
·
2016-08-31 10:30
SparkSQL SQL语句解析过程源代码浅析
主要是通过
sqlContext
.sql()这个方法作为一个入口。在这之前先得知道一句SQL传到sql()这个方法里面后要经历好几次转换，最终生成一个executedPlan去执行。
humingminghz
·
2016-07-15 19:00
spark
sparksql
scala
SparkSQL SQL语句解析过程源代码浅析
主要是通过
sqlContext
.sql()这个方法作为一个入口。在这之前先得知道一句SQL传到sql()这个方法里面后要经历好几次转换，最终生成一个executedPlan去执行。
humingminghz
·
2016-07-15 19:00
spark
sparksql
scala
SparkSQL 使用
SQLContext
读取csv文件 分析数据 （含部分数据）
前两天开始研究SparkSQL，其主要分为HiveContext以及
SQLContext
目前打算先学习SQLContent，因为Hive环境还没搭好， 一步一步来先把spark的原理弄明白后再去研究
humingminghz
·
2016-07-06 11:00
scala
spark
sparksql
SparkSQL 使用
SQLContext
读取csv文件 分析数据 （含部分数据）
阅读更多前两天开始研究SparkSQL，其主要分为HiveContext以及
SQLContext
目前打算先学习SQLContent，因为Hive环境还没搭好，一步一步来先把spark的原理弄明白后再去研究
humingminghz
·
2016-07-06 11:00
spark
sparksql
scala
SparkSQL 使用
SQLContext
读取csv文件 分析数据 （含部分数据）
阅读更多前两天开始研究SparkSQL，其主要分为HiveContext以及
SQLContext
目前打算先学习SQLContent，因为Hive环境还没搭好，一步一步来先把spark的原理弄明白后再去研究
humingminghz
·
2016-07-06 11:00
spark
sparksql
scala
spark MySQL jar 包
. */ importjava.sql.DriverManager //valsqlContext=neworg.apache.spark.sql.
SQLContext
(sc) importorg.apache.spark.sql.
SQLContext
残阳飞雪
·
2016-06-24 11:00
Spark(1.6.1) Sql 编程指南+实战案例分析
开始SparkSQLSparkSQL中所有功能的入口点是
SQLContext
类，或者它子类中的一个。为了创建一个基本的
SQLContext
，你所需要的是一个SparkContext。除了基本的SQ
tanggao1314
·
2016-06-06 14:00
spark
unable create table from sparksql
sqlContext
.sql("CREATETABLEIFNOTEXISTSsrc(keyINT,valueSTRING)")错误：MetaException(message:file:/user/hive
xiaobin0303
·
2016-06-01 17:11
sql
spark
createtable
Spark DataFrames入门指南：创建和操作DataFrame
文件里面添加spark-csv支持库；2、创建SparkConf对象，其中包括Spark运行所有的环境信息；3、创建SparkContext对象，它是进入Spark的核心切入点，然后我们可以通过它创建
SQLContext
Wei-L
·
2016-05-23 11:00
Spark
Big
Data
spark的DataFrame介绍及使用示例分析
DataFrame处理的基本步骤是：1、创建
sqlContext
，它是DataFrame的起点。一般
qq_23617681
·
2016-05-14 20:00
spark
spark的DataFrame介绍及使用示例分析
DataFrame处理的基本步骤是：1、创建
sqlContext
，它是DataFrame的起点。一般
qq_23617681
·
2016-05-14 20:00
spark
spark笔记-SQL
1.6spark-shell--masterlocal[1]创建valsc:SparkContext//AnexistingSparkContext.valsqlContext=neworg.apache.spark.sql.
SQLContext
余音丶未散
·
2016-05-11 21:39
Spark
spark笔记-SQL
1.6spark-shell--masterlocal[1]创建valsc:SparkContext//AnexistingSparkContext.valsqlContext=neworg.apache.spark.sql.
SQLContext
q383700092
·
2016-05-11 21:00
sql
spark
Spark-SparkSql
其中相关功能入口是
SQLContext
()及其子类。如HiveContext可
youdianjinjin
·
2016-05-09 22:00
spark
Spark中文手册7：Spark-sql由入门到精通【续】
问题导读1.
sqlContext
.cacheTable("tableName")与
sqlContext
.uncacheTable("tableName")它们的作用是什么？
wanmeilingdu
·
2016-05-09 21:00
spark
Spark中文手册6：Spark-sql由入门到精通
（一）开始Spark中所有相关功能的入口点是
SQLContext
类或者它的子类，创建一个
SQLContext
的所有需要仅仅是一个SparkContext。
wanmeilingdu
·
2016-05-09 21:00
spark
day61-Spark SQL数据加载和保存内幕深度解密实战
通过load可以创建出DataFrame；通过save可以将DataFrame数据保存到文件中或者说以具体的格式来指明要读取的文件是什么格式或者输出的数据是什么格式；直接读取文件的指定类型：
SQLContext
·
2016-05-08 13:00
spark读取oracle的
Spark-env.sh文件中加入:exportSPARK_CLASSPATH=任务提交时加入:spark-submit–masterspark://master:7077–jarsojdbc16.jar一、valrdd=
sqlContext
.read.format
九指码农
·
2016-05-05 15:18
spark-sql
spark及问题解决
spark读取oracle的
Spark-env.sh文件中加入:exportSPARK_CLASSPATH=任务提交时加入:spark-submit–masterspark://master:7077–jarsojdbc16.jar一、valrdd=
sqlContext
.read.format
qq_14950717
·
2016-05-05 15:00
oracle
jdbc
spark
spark-sql
第97课：Spark Streaming 结合Spark SQL 案例
代码如下：package com.dt.spark.streaming import org.apache.spark.sql.
SQLContext
import org.apache.spark.
lqding1980
·
2016-05-04 22:58
spark
Streaming
sparksql演示
spark-shell--masterspark://hadoop1:7077--executor-memory3g//RDD演示valsqlContext= neworg.apache.spark.sql.
SQLContext
泡海椒
·
2016-05-03 20:00
第58课：使用Java和Scala在IDE中开发DataFrame实战
SQLContext
操作数据SQL的时候：有一个弊端就是，只支持SQL一种方言。但是如果使用Hive
snail_gesture
·
2016-05-02 22:00
java
scala
数据
ide
语言
spark DataFrame用法
读写valparquetFile=
sqlContext
.read.parquet("hdfs:///pa
无名大盗
·
2016-04-30 22:45
大数据
Adam学习13之Fasta/Fastq/SAM/BAM文件格式数据读取
packageorg.bdgenomics.adamLocal.algorithms.test importorg.apache.spark.SparkConf importorg.apache.spark.SparkContext importorg.apache.spark.sql.
SQLContext
bob601450868
·
2016-04-30 22:00
Spark 机器学习实践 ：Iris数据集的分类
--packagescom.databricks:spark-csv_2.11:1.4.0from pyspark.sql import
SQLContext
sqlContext
= SQL
naughty
·
2016-04-12 12:00
RDD、DataFrame、
SQLContext
，HiveContext
RDDspark最基础的分布式数据集，RDD提供了很多api来操作这个数据集中的数据，Rdd中的每一列没有scheme，没有标识。DataFramespark的高级抽象，在RDD的分布式数据集上，加上了scheme的信息，每一列都有标识，标识这一列的名称和类型。提供了更多的api，这些api能实现类似sql的操作，底层实现还是RDDSQLContext可以使用.sql()方法，直接查询表中的数据，
cjun1990
·
2016-04-08 17:00
第72课：Spark SQL UDF和UDAF解密与实战 每天晚上20：00YY频道现场授课频道68917580
68917580 输入数据 "Spark","Spark","Hadoop","Spark","Hadoop","Spark","Spark","Hadoop","Spark","Hadoop"
sqlContext
.sql
duan_zhihua
·
2016-03-31 22:00
Spark SQL on hive配置和实战
sparksql官网：http://spark.apache.org/docs/latest/sql-programming-guide.html#starting-point-
sqlcontext
首先要配置好
Kevin12
·
2016-03-26 18:00
hive
spark
Spark SQL on hive配置和实战
阅读更多sparksql官网：http://spark.apache.org/docs/latest/sql-programming-guide.html#starting-point-
sqlcontext
Kevin12
·
2016-03-26 18:00
spark
hive
Spark DataFrames
文件里面添加spark-csv支持库；2、创建SparkConf对象，其中包括Spark运行所有的环境信息；3、创建SparkContext对象，它是进入Spark的核心切入点，然后我们可以通过它创建
SQLContext
Wei-L
·
2016-03-20 21:22
Big
Data
Spark DataFrames
文件里面添加spark-csv支持库；2、创建SparkConf对象，其中包括Spark运行所有的环境信息；3、创建SparkContext对象，它是进入Spark的核心切入点，然后我们可以通过它创建
SQLContext
LW_GHY
·
2016-03-20 21:00
Spark SQL Example
SparkSQLExampleThisexampledemonstrateshowtouse
sqlContext
.sql tocreateandloadatableandselectrowsfromthetableintoaDataFrame.ThenextstepsusetheDataFrameAPItofiltertherowsforsalariesgreaterthan150,000a
ggz631047367
·
2016-02-27 10:00
spark-shell - 将结果保存成一个文件
sqlContext
.sql(""" SELECTuser_no,cust_id,oper_code FROMcui.operation_data_android WHEREuser_no&
LightingCui
·
2016-01-27 15:00
【spark-1.5.1】Spark SQL and DataFrame
dataframes一、createdataframesval sc: SparkContext val
sqlContext
= new org.apache.spark.sql.
SQLContext
wilbur
·
2016-01-26 11:00
spark-shell - 三个引号，让脚本阅读更开心
示例：
sqlContext
.sql(""" SELECTuser_no,oper_code FROMcui.operation_data_android WHEREuser_no='20160101000000
LightingCui
·
2016-01-16 00:00
Spark 综合应用
本节模拟几个综合应用场景SQLOnSpark:使用
sqlContext
查询年纪大于等于10岁的人名HiveOnSpark:使用了hiveContext计算每年销售额店铺分类,根据销售额对店铺分类,使用sparkSQL
u012432611
·
2016-01-04 11:00
spark
Spark修炼之道（进阶篇）——Spark入门到精通：第九节 Spark SQL运行流程解析
LogicalPlan的几种状态，理解SparkSQL整体执行流程//scisanexistingSparkContext. valsqlContext=neworg.apache.spark.sql.
SQLContext
lovehuangjiaju
·
2015-12-31 10:00
spark
spark-sql
Spark修炼之道（高级篇）——Spark源码阅读：第十三节 Spark SQL之
SQLContext
（一)
作者：周志湖1.
SQLContext
的创建
SQLContext
是SparkSQL进行结构化数据处理的入口，可以通过它进行DataFrame的创建及SQL的执行，其创建方式如下：//sc为SparkContext
lovehuangjiaju
·
2015-12-30 07:00
spark
源码阅读
SparkSql官方文档中文翻译(java版本)
1概述（Overview）2DataFrames2.1入口：
SQLContext
（StartingPoint:
SQLContext
）2.2创建DataFrames（CreatingDataFrames）
超大的雪童子
·
2015-12-29 21:00
Spark修炼之道（高级篇）——Spark源码阅读：第十二节 Spark SQL 处理流程分析
周志湖下面的代码演示了通过CaseClass进行表Schema定义的例子：//scisanexistingSparkContext. valsqlContext=neworg.apache.spark.sql.
SQLContext
lovehuangjiaju
·
2015-12-28 23:00
源码阅读
sparkSQL中udf的使用
Example1.个数统计表结构如下，统计出每个人的爱好个数namehobbiesalicejogging,Coding,cookinglinatravel,dance#将某个字段中逗号分隔的数量统计出来
sqlContext
.udf.register
lsshlsw
·
2015-12-24 23:00
spark
sparksql
udf
Spark SQL 官方文档-中文翻译
http://www.cnblogs.com/BYRans/p/5057110.html1概述（Overview）2DataFrames2.1入口：
SQLContext
（StartingPoint:
SQLContext
zdy0_2004
·
2015-12-18 20:23
spark
spark
Spark SQL 官方文档-中文翻译
SparkSQL官方文档-中文翻译Spark版本：Spark1.5.2转载请注明出处：http://www.cnblogs.com/BYRans/1概述（Overview）2DataFrames2.1入口：
SQLContext
BYRans
·
2015-12-18 14:00
上一页
1
2
3
4
5
6
7
下一页
按字母分类：
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他