Spark-SQL 第10页

[置顶] Spark-Sql版本升级对应的新特性汇总

Spark-Sql版本升级对应的新特性汇总SparkSQL的前身是Shark。由于Shark自身的不完善，2014年6月1日ReynoldXin宣布：停止对Shark的开发。

kwu_ganymede·2016-04-01 17:00

禁止MAC Chrome更新

禁止MACChrome更新SPARK1.4后可以支持看spark－sql的DagVisualization,但是Chrome升级到48以后,就傻掉了,图什么的都出不来,经过很多个浏览器测试确定是chrome

leanken_lin·2016-04-01 14:09

HIVE和SPARKSQL计算引擎在TEXT导入PARQUET格式的HIVE存储引擎分片数量机制

insertintoXXXXXXX201512select*fromXXXXXXX20151231;以上的insert，3000万的数据，一般是6、7分钟的样子，，一个表到总表产生的分片数是40多个，之后查询一张表大概1秒左右别用Spark-SQL

feiweihy·2016-03-25 15:33

Spark kyro Serialization

spark-sql中默认使用的是kyro的序

lsshlsw·2016-03-11 16:00

Spark-SQL与hive整合【版本spark1.6.0+hive0.14】--Standalone模式

在进行离线大数据处理工程中，使用hive进行运算出现了瓶颈，由于文件太大，集群的block块采用的是默认128M没有进行调整，而且集群规模比较小，只有4个节点，机器配置：2台32core,内存14.5G 1台32core，内存30.3G 1台32core，内存46.1G 在进行分析过程中，有大量的leftjion和groupby 以及sumcountHQL各种嵌套[主要是当初设计的不合理，下边的没

bbaiggey·2016-03-10 11:00

spark-sql应用

一.序言这里介绍一下我们对spark-sql的一些简单应用。

greemranqq·2016-03-04 08:37

spark-sql应用

一.序言这里介绍一下我们对spark-sql的一些简单应用。

犀利的蛙·2016-03-03 21:39

spark-sql应用

阅读更多一.序言这里介绍一下我们对spark-sql的一些简单应用。

greemranqq·2016-03-03 21:00

Spark - ERROR Executor: Exception in tjava.lang.OutOfMemoryError: unable to create new native thread

Exceptionintaskxxxinstagexxx java.lang.OutOfMemoryError:unabletocreatenewnativethread 那么可能性非常大的原因是你当前通过spark-submit或spark-sql

bluishglc·2016-02-20 16:00

在Yarn上运行spark-shell和spark-sql命令行

转载自：http://lxw1234.com/archives/2015/08/448.htm如果你已经有一个正常运行的HadoopYarn环境，那么只需要下载相应版本的Spark，解压之后做为Spark客户端即可。需要配置Yarn的配置文件目录，exportHADOOP_CONF_DIR=/etc/hadoop/conf这个可以配置在spark-env.sh中。运行命令：cd$SPARK_HOM

ggz631047367·2016-01-01 21:00

Spark-SQL优化案例---股票点击实时排行

Spark-SQL优化案例---股票点击实时排行，需求每天股票点击统计排列统计、每小时股票统计排列统计，及天与小时的环比变化。

kwu_ganymede·2015-12-23 15:00

crontab shell调用spark-sql，实现周期性动态SQL批量自动执行

对于熟悉Scala开发的人来说，对于spark-sql的使用，直接jar包中写入代码处理就能轻松实现动态语句的执行。

富兰克林008·2015-12-18 13:39

Spark-SQL介绍及优化策略

目前我们在使用SQL引擎时，月级的、天级的、小时级的查询都转到了Spark-SQL，速度及稳定性都有较好的表现。

kwu_ganymede·2015-12-14 14:44

Spark-SQL介绍及优化策略

目前我们在使用SQL引擎时，月级的、天级的、小时级的查询都转到了Spark-SQL，速度及稳定性都有较好的表现。

kwu_ganymede·2015-12-14 14:00

Parquet表在spark与Impala间兼容性测试

针对sqlonhadoop类的组件，hive/Impala/spark-sql/presto，接触过一点，也做过部分的验证，结论暂时与客户所期望的有点出入，因此目前有点小纠结。

fishhunter·2015-12-10 13:56

Spark-Streaming与Spark-Sql整合实现实时股票排行---通过kafka列队数据

Spark-Streaming与Spark-Sql整合实现实时股票排行---通过kafka列队数据，前端数据通过kafka队列传递，外层还有flume的实时收集。

kwu_ganymede·2015-12-03 14:00

spark-sql部署实现与Hive交互

spark-sql部署版本Hadoop-2.5.0-cdh5.3.2 Hive-0.13.1-cdh5.3.2Spark-1.5.1以CNSH001节点为例sparkmaster在CNSH001上：spark

developerinit·2015-11-25 09:00

Hadoop运维记录系列(十七)

上个月通过email，帮朋友的朋友解决了一个Cloudera的Spark-SQL无法访问HBase做数据分析的问题，记录一下。

Slaytanic·2015-11-13 19:35

Hadoop运维记录系列(十七)

上个月通过email，帮朋友的朋友解决了一个Cloudera的Spark-SQL无法访问HBase做数据分析的问题，记录一下。

Slaytanic·2015-11-13 19:35

Hadoop运维记录系列(十七)

上个月通过email，帮朋友的朋友解决了一个Cloudera的Spark-SQL无法访问HBase做数据分析的问题，记录一下。

Slaytanic·2015-11-13 19:35

Spark脚本调用

Spark提供了多个脚本来作为程序的入口，其中最常用的是交互脚本spark-shell,pyspark，还有sparksql的客户端spark-sql。

代码浮生·2015-11-13 11:00

spark1.2.0版本SparkSQL使用parquet类型注意事项

Spark1.2.0版本中是用parquet存储类型时注意事项： sql语句： select * from order_created_dynamic_partition_parquet; 在spark-sql

·2015-11-12 23:51

spark-sql启动后在监控页面中显示的Application Name为SparkSQL::xxxx的疑问

启动spark-sql执行sql时，在监控页面中看到该Application的Name是SparkSQL:hadoop000(其中hadoop000是测试机器的hostname)，就有个想法，修改下该application

·2015-11-12 23:50

Spark On Yarn中spark.yarn.jar属性的使用

今天在测试spark-sql运行在yarn上的过程中，无意间从日志中发现了一个问题： spark-sql --master yarn 14/12/29 15:23:17 INFO Client

·2015-11-12 21:16

Spark读写和Lost Excutor错误的分析和解决过程

一、概述上篇blog记录了些在用spark-sql时遇到的一些问题，今天继续记录

yanhan_huang·2015-11-02 10:00

spark-sql用hive表格，在yarn-cluster模式下运行遇到的问题及解决办法

1、编程时无法加载hive包，需要在编译好的spark(用spark-shell启动，用spark-sql能够直接访问hive表)的lib目录下，考出assembly包，为其创建一个maven的repository

·2015-10-23 08:14

Spark学习笔记之-Spark 命令及程序入口

可参考以下这个文章，写的简洁明了http://blog.csdn.net/lovehuangjiaju/article/details/48768371实际上可以看出spark各种脚本，spark-shell、spark-sql

dandykang·2015-10-21 09:16

基于spark1.4的Spark-Sql

Author：kwu 基于spark1.4的Spark-Sql，spark1.4.1在7月15刚发布，提供较好sql支持1、如何启动Spark-Sql启动脚本如下[plain] viewplaincopy

kwu_ganymede·2015-10-13 13:00

【解决】Spark运行时产生的临时目录的问题

今天，在执行spark-sql时，查询数据量超过1.7亿行，数据量大小38G，出现系统盘占用突然变高的情况，监控如下：检查为/tmp目录下，spark生成的临时目录占用了大量的磁盘空间，生成的spark

kwu_ganymede·2015-10-13 10:00

【解决】Spark On Yarn执行中executor内存限制问题

解决SparkOnYarn执行中executor内存限制问题集群版本Spark1.3.1+Hadoop.2.6-CDH5.4启动Spark-SQL的JDBC服务，如下：start-thriftserver.sh

kwu_ganymede·2015-10-13 10:00

spark集成hive遭遇mysql check失败的问题

问题：spark集成hive，启动spark-shell或者spark-sql的时候，报错：INFOMetaStoreDirectSql:MySQLcheckfailed,assumingwearenotonmysql

bluejoe2000·2015-10-05 13:00

Spark-SQL连接Hive

1,首先运行一个简单程序: objectSparkSqlHive{defmain(args:Array[String]){valsparkConf=newSparkConf().setAppName("SparkSQLHive")valsc=newSparkContext(sparkConf)valhiveContext=newHiveContext(sc)hiveContext.sql("CR

dabokele·2015-09-24 10:00

Spark-SQL连接MySql关系型数据库

本文主要分析SparkSQL官方文档中有关于JDBCToOtherDatabases部分，以MySQL数据库为例，结合数据读写操作的实例代码进行详细的分析。本文中的代码需要使用到MysqlJDBC连接jar包。一、从mysql读取数据1、单表查询完整程序如下：packagecom.ckm.spark.sqlimportjava.util.Propertiesimportorg.apache.spa

dabokele·2015-09-23 11:09

Spark-SQL连接MySql关系型数据库

注意:程序中需要用到jdbc的jar包本程序中使用的是mysql-connector-java-5.1.29.jar1,从mysql数据库读取数据完整程序如下:importjava.util.Propertiesimportorg.apache.spark.sql.SQLContextimportorg.apache.spark.{SparkContext,SparkConf}/***Creat

dabokele·2015-09-23 11:00

数据可视化:Zeppelin+spark

greemranqq·2015-09-09 10:00

数据可视化:Zeppelin+spark

一.序言最近需要常见数据可视化的东西，主要是方便spark-sql，方便内部操作方便，因此选择了个数据可视化的,hue和zepplin，hue是比较强大的，但是spark方便也是孵化状态，是非apache

greemranqq·2015-09-09 10:00

spark笔记2-spark-sql 程序

一.序言这里介绍用idea跑程序去连接spark-sql->hive-metastore的小例子，关于服务器上得保证spark-sql/spark-shell正确执行，然后再用本地的程序去实现，我这里版本用的

greemranqq·2015-09-08 16:00

spark笔记2-spark-sql 程序

greemranqq·2015-09-08 16:00

spark 笔记1 -- spark程序连接

一.序言spark现在用得比较多了，但是开始连接spark的的时候有些小问题，这里简单记录一下，我用的spark1.4.1hadoop2.7hive1.2.1,目的想用spark-sql连接hive的metastore

犀利的蛙·2015-09-07 11:07

spark 笔记1 -- spark程序连接

一.序言 spark现在用得比较多了，但是开始连接spark的的时候有些小问题，这里简单记录一下，我用的spark1.4.1 hadoop2.7hive1.2.1,目的想用spark-sql连接

greemranqq·2015-09-07 11:00

spark 笔记1 -- spark程序连接

greemranqq·2015-09-07 11:00

Spark SQL

SparkSQL1.2(building-spark1.2,sparksqlonhive,spark-sql)http://blog.csdn.net/sunbow0/article/details/42487761

yizheyouye·2015-07-23 10:00

配置并启动spark的thriftserver网关

1、保证spark-sql已经使用mysql作为metadata存储介质2、启动thrift网关$SPARK_HOME/sbin/start-thriftserver.sh--driver-class-path

刀刀_高扬·2015-06-23 17:37

配置并启动spark的thriftserver网关

1、保证spark-sql已经使用mysql作为metadata存储介质2、启动thrift网关$SPARK_HOME/sbin/start-thriftserver.sh--driver-class-path

刀刀_高扬·2015-06-23 17:37

SPARKSQL使用MYSQL做METADATA

createDatabaseIfNotExist=true启动spark-sql要给driver路径spark-sql--driver-clas

刀刀_高扬·2015-06-23 17:17

SPARKSQL使用MYSQL做METADATA

createDatabaseIfNotExist=true启动spark-sql要给driver路径spark-sql--driver-clas

刀刀_高扬·2015-06-23 17:17

基于spark1.3.1的spark-sql实战－02

HiveTables将HIVE_HOME/conf/hive-site.xml 文件copy到SPARK_HOME/conf/下 Whennotconfiguredbythehive-site.xml,thecontextautomaticallycreates metastore_db and warehouse inthecurrentdirectory.// sc is an existin

stark_summer·2015-05-20 14:00

基于spark1.3.1的spark-sql实战－02

HiveTables将HIVE_HOME/conf/hive-site.xml 文件copy到SPARK_HOME/conf/下 Whennotconfiguredbythehive-site.xml,thecontextautomaticallycreates metastore_db and warehouse inthecurrentdirectory.//scisanexistingSpa

Stark_Summer·2015-05-20 14:00

基于spark1.3.1的spark-sql实战－02

Stark_Summer·2015-05-20 14:00

基于spark1.3.1的spark-sql实战－02

Stark_Summer·2015-05-20 14:00

推荐频道

Spark-SQL

[置顶] Spark-Sql版本升级对应的新特性汇总

禁止MAC Chrome更新

HIVE和SPARKSQL计算引擎在TEXT导入PARQUET格式的HIVE存储引擎分片数量机制

Spark kyro Serialization

Spark-SQL与hive整合【版本spark1.6.0+hive0.14】--Standalone模式

spark-sql应用

spark-sql应用

spark-sql应用

Spark - ERROR Executor: Exception in tjava.lang.OutOfMemoryError: unable to create new native thread

在Yarn上运行spark-shell和spark-sql命令行

Spark-SQL优化案例---股票点击实时排行

crontab shell调用spark-sql，实现周期性动态SQL批量自动执行

Spark-SQL介绍及优化策略

Spark-SQL介绍及优化策略

Parquet表在spark与Impala间兼容性测试

Spark-Streaming与Spark-Sql整合实现实时股票排行---通过kafka列队数据

spark-sql部署实现与Hive交互

Hadoop运维记录系列(十七)

Hadoop运维记录系列(十七)

Hadoop运维记录系列(十七)

Spark脚本调用

spark1.2.0版本SparkSQL使用parquet类型注意事项

spark-sql启动后在监控页面中显示的Application Name为SparkSQL::xxxx的疑问

Spark On Yarn中spark.yarn.jar属性的使用

Spark读写和Lost Excutor错误的分析和解决过程

spark-sql用hive表格，在yarn-cluster模式下运行遇到的问题及解决办法

Spark学习笔记之-Spark 命令及程序入口

基于spark1.4的Spark-Sql

【解决】Spark运行时产生的临时目录的问题

【解决】Spark On Yarn执行中executor内存限制问题

spark集成hive遭遇mysql check失败的问题

Spark-SQL连接Hive

Spark-SQL连接MySql关系型数据库

Spark-SQL连接MySql关系型数据库

数据可视化:Zeppelin+spark

数据可视化:Zeppelin+spark

spark笔记2-spark-sql 程序

spark笔记2-spark-sql 程序

spark 笔记1 -- spark程序连接

spark 笔记1 -- spark程序连接

spark 笔记1 -- spark程序连接

Spark SQL

配置并启动spark的thriftserver网关

配置并启动spark的thriftserver网关

SPARKSQL使用MYSQL做METADATA

SPARKSQL使用MYSQL做METADATA

基于spark1.3.1的spark-sql实战－02

基于spark1.3.1的spark-sql实战－02

基于spark1.3.1的spark-sql实战－02

基于spark1.3.1的spark-sql实战－02