Spark-Sql版本升级对应的新特性汇总SparkSQL的前身是Shark。由于Shark自身的不完善，2014年6月1日ReynoldXin宣布：停止对Shark的开发。

禁止MACChrome更新SPARK1.4后可以支持看spark－sql的DagVisualization,但是Chrome升级到48以后,就傻掉了,图什么的都出不来,经过很多个浏览器测试确定是chrome

insertintoXXXXXXX201512select*fromXXXXXXX20151231;以上的insert，3000万的数据，一般是6、7分钟的样子，，一个表到总表产生的分片数是40多个，之后查询一张表大概1秒左右别用Spark-SQL

spark-sql中默认使用的是kyro的序

在进行离线大数据处理工程中，使用hive进行运算出现了瓶颈，由于文件太大，集群的block块采用的是默认128M没有进行调整，而且集群规模比较小，只有4个节点，机器配置：2台32core,内存14.5G 1台32core，内存30.3G 1台32core，内存46.1G 在进行分析过程中，有大量的leftjion和groupby 以及sumcountHQL各种嵌套[主要是当初设计的不合理，下边的没

一.序言   这里介绍一下我们对spark-sql的一些简单应用。  

一.序言这里介绍一下我们对spark-sql的一些简单应用。

阅读更多一.序言这里介绍一下我们对spark-sql的一些简单应用。

Exceptionintaskxxxinstagexxx java.lang.OutOfMemoryError:unabletocreatenewnativethread 那么可能性非常大的原因是你当前通过spark-submit或spark-sql

转载自：http://lxw1234.com/archives/2015/08/448.htm如果你已经有一个正常运行的HadoopYarn环境，那么只需要下载相应版本的Spark，解压之后做为Spark客户端即可。需要配置Yarn的配置文件目录，exportHADOOP_CONF_DIR=/etc/hadoop/conf这个可以配置在spark-env.sh中。运行命令：cd$SPARK_HOM

Spark-SQL优化案例---股票点击实时排行，需求每天股票点击统计排列统计、每小时股票统计排列统计，及天与小时的环比变化。

对于熟悉Scala开发的人来说，对于spark-sql的使用，直接jar包中写入代码处理就能轻松实现动态语句的执行。

目前我们在使用SQL引擎时，月级的、天级的、小时级的查询都转到了Spark-SQL，速度及稳定性都有较好的表现。

目前我们在使用SQL引擎时，月级的、天级的、小时级的查询都转到了Spark-SQL，速度及稳定性都有较好的表现。

针对sqlonhadoop类的组件，hive/Impala/spark-sql/presto，接触过一点，也做过部分的验证，结论暂时与客户所期望的有点出入，因此目前有点小纠结。

Spark-Streaming与Spark-Sql整合实现实时股票排行---通过kafka列队数据，前端数据通过kafka队列传递，外层还有flume的实时收集。

spark-sql部署版本Hadoop-2.5.0-cdh5.3.2 Hive-0.13.1-cdh5.3.2Spark-1.5.1以CNSH001节点为例sparkmaster在CNSH001上：spark

上个月通过email，帮朋友的朋友解决了一个Cloudera的Spark-SQL无法访问HBase做数据分析的问题，记录一下。

上个月通过email，帮朋友的朋友解决了一个Cloudera的Spark-SQL无法访问HBase做数据分析的问题，记录一下。

上个月通过email，帮朋友的朋友解决了一个Cloudera的Spark-SQL无法访问HBase做数据分析的问题，记录一下。

Spark提供了多个脚本来作为程序的入口，其中最常用的是交互脚本spark-shell,pyspark，还有sparksql的客户端spark-sql。

Spark1.2.0版本中是用parquet存储类型时注意事项： sql语句： select * from order_created_dynamic_partition_parquet;   在spark-sql

启动spark-sql执行sql时，在监控页面中看到该Application的Name是SparkSQL:hadoop000(其中hadoop000是测试机器的hostname)，就有个想法，修改下该application

今天在测试spark-sql运行在yarn上的过程中，无意间从日志中发现了一个问题： spark-sql --master yarn 14/12/29 15:23:17 INFO Client

一、概述  上篇blog记录了些在用spark-sql时遇到的一些问题，今天继续记录

1、编程时无法加载hive包，需要在编译好的spark(用spark-shell启动，用spark-sql能够直接访问hive表)的lib目录下，考出assembly包，为其创建一个maven的repository

可参考以下这个文章，写的简洁明了http://blog.csdn.net/lovehuangjiaju/article/details/48768371实际上可以看出spark各种脚本，spark-shell、spark-sql

Author：kwu 基于spark1.4的Spark-Sql，spark1.4.1在7月15刚发布，提供较好sql支持1、如何启动Spark-Sql启动脚本如下[plain] viewplaincopy

今天，在执行spark-sql时，查询数据量超过1.7亿行，数据量大小38G，出现系统盘占用突然变高的情况，监控如下：检查为/tmp目录下，spark生成的临时目录占用了大量的磁盘空间，生成的spark

解决SparkOnYarn执行中executor内存限制问题集群版本Spark1.3.1+Hadoop.2.6-CDH5.4启动Spark-SQL的JDBC服务，如下：start-thriftserver.sh

问题：spark集成hive，启动spark-shell或者spark-sql的时候，报错：INFOMetaStoreDirectSql:MySQLcheckfailed,assumingwearenotonmysql

1,首先运行一个简单程序:  objectSparkSqlHive{defmain(args:Array[String]){valsparkConf=newSparkConf().setAppName("SparkSQLHive")valsc=newSparkContext(sparkConf)valhiveContext=newHiveContext(sc)hiveContext.sql("CR

本文主要分析SparkSQL官方文档中有关于JDBCToOtherDatabases部分，以MySQL数据库为例，结合数据读写操作的实例代码进行详细的分析。本文中的代码需要使用到MysqlJDBC连接jar包。一、从mysql读取数据1、单表查询完整程序如下：packagecom.ckm.spark.sqlimportjava.util.Propertiesimportorg.apache.spa

注意:程序中需要用到jdbc的jar包本程序中使用的是mysql-connector-java-5.1.29.jar1,从mysql数据库读取数据 完整程序如下:importjava.util.Propertiesimportorg.apache.spark.sql.SQLContextimportorg.apache.spark.{SparkContext,SparkConf}/***Creat

阅读更多一.序言最近需要常见数据可视化的东西，主要是方便spark-sql，方便内部操作方便，因此选择了个数据可视化的,hue和zepplin，hue是比较强大的，但是spark方便也是孵化状态，是非apache

一.序言   最近需要常见数据可视化的东西，主要是方便spark-sql，方便内部操作方便，因此选择了个数据可视化的,hue和zepplin，hue是比较强大的，但是spark方便也是孵化状态，是非apache

一.序言   这里介绍用idea跑程序去连接spark-sql->hive-metastore的小例子，关于服务器上得保证spark-sql/spark-shell正确执行，然后再用本地的程序去实现，我这里版本用的

阅读更多一.序言这里介绍用idea跑程序去连接spark-sql->hive-metastore的小例子，关于服务器上得保证spark-sql/spark-shell正确执行，然后再用本地的程序去实现，

一.序言spark现在用得比较多了，但是开始连接spark的的时候有些小问题，这里简单记录一下，我用的spark1.4.1hadoop2.7hive1.2.1,目的想用spark-sql连接hive的metastore

一.序言   spark现在用得比较多了，但是开始连接spark的的时候有些小问题，这里简单记录一下，  我用的spark1.4.1 hadoop2.7hive1.2.1,目的想用spark-sql连接

阅读更多一.序言spark现在用得比较多了，但是开始连接spark的的时候有些小问题，这里简单记录一下，我用的spark1.4.1hadoop2.7hive1.2.1,目的想用spark-sql连接hive

SparkSQL1.2(building-spark1.2,sparksqlonhive,spark-sql)http://blog.csdn.net/sunbow0/article/details/42487761

1、保证spark-sql已经使用mysql作为metadata存储介质2、启动thrift网关$SPARK_HOME/sbin/start-thriftserver.sh--driver-class-path

1、保证spark-sql已经使用mysql作为metadata存储介质2、启动thrift网关$SPARK_HOME/sbin/start-thriftserver.sh--driver-class-path

createDatabaseIfNotExist=true启动spark-sql要给driver路径spark-sql--driver-clas

createDatabaseIfNotExist=true启动spark-sql要给driver路径spark-sql--driver-clas

HiveTables将HIVE_HOME/conf/hive-site.xml 文件copy到SPARK_HOME/conf/下 Whennotconfiguredbythehive-site.xml,thecontextautomaticallycreates metastore_db and warehouse inthecurrentdirectory.// sc is an existin

HiveTables将HIVE_HOME/conf/hive-site.xml 文件copy到SPARK_HOME/conf/下 Whennotconfiguredbythehive-site.xml,thecontextautomaticallycreates metastore_db and warehouse inthecurrentdirectory.//scisanexistingSpa

阅读更多HiveTables将HIVE_HOME/conf/hive-site.xml文件copy到SPARK_HOME/conf/下Whennotconfiguredbythehive-site.xml,thecontextautomaticallycreatesmetastore_dbandwarehouseinthecurrentdirectory.//scisanexistingSpark

阅读更多HiveTables将HIVE_HOME/conf/hive-site.xml文件copy到SPARK_HOME/conf/下Whennotconfiguredbythehive-site.xml,thecontextautomaticallycreatesmetastore_dbandwarehouseinthecurrentdirectory.//scisanexistingSpark