Spark-SQL

基于spark1.3.1的spark-sql实战－02

HiveTables将HIVE_HOME/conf/hive-site.xml 文件copy到SPARK_HOME/conf/下 Whennotconfiguredbythehive-site.xml,thecontextautomaticallycreates metastore_db and warehouse inthecurrentdirectory.//scisanexistingSpa
Stark_Summer·2015-05-20 14:00

基于spark1.3.1的spark-sql实战－02

HiveTables将HIVE_HOME/conf/hive-site.xml 文件copy到SPARK_HOME/conf/下 Whennotconfiguredbythehive-site.xml,thecontextautomaticallycreates metastore_db and warehouse inthecurrentdirectory.//scisanexistingSpa
stark_summer·2015-05-19 17:00

基于spark1.3.1的spark-sql实战－01

sqlContext总的一个过程如下图所示：SQL语句经过SqlParse解析成UnresolvedLogicalPlan；使用analyzer结合数据数据字典（catalog）进行绑定，生成resolvedLogicalPlan；使用optimizer对resolvedLogicalPlan进行优化，生成optimizedLogicalPlan；使用SparkPlan将LogicalPlan转换
stark_summer·2015-05-19 13:00

基于spark1.3.1的spark-sql实战－01

 sqlContext总的一个过程如下图所示：SQL语句经过SqlParse解析成UnresolvedLogicalPlan；使用analyzer结合数据数据字典（catalog）进行绑定，生成resolvedLogicalPlan；使用optimizer对resolvedLogicalPlan进行优化，生成optimizedLogicalPlan；使用SparkPlan将LogicalPlan转
Stark_Summer·2015-05-19 13:00

基于spark1.3.1的spark-sql实战－01

 sqlContext总的一个过程如下图所示：SQL语句经过SqlParse解析成UnresolvedLogicalPlan；使用analyzer结合数据数据字典（catalog）进行绑定，生成resolvedLogicalPlan；使用optimizer对resolvedLogicalPlan进行优化，生成optimizedLogicalPlan；使用SparkPlan将LogicalPlan转
Stark_Summer·2015-05-19 13:00

基于spark1.3.1的spark-sql实战－01

sqlContext总的一个过程如下图所示：SQL语句经过SqlParse解析成UnresolvedLogicalPlan；使用analyzer结合数据数据字典（catalog）进行绑定，生成resolvedLogicalPlan；使用optimizer对resolvedLogicalPlan进行优化，生成optimizedLogicalPlan；使用SparkPlan将LogicalPlan转换
stark_summer·2015-05-19 13:00

spark sql 对接 HDFS

hdfs   我们知道，在spark shell 中操作hdfs 上的数据是很方便的，但是操作也未免过于繁琐，幸好spark 还想用户提供另外两种操作 spark sql 的方式 一 spark-sql
·2015-05-14 01:00

【Spark九十四】spark-sql工具的使用

spark-sql是Spark bin目录下的一个可执行脚本，它的目的是通过这个脚本执行Hive的命令，即原来通过 hive>输入的指令可以通过spark-sql>输入的指令来完成。
bit1129·2015-04-30 18:00

【Spark九十四】spark-sql工具的使用

spark-sql是Spark bin目录下的一个可执行脚本，它的目的是通过这个脚本执行Hive的命令，即原来通过 hive>输入的指令可以通过spark-sql>输入的指令来完成。
bit1129·2015-04-30 18:00

【Spark九十四】spark-sql工具的使用

spark-sql是Spark bin目录下的一个可执行脚本，它的目的是通过这个脚本执行Hive的命令，即原来通过 hive>输入的指令可以通过spark-sql>输入的指令来完成。
bit1129·2015-04-30 18:00

【解决】Spark运行时产生的临时目录的问题

[Author]:kwu今天，在执行spark-sql时，查询数据量超过1.7亿行，数据量大小38G，出现系统盘占用突然变高的情况，监控如下：检查为/tmp目录下，spark生成的临时目录占用了大量的磁盘空间
大数据部·2015-04-30 16:47

Spark中文手册10：spark部署：提交应用程序及独立部署模式

Spark中文手册-编程指南Spark之一个快速的例子Spark之基本概念Spark之基本概念Spark之基本概念（2）Spark之基本概念（3）Spark-sql由入门到精通Spark-sql由入门到精通续
ichsonx·2015-03-24 17:04

Spark中文手册10：spark部署：提交应用程序及独立部署模式

Spark中文手册-编程指南Spark之一个快速的例子Spark之基本概念Spark之基本概念Spark之基本概念（2）Spark之基本概念（3）Spark-sql由入门到精通Spark-sql由入门到精通续
ichsonx·2015-03-24 17:00

Spark SQL CLI 运行

/bin/spark-sql需要先把hive-site.xml负责到spark的conf目录下[[email protected]]$.
wind520·2015-03-04 14:00

记录一则Spark读写和Lost Excutor错误的分析和解决过程

一、概述上篇blog记录了些在用spark-sql时遇到的一些问题，今天继续记录用Spark提供的RDD转化方法开发公司第一期标签分析系统（一部分scala作业逻辑代码后面blog再给大家分享）遇到的一些
zengzhaozheng·2015-02-27 18:20

记录一则Spark读写和Lost Excutor错误的分析和解决过程

一、概述 上篇blog记录了些在用spark-sql时遇到的一些问题，今天继续记录用Spark提供的RDD转化方法开发公司第一期标签分析系统（一部分scala作业逻辑代码后面blog再给大家分享）遇到的一些
zengzhaozheng·2015-02-27 18:20

spark-sql访问hive的问题记录

好久没有弄博客了。。。 hive0.14 spark0.12   [hadoop@irs bin]$ ./spark-sql Spark assembly has been built with Hive, including Datanucleus jars on classpathException in thread "main" java.l
·2015-02-03 16:00

Spark SQL 1.2(building-spark1.2, sparksql on hive,spark-sql)

1、SparkSQL1.2(building-spark1.2,sparksqlonhive,spark-sql)1.1补充——Spark1.2编译Spark官方编译指南地址：http://spark.apache.org
sunbow0·2015-01-07 10:00
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他