hivesql

Etl之HiveSql调优(union all)

相信在Etl的过程中不可避免的实用unionall来拼装数据，那么这就涉及到是否并行处理的问题了。在hive中是否适用并行map，可以通过参数来设定：sethive.exec.parallel=true;那么还是实用上一篇博客的数据，链接：http://www.cnblogs.com/liqiu/p/4873238.html如果咱们需要一些数据：select*from(selectsight_id
李秋·2015-10-12 23:00

Etl之HiveSql调优(union all)

原文链接：http://www.cnblogs.com/liqiu/p/4873316.html相信在Etl的过程中不可避免的实用unionall来拼装数据，那么这就涉及到是否并行处理的问题了。在hive中是否适用并行map，可以通过参数来设定：sethive.exec.parallel=true;那么还是实用上一篇博客的数据，链接：http://www.cnblogs.com/liqiu/p/4
aijia7039·2015-10-12 23:00

Etl之HiveSql调优(union all)

相信在Etl的过程中不可避免的实用unionall来拼装数据，那么这就涉及到是否并行处理的问题了。在hive中是否适用并行map，可以通过参数来设定：sethive.exec.parallel=true;那么还是实用上一篇博客的数据，链接：http://www.cnblogs.com/liqiu/p/4873238.html如果咱们需要一些数据：select*from(selectsight_id
李秋·2015-10-12 23:00

Etl之HiveSql调优(union all)

相信在Etl的过程中不可避免的实用unionall来拼装数据，那么这就涉及到是否并行处理的问题了。在hive中是否适用并行map，可以通过参数来设定：sethive.exec.parallel=true;那么还是实用上一篇博客的数据，链接：http://www.cnblogs.com/liqiu/p/4873238.html如果咱们需要一些数据：select*from(selectsight_id
李秋·2015-10-12 23:00

Etl之HiveSql调优(left join where的位置)

一、前言公司实用Hadoop构建数据仓库，期间不可避免的实用HiveSql，在Etl过程中，速度成了避无可避的问题。
李秋·2015-10-12 23:00

Etl之HiveSql调优(left join where的位置)

一、前言公司实用Hadoop构建数据仓库，期间不可避免的实用HiveSql，在Etl过程中，速度成了避无可避的问题。
李秋·2015-10-12 23:00

Etl之HiveSql调优(left join where的位置)

一、前言公司实用Hadoop构建数据仓库，期间不可避免的实用HiveSql，在Etl过程中，速度成了避无可避的问题。
李秋·2015-10-12 23:00

做大数据心得

  1SQL娴熟，这体现在ETL的hive阶段，自定义函数，分析函数，SQL各种关联写(类dba倾向) 2hiveSQL优化要懂 3mr流程要很熟悉，MR优化，配置要知道，这在hivesql优化上有帮助
chengjianxiaoxue·2015-09-15 09:00

Hive优化总结

转自：http://www.cnblogs.com/end/archive/2013/01/15/2861448.html优化时，把hivesql当做mapreduce程序来读，会有意想不到的惊喜。
ibanez_lysf·2015-09-08 01:23

Hive优化总结

转自：http://www.cnblogs.com/end/archive/2013/01/15/2861448.html优化时，把hivesql当做mapreduce程序来读，会有意想不到的惊喜。
ibanez_lysf·2015-09-08 01:23

Hive视频教程|hive企业级架构课程

本章大纲：作业架构优化手段大探底多个降IO负载的策略和场景分表、源表归纳合理设计表分区、动态分区压缩、分布式缓存第二章：HiveSql语法层面和Properties参数层面优化(
dnendjun·2015-08-28 10:17

java程序获取hive日志

获取hive日志比较麻烦，通常的做法是执行shell命令获取日志，但是这样有一些问题，比如：输出的结果需要程序解析等，可以改进hive，采用jdbc的方式执行hivesql，并且把输出到控制台的日志保存到
liyonghui123·2015-08-27 18:45

java程序获取hive日志

       获取hive日志比较麻烦，通常的做法是执行shell命令获取日志，但是这样有一些问题，比如：输出的结果需要程序解析等，可以改进hive，采用jdbc的方式执行hivesql，并且把输出到控制台的日志保存到
liyonghui160com·2015-08-27 18:00

MySQL通用批量写入工具（Python）

这样的方式带来以下几个问题： （1）任务执行结束时间未知，用户必须自行编写代码不断地通过RESTAPI请求分析结果，直至获取到分析结果为止，其中还需要处理分析结果过大，转而通过Rsync方式获取； （2）受限于HiveSQL
yurun·2015-08-17 19:00

MySQL通用批量写入工具（Python）

这样的方式带来以下几个问题：（1）任务执行结束时间未知，用户必须自行编写代码不断地通过RESTAPI请求分析结果，直至获取到分析结果为止，其中还需要处理分析结果过大，转而通过Rsync方式获取；（2）受限于HiveSQL
demigelemiao·2015-08-17 19:00

Spark SQL JSON数据处理

也就是说，我们的用户即可以通过HiveServer2使用HiveSQL执行MapReduce分析数据，也可以使用SparkServer使用SparkSQL（HiveSQL）执行SparkAppli
yurun·2015-08-14 13:00

Spark SQL JSON数据处理

也就是说，我们的用户即可以通过HiveServer2使用HiveSQL执行MapReduce分析数据，也可以使用SparkServer使用SparkSQL（HiveSQL）执行SparkApplicat
demigelemiao·2015-08-14 13:00

Hive JSON数据处理的一点探索

使用Hive分析数据（均指文本）之前，首先需要为待分析的数据建立一张数据表，然后才可以使用HiveSQL分析这张数据表的数据。
yurun·2015-08-13 19:00

Hive JSON数据处理的一点探索

使用Hive分析数据（均指文本）之前，首先需要为待分析的数据建立一张数据表，然后才可以使用HiveSQL分析这张数据表的数据。
demigelemiao·2015-08-13 19:00

由“Beeline连接HiveServer2后如何使用指定的队列（Yarn）运行Hive SQL语句”引发的一系列思考

背景我们使用的HiveServer2的版本为0.13.1-cdh5.3.2，目前的任务使用HiveSQL构建，分为两种类型：手动任务（临时分析需求）、调度任务（常规分析需求），两者均通过我们的Web系统进行提交
demigelemiao·2015-08-12 16:00

由“Beeline连接HiveServer2后如何使用指定的队列（Yarn）运行Hive SQL语句”引发的一系列思考

背景 我们使用的HiveServer2的版本为0.13.1-cdh5.3.2，目前的任务使用HiveSQL构建，分为两种类型：手动任务（临时分析需求）、调度任务（常规分析需求），两者均通过我们的Web系统进行提交
yurun·2015-08-12 16:00

hive学习笔记——Hive表的创建

——2015.07.28一、Hive概述Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据表，并提供类似于SQL(HiveSQL
zhiyong_will·2015-08-02 21:19

Spark SQL编程指南（Python）

前言SparkSQL允许我们在Spark环境中使用SQL或者HiveSQL执行关系型查询。它的核心是一个特殊类型的SparkRDD：SchemaRDD。
demigelemiao·2015-07-29 10:00

Spark SQL编程指南（Python）

前言 SparkSQL允许我们在Spark环境中使用SQL或者HiveSQL执行关系型查询。它的核心是一个特殊类型的SparkRDD：SchemaRDD。 
yurun·2015-07-29 10:00

[一起学Hive]之十二-Hive SQL的优化

阅读更多关键字：Hive优化、HQL优化、Hive数据倾斜十一、HiveSQL的优化本章只是从HQL层面介绍一下，日常开发HQL中需要注意的一些优化点，不涉及Hadoop层面的参数、配置等优化。
superlxw1234·2015-06-29 09:00

[一起学Hive]之十二-Hive SQL的优化

阅读更多关键字：Hive优化、HQL优化、Hive数据倾斜十一、HiveSQL的优化本章只是从HQL层面介绍一下，日常开发HQL中需要注意的一些优化点，不涉及Hadoop层面的参数、配置等优化。
superlxw1234·2015-06-29 09:00

hive job sql 优化 之CPU占有过高

最近有个SQL运行时长超过两个小时，所以准备优化下首先查看hivesql产生job的counter数据发现总的CPUtimespent过高估计100.4319973小时每个map的CPUtimespent
r7raul·2015-05-27 08:02

hive job sql 优化 之CPU占有过高

最近有个SQL运行时长超过两个小时，所以准备优化下首先查看hivesql产生job的counter数据发现总的CPUtimespent过高估计100.4319973小时 每个map的CPUtimespent
r7raul·2015-05-27 08:02

hive实例讲解实现in和not in子句

in查询如果要查询当天登陆的注册用户，需要用in查询，hivesql如下:selectlogin.uidfromloginleftouterjoi
yaoyaoxingkong·2015-05-14 16:00

Hadoop Hive sql语法详解

分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL去查询分析需要的内容，这套SQL简称HiveSQL
zhulei632·2015-04-02 13:00

hiveSQL记录

CREATEEXTERNALTABLEks3_nginx_pv(host_ipstring,idcstring,upstream_ipstring,bucket_ownerstring,`bucket`string,timebigint,time_idint,remote_ipstring,requesterstring,request_idstring,operationstring,keyst
KingBoxing·2015-03-25 19:28

hiveSQL记录

CREATEEXTERNALTABLEks3_nginx_pv(host_ipstring,idcstring,upstream_ipstring,bucket_ownerstring,`bucket`string,timebigint,time_id int,remote_ipstring,requesterstring,request_idstring,operationstring,keys
aaa1117a8w5s6d·2015-03-25 19:00

Hadoop Hive sql语法详解

分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL去查询分析需要的内容，这套SQL简称HiveSQL
281824088·2015-03-18 10:57

Hadoop Hive sql语法详解

分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL去查询分析需要的内容，这套SQL简称HiveSQL
281824088·2015-03-18 10:57

深入浅出Hive企业级架构优化视频教程

深入浅出Hive企业级架构优化、HiveSql优化、压缩和分布式缓存(企业Hadoop应用核心产品)课程讲师：Cloudy课程分类：Hadoop适合人群：初级课时数量：10课时用到技术：Hive涉及项目
玫瑰情书·2015-03-13 11:11

深入浅出Hive企业级架构优化视频教程

深入浅出Hive企业级架构优化、HiveSql优化、压缩和分布式缓存(企业Hadoop应用核心产品)课程讲师：Cloudy课程分类：Hadoop适合人群：初级课时数量：10课时用到技术：Hive涉及项目
ningmengzhi·2015-03-13 11:00

Hive异常：UDFArgumentTypeException No argument is expected

背景：今日在某集市执行一hivesql，sql没有问题，在数据仓库里执行没有问题。
lixiaotaoplus·2015-02-12 15:05

Hadoop Hive sql语法详解

分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL去查询分析需要的内容，这套SQL简称HiveSQL
baolibin528·2015-02-10 20:00

安装使用Cloudera Impala

除了使用与ApacheHive相同的统一存储平台外，Impala也使用了与Hive相同的元数据、SQL语法（HiveSQL）、ODBC驱动和用户接口（ClouderaImpala查询UI使用Hue）。
·2015-02-10 12:00

Hive调优实战

Hive优化总结优化时，把hivesql当做mapreduce程序来读，会有意想不到的惊喜。理解hadoop的核心能力，是hive优化的根本。这是这一年来，项目组所有成员宝贵的经验总结。 
nysyxxg·2015-02-08 10:00

第十四天：hive命令行操作

tab1.csv不进入交互模式，执行一个hivescript$HIVE_HOME/bin/hive-f/home/my/hive-script.sql:-f执行一个文件hive-script.sql是使用hivesql
孟德新书·2015-02-07 12:17

HiveServer连接优化

引言数据平台目前通过HiveSQL的方式提供数据分析服务，系统使用多台HiveServer（JDBCServer）接收客户端连接请求，实际使用场景中频频出现HiveServer内存消耗过多导致机器Swap
demigelemiao·2015-02-05 17:00

Leetcode-Database-175-Combine Two Tables-Easy

作为一个现在hivesql占掉大部分工作时间的码农，还是可以选择来练练手，今天立帖把这些题目一一解决。 
Change Dir·2015-01-27 16:00

Hive SQL

分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL去查询分析需要的内容，这套SQL简称HiveSQL
猪猪daxia·2015-01-07 10:00

hive

分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL去查询分析需要的内容，这套SQL简称HiveSQL
xfg0218·2015-01-01 20:00

#数据技术选型#即席查询Shib+Presto，集群任务调度HUE+Oozie - 旁观者 - 博客园

SQL查询脚本编写技巧，掌握不同业务的数据存储在不同的数据集市里；不管他们的计算任务是提交给数据库还是Hadoop，计算时间都可能会很长，不可能在线等待；所以，使用者提交了一个计算任务（PIG/SQL/HiveSQL
·2014-12-22 00:00

[Hive]用left semi join替代in子查询的方式

执行如下hivesql：select*fromtrackinfowhereds=$dateandsession_idin(selectsession_idfromrcmd_track_pathwhereds
yeweiouyang·2014-12-01 17:34

spark1.1.0下使用SparkSQL

SparkSQL是支持在Spark中使用Sql、HiveSql、Scaca中的关系型查询表达式。它的核心组件是一个新增的RDD类型SchemaRDD，它把行对象用一个Schema来描述行里面的所
bluejoe2000·2014-11-23 18:00

Hadoop Hive sql语法详解

分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL去查询分析需要的内容，这套SQL简称HiveSQL
liyonghui123·2014-11-19 14:40

Hadoop Hive sql语法详解

分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL去查询分析需要的内容，这套SQL简称HiveSQL
wulantian·2014-11-18 16:00
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他