hivesql

Spark SQL Hive数据源复杂综合案例实战

SparkSQLHive数据源复杂综合案例实战（读写各种分区表）Hive数据源来源SparkSQL除了支持SQLContext之外，还支持HIVESQL语法，利用HIVEContext来创建，HiveContext
张章章Sam·2016-12-10 23:52

hive实例讲解实现in和not in子句

in查询如果要查询当天登陆的注册用户，需要用in查询，hivesql如下:selectlogin.uidfr
棒棒棒的·2016-12-05 14:06

Hive执行过程

local/cdh/hive/bin/--2、启动hive命令行hive--3、查看数据库showdatabases;--4、切换数据库uset_test;--5、查看表showtables;--6、hivesql
M_Barry·2016-11-09 18:09

HiveSQL解析过程详解

转：http://www.cnblogs.com/yaojingang/p/5446310.htmlHive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的HiveETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区的咨
KSCL·2016-11-03 11:00

hive in/not in替换以及hive join优化

in查询如果要查询当天登陆的注册用户，需要用in查询，hivesql如下:selectlogin.uidfromloginleftouterjoin
dashabiooo·2016-10-26 13:58

hive in/not in替换以及hive join优化

in查询如果要查询当天登陆的注册用户，需要用in查询，hivesql如下:selectlogin.uidfromloginleftouter
x10232·2016-10-26 13:00

大数据之Impala介绍

多款产品实测表明，比原来基于MapReduce的HiveSQL查询速度提升3～90倍。Impala是GoogleDremel的模仿，但在SQL功能上青出于蓝胜于蓝。
gaojingsong·2016-10-24 09:01

Hive优化--文件格式

1.Hive调优前相关规划设计Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供HiveSQL（简称HQL）查询功能，可以将HQL语句转换为MapReduce
CristianT·2016-10-20 23:47

Hive SQL 监控系统 - Hive Falcon

在编写HiveSQL的时候，需要在Hive终端，编写SQL语句，来观察MapReduce的运行情况，长此以往，感觉非常的不便。
哥不是小萝莉·2016-10-08 09:00

Hive中建立dual表可以方便插入一条手写记录

在写HiveSQL偶尔会有一些特殊需要，比如在给表插入一些特定的记录：hive>createtablet_test(astring,bstring,cstring);OKTimetaken:0.068secondshive
itgraph·2016-09-25 21:45

Hive的使用之脚本文件

好处在实际开发中，遇到复杂的hivesql，在文件里先写好再执行，比直接在控制台写更高效，纠错，修改更方便，也易于后期维护。
松门一枝花·2016-09-01 11:35

HiveSQL的CASE-WHEN的使用

HiveSQL的CASE-WHEN的使用casewhen条件then条件为真时的值else条件为假时的值endSELECTDATE(DATE_SUB(A.CREATE_TIME,-CAST(B.CYCLEASINT
kwu_ganymede·2016-08-03 18:32

spark近实时流式计算平台

基于hivesql，能进行任何复杂业务的sql运算。UV，PV，新UV，跟踪类指标，在线时长、在线人数等等，都可以算。并且是0误差。本平台已用每天几十亿行的数据验证通过。
ForNebula·2016-07-14 19:00

spark近实时流式计算平台

基于hivesql，能进行任何复杂业务的sql运算。UV，PV，新UV，跟踪类指标，在线时长、在线人数等等，都可以算。并且是0误差。本平台已用每天几十亿行的数据验证通过。
ForNebula·2016-07-14 19:00

spark近实时流式计算平台

基于hivesql，能进行任何复杂业务的sql运算。UV，PV，新UV，跟踪类指标，在线时长、在线人数等等，都可以算。并且是0误差。本平台已用每天几十亿行的数据验证通过。
ForNebula·2016-07-14 19:00

hive结合hbase数据处理解决方案测评

目的基于多种hiveSQL去重方式失败后，考虑过使用mysql做近期数据去重的方式，然而不能满足全量去重的业务需求，所以考虑使用hbase的唯一主键来达到全量“去重”的效果。测试环境
空中的鱼1987·2016-07-13 17:46

Hive 优化 （important）

Hiveive优化要点：优化时，把hivesql当做mapreduce程序来读，会有意想不到的惊喜。理解hadoop的核心能力，是hive优化的根本。
秉寒CHO·2016-06-13 00:10

使用延云YDB动态列与Ya100动态映射搞定12w列的大宽表【使用步骤】

12w列在hive表中（spark的hivesql模式），也意味着占用太多的元数据库信息，而且建表也容易失败，要知道hadoop的configurat
qq_33160722·2016-05-23 21:40

hive学习之二：hive sql使用总结及遇到的问题

---------------------------hivesql使用总结-------------------------------------------------1.hive在连接中不支持不等值连接
anickname·2016-05-12 09:31

Spark-SparkSql

SparkSql允许spark执行sql语句，hivesql,scala的描述的基于关系的查询。其实是封装了新的RDD-SchemaRDD，由行对象组成，有一个模式描述每列的数据类型。
youdianjinjin·2016-05-09 22:00

Spark在美团的实践

美团最初的数据处理以HiveSQL为主，底层计算引擎为MapR
guohecang·2016-05-05 16:05

使用java代码提交Spark的hive sql任务，run as java application

我的环境：hadoop2.7.1、spark1.6.0、hive2.0、java1.7目标：通过java-jarxxx.jar的方式来运行提交spark应用，执行查询hivesql。
灵宝·2016-05-03 17:00

详解Hive的架构、工作原理及安装步骤

分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL去查询分析需要的内容，这套SQL简称HiveSQL
u010330043·2016-04-23 10:00

Hive的适用场景

Hive定义了简单的类SQL查询语言，称为HiveSQL
sanqima·2016-04-20 16:00

Hive JSON数据处理的一点探索

使用Hive分析数据（均指文本）之前，首先需要为待分析的数据建立一张数据表，然后才可以使用HiveSQL分析这张数据表的数据。
javastart·2016-04-19 22:01

剖析Spark集群技术在美团网站的实战运用

美团最初的数据处理以HiveSQL为主，底层计算引擎为MapR
曾林西·2016-04-19 10:35

hive -e 出现cannot recognize input nearXXX

做接口平台，将hivesql放在shell里，用hive-e"'selectxxx,concat_ws(",",collect_set(字段))字段fromtablexxx;"报FAILED:ParseExceptionlinecannotrecognizeinputnear
iteye_3893·2016-04-18 15:37

hive -e 出现cannot recognize input nearXXX

阅读更多做接口平台，将hivesql放在shell里，用hive-e"'selectxxx,concat_ws(",",collect_set(字段))字段fromtablexxx;"报FAILED:ParseExceptionlinecannotrecognizeinputnear
chengjianxiaoxue·2016-04-18 15:00

hive数据类型及其数据转换

由于需要使用hivesql进行数据查询，同时涉及多个不同类型的字段的组合，看Hivesql的文档相关和资料才知道，hive是支持大部分基础数据类型之间的相互转换的。
zbc1090549839·2016-04-08 21:00

hive -f执行整体脚本时，报错下如何知道前面执行多少个了

工作中，常将hive脚本写在一个hivesql内，然后后台执行，如下：cdh集群下：sudo-uhdfshive-f/cloud/qyjs-2016-03-08-part2.sql&>/cloud/qyjs
iteye_3893·2016-03-22 10:05

hive -f执行整体脚本时，报错下如何知道前面执行多少个了

阅读更多工作中，常将hive脚本写在一个hivesql内，然后后台执行，如下：cdh集群下：sudo-uhdfshive-f/cloud/qyjs-2016-03-08-part2.sql&>/cloud
chengjianxiaoxue·2016-03-22 10:00

hive实例讲解实现in和not in子句

in查询如果要查询当天会员的会员消费,需要用in查询,hivesql如下:selectmemberid.memb
dub_lys·2016-02-18 09:30

HiveSql（3）HiveSQL与oracle SQL的区别

HiveSQL与oracleSQL的区别1、hivesql暂时不能使用in，不支持where字句中的子查询。可以利用leftsemijoin来实现in。
数据分析师小陈·2016-01-13 21:05

HiveSql（1）mapjoin、分区表

mapjoin、分区表、不等值匹配业务需求：A表，小表，穷举的100个动漫电影的IP，表结构ip（idstring,keystring）B表，大表，每天的交易数据，上亿条，表结构order（dsstring,item_titlestring,buyer_idstring,feestring）现在想要得到这100个动漫电影相关产品的每天的销售额、购买人数。SQL：1、建表createtableifn
数据分析师小陈·2016-01-08 17:08

hadoop优化1 TODO

 0一些想说的说说: a)优化时,把hivesql当成mapreduce程序来读,会有意想不到的惊喜b)理解Hadoop的核心能力是优化hive的根本c)根据具体跑的数据在集群中不断调节参数最终发挥集群最大威力
chengjianxiaoxue·2016-01-06 15:00

hql语句

简介hql为hivesql的缩写。hive本身为java语言开发而成，所以hive上面如果有什么特殊需求，完全可以是用hiveudf订制自己的需求（后续会介绍udf的开发方法）。
Joseph-Growth·2016-01-05 19:08

YARN批处理方式kill Applications解决方案

前言在使用hadoop集群的时候,所有的任务都是最终以Application的形式跑在集群中,不管你是自己写的MR程序亦或是你写的hivesql转化成的mr任务,最终都是以Application应用的身份在跑
Android路上的人·2016-01-05 09:14

YARN批处理方式kill Applications解决方案

前言在使用hadoop集群的时候,所有的任务都是最终以Application的形式跑在集群中,不管你是自己写的MR程序亦或是你写的hivesql转化成的mr任务,最终都是以Application应用的身份在跑
Androidlushangderen·2016-01-05 09:00

Hive实现用户访问路径还原

顺序号为1的时候fromurl为空就行了  1.实现基于纯HiveSQL的ETL过程2.实现一个能加速上述处理过程的HiveGene
·2015-12-09 11:41

DIP开放计算平台介绍

随着平台业务的发展，依赖于Portal（Web）构建的服务架构已逐渐不能满足现有的一些复杂需求（如：使用HiveSQL无法完成计算逻辑），而且对于一些具备编程能力的程序员或数据分析师而言，能够自主控制任务的诉求越来越多
yurun·2015-12-08 17:00

DIP开放计算平台介绍

随着平台业务的发展，依赖于Portal（Web）构建的服务架构已逐渐不能满足现有的一些复杂需求（如：使用HiveSQL无法完成计算逻辑），而且对于一些具备编程能力的程序员或数据分析师而言，能够自主控制任务的诉求越来越多
demigelemiao·2015-12-08 17:00

hive数据表去重方法

解决思路：  （1）groupby的方法      首先新建与test表完全相同的新表test_pure,然后利用groupby在有相同值的若干字段上进行分组统计，正常情况下，hivesql的sele
zcc_0015·2015-12-02 19:00

Hive_3. DDL -- 数据库 & 内部表 & 外部表

Hive数据定义语言HiveDataDefinitionLanguage(DDL)是HiveSQL语句的的一个子集，它通过creating,deleting,oraltering模式对象(数据库，表，分区
Mike_H·2015-11-30 18:58

Spark SQL

Spark SQL是支持在Spark中使用Sql、HiveSql、Scala中的关系型查询表达式。
·2015-11-11 19:24

Spark(Hive) SQL中UDF的使用（Python）

相对于使用MapReduce或者SparkApplication的方式进行数据分析，使用HiveSQL或SparkSQL能为我们省去不少的代码工作量，而HiveSQL或SparkSQL本身内置的各类UDF
yurun·2015-11-02 19:00

Spark(Hive) SQL中UDF的使用（Python）

相对于使用MapReduce或者SparkApplication的方式进行数据分析，使用HiveSQL或SparkSQL能为我们省去不少的代码工作量，而HiveSQL或SparkSQL本身内置的各类UDF
demigelemiao·2015-11-02 19:00

hive sql详细学习

hivesql详细学习1、准备数据emp.txt7369SMITHCLERK79021980-12-17800.00207499ALLENSALESMAN76981981-2-201600.00300.00307521WARDSALESMAN76981981
大数据的未来·2015-10-19 22:09

Etl之HiveSql调优(设置map reduce 的数量)

前言：最近发现hivesql的执行速度特别慢，前面我们已经说明了left和union的优化，下面咱们分析一下增加或者减少reduce的数量来提升hsql的速度。
李秋·2015-10-14 17:00

Etl之HiveSql调优(设置map reduce 的数量)

前言：最近发现hivesql的执行速度特别慢，前面我们已经说明了left和union的优化，下面咱们分析一下增加或者减少reduce的数量来提升hsql的速度。
李秋·2015-10-14 17:00

Etl之HiveSql调优(设置map reduce 的数量)

前言：最近发现hivesql的执行速度特别慢，前面我们已经说明了left和union的优化，下面咱们分析一下增加或者减少reduce的数量来提升hsql的速度。
李秋·2015-10-14 17:00
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他