hivesql 第18页

Hadoop 部署之 Hive (五)

一、Hive简介1、什么是HiveHive由Facebook实现并开源，是基于Hadoop的一个数据仓库工具，可以将结构化的数据映射为一张数据库表，并提供HQL(HiveSQL)查询功能，底层数据是存储在

wzlinux·2018-11-16 16:35

关于hive优化的问题

优化时，把hivesql当做mapreduce程序来读，会有意想不到的惊喜。理解hadoop的核心能力，是hive优化的根本。

Aupa~Atleti·2018-11-15 20:38

<优雅地写python>如何调整python写法大幅度提升速度

关于速度的第一次碰壁是在暑假实习的时候，hiveSQL和python的写法没有达到最优，花费了很长时间，这也确实是我的一大短板。这篇

YFSZ·2018-11-14 11:47

实习项目之（二）APP热点标签分析

APP热点标签分析项目角色:核心研发开发组人员:1工作内容：通过hive数据仓库，hivesql语句和udf/udaf/udtf对海量数据完成统计分析，找到热度标签，通过热度标签能够提高APP的下载量和使用量一

Aupa~Atleti·2018-11-13 15:35

impala-shell安装及使用

ImpalaShell使用Impala使用HiveSQL进行数据查询，因此ImpalaShell在使用方面也效仿了Hive，在许多命令的用法上和Hive有相近之处，但使用细节又有所区别。

lfwer·2018-11-12 10:56

实习项目之（一）ETL过程的简单手动实现

微博数据ETL项目角色:核心研发开发组人员:3工作内容：通过javase解析、结构化源数据并load到hive数据仓库中，并使用hivesql、数据分析函数进行活跃度、影响力排行等分析工作。

Aupa~Atleti·2018-11-10 20:31

hivesql distinct

1.优化distinct优化前，数据全部放在一个reduce里selectcount(distinctip)from(selectidfromtableaunionallselectidfromtableb)ta优化后，数据先分布到不同的reduce中，再统一selectcount(*)from(selectidfrom(selectidfromfromtableaunionallselectid

csdn侠·2018-11-08 00:31

hive几种执行sql的方式总结

在命令行界面下，我们来看看hivesql的几种执行方式：[email protected]]$bin/hive-helpusage:hive-d,--defineVariablesubsitutiontoapplytohivecommands.e.g

Soyoger·2018-11-06 14:41

Hive sql语句必练50题-入门到精通(3)

承接:Hivesql语句必练50题-入门到精通(2)–36、查询任何一门课程成绩在70分以上的学生姓名、课程名称和分数:selectstudent.s_id,s_name,c_name,s_scorefromstudentjoin

Thomson617·2018-10-23 00:59

Hive sql语句必练50题-入门到精通(2)

承接:Hivesql语句必练50题-入门到精通(1)–21、查询不同老师所教不同课程平均分从高到低显示:–方法1selectcourse.c_id,course.t_id,t_name,round(avg

Thomson617·2018-10-22 23:54

不同Hive SQL下转换成MapReduce的情况

MapReduce实现基本SQL操作的原理join实现groupby实现distinct实现多个distinct字段的实现SQL转换为MapReduce的过程执行顺序解析(部分示例)mysql语句执行顺序hivesql

GSpinach·2018-10-07 10:54

hive-数据倾斜解决详解

hive是基于大数据开发的一组用于数据仓库的api，其主要功能是将HQL(HIVESQL)转换成mapreduce执行。

吃鱼的羊·2018-10-03 15:18

Hadoop Hive sql语法详解

分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL去查询分析需要的内容，这套SQL简称HiveSQL

hellozhxy·2018-09-17 13:39

Hive SQL去重a,b和b,a类型

昨天开发找到我们DBA，要我们写一条HiveSQL。需求：有一个t表，主要有机场名称airport，机场的经纬度distance这两个列组成，想得到所有距离小于100的两个机场名。

Darren_Chen·2018-09-15 23:16

第十三天 - 封装JDBC操作Hive工具类 - HWI配置与使用 - JavaWeb结合Hive

第十三天-封装JDBC操作Hive工具类-HWI配置与使用-JavaWeb结合Hive第十三天-封装JDBC操作Hive工具类-HWI配置与使用-JavaWeb结合Hive一、HiveSql语句补充二、

Eva.努力学习·2018-09-13 19:25

第十二天 - Hive基本操作 - Hive导入数据、统计数据 - HiveJDBC操作Hive

基本操作-Hive导入数据、统计数据-HiveJDBC操作Hive第十二天-Hive基本操作-Hive导入数据、统计数据-HiveJDBC操作Hive一、Hive基础知识补充概念Hive基本操作(二)二、HiveSQL

Eva.努力学习·2018-09-12 21:48

Hive学习之路（一）Hive初识

Hive简介什么是Hive1、Hive由Facebook实现并开源2、是基于Hadoop的一个数据仓库工具3、可以将结构化的数据映射为一张数据库表4、并提供HQL(HiveSQL)查询功能5、底层数据是存储在

doulinxi115413·2018-09-10 20:33

hive 权限管理

hivesql执行引擎,hive的一个非常普遍的用法,主要针对sql的用户和BI工具(1)hive客户端用户(官方建议抛弃）(2)ODBC/JDBC和Hiv

假装勤奋·2018-09-10 14:22

Hive中的数据迁移--迁移多库数据以及实际遇到的问题解决

如果数据表不是很多，我们可以直接使用HiveSQL来处理，一张一张表的导出，然后在进行导入。

YoreYuan·2018-09-04 21:38

Hive on oozie以及action间参数传递

CDH5.13.0，其中oozie版本：4.1.0，hive版本：1.1.0一、Hue配置Hiveactionhue上创建hive任务必须添加两个配置项：script和hivexml其中：script指的是hivesql

深寒丶·2018-08-30 00:53

Hivesql里的limit使用

在hive表前1000行里，过滤出不重复的refid,imsi。错误的写法：selectdistinctrefid,imsifromHIVE_D_MT_UU_H_SPARKlimit1000;会去读取全表，把0~1000行的不重复refid,imsi显示出来。正确的写法：selectdistinctrefid,imsifrom(select*fromHIVE_D_MT_UU_H_SPARKlimi

weixin_42201058·2018-08-29 10:16

spark-sql执行hivesql

spark提交命令有spark-shell、spark-submit、spark-sql，spark-sql的提交命令很少见吧，不过已经被我发掘出来了。我们执行hive命令一般都是hive-e'select*fromxx'或者hive-f/home/hadoop/xx.hql-ddt=2018-01-01但是hive底层使用mr执行速度实在不忍直视，安装hiveonspark又太麻烦了，怎么办呢？

大灰狼学编程·2018-08-27 14:02

使用Hive SQL插入动态分区的Parquet表OOM异常分析

转载自微信公众号Hadoop实操：https://cloud.tencent.com/developer/article/1079007使用HiveSQL插入动态分区的Parquet表OOM异常分析温馨提示

frank_jyp·2018-08-17 17:36

HiveSQL中row_number使用介绍

row_number()在hive中是一个函数，必须带一个或者多个列参数，如row_number(col1,....)，它的作用是按指定的列进行分组生成行序列，在row_number(a,b)时，若两条记录的a，b列相同，则行序列+1，否则重新计数。因为hive是基于mapreaduce的，必须保证row_number执行是在reduce中，并且row_number中使用的列中，列值相同的记录要再

殇殇亿往岁月流·2018-08-13 21:18

hiveSQL操作

根据本博客的hadoop搭建文章，再继续本章内容。操作简单直接把下载好的sogou.500w.utf8文件拖拽到lionel账户下的home目录下然后执行在master节点上执行[lionel@master~]$cd~/hadoop-2.5.2[[email protected]]$sbin/start-all.sh↓[lionel@masterDesktop]$cd进入lione

静灵庭·2018-08-12 15:55

hive -e 和hive -f 的注意点 (//和////)

大家都知道，hive-f后面指定的是一个文件，然后文件里面直接写sql，就可以运行hive的sql，hive-e后面是直接用双引号拼接hivesql，然后就可以执行命令。

lsr40·2018-08-10 17:03

HIVE -- 2 感悟

Hive学习使用一周感悟最近一段时间主要在学习HiveSQL语句并完成了一个小任务，熟悉了HiveSQL的基本语法和应用，对进一步学习使用HiveSQL来分析处理数据打下了一个基础。

寒月谷·2018-08-02 16:01

Aqua Data Studio 执行HiveSql的问题

连接Hive的客户端有很多，AquaDataStudio是不错的一个，之前用过DbVisualizer，多个Sql语句都是用;结束的，运行没问题，但是到了Aqua里就报错了：>[Error]Scriptlines:1-1--------------------------Errorwhilecompilingstatement:FAILED:ParseExceptionline1:19cannot

c-xuan·2018-07-28 09:30

hive 数据去重

解决思路：（1）groupby的方法首先新建与test表完全相同的新表test_pure,然后利用groupby在有相同值的若干字段上进行分组统计，正常情况下，hivesql的select是无法取到非groupby

我思念的城市ZZZ·2018-07-26 21:25

SQL or Hive SQL基础易忽视知识点整理(1)

引言目前实习阶段，工作中用到最多的是hivesql。

花生花二三说·2018-07-22 23:49

hive学习笔记（一）本地环境搭建

当然hivesql的底层也是通过mapreduce来实现的。2.hive的组成hive包含，用户接口、元

一般的斑鸠·2018-06-27 21:03

[Hive]-常规优化以及执行计划解析

原文链接：http://www.cnblogs.com/NightPxy/p/9230253.html1.HiveSQL优化1.1中心思想这里以HiveOnMapReduce为例,HiveOnSpark

weixin_30875157·2018-06-26 17:00

使用java代码提交Spark的hive sql任务，run as java application

group/topic/501208/我的环境：hadoop2.7.1、spark1.6.0、hive2.0、java1.7目标：通过java-jarxxx.jar的方式来运行提交spark应用，执行查询hivesql

gyzhang_csdn·2018-06-19 14:52

Hive UDF小结

HiveUDF简介：1）Hive中用于扩展HiveSQL功能的用户自定义函数称为HiveUDF2）UDF又分为UDAF（用户自定义聚合函数），UDTF（用户自钉子表生成函数）Hive内置函数实际上Hive

WayBling·2018-06-17 16:53

hivesql和mysql常见问题

1）EXISTS（）括号里只要有返回值就会执行EXISTS之前的语句2）select1的问题3）in查询相当于多个or条件的叠加，这个比较好理解，比如下面的查询select*fromuserwhereuserIdin(1,2,3);等效于select*fromuserwhereuserId=1oruserId=2oruserId=3;notin与in相反，如下select*fromuserwher

Jenrey·2018-06-16 15:03

HBase实战（3）：使用HIVE SQL 操作分布式集群HBASE

使用HIVESQL操作分布式集群HBASE：1，在Hive中创建HBase识别的表hive>>>CREATEEXTERNALTABLEhbase_hive_.....tion(rowkeystring,

段智华·2018-06-13 08:40

Hive - DDL & DML

HiveSQLDDL HiveSQL中的DDL语言是对Hive表数据结构的操作，比如创建、修改、删除一张表。

正经黑天鹅·2018-06-10 16:02

hive sql select语句总结

分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL去查询分析需要的内容，这套SQL简称HiveSQL

一只可爱的栗子·2018-06-08 16:25

python format 的给力用法及如何优雅地写动态sql 的反思

比如，我的hivesql就是写在sql_file中，然后使用如下方式读取使用hive_sql=open(sql_file,"r").read(）2.pythonformat下面给出一种format的使用方式

itgraph·2018-06-04 21:40

Hive SQL调优总结

HiveSQL调优总结本文参考链接（总结的很棒很全面）这里只是总结了一下HQL上面的一些优化点，并不考虑Hadoop层面的参数、配置优化目录HiveSQL调优总结目录使用分区剪裁、列剪裁少用count（

阳呀么阳阳阳·2018-06-03 15:23

HIVESQL中ROW_NUMBER() OVER语法以及示例

ROW_NUMBER()OVER函数的基本用法语法：ROW_NUMBER()OVER(PARTITIONBYCOLUMNORDERBYCOLUMN)详解：row_number()OVER(PARTITIONBYCOL1ORDERBYCOL2)表示根据COL1分组，在分组内部根据COL2排序，而此函数计算的值就表示每组内部排序后的顺序编号（该编号在组内是连续并且唯一的)。场景描述：在Hive中emp

汀桦坞·2018-05-31 11:36

hivesql中datediff，date_add和date_sub的用法

1.日期比较函数:datediff语法:datediff(stringenddate,stringstartdate)返回值:int说明:返回结束日期减去开始日期的天数。举例：hive>selectdatediff('2016-12-30','2016-12-29');12.日期增加函数:date_add语法:date_add(stringstartdate,intdays)返回值:string说

hello_fancy·2018-05-26 12:38

hivesql中concat，concat_ws,collect_set 的常见用法

1.concat是将字符串连接起来，相当于python中的join；concat_ws(合并时的分隔符，合并id,name........)collect_set(字段):根据某个字段分组后，把分在一组的数据合并在一起，默认分隔符','2.使用concat_ws（）和collect_set（）进行合并行将列表中一个id可能会占用多行转换为每个user占一行的目标表格式，实际是“列转行”举例1:se

hello_fancy·2018-05-26 11:32

利用pyhive将hive查询数据导入到mysql

pyhive作用远程连接hive数据库，运行hivesql，而不需要登录到安装有hive的服务器上去可以更方便处理更多连续命令，可以封装一些经常需要复用的命令脚本化，不需要编译，随时改，随时执行看结果方便对

yaolong336·2018-05-25 16:49

Hive中带条件查询时报Class org.apache.hive.hcatalog.data.JsonSerDe not found的错误及解决办法

先放一些测试的JSON文件到HDFS的/tmp/test_json目录下，然后打开HUE界面，进行HiveSQL执行窗口，先创建一个基于JSON文件的外部表：CREATETABLEjson_table(

冯立彬·2018-05-25 10:31

【十八掌●武功篇】第十掌：HiveSQL中分区筛选条件怎么写效率才最高

在写HiveSQL时，当遇到两个分区表a和b相Join的时候，分区筛选条件怎么写效率才高呢？有下面三种书写方式，下面就根据三个语句的执行计划分析一下，看种写法的执行效率会更高。

鸣宇淳·2018-05-23 19:28

【十八掌●武功篇】第十掌：参数mapreduce.job.reduce.slowstart.completedmaps

今天在执行hivesql的时候发现map还没有执行完成，reduce任务就开始。

鸣宇淳·2018-05-23 11:34

【十八掌●武功篇】第十掌：根据一个错误探究MapJoin

一、出现的问题在执行一个类似以下HiveSQL的时候，遇到一个报错，语句和报错信息如下：selecth.ID_1,h.ID_2,h.ID_3,h.ID_4,h.ID_5,h.ID_6,h.ID_7,h.ID

鸣宇淳·2018-05-21 11:27

hive SQL 创建数据库，创建hive表、查询时，其表名，字段，统统不区分大写(在底层一律转换为小写)

hiveSQL创建数据库，创建hive表、查询时，其表名，字段，统统不区分大写(在底层一律转换为小写)（1）、默认default数据库hive默认自带一个名为default的数据库，如果建表时没有指定你要用哪个数据库

Data_IT_Farmer·2018-05-18 10:03

spark三种连接join

脚丫先生·2018-05-12 21:59

推荐频道

hivesql