hiveql

Hive 表数据 加载 、导出 、查询

hadoop,spark,kafka交流群：2242095011）使用load方式加载数据到Hive表中，注意分区加载数据的特殊性2）如何保存HiveQL查询结果：保存到表中，保存到本地文件（注意指定列分隔符
正义飞·2020-07-13 15:44

基于Hadoop的数据仓库Hive 基础知识

基于Hadoop的数据仓库Hive基础知识Hive是基于Hadoop的数据仓库工具，可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理，提供了类似于SQL语言的查询语言–HiveQL，
white先生·2020-07-13 10:00

Hive——用户自定义函数(UDF)

Hive——用户自定义函数(UDF)  用户自定义函数(UDF)是一个允许用户扩展HiveQL的强大的功能。
universe_ant·2020-07-12 04:19

第二十四记·Spark SQL配置及使用

SparkSQL还支持HiveQL语法以及HiveSerDes和
一尺月光寒·2020-07-12 04:15

HiveQL查询操作全解(一):基础

1、SELECT....FROM语句SELECT是SQL中的射影算子。FROM标识了从哪个表，视图或者嵌套查询中选择记录。我们使用如下的表结构CREATETABLEIFNOTEXISTemployees(nameSTRING,salaryFLOAT,subordinatesARRAY,deductionsMAP,addressSTRUCT)PARTITIONEDBY(countrySTRING,s
文哥的学习日记·2020-07-12 01:16

hive安装步骤&踩过的坑,hive启动&HiveQL基本用法

1启动hive出现ls:无法访问’/usr/local/spark/lib/spark-assembly-.jar’:没有那个文件或目录解决:修改//bin/hive文件，将加载原来的lib/spark-assembly-.jar替换成jars/*.jar，就不会出现这样的问题。hive使用MySQL作为元数据2mysql安装的简单方法安装过程中直接设置用户和密码sudoapt-getupdate
sun eclipse·2020-07-11 20:05

大数据手册(Hive)--HiveQL

文章目录Hive交互Hive内置运算符Hive数据类型Hive的数据存储HiveQL常用语句创建/删除数据库创建/删除表修改表结构导入导出数据插入数据查询语句表连接表联合其他常用命令Hive常用内置函数
WilenWu·2020-07-11 20:00

Hive从入门到放弃——HiveQL数据库级别DDL设计的艺术性（四）

HiveQL  HiveQL是Hive的查询语言，和其他SQL方言一样，源于ANSISQL标准修订版，却又有自己独特的属性，语法上HiveQL和MySQL很接近，但也是有差异的，接下来我们就聊聊HiveQL
╭⌒若隐_RowYet·2020-07-10 22:33

Hive数据仓库--HiveQL查询

转载请注明出处：Hive数据仓库--HiveQL查询这里是之前的文章中操作的表的信息，并且，我们简单的查询下，你可以看到他的部分数据。hive>showtables;OKsalari
低调的洋仔·2020-07-10 05:16

Hive join操作小结

本篇对HiveQL中join、leftouterjoin、leftsemijoin和fullouterjoin等表连结操作作一简要总结。
Chungtow-Leo·2020-07-09 02:42

UltraEdit个性化定制-Hive QL代码折叠、函数列表及自动补全

本文旨在帮助你个性化配置UE，以便在写HiveQL代码时能够更高效舒畅。具体而言，实现以下目的：*对HiveQL代码实现折叠，效果如图1。
Chungtow-Leo·2020-07-09 02:42

整个阿里大数据工程师都在用的一份Hive实战文档

前言本书是一本ApacheHive的编程指南，旨在介绍如何使用Hive的SQL方法--HiveQL来汇总、查询和分析存储在Hadoop分布式文件系统上的大数据集合。
xinxindsj·2020-07-09 02:58

hive性能调优

1、内部表和外部表的区别创建函数的区别删除外部表元数据不删除，删除内部表表和元数据一起删除如果想实现数据的安全性和共享性，就使用外部表2、hive优化hiveQL数据查询语言：利用分区表优化利用桶优化join
且听夏吟·2020-07-08 20:39

Spark SQL概述

转换成抽象语法树将抽象语法树转换成查询块将查询块转换成逻辑查询计划重写逻辑查询计划将逻辑查询计划转成物理计划选择最佳的优化查询策略输出Shark：即HiveonSpark，为了实现与Hive兼容，Shark在HiveQL
夕阳惜夏·2020-07-08 19:52

使用MapReduce实现join操作

在hdfs存储的海量数据中，要实现join操作，可以通过HiveQL很方便地实现。
weixin_34245749·2020-07-08 17:29

hadoop（HDFS、MapReduce）

hadoop三大核心组件：1、HDFS：分布式存储系统（实时key-value查询hbase、HiveQL离线统计分析hive都是基于此开发的技术）2、MapReduce：分布式计算系统3、YARN：hadoop
Leonarde_WP·2020-07-08 12:51

【Hive】06-HiveQL：查询

1、SELECTFROM语句1.1、使用正则表达式来指定列我们甚至可以使用正则表达式来选择我们想要的列。下面的查询将会从表stocks中选择symbol列和所有列名以price作为前缀的列：SELECTsymbol,`price.*` FROMstocks;1.2、使用列值进行计算用户不但可以选择表中的列，还可以使用函数调用和算术表达式来操作列值。例如，我们可以查询得到转换为大写的雇员姓名、雇员对
一直不懂·2020-07-08 05:23

Hadoop数据分析平台实战——110Hive介绍和Hive环境搭建

Hive可以在HDFS上构建数据仓库存储结构化数据，这些数据来源就是hdfs上，hive提供了一个类似sql的查询语言HiveQL来进行查询、变换数据等操作。当然Hi
Albert陈凯·2020-07-08 03:36

全面了解hive

驱动（Driver）－控制HiveQL生命周期的组件，当HiveQL查询穿过Hive时。该驱动管理着会话句柄以及任何会话的统计。查询编译器（Que
JIAOSHOUJIE·2020-07-06 22:48

Kettle与Hadoop（六）执行HiveQL语句

1.建立hive表，导入原始数据，过程参考https://blog.csdn.net/wzy0623/article/details/106471124#2.%20%E5%90%91Hive%E5%AF%BC%E5%85%A5%E6%95%B0%E6%8D%AE。2.建立一个作业，查询hive表，并将聚合数据写入一个hive表。（1）打开PDI，新建一个作业，如图1所示。图1（2）编辑'SQL'作
wzy0623·2020-07-06 08:50

在Linux 中安装hive数据仓库

hive正是实现了这个，hive是要类SQL语句（HiveQL）来实现对hadoop下的数据管理。
Jianghesong_37595559·2020-07-06 01:59

使用MapReduce实现join操作

在hdfs存储的海量数据中，要实现join操作，可以通过HiveQL很方便地实现。
weixin_34162695·2020-07-06 00:48

Spark SQL

它可以从原有的RDD创建，也可以是Parquet文件，最重要的是它可以支持用HiveQL从hive里面读取数据。下面是一些案例，可以在Sparkshell当
weixin_34124939·2020-07-06 00:08

hive group报错

开发时假如有如下情景的需求，需要按id分组，但是每个id的经纬度都是一样的，如果HiveQL语句这么写：SELECTid,latitude,longitudeFROMt_poiGROUPBYid;则会报错
BYY0105·2020-07-05 17:22

hive初探

HiveHive构成原理服务端组件：Driver组件：该组件包括Complier、Optimizer和Executor，它的作用是将我们写的HiveQL（类SQL）语句进行解析、编译优化，生成执行计划，
CaspianR·2020-07-05 10:42

HiveQL DQL3—JOIN

目录概述隐式join表示法（Implicitjoinnotation）非限定列引用（Unqualifiedcolumnreference）ON子句支持复杂表达式（ComplexexpressionsinONclause）INNERJOINOUTERJOIN特殊的joinMapJoinBucketMapJoinLEFTSEMIJOIN参考概述JOIN用于将两个或多个表中的行链接在一起。Hive支持大
看得出的就是·2020-07-04 04:58

Kafka connect HDFS

HDFSconnector允许以各种格式将Kafkatopic中的数据导出到HDFS文件中，并与Hive集成，使数据可以被HiveQL查询。
阿猫阿狗Hakuna·2020-07-02 10:38

大数据-数据仓库-Hive应用

它提供类似sql的查询语句HiveQL对数据进行分析处理，Hive将HiveQL语句转换成一系列MapReduce作业并执行。
ckSpark·2020-07-01 12:27

spark从入门到放弃三十二:Spark Sql(5)hive sql 简述

操作Hive中的数据时，可以创建HiveContext,而不是SqlContext.HiveContext继承自SqlContext,但是增加了在Hive元数据库中查找表，以及用HiveQl语法编写sql
意浅离殇·2020-06-30 22:00

Hive和Spark究竟是凭借什么优势而大获成功?

数据操作可以使用名为HiveQL的
wzyzzu·2020-06-29 23:03

Hive特点

与此同时，Hive针对HiveQL到MapReduce的翻译进行了大量的优化，从而保证了生成的MapReduce任务是高效的。在实际应用中，Hive可以高效的对TB甚至PB级的数据进行处理
Winyar Wen·2020-06-29 04:13

HIVE 函数分类 （udf、udaf、udtf）

注释：在Hive中，用户可以自定义一些函数，用于扩展HiveQL的功能，而这类函数叫做UDF（用户自定义函数）。UDF分为两大类：UDAF（用户自定义聚合函数）和UDTF（用户自定义表生成函数）。
HFDYCYY·2020-06-29 03:58

大数据Hive 面试以及知识点

4.编译器Compiler得到元数据信息，对任务进行编译，先将HiveQL转换为抽象语法树，然后将抽象语法树转换成查询块，将查询块转化为逻辑的查询计划，重写逻辑查询计划，将逻辑计划转化为物理的计划（M
忍哥·2020-06-28 23:44

一脸懵逼学习Hive（数据仓库基础构架）

其体系结构简介*Hive的安装与管理*HiveQL数据类型，表以及表的操作*HiveQL查询数据***Hive的Java客户端**Hive的自定义函数UDF*1：什么是Hive（一）：（1）Hive是建立在
weixin_34388207·2020-06-28 18:27

HiveQL查询操作全解(四):COUNT的高级用法

在HIVE中，除了COUNT(*)外，COUNT还可以有很多高级用法。SELECTtype,count(*),count(DISTINCTu),count(CASEWHENplat=1THENuELSENULLEND),count(DISTINCTCASEWHENplat=1THENuELSENULLEND),count(CASEWHEN(type=2ORtype=6)THENuELSENULLE
文哥的学习日记·2020-06-28 08:56

HiveQL查询操作全解(二):常用函数

本篇介绍一下一些常用的HIVE（0.80版本）内置函数：1、数学函数返回值类型样式描述BIGINTfloor(DOUBLEd)返回小于等于d的最大整数BIGINTceil(DOUBLEd)返回大于等于d的最小整数DOUBLErand(),rand(INTseed)返回一个DOUBLE型的随机数，seed是随机因子DOUBLEpow(DOUBLEd,DOUBLEp)计算d的p次幂DOUBLEsqrt
文哥的学习日记·2020-06-27 13:50

[大数据] HiveQL知识点

文章目录Q1：什么是数据倾斜，怎么产生，怎么解决？Q2：什么是hive的严格模式（strictmode）？Q3：orderby,sortby,distributeby,clusterby的区别？Q4：collect_all()的作用？Q5：三个排名函数的区别？Q6：Hive原理Q7：Hive存储元数据的方式？Q8：Hive优化方法Q9：什么时候可以用别名，什么时候不可以？Q10：hive怎么确定m
dawnohdawn·2020-06-27 07:30

hive学习心得二

4.HiveQl数据操作a)像管理表中装载数据insertoverwritetabletable_namepartition(column_name='值1',column_name2='值2')selectcolumn_namefromtable_name
半疯半痴·2020-06-27 04:35

Hive/HiveQL常用优化方法全面总结（上篇）

对Hive的调优既包含对HiveQL语句本身的优化，也包含Hive配置项和MR方面的调整。由于在写的过程中发现篇幅过长，因此决定拆成上下两篇发布。
LittleMagic·2020-06-26 15:15

Hive学习之HiveServer2服务端配置与启动

在之前的学习和实践Hive中，使用的都是CLI或者hive–e的方式，该方式仅允许使用HiveQL执行查询、更新等操作，并且该方式比较笨拙单一。
skyWalker_ONLY·2020-06-26 12:45

Hive自定义函数及优化（整理版）

可以直接访问存储在ApacheHDFS或其他数据存储系统（如ApacheHBase）中的文件；Hive除了支持MapReduce计算引擎，还支持Spark和Tez这两种分布式计算引擎；它提供类似sql的查询语句HiveQL
Swordfall·2020-06-26 11:25

入门大数据---SparkSQL_Dataset和DataFrame简介

Spark程序无缝混合，允许您使用SQL或DataFrameAPI对结构化数据进行查询；支持多种开发语言；支持多达上百种的外部数据源，包括Hive，Avro，Parquet，ORC，JSON和JDBC等；支持HiveQL
一线大数据·2020-06-26 10:00

HiveQL常用查询函数——nvl、case when、concat、collect_set、collect_list、explode & lateral view、窗口函数、rank

目录1.nvl（value，default_value）2.casewheneg1：对表emp_sex，求每个部门男女人数eg2：统计每个国家隶属洲的人口数（已知字段数据按照另一种条件分组）eg3：统计不同国家男女个数（完成不同条件的分组）3.concat、concat_ws、collect_set（列转行）4.explode&lateralview（行转列）5.窗口函数（聚合函数+窗口函数，指定
舒琪·2020-06-26 10:42

大数据处理必备的十大工具！

Hive提供了一种简单的类似SQL的查询语言—HiveQL,这为熟悉SQL语言的用户查询数据提供了
大数据周刊·2020-06-26 05:33

大数据入门-Hive学习从这里开始

同时Hive还定义了类SQL的语言（HiveQL）。允许用户进行和SQL相似的操作，它可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能。
大数据群722680258·2020-06-25 16:53

Hive架构、角色进程、访问流程

Hive的架构1、Hive的架构图2、Hive的服务（角色）1、用户访问接口CLI（CommandLineInterface）：用户可以使用Hive自带的命令行接口执行HiveQL、设置参数等功能JDBC
双椒叔叔·2020-06-25 13:42

HIVE调优【1】如何读懂explain打印出的抽象语法树

尽管hiveql查询会将输出写入到控制台，但hive实际上会先将输出写入到1个临时文件中,即’tok_inser
upup-我是昵称存在的分割线·2020-06-25 09:36

苏先生之Hive底层调优

一、为什么要了解底层HiveQL是一种声明式语言，用户会提交查询，而hive将其转换成MapReducejob，大多数情况我们不需要了解hive的内部工作，内部复杂的查询解析、优化和执行过程大部分时间我们是可以忽视的
菜鸟苏先森·2020-06-25 07:32

hive概念及特点

用来汇集查询数据OLAP:onlineanalyzeprocess不是：关系型数据库OLTP不适合实时查询和底层更新操作特点：在数据库中存放schema，处理数据到HDFSOLAP提供类SQL语言，HQL（HiveQL
闲来无事写播客·2020-06-25 04:23

HiveQL命令行的使用

1.HiveQL：数据操作（1）进入HiveQL，命令如下：hiveimage（2）Hive创建数据库：创建一个名为userdb的数据库命令：createdatabaseuserdb;image随时可以通过
一花一世界30951091·2020-06-25 02:25
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他