HiveQL

Hive零基础从入门到实战 进阶篇（六） HiveQL：日期函数

目录前言1.日期函数表2.函数功能演示2.1时间戳函数unix_timestamp2.2秒时间戳转换为可读时间字符串from_unixtime2.3返回秒值时间戳的日期to_date2.4时间戳字符串的年、月、日、时、分、秒2.5日期在当年的第几周weekofyear2.6开始时间到结束时间相差的天数datediff2.7日期加减天数date_add&date_sub2.8返回当前日期（年月日）c
风影楼前·2019-07-13 14:39

Hive零基础从入门到实战 进阶篇（五） HiveQL：正则抽取、替换字符串函数

目录前言1.正则表达式简介1.1定义1.2字符构成1.3速记指南2.正则抽取字符串函数regexp_extract3.正则替换字符串函数regexp_replace4.不同运行环境下的转义处理前言本文我们来详细介绍一下正则表达式，以及在Hive中通过正则匹配抽取、替换字符串的函数：1.regexp_extract2.regexp_replace1.正则表达式简介这里依旧借用百度百科的讲解：1.1定
风影楼前·2019-07-11 21:35

Hive零基础从入门到实战 进阶篇（四） HiveQL：URL解析函数

目录前言1.什么是URL2.解析URL单个元素的函数：parse_url3.同时解析URL多个元素的函数：parse_url_tuple前言在工作中，我们除了JSON格式还会经常遇到URL格式的日志数据，本文来详细介绍在Hive中解析URL的函数：1.parse_url2.parse_url_tuple1.什么是URL在WWW网页上，每一信息资源都有统一的且在网上唯一的地址，该地址就叫URL（Un
风影楼前·2019-07-10 21:38

Hive零基础从入门到实战 进阶篇（三） HiveQL：JSON解析函数

目录前言1.什么是JSON格式2.解析JSON字符串的一个字段get_json_object3.同时解析JSON字符串的多个字段json_tuple前言在工作中我们会经常遇到JSON格式的日志数据，本文来详细介绍在Hive中解析JSON字符串的函数：1.get_json_object2.json_tuple1.什么是JSON格式这里直接上百度百科的解释：JSON(JavaScriptObjectN
风影楼前·2019-07-09 13:19

Hive零基础从入门到实战 进阶篇（二） HiveQL：常用字符串函数

目录前言1.常用的简单字符串函数表2.函数功能演示2.1连接字符串concat2.2指定分隔符连接字符串concat_ws2.3截取字符串substr2.4按指定分隔符分割字符串split2.5格式化数字format_number2.6字符串长度length2.7转换小写lower2.8转换大写upper2.9首字母大写其余小写initcap2.10左填充lpad2.11右填充rpad2.12去除
风影楼前·2019-07-08 19:40

Hive零基础从入门到实战 进阶篇（一） HiveQL：常用数学函数

目录前言1.常用数学函数表2.函数功能演示2.1四舍五入round2.2向下取整floor2.3向上取整ceil2.4随机数rand2.5求n次幂pow2.6求平方根sqrt2.7求绝对值abs前言本篇开始进入Hive进阶篇的总结，进阶篇计划介绍Hive的各类函数以及调优。在入门篇（十五）曾总结过一些常用的聚合函数，剩余的不常用聚合函数后续在进阶篇中也会逐步介绍。本篇博客主要总结Hive中的常用的
风影楼前·2019-07-05 15:49

Hive零基础从入门到实战 入门篇（二十一） HiveQL：数据插入

目录前言1.CREATETABLE表名ASSELECT……2.INSERT2.1无分区表插入数据2.2分区表插入数据2.2.1静态分区插入2.2.2动态分区插入2.2.3静态分区和动态分区混合使用前言我们在入门篇（十）中介绍了如何将文件中的数据导入一个表中。但实际工作中，更常用的数据插入操作是：将查询出的数据插入一个表中。实现这个操作有两种方法，1：使用CREATETABLE表名ASSELECT…
风影楼前·2019-07-04 13:09

Hive优化（整理版）

可以直接访问存储在ApacheHDFS或其他数据存储系统（如ApacheHBase）中的文件；Hive除了支持MapReduce计算引擎，还支持Spark和Tez这两种分布式计算引擎；它提供类似sql的查询语句HiveQL
牧梦者·2019-07-04 01:00

Hive零基础从入门到实战 入门篇（二十） HiveQL：UNION ALL语句

前言上篇博客入门篇（十九）介绍的JOIN语句是将多个表的列‘横向合并’，本篇要介绍的UNIONALL语句则是将多个表的列纵向合并，相当于将多个表的数据直接摞在一起，下面我们来详细介绍UNIONALL语句的用法。1.语法1.1Hive1.2.0后的语法Hive1.2.0之后版本的语法如下：SELECT*FROMaUNION[ALL]SELECT*FROMbUNION[ALL]SELECT*FROMc
风影楼前·2019-06-20 19:26

HIVE入门

定义了简单的类似SQL的查询语言——HiveQL。用户可以通过编写的HiveQL语句运行MapReduce任务。
ITLV007·2019-06-20 08:52

Hive零基础从入门到实战 入门篇（十九） HiveQL：JOIN语句

目录前言1.内连接INNERJOIN1.1语法1.2举例2.外连接之LEFTOUTERJOIN2.1语法2.2举例2.2.1多个结果做关联展示2.2.2从左表中去掉和右表有交集的部分3.外连接之RIGHTOUTERJOIN3.1语法4.外连接之FULLOUTERJOIN4.1语法5.总结前言本文介绍Hive中的JOIN语句，JOIN语句可以通过任意个字段关联对多个表进行列连接，有些类似于Excel
风影楼前·2019-06-18 20:42

hadodop之hive 第一章 hive原理及如何使用Mysql作为hive的metastore元数据库

体系结构简洁Hive的安装与管理HiveQL数据类型，表以及表的擦欧洲哦HiveQL查询数据HiveJava客户端Hive的自定义函数UDF---加深拓展hive是facebook应用的。
瑞泽的世界·2019-06-16 19:04

Hive零基础从入门到实战 入门篇（十八） HiveQL：子查询与WITH AS 语句

目录前言1.子查询1.1在FROM后使用子查询语法1.1.1语法1.1.2举例1.2在WHERE后使用子查询1.2.1语法1.2.2举例2.WITHAS语句2.1语法2.2举例前言本文主要介绍Hive中子查询与WITHAS语句的用法，为后续多表查询的介绍奠定基础。1.子查询1.1在FROM后使用子查询语法1.1.1语法SELECT列名FROM(SELECT列名FROM表名)子查询别名;注意：子查询
风影楼前·2019-06-15 18:38

Hive零基础从入门到实战 入门篇（十七） HiveQL：语句顺序及逻辑执行顺序

目录前言1.编写HiveQL的语句顺序2.HiveQL的逻辑执行顺序前言了解HiveQL的语句顺序及逻辑执行顺序可以使我们编写效率更高的代码，并且减少错误，下面我们来分别详细介绍。
风影楼前·2019-06-13 14:08

Hive零基础从入门到实战 入门篇（十六） HiveQL：ORDER BY语句

目录前言1.基本语法2.参数设置3.举例前言Hive中ORDERBY语句和其他的SQL方言中的定义是一样的，会对查询结果集执行一个全局排序。这也就是说会有一个所有的数据都通过一个reduce进行处理的过程。对于大数据集，这个过程可能会消耗漫长的时间来执行，甚至会执行失败。不过这点并不用太过担心，因为大多数时候都不会有需求要对大数据集进行paixu用户可以指定任意期望进行排序的字段，并可以在字段后面
风影楼前·2019-06-12 20:02

Hive零基础从入门到实战 入门篇（十五） HiveQL：聚合函数、GROUP BY语句、HAVING语句

目录前言1.聚合函数2.GROUPBY语句2.1去重2.2与聚合函数一起使用2.2.1count(*)2.2.2count(col)2.2.3count(distinctcol)2.2.4sum(col)2.2.5avg(col)2.2.6min(col)2.2.7max(col)2.2.8GROUPBY字段不全报错3.HAVING语句前言本文介绍聚合函数、GROUPBY语句以及HAVING语句。
风影楼前·2019-06-05 20:47

如何整合hive和hbase

引言为什么要集成Hive和HBaseHive和Hbase在大数据架构中处在不同位置，Hive是一个构建在Hadoop基础之上的数据仓库，主要解决分布式存储的大数据处理和计算问题，Hive提供了类SQL语句，叫HiveQL
chengxunhg·2019-06-04 18:34

Hive零基础从入门到实战 入门篇（十四） HiveQL：WHERE 语句

目录前言1.基本语法2.谓词操作符详解3.AND、OR4.LIKE、RLIKE、REGEXP前言SELECT语句用于选取字段，本文我们来介绍用于过滤条件的WHERE语句。两者结合使用可以查找到符合过滤条件的记录。在介绍WHERE语句之前我们已经上文的一个简单例子中使用过它了。之前都是假定大家是见过这样的语句的，现在我们将更多地探讨一些细节。WHERE语句使用谓词表达式，有几种谓词表达式可以使用AN
风影楼前·2019-06-03 09:35

Hive-面试题

当我们在执行HiveQL或者运行MapReduce作业时候，如果遇到一直卡在map100%,reduce99%一般就是遇到了数据倾斜的问题。
爱吃龙虾的饼·2019-05-29 18:44

Hive零基础从入门到实战 入门篇（十三）HiveQL：SELECT …… FROM …… 语句

目录前言1.查询表中的的内容1.1Hive严格模式2.limit：限制查询返回行数3.列四则运算4.列别名前言本文来介绍HQL中最基础的查询语句：SELECT……FROM……语句。这部分其实和其他SQL方言的语法并无区别，但也会介绍一些Hive独有的参数设置内容。1.查询表中的的内容查询指定的某一列或某几列，命令如下：SELECT列名1,列名2,……FROM表名;查询表中的所有字段时，可以使用*代
风影楼前·2019-05-29 09:59

hive梳理

而hive提供了一个类似sql的查询语言HiveQL来进行查询、变换数据等操作。当然HiveQL语句的底层是转换为相应的mapreduce代码进行执行，一般采用批处理的方式对海量数据进行处理。
cashew·2019-05-26 00:00

hive的内部组件及执行流程

驱动（Driver）－控制HiveQL生命周期的组件，当HiveQL查询穿过Hive时。该驱动管理着会话句柄以及任何会话的统计。
一只kaokaola·2019-05-22 09:50

HiveQL collect_list保持顺序小记

有以下Hive表的定义：createtabletopic_recommend_score(category_idint,topic_idbigint,scoredouble,rankint);这张表是我们业务里话题推荐分值表的简化版本。category_id代表分类ID，topic_id是话题ID，score是评分值。rank代表每个分类下话题分值的排名，用开窗函数计算出来的：row_number
LittleMagic·2019-05-10 14:41

Hive零基础从入门到实战 入门篇（十）HiveQL：将csv文件中的数据导入Hive

目录前言1.数据装载Load1.1filepath1.2LOCAL1.3OVERWRITE1.4PARTITION1.5举例前言本文介绍如何将文件中的数据导入Hive表中。1.数据装载Load将文件中的数据导入Hive中要使用Load关键字，具体完整语法如下，[]中的均为可选项：loaddata[local]inpath'filepath'[overwrite]intotabletablename
风影楼前·2019-05-10 09:34

HiveQL(一):数据库及创建、删除表（管理表、外部表）

HiveQL是Hive查询语言。和普遍使用的所有SQL方言一样，它不完全遵守任一种ANSISQL标准的修订版。HiveQL可能和MySQL的方言最接近，但是两者还是存在显著性差异的。
阿雅Yage·2019-05-03 19:15

Hive执行流程

文章目录前言HiveQL执行计划HiveQL与MapReduce简单过滤类-查询SQL底层MR执行原理groupby聚合类-SQL底层MR执行原理join类-SQL底层MR执行原理执行计划优化前言当你去执行一个
liweihope·2019-05-02 12:37

Hive零基础从入门到实战 入门篇（八）HiveQL：表操作（下）

目录前言1.表的重命名2.重命名字段、数据类型、注释3.增加列4.删除、替换列5.删除分区6.修改表的存储路径前言本文主要介绍Hive中修改表的操作。1.表的重命名命令如下：altertableoldnamerenametonew_name;下面我们将上文中建好的表t_od_use_cnt重命名为t_od_use_cnt_new，然后再改回来。运行效果如下：hive>sethive.cli.pri
风影楼前·2019-04-25 09:33

Hive零基础从入门到实战 入门篇（七）HiveQL：表操作（上）

目录前言1.最简单的建表语句2.查看表结构3.删除表4.建表时为字段添加注释5.建表可选项IFNOTEXITS6.建表可选项EXTERNAL6.1内部表6.2外部表7.建分区表8.其余建表可选项9.查询既有表的建表语句前言熟悉了Hive的库操作后，本文来介绍Hive中的的建表、删表操作。1.最简单的建表语句Hive建表的全部建表语法如下：CREATE[EXTERNAL]TABLE[IFNOTEXI
风影楼前·2019-04-20 09:31

【Spark】Spark SQL总结

2）在应用程序中可以混合使用不同来源的数据，如可以将来自HiveQL的数据和来自SQL的数据进行Join操作。3）内嵌了查询优化框
GG(❤ ω ❤)YY·2019-04-18 22:40

Hive零基础从入门到实战 入门篇（六）HiveQL：数据库操作

目录前言1.查看Hive中当前有哪些数据库2.创建数据库3.通过正则匹配筛选数据库4.创建同名数据库抛出错误5.查询数据库属性5.1普通查询5.2简略写法5.3额外查询5.4如建库时增加备注可在此查看6.使用数据库7.显示当前所在数据库8.删除数据库8.1普通删除8.2强制删除前言首先按照入门篇（一）环境搭建中的操作启动Hive，本文来介绍Hive中的数据库操作语句。Hive中数据库的概念本质上仅
风影楼前·2019-04-12 10:18

书籍: PySpark SQL Recipes_ With HiveQL, Dataframe and Graphframes - 2019.pdf

简介图片.pngPySparkSQLRecipes：使用HiveQL，Dataframe和GraphframesPdf使用问题解决方案方法，使用PySparkSQL，图形框架和图形数据处理进行数据分析。
python测试开发_AI命理·2019-04-07 00:22

HiveQL常用查询语句——排序、分桶、分桶抽样子句记录

由于hivesql中查询语句时，常用查询条件比较多，所以专门写一篇博文对HiveQL的查询语句进行总结，理清联系和区别。
攻城狮Kevin·2019-02-28 17:07

Hive 使用简介

ROWFORMAT子句是HiveQL所特有，声明数据文件中字段间以制表符分隔，每行以换行符分隔。LOADDATALOCALINPATH'in
yangeoo·2019-02-21 17:00

Hive数据定义

Hive数据定义HiveQL是Hive查询语言,作为ANSISQL的一种方言。但是其还是有和关系数据库支持的SQL中有本质的差异。如：Hive不支持事务，且默认情况下不支持行级别插入，更新，删除操作。
NEO_X·2019-02-15 22:04

【大数据_hive】hive工作原理

4.编译器Compiler得到元数据信息，对任务进行编译，先将HiveQL转换为抽象语法树，然后将抽象语法树转换成查询块，将查询块转化为逻辑的查询计划，重写逻辑查询计划，将逻辑计划转化为物理的计划（MapR
debimeng·2019-02-01 17:06

Hive-ThiftServer-hiveserver2

一、Hive-ThiftServer介绍1.正常的hive仅允许使用HiveQL执行查询、更新等操作，并且该方式比较笨拙单一。幸好Hi
liuzx32·2019-01-18 15:04

Hadoop 集群安装Hive

•它提供SQL类型语言查询叫HiveQL或HQL。•它是熟知，快速，可扩展和可扩展的架构工作
daoxu_hjl·2019-01-13 00:00

Hive学习笔记

Hive：数据仓库工具，可以将hadoop下的原始结构化数据变成Hive表，支持一种几乎和SQL完全相同的语言HiveQL，但不支持更新、索引、事务等，Hive可以将HiveQL映射成MapReduce
kaku812814843·2019-01-05 17:48

一个数据仓库时代开始--Hive

它提供了一种类SQL的查询语言HiveQL（HiveQueryL
隐峯·2018-12-30 11:00

HIVE详解（一）：基本概念

什么是hivehive是由Facebook开源用于解决海量结构化日志的数据统计；hive是基于hadoop的一个数据仓库工具，将结构化的数据文件映射为一张表，并提供类SQL查询功能；hive的本质是将hiveQL
深圳摆地摊er·2018-12-05 08:12

我的 Hive 为什么跑不起来/跑得慢？看看是不是少了这几行代码？

如果你的HiveQL代码没毛病，却一运行就出现Fail提示，可以看看，是不是少了下面哪项准备工作？
王大鱼·2018-11-30 22:54

hiveQL

createtablestudent(idstring,namestring)rowformatdelimitedfieldsterminatedby‘\t’;将本地文件加载到表中loaddatalocalinpath‘/usr/local/data.txt’intotablestudent;将hdfs文件加载到表中loaddatainpath‘/haha.log’intotablestudent
孙喔喔的gorilla·2018-11-13 20:07

Hive知识总结

HiveQL,类似sql语言。表,metadata->rdbms.hive处理的数据是hdfs.MR,聚合操作。
仰望星空的尘埃程·2018-10-21 15:23

Spark项目学习-慕课网日志分析-days2-Spark SQL

1.SparkSQL概述（1）为什么需要SQL1）事实上的标准2）简单易学Hive：类似于sql的HiveQL语言sql==>mapreduce特点：基于mapreduce改进：基于tezsparkSpark
canglan211·2018-10-06 20:46

Spark系列3 - Spark SQL

Shark本质是通过Hive的HQL进行解析，将HiveQL翻译成Spark上对应的RDD操作，然后通过Hive的Metadata获取数据数据库里的元数据，并根据元数据从HDFS上读取文件，最后由Shark
guoxiaojie_415·2018-09-28 18:46

大数据开发工具

Hive提供了一种简单的类似SQL的查询语言—HiveQL,这为熟悉SQL语言的用户查询数据提供了方便。ApacheSparkApacheSpark是Hadoop开源生态系统的新成员。
fendou300·2018-09-27 22:52

Spark系列3 - Spark SQL

Shark本质是通过Hive的HQL进行解析，将HiveQL翻译成Spark上对应的RDD操作，然后通过Hive的Metadata获取数据数据库里的元数据，并根据元数据从HDFS上读取文件，最后由Shark
georgeguo·2018-09-23 16:38

Hive explain详解

HiveQL是一种声明式语言，用户会提交声明式的查询，而Hive会将其转换成MapReducejob。使用EXPLAIN可以帮助我们学习Hive是如何将查询转换成MapReduce任务的。
仙道Bob·2018-09-07 14:41

2018-09-05期 Hive客户端操作（JDBC和Thrift方式）

说明：使用的都是CLI或者hive–e的方式仅允许使用HiveQL执行查询、更新等操作。
JackmaSong·2018-09-05 12:42

Hive原理与Hive建表实例（内部表与外部表，静态与动态分区表，分桶）

1.Hive的原理HiveQL语句会转化成MapReduce，提交任务到Hadoop中，用HDFS存储数据，MapReduce查询数据。1.用户接口主有三个：CLI、JDBC/ODBC和WebGUI。
Cookie_fzx·2018-08-29 16:38
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他