hiveql

Hive-面试题

当我们在执行HiveQL或者运行MapReduce作业时候，如果遇到一直卡在map100%,reduce99%一般就是遇到了数据倾斜的问题。
爱吃龙虾的饼·2019-05-29 18:44

Hive零基础从入门到实战 入门篇（十三）HiveQL：SELECT …… FROM …… 语句

目录前言1.查询表中的的内容1.1Hive严格模式2.limit：限制查询返回行数3.列四则运算4.列别名前言本文来介绍HQL中最基础的查询语句：SELECT……FROM……语句。这部分其实和其他SQL方言的语法并无区别，但也会介绍一些Hive独有的参数设置内容。1.查询表中的的内容查询指定的某一列或某几列，命令如下：SELECT列名1,列名2,……FROM表名;查询表中的所有字段时，可以使用*代
风影楼前·2019-05-29 09:59

hive梳理

而hive提供了一个类似sql的查询语言HiveQL来进行查询、变换数据等操作。当然HiveQL语句的底层是转换为相应的mapreduce代码进行执行，一般采用批处理的方式对海量数据进行处理。
cashew·2019-05-26 00:00

hive的内部组件及执行流程

驱动（Driver）－控制HiveQL生命周期的组件，当HiveQL查询穿过Hive时。该驱动管理着会话句柄以及任何会话的统计。
一只kaokaola·2019-05-22 09:50

HiveQL collect_list保持顺序小记

有以下Hive表的定义：createtabletopic_recommend_score(category_idint,topic_idbigint,scoredouble,rankint);这张表是我们业务里话题推荐分值表的简化版本。category_id代表分类ID，topic_id是话题ID，score是评分值。rank代表每个分类下话题分值的排名，用开窗函数计算出来的：row_number
LittleMagic·2019-05-10 14:41

Hive零基础从入门到实战 入门篇（十）HiveQL：将csv文件中的数据导入Hive

目录前言1.数据装载Load1.1filepath1.2LOCAL1.3OVERWRITE1.4PARTITION1.5举例前言本文介绍如何将文件中的数据导入Hive表中。1.数据装载Load将文件中的数据导入Hive中要使用Load关键字，具体完整语法如下，[]中的均为可选项：loaddata[local]inpath'filepath'[overwrite]intotabletablename
风影楼前·2019-05-10 09:34

HiveQL(一):数据库及创建、删除表（管理表、外部表）

HiveQL是Hive查询语言。和普遍使用的所有SQL方言一样，它不完全遵守任一种ANSISQL标准的修订版。HiveQL可能和MySQL的方言最接近，但是两者还是存在显著性差异的。
阿雅Yage·2019-05-03 19:15

Hive执行流程

文章目录前言HiveQL执行计划HiveQL与MapReduce简单过滤类-查询SQL底层MR执行原理groupby聚合类-SQL底层MR执行原理join类-SQL底层MR执行原理执行计划优化前言当你去执行一个
liweihope·2019-05-02 12:37

Hive零基础从入门到实战 入门篇（八）HiveQL：表操作（下）

目录前言1.表的重命名2.重命名字段、数据类型、注释3.增加列4.删除、替换列5.删除分区6.修改表的存储路径前言本文主要介绍Hive中修改表的操作。1.表的重命名命令如下：altertableoldnamerenametonew_name;下面我们将上文中建好的表t_od_use_cnt重命名为t_od_use_cnt_new，然后再改回来。运行效果如下：hive>sethive.cli.pri
风影楼前·2019-04-25 09:33

Hive零基础从入门到实战 入门篇（七）HiveQL：表操作（上）

目录前言1.最简单的建表语句2.查看表结构3.删除表4.建表时为字段添加注释5.建表可选项IFNOTEXITS6.建表可选项EXTERNAL6.1内部表6.2外部表7.建分区表8.其余建表可选项9.查询既有表的建表语句前言熟悉了Hive的库操作后，本文来介绍Hive中的的建表、删表操作。1.最简单的建表语句Hive建表的全部建表语法如下：CREATE[EXTERNAL]TABLE[IFNOTEXI
风影楼前·2019-04-20 09:31

【Spark】Spark SQL总结

2）在应用程序中可以混合使用不同来源的数据，如可以将来自HiveQL的数据和来自SQL的数据进行Join操作。3）内嵌了查询优化框
GG(❤ ω ❤)YY·2019-04-18 22:40

Hive零基础从入门到实战 入门篇（六）HiveQL：数据库操作

目录前言1.查看Hive中当前有哪些数据库2.创建数据库3.通过正则匹配筛选数据库4.创建同名数据库抛出错误5.查询数据库属性5.1普通查询5.2简略写法5.3额外查询5.4如建库时增加备注可在此查看6.使用数据库7.显示当前所在数据库8.删除数据库8.1普通删除8.2强制删除前言首先按照入门篇（一）环境搭建中的操作启动Hive，本文来介绍Hive中的数据库操作语句。Hive中数据库的概念本质上仅
风影楼前·2019-04-12 10:18

书籍: PySpark SQL Recipes_ With HiveQL, Dataframe and Graphframes - 2019.pdf

简介图片.pngPySparkSQLRecipes：使用HiveQL，Dataframe和GraphframesPdf使用问题解决方案方法，使用PySparkSQL，图形框架和图形数据处理进行数据分析。
python测试开发_AI命理·2019-04-07 00:22

HiveQL常用查询语句——排序、分桶、分桶抽样子句记录

由于hivesql中查询语句时，常用查询条件比较多，所以专门写一篇博文对HiveQL的查询语句进行总结，理清联系和区别。
攻城狮Kevin·2019-02-28 17:07

Hive 使用简介

ROWFORMAT子句是HiveQL所特有，声明数据文件中字段间以制表符分隔，每行以换行符分隔。LOADDATALOCALINPATH'in
yangeoo·2019-02-21 17:00

Hive数据定义

Hive数据定义HiveQL是Hive查询语言,作为ANSISQL的一种方言。但是其还是有和关系数据库支持的SQL中有本质的差异。如：Hive不支持事务，且默认情况下不支持行级别插入，更新，删除操作。
NEO_X·2019-02-15 22:04

【大数据_hive】hive工作原理

4.编译器Compiler得到元数据信息，对任务进行编译，先将HiveQL转换为抽象语法树，然后将抽象语法树转换成查询块，将查询块转化为逻辑的查询计划，重写逻辑查询计划，将逻辑计划转化为物理的计划（MapR
debimeng·2019-02-01 17:06

Hive-ThiftServer-hiveserver2

一、Hive-ThiftServer介绍1.正常的hive仅允许使用HiveQL执行查询、更新等操作，并且该方式比较笨拙单一。幸好Hi
liuzx32·2019-01-18 15:04

Hadoop 集群安装Hive

•它提供SQL类型语言查询叫HiveQL或HQL。•它是熟知，快速，可扩展和可扩展的架构工作
daoxu_hjl·2019-01-13 00:00

Hive学习笔记

Hive：数据仓库工具，可以将hadoop下的原始结构化数据变成Hive表，支持一种几乎和SQL完全相同的语言HiveQL，但不支持更新、索引、事务等，Hive可以将HiveQL映射成MapReduce
kaku812814843·2019-01-05 17:48

一个数据仓库时代开始--Hive

它提供了一种类SQL的查询语言HiveQL（HiveQueryL
隐峯·2018-12-30 11:00

HIVE详解（一）：基本概念

什么是hivehive是由Facebook开源用于解决海量结构化日志的数据统计；hive是基于hadoop的一个数据仓库工具，将结构化的数据文件映射为一张表，并提供类SQL查询功能；hive的本质是将hiveQL
深圳摆地摊er·2018-12-05 08:12

我的 Hive 为什么跑不起来/跑得慢？看看是不是少了这几行代码？

如果你的HiveQL代码没毛病，却一运行就出现Fail提示，可以看看，是不是少了下面哪项准备工作？
王大鱼·2018-11-30 22:54

hiveQL

createtablestudent(idstring,namestring)rowformatdelimitedfieldsterminatedby‘\t’;将本地文件加载到表中loaddatalocalinpath‘/usr/local/data.txt’intotablestudent;将hdfs文件加载到表中loaddatainpath‘/haha.log’intotablestudent
孙喔喔的gorilla·2018-11-13 20:07

Hive知识总结

HiveQL,类似sql语言。表,metadata->rdbms.hive处理的数据是hdfs.MR,聚合操作。
仰望星空的尘埃程·2018-10-21 15:23

Spark项目学习-慕课网日志分析-days2-Spark SQL

1.SparkSQL概述（1）为什么需要SQL1）事实上的标准2）简单易学Hive：类似于sql的HiveQL语言sql==>mapreduce特点：基于mapreduce改进：基于tezsparkSpark
canglan211·2018-10-06 20:46

Spark系列3 - Spark SQL

Shark本质是通过Hive的HQL进行解析，将HiveQL翻译成Spark上对应的RDD操作，然后通过Hive的Metadata获取数据数据库里的元数据，并根据元数据从HDFS上读取文件，最后由Shark
guoxiaojie_415·2018-09-28 18:46

大数据开发工具

Hive提供了一种简单的类似SQL的查询语言—HiveQL,这为熟悉SQL语言的用户查询数据提供了方便。ApacheSparkApacheSpark是Hadoop开源生态系统的新成员。
fendou300·2018-09-27 22:52

Spark系列3 - Spark SQL

Shark本质是通过Hive的HQL进行解析，将HiveQL翻译成Spark上对应的RDD操作，然后通过Hive的Metadata获取数据数据库里的元数据，并根据元数据从HDFS上读取文件，最后由Shark
georgeguo·2018-09-23 16:38

Hive explain详解

HiveQL是一种声明式语言，用户会提交声明式的查询，而Hive会将其转换成MapReducejob。使用EXPLAIN可以帮助我们学习Hive是如何将查询转换成MapReduce任务的。
仙道Bob·2018-09-07 14:41

2018-09-05期 Hive客户端操作（JDBC和Thrift方式）

说明：使用的都是CLI或者hive–e的方式仅允许使用HiveQL执行查询、更新等操作。
JackmaSong·2018-09-05 12:42

Hive原理与Hive建表实例（内部表与外部表，静态与动态分区表，分桶）

1.Hive的原理HiveQL语句会转化成MapReduce，提交任务到Hadoop中，用HDFS存储数据，MapReduce查询数据。1.用户接口主有三个：CLI、JDBC/ODBC和WebGUI。
Cookie_fzx·2018-08-29 16:38

impala-学习

关系数据库和ImpalaImpala使用类似于SQL和HiveQL的Query语言。下面描述了SQL和Impala查询语言之间的一些关键差异。
Alien_lily·2018-08-27 10:34

impala介绍

与Hive的高级集成以及与HiveQL语法的兼容性允许您使用Impal
csdn侠·2018-08-26 01:32

CentOS7.5下基于Hadoop2.9.1安装Hive 2.3.3

1.Hive简介Hive是建立在Hadoop基础上的数据仓库处理工具，使用类SQL的HiveQL语言实现数据查询，所有Hive的数据都存储在Hadoop兼容的文件系统（例如，AmazonS3、HDFS）
pengjunlee·2018-08-12 16:42

Hive 使用总结HiveQL

一、基本操作hive#进入使用HiveQL操作showdatabases；#展示所有数据库showdatabaseslike'*x*；#展示包含x字段的数据库，不同于sql模糊查询%_不适用createdatabasedbname
XVII丶B·2018-08-03 14:30

转载学习用：hiveQL自定义函数UDF，使用transform机制应用python脚本

在写HiveQL的时候,往往发现内置函数不够用,Hive支持用户自定义函数UDF,使用Java进行开发。很多时候这显得过于繁重。
Chen_Eris·2018-08-03 10:15

Hive数据仓库--HiveQL视图和索引

转载请注明出处：Hive数据仓库--HiveQL视图和索引视图创建这样的一个视图，高收入人群。我试了下，这里的视图并
达微·2018-07-27 21:05

【五】Spark SQL中HiveContext的使用（操作hive中的表）（提交到服务器上执行）（Hadoop HA）

HiveContext在基本的SQLContext上有了一些新的特性，可以用HiveQL写查询，可以读取Hive表中的数据，支持Hive的UDF。
jy02268879·2018-07-25 00:06

hadoop入门7

其体系结构简介（配合sql就会HIVE）最终还是转换成Map/ReduceHive的安装与管理HiveQL数据类型，表以及表的操作HiveQL查询数据Hive的Java客户端Hive的自定义函数UDFHive
invincibleFF·2018-07-12 10:18

【Hive】HiveQL实战之数据抽样Sample

当数据量很大时，需要查找一个数据的子集用于加快数据的分析，这种技术就是抽样技术。Hive中，数据抽样分为以下三种：随机抽样；桶表抽样；块抽样；1随机抽样1）语法结构使用Rand（）和LIMIT关键字得到抽样数据，Distribute和Sort关键字确保数据在mappers和reducers之间高效的随机分布，也可以使用orderbyrand（）实现，但是性能不好。语法：SELECT*FROMDIS
Alen_Liu_SZ·2018-07-10 16:25

【Hive】HiveQL实战之分析函数&窗口函数（补充）

本篇承接【Hive】HiveQL实战之分析函数&窗口函数并对其进行补充。
Alen_Liu_SZ·2018-07-10 12:15

【Hive】HiveQL实战之操作符和函数

Hive中的操作符合函数，和关系型数据库的类似，本篇主要讲解Hive的一些函数。一函数分类Hive中的函数可以分为以下几种：数学函数：主要用于数学运算，例如：Randy（）和E（）；集合函数：主要用于查找Size、Keys和复杂类型的值，例如：Size（Array）；类型转换函数：主要是Cast和Binary，用于将一种类型转为另一种类型；日期函数：用于执行与日期相关的操作，例如：Year（str
Alen_Liu_SZ·2018-07-09 12:26

【Sqoop】数据转换工具Sqoop

1、Sqoop概述HiveQL对数据进行分析，并将结果集存储到hdfs文件或hive表中，当前端需要使用数据处理的结果时，需要将结果集导出到RDBMS中，而Sqoop就是将常用的MapReduce（数据导入导出
魏晓蕾·2018-07-07 23:44

sqoop将hive中数据导入mysql（实例讲解）

首先，我们需要的是在mysql中建立对应的表，数据字段类型与hive数据表中要导出的数据类型保持一致；然后，我们需要在假如你不是需要原样输出而是需要经过计算统计的话，就需要写在hive中使用HiveQL
Saint-at-home·2018-07-02 13:08

Spark sql执行流程

SparkSQL支持在Spark中执行SQL,或者HiveQL的关系查询表达式。列式存储的类RDD（DataSet/Dat
cjlion·2018-07-01 21:56

【Hive】HiveQL实战之分析函数&窗口函数

本篇主要介绍将存储到Mysql的示例数据库Sakila以Sqoop的方式导入到Hive，然后详细讲解Hive的分析函数和窗口函数。一实战环境1Hive版本hive>selectversion();OK2.3.3r8a511e3f79b43d4be41cd231cf5c99e43b248383Timetaken:0.944seconds,Fetched:1row(s)hive>2Mysql数据库my
Alen_Liu_SZ·2018-06-28 16:25

Hive学习笔记(4)

Hive学习笔记HiveQL:视图使用视图来降低查询复杂度使用视图来限制基于条件过滤的数据动态分区中的视图和map类型视图零碎HiveQL:索引重建索引显示索引删除索引实现一个定制化的索引处理器Hive
jinesse·2018-06-27 09:00

HiveQL的基本操作

Hive教程Hive概念Hive是什么Hive不适合做什么数据单元数据类型内置运算和函数SQL用法和实例创建表浏览表和分区修改表删除表加载数据查询和插入数据简单的查询基于查询的分区连接聚合多表/文件插入动态分区插入插入到本地文件抽样全连接数组操作Map（关联数组）操作定制Map/Reduce脚本Co-GroupsHive教程Hive概念Hive是什么Hive是基于ApacheHadoop的数据仓库
BigData_Hadoop·2018-06-26 16:30

Hive与HBase结合实现HiveQL语句操作HBase表

0.上传完整的jar文件到hive/lib中删除hive/lib下所有文件解压上传以下jar到该目录https://download.csdn.net/download/wxfghy/104975571.修改hive-site.xmlhbase.zookeeper.quorumghym,ghys1,ghys2#自定义的zookeeper集群电脑名与hbase建立联系hive.zookeeper.q
翱翔的江鸟·2018-06-25 11:59
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他