Hive学习

Hive学习之路 （十一）Hive的5个面试题

目录一、求单月访问次数和总访问次数1、数据说明2、数据准备3、结果需求4、需求分析二、学生课程成绩 1、说明2、需求三、求每一年最大气温的那一天 +温度 1、说明2、需求3、解析四、求学生选课情况1、数据说明2、数据准备3、需求4、解析五、求月销售额和总销售额1、数据说明2、数据准备3、需求4、解析 正文回到顶部一、求单月访问次数和总访问次数1、数据说明数据字段说明用户名，月份，访问次数数据格式A
mnasd·2018-07-28 21:45

Hive学习之路 （九）Hive的内置函数

目录数学函数集合函数类型转换函数日期函数条件函数字符函数聚合函数表生成函数正文回到顶部数学函数ReturnTypeName(Signature)DescriptionDOUBLEround(DOUBLEa)ReturnstheroundedBIGINTvalueofa.返回对a四舍五入的BIGINT值DOUBLEround(DOUBLEa,INTd)Returnsaroundedtoddecima
mnasd·2018-07-28 17:28

Hive学习之路 （八）Hive中文乱码

目录Hive注释中文乱码针对元数据库metastore中的表,分区,视图的编码设置1、进入数据库Metastore中执行以下5条SQL语句2、修改metastore的连接URL验证正文回到顶部Hive注释中文乱码创建表的时候，comment说明字段包含中文，表成功创建成功之后，中文说明显示乱码createexternaltablemovie(userIDintcomment'用户ID',movie
mnasd·2018-07-28 16:11

Hive学习之路 （二）Hive安装

目录Hive的下载Hive的安装1、本人使用MySQL做为Hive的元数据库，所以先安装MySQL。2、上传Hive安装包3、解压安装包4、修改配置文件5、一定要记得加入MySQL驱动包（mysql-connector-java-5.1.40-bin.jar）该jar包放置在hive的根路径下的lib目录6、安装完成，配置环境变量7、验证Hive安装8、初始化元数据库9、启动Hive客户端基本使用
mnasd·2018-07-28 11:09

hive学习笔记续1

-----2018.7.25--增加列，在分区字段之前ALTERTABLElog_messageADDCOLUMNS(app_nameSTRINGCOMMENT'applicationname',session_idSTRINGCOMMENT'thecurrentsessionid');--删除或替换列,只将需要的列写出即可，未写出的列即等于删除ALTERTABLElog_messageREPLA
KYkankankan·2018-07-26 08:32

高质量博客推荐

http://arganzheng.life/archive学习他记笔记的风格大量Java技术栈的实战笔记主要内容图数据库，Neo4jelasticsearchRedis，Spring，JAVANIO
BrotherDongDong·2018-07-20 00:00

hive学习-函数篇

原文链接：hive学习笔记-函数篇(-)持续更新中hive查看函数：showfunctions;descfunctions函数名parse_urlparse_url(url,partToExtract[
斯维特哈特·2018-07-18 19:29

HIVE学习，安装，命令

HIVE安装：各版本下载地址：http://archive.apache.org/dist/hive/1.mysql中创建一个hive数据库2.解压tar包tar-zxvfxxxx.tar.gz3.把mysql数据库驱动jar包上传到hive/lib中4.进入hive/conf目录，创建hive-site.xml文件，内容如下：javax.jdo.option.ConnectionURLjdbc:
小强不是蟑螂·2018-07-12 17:01

Hive学习笔记 (三)

三、Hive高级进阶1.HiveServer2、Beeline、JDBC的使用hive是CLI，HiveServer2(HS2)是一种能使客户端执行Hive查询的服务。HiveServer2是HiveServer1的改进版，需要和beeline结合使用。一个终端启动hiveserver2，另一个终端启动beeline。启动hiveserver2并用beeline连接：[root@hadoop-se
无籽西瓜吃吗·2018-07-12 16:44

Hive学习笔记 (二)

一、Hive深入使用1.Hive中数据库Database基本操作创建数据库CREATE(DATABASE|SCHEMA)[IFNOTEXISTS]database_name[COMMENTdatabase_comment][LOCATIONhdfs_path][WITHDBPROPERTIES(property_name=property_value,...)];createdatabaseIFN
无籽西瓜吃吗·2018-07-11 23:34

Hive学习笔记 (一)

一、Hive初识入门1.Hive的背景及概念之前的程序员大多都使用sql，让他们写MapReduce需要培训，成本高。ETL（Extract-Transform-Load）2.Hive的架构、优点及使用场景讲解3.Hive安装部署及简单测试（使用derby存储元数据）①修改配置文件：hive-env.sh（重命名hive-env.sh.template）设置hadoop目录和hive的配置目录：②
无籽西瓜吃吗·2018-07-11 16:18

hive学习笔记（一）本地环境搭建

前阵子，完成hadoop的学习，其中某些学习笔记还在整理之中，稍后会发出，基本都是看视频，看书学习的，属于基本操作，大神可绕道.......今天是对hive安装笔记，具体内容如下:1.概念hive是基于hadoop的数据仓库工具，可以将结构化的数据文件映射成一张数据表。并且提供类sql查询功能。当然hivesql的底层也是通过mapreduce来实现的。2.hive的组成hive包含，用户接口、元
一般的斑鸠·2018-06-27 21:03

Hive学习笔记(4)

Hive学习笔记HiveQL:视图使用视图来降低查询复杂度使用视图来限制基于条件过滤的数据动态分区中的视图和map类型视图零碎HiveQL:索引重建索引显示索引删除索引实现一个定制化的索引处理器Hive
jinesse·2018-06-27 09:00

Hive_Hive 中数据类型介绍

id=3&utm_source=618qzttHive学习之Hive数据类型https://blog.csdn.net/skywalker_only/article/details/27547515Hive
高达一号·2018-06-22 23:14

Hive学习笔记(3)

Hive学习笔记HiveQL:查询SELECT…FROM语句算数运算符使用函数数学函数聚合函数表生成函数其他内置函数LIMIT语句列别名嵌套SELECT语句CASE…WHEN…THEN句式什么情况下Hive
jinesse·2018-06-22 09:26

Hive学习-Hive基本操作（function、udf）

该篇主要是为了整理常用的function使用和开发自定义function的，hive虽说语法类似于mysql，但是mysql默认的dual表并不存在，需要自己手动创建一下，为了方便测试：hive>createtabledual(xstring);hive>insertintodualvalues('');1、查询function列表hive>showfunctions;2、查询制定function
刘子栋·2018-06-17 13:27

大数据基础知识学习-----Hive学习笔记（一）概述

Hive基本概念Hive概述Hive：由Facebook开源用于解决海量结构化日志的数据统计Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能本质是：将HQL转化成MapReduce程序Hive处理的数据存储在HDFSHive分析数据底层的实现是MapReduce执行程序运行在YARN上Hive的优缺点优点操作接口采用类SQL语法，提供快速开发
四川码匠·2018-06-08 17:54

Hive学习小技能总结

1、查看到hive执行的历史命令：进入到用户的主目录，使用命令cat/home/hadoop/.hivehistory2、执行查询时若想显示表头信息时，可以执行命令Hive>sethive.cli.print.header=true;3、hive的执行日志的存储目录在${java.io.tmpdir}/${user.name}/hive.log中，假如使用hadoop用户操作的hive，那么日志文
R_记忆犹新·2018-06-07 14:13

Hive学习笔记(2)

Hive学习笔记HiveQL:数据定义Hive中的数据库修改数据库创建表删除表修改表HiveQL:数据操作向管理表中装载数据通过查询语句向表中插入数据单个查询语句中创建表并加载数据导出数据Hive学习笔记笔记内容主要来自
jinesse·2018-06-04 16:55

Hive学习笔记(1)

Hive学习笔记基础操作Hive内部都有什么Hive命令数据类型和文件格式基本数据类型集合数据类型文本文件数据编码Hive学习笔记笔记内容主要来自Hive编程指南基础操作Hive内部都有什么$HIVE_HOME
jinesse·2018-06-01 13:06

Hive学习笔记1

HIVE结构Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据。同时，这个语言也允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理内建的mapper和reduc
elite666·2018-05-31 22:54

hive学习之五:java通过zookeeper获取active namenode地址。

在项目开发前期，使用jdbc访问hive数据仓库，在配置文件配置activenamenode的地址信息，上线的时候才发现如果namenode宕机了，程序将无法运行。后来改成通过zookeeper获取activenamenode地址，这样即使namenode宕机了，也能通过zookeeper获取备机地址从而不影响程序运行。记录下代码：packagecp.app.preprocess.service;
anickname·2018-05-22 11:07

hive学习之四:hive文件格式以及压缩编码

1。文件格式及压缩编码当前hive版本支持的编码类型：setio.compression.codecs;org.apache.hadoop.io.compress.GzipCodec,--压缩后不可分割org.apache.hadoop.io.compress.DefaultCodec,--默认org.apache.hadoop.io.compress.SnappyCodec,--压缩后不可分割据
anickname·2018-05-22 11:48

Hive学习总结

-Hive定义1.Hive是FaceBook开源的用于解决海量的结构化数据统计的一个工具2.Hive是Hadoop的一个数据仓库，他可以把结构化的数据映射成一张表，并提供类SQL查询功能3.适合离线查询4.将SQL转换成MapReduce程序5.hive就是一个客户端**注意**不同部门用到的hive版本可能不一样，所以我们要指定hive数据存储在hdfs的目录，来区别不同部门的不同业务需求-Hi
666呀·2018-05-20 23:45

大数据数据仓库——hive学习权威指南

友情提示：更多有关大数据、人工智能方面技术文章请关注博主个人微信公众号：高级大数据架构师！学习hive权威指南目录：ETL介绍大数据平台架构概述系统数据流动hive概述hive在hadoop生态系统中hive体系结构hive安装及使用hive客户端的基本语句hive在HDFS文件系统中的结构修改hive元数据储存的数据库hive操作命令hive常用配置hive常用的Linux命令选项hive三种表
宁哥说·2018-05-09 10:48

Hive学习笔记

数据分析的引擎：Hive、Pig---->属于Hadoop体系结构ImpalaSparkSQL----->类似Hive一、什么是Hive？1、Hive是一个翻译器，把SQL语句翻译成一个MapReduce程序2、常见的数据分析引擎：Hive、Pig、Impala、SparkSQL3、Hive是一个基于Hadoop之上的数据分析引擎（数据仓库）HiveHDFS表目录数据文件分区目录4、Hive支持S
ncujcm·2018-05-02 13:02

Hive学习笔记

阅读更多数据分析的引擎：Hive、Pig---->属于Hadoop体系结构ImpalaSparkSQL----->类似Hive一、什么是Hive？1、Hive是一个翻译器，把SQL语句翻译成一个MapReduce程序2、常见的数据分析引擎：Hive、Pig、Impala、SparkSQL3、Hive是一个基于Hadoop之上的数据分析引擎（数据仓库）HiveHDFS表目录数据文件分区目录4、Hiv
jin8000608172·2018-05-02 13:00

Hive学习之路 （十一）Hive的5个面试题

一、求单月访问次数和总访问次数1、数据说明数据字段说明用户名，月份，访问次数数据格式A,2015-01,5A,2015-01,15B,2015-01,5A,2015-01,8B,2015-01,25A,2015-01,5A,2015-02,4A,2015-02,6B,2015-02,10B,2015-02,5A,2015-03,16A,2015-03,22B,2015-03,23B,2015-03
扎心了，老铁·2018-04-10 21:00

Hive学习笔记（五）向表中装载数据

1.向管理表中装载数据再次强调，Hive没有行级别的数据插入、数据更新和删除操作。LOADDATALOCALINPATH'${env:HOME}/california-employees'OVERWRITEINTOTABLEemployeesPARTITION(country='US',state='CA');如果分区目录不存在的话，这个命令会先创建分区目录，然后再将数据拷贝到该目录下。如果目标是
滴滴答答要努力·2018-01-11 12:45

Hive学习笔记（三）与数据库有关的HiveQL语句

1.创建数据库：CREATEDATABASEmydb;如果数据库mydb已经存在的话，那么将会抛出一个错误信息。使用如下语句可以避免这种情况下抛出错误信息:CREATEDATABASEIFNOTEXISTSmydb;当我们创建数据库mydb时，Hive会对应地创建一个目录/user/hive/warehouse/mydb.db。值得注意的是，数据库default创建的目录是/user/hive/w
滴滴答答要努力·2018-01-10 11:26

Hive学习之抽样（tablesample）

当数据量特别大时，对全体数据进行处理存在困难时，抽样就显得尤其重要了。抽样可以从被抽取的数据中估计和推断出整体的特性，是科学实验、质量检验、社会调查普遍采用的一种经济有效的工作和研究方法。Hive支持桶表抽样和块抽样，下面分别学习。所谓桶表指的是在创建表时使用CLUSTEREDBY子句创建了桶的表。桶表抽样的语法如下：table_sample:TABLESAMPLE(BUCKETxOUTOFy[O
生命不息丶折腾不止·2018-01-03 15:03

Hive学习使用一周感悟

最近一段时间主要在学习HiveSQL语句并完成了一个小任务，熟悉了HiveSQL的基本语法和应用，对进一步学习使用HiveSQL来分析处理数据打下了一个基础。数据科学领域最重要的在于数据本身，一起技能和工具都是过程，数据既是开始也是结果，所以在处理数据时首先要了解数据。以HiveSQL表的join为例，在分析使用哪种语句之前，首先要确定自己想要得到的表需要是做什么的，需要包括哪些字段，分别有什么用
Pd-pony·2017-11-26 20:20

Hive学习3：Hive三种建表语句详解

注：hive其他语法在hive官网有说明，建议初学者，去官网学习一手的资料，官网：https://cwiki.apache.org/confluence/display/Hive/Home#Home-UserDocumentationCreateTable官网说明Hive建表方式共有三种：直接建表法查询建表法like建表法首先看官网介绍’[]’表示可选，’|’表示二选一CREATE[TEMPORA
刘金宝_Arvin·2017-10-29 11:47

Hive学习1：Hive原理

Hive最终被编译成MapReduce，通过SQL执行MapReduce1.产生原因WhyMapReduce写起来复杂，Hive简单Hive学习成本低，方便非Java编程者对hdfs的数据做MapReduce
刘金宝_Arvin·2017-10-25 13:38

hive学习笔记第一篇

Hive学习篇安装安装hadoo，本实例中hadoop在/usr/local/hadoop下Hive安装在/home/Hadoop/app/hive下参考文档：http://blog.csdn.net/
平步青云p·2017-10-20 10:23

Hive学习笔记 6 Hive的JDBC连接

1、配置Hadoop的配置文件/hadoop-2.6.5/etc/hadoop/hadoop.proxyuser.root.hosts127.0.0.1,localhost,pc1hadoop.proxyuser.root.groups*2、启动Hive远程服务./hive--servicehiveserver23、准备好需要的jar包/chenjie/hadoop-2.6.5/share/had
土豆拍死马铃薯·2017-10-09 13:08

Hive学习笔记 5 Hive的数据查询、函数

nvl(linename,0)--将某一列为空时转为0判断是否为null不能用=null，而要用is或者isnotnulHive的函数：内置函数、自定义函数1、数学函数：round四舍五入:selectround(12,345,2)小数点后2位round(12.345,0)小数点前一位round(12.345,-1)小数点前2位ceil向上取整floor向下取整2、字符函数lower：把字符串转成
土豆拍死马铃薯·2017-10-08 20:18

Hive学习笔记 4 Hive的数据导入

方式一、使用load语句load本地文件loaddatalocalinpath'/chenjie/apache-hive-2.3.0-bin/chenjie.txt'intotablestudent4;将目录下的所有文件导入loaddatalocalinpath'/chenjie/apache-hive-2.3.0-bin/'overwriteintotablestudent4;将HDFS文件导入
土豆拍死马铃薯·2017-10-08 20:18

Hive学习笔记 2 Hive的数据类型

1、基本数据类型tinyint/smallint/int/bigint整数类型float/double浮点数类型boolean布尔类型string字符串类型2、复杂数据类型Array：数组类型，由一系列相同数觉类型的元素构成createtablestudent(sidint,snamestring,gradearray);{1,Tom,[80,90,75]}Map：集合类型，包含键值对，可以通过k
土豆拍死马铃薯·2017-10-08 15:20

Hive学习笔记 1 Hive体系结构

本Hive学习笔记是观看慕课网赵强的教程后的笔记，教程地址：http://www.imooc.com/learn/387什么是Hive?
土豆拍死马铃薯·2017-10-08 14:53

Hive学习1

目录：1.什么是hive？2.为什么使用Hive3.框架性能分析4.Hive架构5.Hive和RDBMS的对比6.Hive的数据存储8、Hive基本使用1.Hive什么是hive？hive是由Facedoop实现并开源、是基于hadoop的一个数据仓库工具，这句话怎么理解呢hadoop由三部分组成的hdfs分布式文件系统，mapreduce分布式计算引擎，yarn资源调度系统，数据存储在hdfs，
有态度的博文·2017-10-04 22:25

hive学习教程（四）：hive的sql支持

七、hive的支持的sql目录一、关系运算：…41.等值比较:=.42.不等值比较:.56.大于等于比较:>=.57.空值判断:ISNULL.58.非空判断:ISNOTNULL.69.LIKE比较:LIKE.610.JAVA的LIKE操作:RLIKE.611.REGEXP操作:REGEXP.7二、数学运算：…71.加法操作:+.72.减法操作:-73.乘法操作:*.84.除法操作:/.85.取余操
qq_37095882·2017-08-29 19:57

Hive学习笔记 --- ORCFile介绍

ORCFile，它的全名是OptimizedRowColumnar(ORC)file，其实就是对RCFile做了一些优化。据官方文档介绍，这种文件格式可以提供一种高效的方法来存储Hive数据。它的设计目标是来克服Hive其他格式的缺陷。运用ORCFile可以提高Hive的读、写以及处理数据的性能。和RCFile格式相比，ORCFile格式有以下优点：(1)、每个task只输出单个文件，这样可以减少
杨鑫newlfe·2017-06-02 11:39

Hive学习(二)-数据导入及导出

首先，要知道HIve中表的列(field)是以何种方式分隔的。Hive表中默认的记录何字段分割符分隔符描述\n对于文本文件来说，每行都是一条记录，因此换行符可以进行分隔^A(Ctrl+A)用于分隔字段(列)，在createtable语句中可以使用八进制编码\001表示^B用于分隔ARRAY或者struct中的元素，或用于MAP中键-值对之间的分隔。在createtable语句中可以使用八进制编码\
兵工厂三剑客·2017-04-20 10:17

Hive学习(一)-表及数据库的创建删除基本操作

1.查看表结构字段hive>desctablename;hive>descformattedtablename;//显示tablename的详细表结构信息当使用formatted时，用于可以看到该表是外部表还是内部表（管理表）如果是内部表，则输出TableType:MANAGED_TABLE如果是外部表，则输出TableType:EXTERNAL_TABLE2.在Hive中执行Hadoop的dfs
兵工厂三剑客·2017-04-19 09:33

大数据学习脑图以及7个入门教程！

大数据的火热可谓是技术人都知道啊，很多人呢，也想学习大数据相关，所以，这里分享几个大数据脑图，希望可以让你清楚明白从哪里入门大数据，知道该学习以及掌握哪些知识点；大数据相关脑图：hadoop生态圈.png大数据.jpgHIVE
实验楼·2017-04-14 14:00

大数据学习脑图以及7个入门教程！

大数据的火热可谓是技术人都知道啊，很多人呢，也想学习大数据相关，所以，这里分享几个大数据脑图，希望可以让你清楚明白从哪里入门大数据，知道该学习以及掌握哪些知识点；大数据相关脑图：hadoop生态圈.png大数据.jpgHIVE
实验楼·2017-04-14 14:00

Hive学习笔记10@元数据解析

Hive元数据不存放在Hdfs上，而是存放在RDBMS上，典型的如Mysql、Derby等。Mysql元数据库查看元数据库usehive;//使用hive数据库库showtables;mysql>showtables;+---------------------------+|Tables_in_hive|+---------------------------+|BUCKETING_COLS||
pigcoffee·2017-03-03 16:51

Hive学习笔记8@运维相关

查看metastore连接数netstat–na|grep9083|grep–vLISTEN|wc-l查看作业是否排队集群资源利用率低，但客户端作业响应较慢查看作业Job数部署安装迁移进程调整租户tmp目录位置Hive客户端、服务端安装配置文件是否一致一般情况下不一致，客户端只需要缺省配置即可，通过beeline方式连接服务端。客户端一般部署在Hadoop集群之外应用侧Hive集群多个metast
pigcoffee·2017-03-03 16:11

Hive学习笔记5@beeline命令

Beeline工作模式有两种，即本地嵌入模式和远程模式。嵌入模式情况下，它返回一个嵌入式的Hive（类似于HiveCLI）。而远程模式则是通过Thrift协议与某个单独的HiveServer2进程进行连接通信BeelineCLI命令参数Description--autoCommit=[true/false]Enable/disableautomatictransactioncommit.Defau
pigcoffee·2017-03-03 16:56
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他