Hive学习

Hive学习笔记4@参数配置

参数名默认值参考值参数说明hive.execution.enginemr设置计算引擎javax.jdo.option.ConnectionURLjdbc:mysql://10.30.45.36:3307/hivedb?createDatabaseIfNotExist=truejdbc链接远程mysql数据库实例的地址javax.jdo.option.ConnectionDriverNameorg.
pigcoffee·2017-03-03 15:16

Hive学习笔记1@Hiveserver2高可用实现

在生产环境中使用Hive，强烈建议使用HiveServer2来提供服务，好处很多：在应用端不用部署Hadoop和Hive客户端；相比hive-cli方式，HiveServer2不用直接将HDFS和Metastore暴漏给用户；有安全认证机制，并且支持自定义权限校验；有HA机制，解决应用端的并发和负载均衡问题JDBC方式，可以使用任何语言，方便与应用进行数据交互；从2.0开始，HiveServer2
pigcoffee·2017-03-03 15:57

Hive学习

加载数据：加载本地数据：loaddatalocalinpath"/tmp/olap_patient"intotableolap_patient加载HDFS数据：loaddatainpath"hdfs://yidu/tmp/olap_patient"intotableolap_patient查询json数据：selectget_json_object(olap_patient.info,'$.dat
danevc·2017-02-10 11:40

hive学习笔记

Hive目前还不支持事务;不能对表数据进行修改(不能更新、删除、插入;只能通过文件追加数据、重新导入数据);不能对列建立索引(但是Hive支持索引的建立,但是不能高Hive的查询速度。如果你想高Hive的查询速度,请学习Hive的分区、桶的应用1：在服务器上通过hive进入hive编辑界面2：hive的in无法支持select子句3：hive的yyyy-MM-ddHH:mm:ss转yyyy-MM-
和尚要吐槽·2017-01-17 20:51

hive学习之六：row_number()排序函数的使用

在hive中经常需要使用到排序，hive中的排序函数有多种，可在相关文档中查阅具体的使用方法，在项目中用到了row_number()来做排序。简单的用法在这里就不做赘述了，项目具体需求如下：表tbl_custinfo结构如下createtabletbl_custinfo(custnostring，--客户号acctnostring，--账号cardnostring，--卡号recdatestrin
anickname·2016-12-06 21:50

HIVE学习与实践（四）：linux shell 脚本 for in 的用法，join 用法，正则表达式函数regexp_extract

linuxshell中forin#!/bin/shfordatein20161025201610272016102820161102201611032016110420161105doecho"${date}"doneHive的join用法假设有tableA和tableB两张表，TableA是左边的表，TableB是右边的表。其各有四条记录，其中有两条记录是相同的，如下所示：idnameidnam
O白马非马O·2016-12-06 18:57

HIVE学习与实践（三）：结合linux shell脚本按日期提取表，count，distinct，group by用法

例子下面的例子create_everyday.sh是在bash脚本里面嵌入hive的代码，实现在bash下直接运行脚本create_everyday.sh2011010120110302就可以统计把每天的信息提出来。create_everyday.sh：#file:create_everday.sh#!/bin/sh#确定时间范围从startdate到enddatesource/home/hdus
O白马非马O·2016-11-16 21:36

HIVE学习与实践（二）：根据partition建表，插表，where in 语法，concat用法

1.脚本例子1建表mytable，partition就是按rcd_date也就是recorddate时间来分区，用’\t’作为row的分隔符。createtableifnotexistsmydb.mytable(eventstringCOMMENT'####',info_idstringCOMMENT'####',session_idstringCOMMENT'###')partitionedby
O白马非马O·2016-11-14 21:55

HIVE学习与实践（一）：基本命令

一些概念（自我理解）传统的基于传统关系型数据库都是建在单一服务器上的，用户可以访问的范围和能力受限制；当数据库越来越多，越来越大，可能一张表就要分存到几个物理隔离的服务器上。所以要把这么庞大的数据整合起来，就有了hadoop分布式文件系统（HDFS）。有了文件系统，怎么让用户便捷高效地访问呢？Hive就是其中的一套选择：Hive查询语言（HiveQL或者HQL），与原来应用在传统数据库上的SQL语
O白马非马O·2016-11-03 18:32

hive jdbc使用

在hive学习中，通过java调用hive的jdbc驱动来查询数据。声明：当前基于hive1.2.1版本进行的学习和测试。首先环境中有部署hive，并且存在。
龙小白·2016-10-30 15:25

hive学习练习&Sqoop知识补充

解决SecureCRT进入hive模式后无法删除数据的问题，打开会话设置，终端模拟，选择Linux即可DatabasesinHive如果在hive中未定义数据库的话，这个“default”作为默认的数据库。创建数据库语法createdatabaseuserdb;如果userdb存在的话,就会抛出错误，可以这样：createdatabaseIFNOTEXISTSuserdb;在“database”相
岁月的拓荒者·2016-08-20 03:37

hive基本操作

Hive学习之Hive的函数一、Hive的数据库1.显示当前所有数据库：showdatabases;2.创建数据库createdatabasecrm；如果不指定位置，那么database在活动方式文件系统中的位置为
罗森内里的红·2016-08-19 22:11

hive学习 —Hive几种导出数据方式

1.拷贝文件如果数据文件恰好是用户需要的格式，那么只需要拷贝文件或文件夹就可以。hadoopfs–cpsource_pathtarget_path2.导出到本地文件系统--不能使用insertintolocaldirectory来导出数据，会报错--只能使用insertoverwritelocaldirectory来导出数据--hive0.11版本之前，只能使用默认分隔符^A(ascii码是\00
mtj66·2016-08-07 16:20

Hadoop之hive学习_01

Hive是构建在hdfs上的一个数据仓库，本质上就是数据库，用来存储数据数据仓库是一个面向主题的、集成的、不可更新的、随时间不变化的数据集合，用于支持企业或组织的决策分析处理。1.面向主题：数据仓库的主题是按照一定得主题进行组织的，即用户所关注的重点对象，比如商品推荐系统。2.集成的：将分散的数据(文本文件，oracle数据，mysql数据。。。)进行加工处理才能够成为数据仓库的存储对象。3.不可
csdn_flying97·2016-07-07 09:03

Hadoop之hive学习_01

Hive是构建在hdfs上的一个数据仓库，本质上就是数据库，用来存储数据数据仓库是一个面向主题的、集成的、不可更新的、随时间不变化的数据集合，用于支持企业或组织的决策分析处理。1.      面向主题：数据仓库的主题是按照一定得主题进行组织的，即用户所关注的重点对象，比如商品推荐系统。2.      集成的：将分散的数据(文本文件，oracle数据，mysql数据。。。)进行加工处理才能够成为数据
csdn_flying97·2016-07-07 09:00

hive学习(2)——安装

一、安装前准备。因为Hive是基于Hadoop平台的，所以安装Hive前确保Hadoop平台正常运行。Hadoop版本为hadoop2.6.0hive版本为hive-0.14.0二、安装1.将hive拷贝到linux服务器。2.tar-zvxfapache-hive-0.14.0-bin.tar.gz解压hive的tar包。3.执行vi/etc/profile加入hive的配置如图：4进入hive
罗森内里的红·2016-06-20 22:50

大数据的仓库Hive学习(一)

      我们接着之前学习的大数据来学习。之前说到了NoSql的HBase数据库以及Hadoop中的HDFS存储系统，可是我们发现这跟我们平时常用的关系型数据库有很大区别，为了使用方便，产生了针对大数据存储的数据仓库Hive。一、是什么1、概念      Hive是一个基于Hadoop的开源数据仓库工具，用于存储和处理海量结构化数据。它把海量数据存储于hadoop文件系统，而不是数据库，但提供了
u010168160·2016-06-20 14:00

hive学习(1)——hive简介

Hive的简介Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据。同时，这个语言也允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理内建的mapper和redu
罗森内里的红·2016-06-19 23:17

hive学习之三:项目中的hive优化实践

1.小表放入内存，在map端join，并不是所有聚合操作都在reducer端操作,慎重使用mapjoin,一般行数小于2000行，大小小于1M2.hive.groupby.skewindata变量从上面groupby语句可以看出，这个变量是用于控制负载均衡的。当数据出现倾斜时，如果该变量设置为true，那么Hive会自动进行负载均衡。当该变量设为true时候，不可以使用distinct关键字对多列
anickname·2016-05-17 21:49

【hive学习】

InstallingHiveonOSXLion(10.9)withBrewhive报Unabletoinstantiateorg.apache.hadoop.hivehive启动时报RelativepathinabsoluteURI:${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D解决办法:解决办法：创建iotmp目录，修改 hive.xml  
ncutlh·2016-05-14 09:59

Hive学习笔记：四浅入

Hive中的数据库、表、数据与HDFS的对应关系Hive数据库我们通过在hive终端，查看数据库信息，可以看出来hive有一个默认的数据库default，而且我们也知道，hive数据库对应的是hdfs上面的一个目录，那么默认的default数据库到底是对应的哪一个目录呢？我们可以通过hive配置文件(hive-site.xml)中一个hive.metastore.warehouse.dir配置项看
tanzheng19890528·2016-05-12 17:00

hive学习之二：hive sql使用总结及遇到的问题

---------------------------hivesql使用总结-------------------------------------------------1.hive在连接中不支持不等值连接，不支持or，where条件后不支持子查询。分别举例如下及实现解决办法。1.1.不支持不等值连接错误:select*fromainnerjoinbona.id20替代方法:selecttot
anickname·2016-05-12 09:31

hive学习笔记：三访问方式之WebUI

第一篇已经介绍hive访问的三种方式：CLI，JDBC/ODBC和WebUI，这篇重点描述如何通过WebUI的方式访问Hive？虽然这种做法几乎不用，但还是在此做个笔记。 1、解压hive源代码到某个目录，并进入到解压后的一个子文件夹hwi(Hivewebinterface)       tar-zxvfapache-hive-0.14.0-src.tar.gz       cdapache-hi
tanzheng19890528·2016-05-11 17:00

hive学习笔记：二安装

前提条件必须安装hadoop、jdk准备hive的下载地址http://hive.apache.org/downloads.html软件网盘地址https://yunpan.cn/OcryJjtkrFJRR4 访问密码61f9安装安装hive前首先安装mysql，因为hive的metastore默认使用内嵌的derby数据库作为存储引擎，Derby引擎的缺点是一次只能打开一个会话，因此使用MySQ
tanzheng19890528·2016-05-11 16:00

Hive学习笔记：一初识

Hive是什么？Hive是建立在Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop 中的大规模数据的机制。Hive定义了简单的类SQL 查询语言，称为HQL，它允许熟悉SQL 的用户查询数据。同时，这个语言也允许熟悉MapReduce 开发者的开发自定义的mapper 和reducer 来处理内建的map
tanzheng19890528·2016-05-10 19:00

Hive学习之修改表、分区、列

修改表的语句允许改变现有表的结构，通过该语句可以增加列/分区，修改SerDe，增加表和SerDe的属性或者重命名表。与之类似，修改分区的语句可以改变指定分区的属性。重命名表重命名表的语句如下：ALTER TABLE table_name RENAME TO new_table_name修改表属性修改表属性的语句如下：ALTER TABLE table_name SET TBLPROPERTIES 
强子哥哥·2016-04-20 19:00

Hive学习五--日志案例分析

Hive学习五–日志案例分析标签（空格分隔）：HiveHive学习五日志案例分析一，统计分析每日各时段的PV和UV1：创建数据库dropdatabaseifexistsdb_track; createdatabasedb_track
youfashion·2016-04-19 10:00

Hive学习六:HIVE日志分析（用户画像）

Hive学习六:HIVE日志分析（用户画像）标签（空格分隔）：HiveHive学习六HIVE日志分析用户画像案例分析思路一创建临时中间表二将中间结果存放到临时表中三创建结果表并存入最终jieguoji总结案例分析思路根据原始数据表里面的信息提取用户画像信息
youfashion·2016-04-19 10:00

Hive学习四

Hive学习四标签（空格分隔）：HiveHive学习四一Hive中UDF编程案例1二Hive中UDF编程案例2去除字段的双引号一，Hive中UDF编程–案例11，eclipse增加pom.xml依赖 org.apache.hive
youfashion·2016-04-19 09:00

Hive学习三

Hive学习三标签（空格分隔）：HiveHive学习三一load方式加载数据注意分区表加载数据的特殊性二将hive查询结果保存到表中和本地三常见查询练习如groupbyhavingjoinsortbyorderby
youfashion·2016-04-19 09:00

Hive学习二

Hive学习二标签（空格分隔）：HiveHive学习二二内部表和外部表的区别三分区表的功能创建加载数据和查询一,hive表的三种创建，应用场景以及练习截图第一种：CREATETABLEIFNOTEXISTSstudb.studu_log
youfashion·2016-04-19 08:00

Hive学习一

Hive学习一标签（空格分隔）：HiveHive学习一一概述二hive安装进行创建表加载数据测试三配置hive元数据存储在mysql中查看相关元数据表信息四熟悉基本的DML和DDL语句一，概述从某种意义上来说
youfashion·2016-04-19 08:00

Hive学习路线图

目录Hive介绍Hive学习路线图我的使用经历Hive的使用案例1.Hive
djd1234567·2016-04-12 16:00

hive命令学习

Hive学习默认日志地址/tmp/root(用户名)/hive.loghive-hiveconfhive.root.logger=DEBUG,console //重启调试。
q383700092·2016-03-31 16:00

Hive学习之HiveServer2服务端配置与启动

  在之前的学习和实践Hive中，使用的都是CLI或者hive–e的方式，该方式仅允许使用HiveQL执行查询、更新等操作，并且该方式比较笨拙单一。幸好Hive提供了轻客户端的实现，通过HiveServer或者HiveServer2，客户端可以在不启动CLI的情况下对Hive中的数据进行操作，两者都允许远程客户端使用多种编程语言如Java、Python向Hive提交请求，取回结果。HiveServ
vfgbv·2016-03-30 11:00

hive学习之一：认识hive

有些时候总感觉对某个概念，某项技术理解的不够深，理解的不到位，其实是自己站的高度不够高。抛开具体的技术细节不谈，多想想设计的初衷，多想想为什么，收获颇丰。以下是我对hive的一些思考，在此做个记录，不对的地方，还请指正。一.认识hivehive一个数据仓库工具，不同于数据库。数据仓库注重于数据分析（OLAP）和历史数据存储，面向主题，而数据库则是面向事务(OLTP)，存储在线交易数据,数据库设计尽
anickname·2016-03-15 11:50

hive学习笔记：FetchTask

hive学习笔记：FetchTask我们在执行hive代码的时候，一条简单的命令大部分都会转换成为mr代码在后台执行，但是有时候我们仅仅只是想获取一部分数据而已，仅仅是获取数据，还需要转化成为mr去执行吗
liyaohhh·2016-02-16 16:46

hive学习笔记：FetchTask

                  hive学习笔记：FetchTask      我们在执行hive代码的时候，一条简单的命令大部分都会转换成为mr代码在后台执行，但是有时候我们仅仅只是想获取一部分数据而已
liyaohhh·2016-02-16 16:00

Hive学习笔记-函数-split 字符串分割函数

[split]函数中‘:’不作为特殊分割符号，所以不用加\\hive字符串分割函数split(str,regex)-SplitsstraroundoccurancesthatmatchregexTimetaken:0.769seconds,Fetched:1row(s)返回值为一个数组a.基本用法：例1：split('a,b,c,d',',')得到的结果：["a","b","c","d"]b.截取
木子二月鸟·2016-02-03 08:40

Hive学习笔记（五）

转载请标明出处：http://blog.csdn.net/zwto1/article/details/48850583；本文出自:【明月的博客】前言本文主要涉及hive的相关操作DML。hive操作导入数据：loaddata:把文件复制或移到表的目录中，从而把数据导入hive的表或分区。insert:把数据从一个hive表填充到另一个。ctas:createtable…asselect的缩写。sq
程序员明月·2015-12-12 20:00

Hive学习笔记（三）

转载请标明出处：http://blog.csdn.net/zwto1/article/details/48101979；本文出自:【明月的博客】分区和桶：hive把表组织成分区，这是一种根据分区列的值进行粗略划分的机制。使用分区可以加快数据分片的查询速度。表或分区可以进一步划分为桶，它会为数据提供额外的数据结构从而获得更高效的查询处理。比如：根据用户ID来划分桶，我们可以在所有用户集合的随机样本上
程序员明月·2015-12-12 20:00

Hive学习笔记（四）

转载请标明出处：http://blog.csdn.net/zwto1/article/details/48184019；本文出自:【明月的博客】存储格式：hive从两个维度对表的存储进行处理：行格式和文件格式。行格式指行和一行中的字段如何存储。文件格式指一行中字段容器的格式，最简单的是纯文本格式也有面向列和面向行的二进制格式。默认的存储格式：分隔的文本创建表没有用ROWFORMAT和STOREDA
程序员明月·2015-12-12 20:00

Hive学习笔记（一）

转载请标明出处：http://blog.csdn.net/zwto1/article/details/48101803；本文出自:【明月的博客】metestore：metestore包括两部分：服务和后台数据存储，其服务与hive服务在同意jvm中。内嵌作为本地存储的derby数据库实例。metestore只支持单会话。否则会报该信息：为了是hive支持多会话，必须使用独立的数据库（在同一机器或远
程序员明月·2015-12-12 20:00

Hive学习笔记（二）

转载请标明出处：http://blog.csdn.net/zwto1/article/details/48101911；本文出自:【明月的博客】类型转换hive原子数据类型可以进行隐式数据类型转换，如果某个表达式使用INT,那么TINYINT会转化为INT，hive不会进行反向转换，除非使用cast才操作。数据类型转化规则：任何整数类型都会转换为范围更广的类型。所有整数类型、FLOAT、STRIN
程序员明月·2015-12-12 20:00

大数据开发学习规划时间表记录及反思

15.12.03-16.01.01hive学习规划：两个月。15.12.03-16.02.01机器学习规划：三个月。15.12.03-16.03.01hadoop学习规
monkey2016·2015-12-03 20:00

hive建的表丢了？其实它一直在

根本没有小偷，是我们找错地方了》》》》在学习环境中，我们习惯使用derby作为hive元数据库，也就是这个嵌入式数据库很可能为很多hive学习者造成很多问题。
微笑丶·2015-12-03 18:00

hive建的表丢了？其实它一直在

根本没有小偷，是我们找错地方了》》》》在学习环境中，我们习惯使用derby作为hive元数据库，也就是这个嵌入式数据库很可能为很多hive学习者造成很多问题。
微笑丶·2015-12-03 18:00

hive建的表丢了？其实它一直在

根本没有小偷，是我们找错地方了》》》》在学习环境中，我们习惯使用derby作为hive元数据库，也就是这个嵌入式数据库很可能为很多hive学习者造成很多问题。
微笑丶·2015-12-03 18:00

Hive学习之动态分区及HQL

Hive动态分区 1、首先创建一个分区表create table t10(name string) partitioned by(dt string,value string)row format delimited fields terminatedby '\t' lines terminated by '\n'stored as textfile;2、然后对hive进行设置，使之支持动态分区
·2015-11-12 14:32

Hive学习之更改表的属性

1、修改表名    alter table table_name rename to new_table_name;2、修改列名    alter table tablename change column column_orign column_new int(修改后列的属性) comment 'column_name' &n
·2015-11-12 14:30
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他