Hive学习

Hive学习之Hive配置管理

    Hive是基于Hadoop的一种数据仓库，对查询和管理分布式存储中的超大数据集提供了很大帮助。正如绝大部分开源软件一样，Hive允许用户调整参数改变Hive的默认行为。用户可以使用下面三种方法中的任意一种对Hive进行配置管理：在Hive的CLI（命令行接口）使用set命令在会话层级为后续语句设置参数值，比如：sethive.exec.scratchdir=/tmp/mydir，将后续语句
sky_walker85·2014-05-16 10:00

hive学习(1)

hivesql学习笔记(1)一、创建表在官方的wiki里，example是这样的：Sql代码CREATE[EXTERNAL]TABLE[IFNOTEXISTS]table_name[(col_namedata_type[COMMENTcol_comment],...)][COMMENTtable_comment][PARTITIONEDBY(col_namedata_type[COMMENTcol
天然呆的技术博客·2014-05-13 00:36

hive学习笔记-转载

转载：http://blog.csdn.net/haojun186/article/details/7977565非常感谢分享。。。。。目录(?)[+]1.HIVE结构Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为QL，它允
forever_ai·2014-02-20 13:28

hive学习笔记-转载

转载：http://blog.csdn.net/haojun186/article/details/7977565非常感谢分享。。。。。目录(?)[+]1.  HIVE结构Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为QL，
An342647823·2014-02-20 13:00

hive学习笔记-转载

转载：http://blog.csdn.net/haojun186/article/details/7977565非常感谢分享。。。。。目录(?)[+]1.  HIVE结构Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为QL，
An342647823·2014-02-20 13:00

hive学习笔记之-使用Sqoop把Oracle表导入Hive

安装环境：Hive:hive-0.11.0Hadoop:Hadoop1.2.1Sqoop:sqoop-1.4.4.bin__hadoop-1.0.0Oralcedriver:ojdbc6.jar软件下载：Hive:http://apache.dataguru.cn/hive/Hadoop:http://apache.dataguru.cn/hadoop/Sqoop:http://apache.da
常飞梦·2014-02-14 17:31

hive学习笔记之-使用Sqoop把Oracle表导入Hive

安装环境：Hive:hive-0.11.0Hadoop:Hadoop1.2.1Sqoop:sqoop-1.4.4.bin__hadoop-1.0.0Oralcedriver:ojdbc6.jar软件下载：Hive:http://apache.dataguru.cn/hive/Hadoop:http://apache.dataguru.cn/hadoop/Sqoop:http://apache.da
lichangzai·2014-02-14 17:00

hive学习笔记之--hive index

Hive中可以创建Index。索引是标准的数据库技术，hive0.7版本之后支持索引。hive索引采用的不是'onesizefitesall'的索引实现方式，而是提供插入式接口，并且提供一个具体的索引实现作为参考。hive索引具有以下特点：1.索引key冗余存储，提供基于key的数据视图2.存储设计以优化查询&检索性能3.对于某些查询减少IO，从而提高性能。hive索引创建语句：CREATEIND
常飞梦·2014-02-10 16:12

hive学习笔记之--hive index

Hive中可以创建Index。 索引是标准的数据库技术，hive0.7版本之后支持索引。hive索引采用的不是'onesizefitesall'的索引实现方式，而是提供插入式接口，并且提供一个具体的索引实现作为参考。hive索引具有以下特点：1.索引key冗余存储，提供基于key的数据视图2.存储设计以优化查询&检索性能3.对于某些查询减少IO，从而提高性能。 hive索引创建语句： CREATE
lichangzai·2014-02-10 16:00

Hive学习笔记之--Hive 高级编程

第一部分：产生背景产生背景为了满足客户个性化的需求，Hive被设计成一个很开放的系统，很多内容都支持用户定制，包括：•文件格式：TextFile，SequenceFile•内存中的数据格式：JavaInteger/String,HadoopIntWritable/Text•用户提供的map/reduce脚本：不管什么语言，利用stdin/stdout传输数据•用户自定义函数自定义函数虽然Hive提
常飞梦·2014-02-07 14:56

Hive学习笔记之--Hive 高级编程

第一部分：产生背景产生背景为了满足客户个性化的需求，Hive被设计成一个很开放的系统，很多内容都支持用户定制，包括：•文件格式：TextFile，SequenceFile•内存中的数据格式：JavaInteger/String,Hadoop IntWritable/Text•用户提供的map/reduce脚本：不管什么语言，利用stdin/stdout传输数据•用户自定义函数自定义函数虽然Hive
lichangzai·2014-02-07 14:00

hive学习笔记之-数据操作

1.导入数据到管理表因为Hive不支持事务，所以没有行级别的insert,update,delete操作，仅支持使用加载的方式把数据导入到表中。--加载数据到分区表的例子LOADDATALOCALINPATH'${env:HOME}/california-employees'OVERWRITEINTOTABLEemployeesPARTITION(country='US',state='CA');
常飞梦·2014-01-27 16:46

hive学习笔记之-数据操作

1.导入数据到管理表因为Hive不支持事务，所以没有行级别的insert,update,delete操作，仅支持使用加载的方式把数据导入到表中。 --加载数据到分区表的例子LOADDATALOCALINPATH'${env:HOME}/california-employees'OVERWRITEINTOTABLEemployeesPARTITION(country='US',state='CA')
lichangzai·2014-01-27 16:00

hive学习笔记之-数据定义

1.数据库定义及操作--创建数据库hive(default)>SEThive.cli.print.current.db=false;hive>CREATEDATABASEfinancials;--创建库时加判断语句hive>CREATEDATABASEifnotexistsfinancials;--也可以使用关键字schames代替database,是一样的hive>CREATESCHEMAifn
常飞梦·2014-01-26 15:06

hive学习笔记之-数据定义

1.数据库定义及操作--创建数据库hive(default)>SEThive.cli.print.current.db=false;hive>CREATEDATABASEfinancials; --创建库时加判断语句hive>CREATEDATABASEifnotexistsfinancials; --也可以使用关键字schames代替database,是一样的hive>CREATESCHEMAi
lichangzai·2014-01-26 15:00

hive学习笔记之-数据类型

数据类型Hive基本的数据类型：Hive集合数据类型：另外还有一个复合数据类型，可以综合上面的数据类型组合到一起。·union:UNIONTYPE类型说明时间戳支持传统的unix时间戳,可选的纳秒级精度。支持的转换:l整型数值类型：解读为以秒为单位的UNIX时间戳l浮动点数值类型：解读为以秒和小数精度为单位的UNIX时间戳。l字符串：JDBC兼容的java.sql.Timestamp格式“YYYY
常飞梦·2014-01-23 14:21

hive学习笔记之-数据类型

数据类型Hive基本的数据类型：  Hive集合数据类型：另外还有一个复合数据类型，可以综合上面的数据类型组合到一起。·          union: UNIONTYPE  类型说明时间戳 支持传统的unix时间戳,可选的纳秒级精度。 支持的转换:  l        整型数值类型：解读为以秒为单位的UNIX时间戳 l        浮动点数值类型：解读为以秒和小数精度为单位的UNIX时间戳。 
lichangzai·2014-01-23 14:00

（转载）Hive学习笔记--Hive 安装与配置

第一部分：软件准备与环境规划Hadoop环境介绍•Hadoop安装路径•/home/test/Desktop/hadoop-1.0.0/•Hadoop元数据存放目录•/home/test/data/core/namenode•Hadoop数据存放路径•/home/test/data/core/datanodeHive环境规划•Hive安装路径•/home/test/Desktop/•Hive数据存
开源中国心理科主任·2013-08-12 08:00

（转载）Hive学习笔记--Hive 内建操作符与函数开发

第一部分：关系运算Hive支持的关系运算符•常见的关系运算符•等值比较:=•不等值比较:•大于等于比较:>=•空值判断:ISNULL•非空判断:ISNOTNULL•LIKE比较:LIKE•JAVA的LIKE操作:RLIKE•REGEXP操作:REGEXP•等值比较:=  语法：A=B操作类型：所有基本类型描述:如果表达式A与表达式B相等，则为TRUE；否则为FALSE举例：hive>select1
开源中国心理科主任·2013-08-12 08:00

（转载）Hive学习笔记--Hive JDBC

第一部分：搭建HiveJDBC开发环境搭建：Steps•新建工程hiveTest•导入Hive依赖的包•Hive 命令行启动Thrift服务•hive--servicehiveserver&     第二部分：基本操作对象的介绍Connection•说明：与Hive连接的Connection对象•Hive的连接•jdbc:hive://IP:10000/default“•获取Connection的
开源中国心理科主任·2013-08-12 08:00

（转载）Hive学习笔记--Hive 高级编程

第一部分：产生背景产生背景•为了满足客户个性化的需求，Hive被设计成一个很开放的系统，很多内容都支持用户定制，包括：•文件格式：TextFile，SequenceFile•内存中的数据格式：JavaInteger/String,Hadoop IntWritable/Text•用户提供的map/reduce脚本：不管什么语言，利用stdin/stdout传输数据•用户自定义函数自定义函数•虽然Hi
开源中国心理科主任·2013-08-12 08:00

（转载）Hive学习笔记--Hive 参数

第一部分：Hive参数hive.exec.max.created.files•说明：所有hive运行的map与reduce任务可以产生的文件的和•默认值:100000 hive.exec.dynamic.partition•说明：是否为自动分区•默认值：falsehive.mapred.reduce.tasks.speculative.execution•说明：是否打开推测执行•默认值：trueh
开源中国心理科主任·2013-08-09 15:00

（转载）Hive学习笔记--Hive 优化

第一部分：Hadoop计算框架的特性什么是数据倾斜•由于数据的不均衡原因，导致数据分布不均匀，造成数据大量的集中到一点，造成数据热点Hadoop框架的特性•不怕数据大，怕数据倾斜•jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jobs，耗时很长。原因是mapreduce作业初始化的时间是比较长的•sum,count,max,min等UDAF，不怕数
开源中国心理科主任·2013-08-09 15:00

hive深入浅出

这个网站对hive学习很有帮助;http://fatkun.com/2013/01/hive-join.html 第一部分：ＤＤＬDDL•建表•删除表•修改表结构•创建／删除视图•创建数据库•显示命令建表
longshenlmj·2013-08-09 14:00

（转载）Hive学习笔记--Hive 原理

第一部分：Hive原理为什么要学习Hive的原理•一条HiveHQL将转换为多少道MR作业•怎么样加快Hive的执行速度•编写HiveHQL的时候我们可以做什么•Hive怎么将HQL转换为MR作业•Hive会采用什么样的优化方式Hive架构&执行流程 Hive执行流程•编译器将一个HiveQL转换操作符•操作符是Hive的最小的处理单元•每个操作符代表HDFS的一个操作或者一道MapReduce作
开源中国心理科主任·2013-08-08 08:00

（转载）Hive学习笔记--Hive 体系结构

第一部分：概念 概念•用户接口：用户访问Hive的入口•元数据：Hive的用户信息与表的MetaData•解释器：分析翻译HQL的组件•编译器：编译HQL的组件•优化器：优化HQL的组件第二部分：Hive架构与基本组成架构图基本组成•用户接口，包括CLI，JDBC/ODBC，WebUI•元数据存储，通常是存储在关系数据库如mysql,derby中•解释器、编译器、优化器、执行器•Hadoop：用H
开源中国心理科主任·2013-08-08 08:00

（转载）Hive学习笔记--Hive Shell基本操作

第一部分：Hivebin下脚本介绍Hivebin下的脚本介绍Exthivehive-config第二部分：HiveShell基本操作Hive命令行•hive[-hiveconfx=y]*[]*[|][-S]•-i  从文件初始化HQL•-e  从命令行执行指定的HQL• -f  执行HQL脚本•-v  输出执行的HQL语句到控制台•-pconnecttoHiveServeronportnumber
开源中国心理科主任·2013-08-07 09:00

（转载）Hive学习笔记--Hive QL

第一部分：ＤＤＬDDL•建表•删除表•修改表结构•创建／删除视图•创建数据库•显示命令建表CREATE[EXTERNAL]TABLE[IFNOTEXISTS]table_name  [(col_namedata_type[COMMENTcol_comment],...)]  [COMMENTtable_comment]  [PARTITIONEDBY(col_namedata_type[COMME
开源中国心理科主任·2013-08-07 09:00

Hadoop之hive学习

1.hive是针对什么问题提出的？之前有什么解决方案吗？超大结构化数据集，超出了一般MPP的存储能力。MPP海量并行处理数据库的强项在于CPU，实时处理能力强，但其空间比较紧张；而hadoop的存储能强，但cpu的实时处理能力比较弱。Hive是一个基于hadoop的数据仓库。所以，二者是一个互补的关系。并且，逐渐的，二者会相互融合。2.hive在数据类型上与普通的SQL有什么区别？hive除了支持
viewcode·2013-07-15 11:00

一个非常不错的hive学习链接

 目录：初始HiveHive安装与配置Hive内建操作符与函数开发HiveJDBChive参数Hive高级编程HiveQLHiveShell基本操作hive优化Hive体系结构Hive的原理 配套视频课程
zongquanliu·2013-03-29 19:55

Hive学习总结之五：HBase和Hive的集成

Hive和Hbase有各自不同的特征：hive是高延迟、结构化和面向分析的，hbase是低延迟、非结构化和面向编程的。Hive数据仓库在hadoop上是高延迟的。Hive集成Hbase就是为了使用hbase的一些特性。如下是hive和hbase的集成架构： 图1hive和hbase架构图    Hive集成HBase可以有效利用HBase数据库的存储特性，如行更新和列索引等。在集成的过程中注意维持
酷帅CoolBash·2013-03-10 12:00

Hive学习总结之四:HiveQL查询操作

第三部分：HiveQL查询操作Hive的SQL操作•基本的Select 操作SELECT[ALL|DISTINCT]select_expr,select_expr,…FROMtable_reference[WHEREwhere_condition][GROUPBYcol_list[HAVINGcondition]][CLUSTERBYcol_list|[DISTRIBUTEBYcol_list][
酷帅CoolBash·2013-01-30 15:00

Hive学习总结之三:HiveQL介绍DML

第二部分：DMLDML包含如下操作：•向数据表内加载文件•LOADDATA[LOCAL]INPATH'filepath'[OVERWRITE]INTOTABLEtablename[PARTITION(partcol1=val1,partcol2=val2...)]Load操作只是单纯的复制/移动操作，将数据文件移动到Hive表对应的位置。filepath1.相对路径，例如：project/data
酷帅CoolBash·2013-01-30 15:00

Hive学习总结之二:HiveQL介绍DDL

Hive支持原子和复杂数据类型。原子数据类型包括数值型、布尔型和字符串类型，其中数值型有int/bigint/smallint/tinyint/double/float，布尔型为boolean，字符串类型为string。复杂数据类型包括数组(Array)、集合(Map)和结构(Struct)。Hive还提供了大量的内置函数，诸如数学和统计函数、字符串函数、日期函数、条件函数、聚集函数等。当无法用H
酷帅CoolBash·2013-01-30 14:00

Hive学习总结报告之一:配置及基本原理

之前学习了HBase，最近由于需要又学习了Hive，也整理了下资料总结了下。一简介Hive是一个构建在Hadoop上的数据仓库框架，是Facebook应对每天产生的海量新兴社会网络数据进行管理和机器学习的需求而产生和发展的。Hive的设计目的就是让精通SQL技能的分析师能够在存放海量数据的HDFS上运行查询等其它复杂操作，具有良好的可扩展性，并提供了统一的元数据管理。二配置首先了解下Hive的架构
酷帅CoolBash·2013-01-30 14:00

hive学习笔记

1.HIVE结构Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为QL，它允许熟悉SQL的用户查询数据。同时，这个语言也允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理内建的mapper和redu
haojun186·2012-09-14 09:26

hive学习笔记

1.  HIVE结构Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为QL，它允许熟悉SQL的用户查询数据。同时，这个语言也允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理内建的mapper和re
haojun186·2012-09-14 09:00

hive学习记录

=====20131219 hive.limit.optimize.enable优化虽然我们limit了100而且是没有任何复杂条件的查询，hive竟然也会去扫描所有的数据，这非常奇怪也很浪费。原来hive的limit在默认的情况下的执行过程就是把所有数据都跑出来.>>>test1select*froms_test;两种情况无影响>>>test2selectdp_idfroms_order_hba
j3smile·2012-08-10 10:00

hive学习笔记1

Hive是构建在Hadoop的数据仓库平台，最初Hive被Facebook用来处理海量的用户和日志数据。利用Hive处理分析的数据一般满足结构化的特征，Hive基于MapReduce之上增加了优化和更可用性的特性，Hive把用户从复杂的MapReduce编程中解脱出来，Hive定义了类似于SQL的查询语言：HQL，Hive能够将HQL转换为相应的MapReduce程序，并在Hadoop平台上执行。
liuxiaochen123·2012-06-29 17:00

Hive学习笔记汇总

1Hive官方网站http://hive.apache.org/2淘宝数据团队http://www.tbdata.org/archives/category/cloud-computing/hive3 wiki上HQL在线文档https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML
chrisjian·2012-05-04 16:00

Hive学习笔记1--------Hive入门

（转自淘宝数据平台团队） Hive是什么在接触一个新的事物首先要回到的问题是：这是什么？这里引用Hivewiki上的介绍：HiveisadatawarehouseinfrastructurebuiltontopofHadoop.ItprovidestoolstoenableeasydataETL,amechanismtoputstructuresonthedata,andthecapability
liuxingjiaofu·2011-11-26 11:00

Hive学习笔记2--------Hive与数据库的异同（转自淘宝数据平台团队）

阅读更多Hive体系结构Hive的结构如图所示，主要分为以下几个部分：用户接口，包括CLI，Client，WUI。元数据存储，通常是存储在关系数据库如mysql,derby中。解释器、编译器、优化器、执行器。Hadoop：用HDFS进行存储，利用MapReduce进行计算。用户接口主要有三个：CLI，Client和WUI。其中最常用的是CLI，Cli启动的时候，会同时启动一个Hive副本。Clie
bbym010·2011-04-25 11:00

Hive学习笔记2--------Hive与数据库的异同（转自淘宝数据平台团队）

阅读更多Hive体系结构Hive的结构如图所示，主要分为以下几个部分：用户接口，包括CLI，Client，WUI。元数据存储，通常是存储在关系数据库如mysql,derby中。解释器、编译器、优化器、执行器。Hadoop：用HDFS进行存储，利用MapReduce进行计算。用户接口主要有三个：CLI，Client和WUI。其中最常用的是CLI，Cli启动的时候，会同时启动一个Hive副本。Clie
bbym010·2011-04-25 11:00

Hive学习笔记2--------Hive与数据库的异同（转自淘宝数据平台团队）

Hive 体系结构 Hive 的结构如图所示， 主要分为以下几个部分： 用户接口，包括 CLI，Client，WUI。 元数据存储，通常是存储在关系数据库如 mysql, derby 中。 解释器、编译器、优化器、执行器。 Hadoop：用 HDFS 进行存储，利用 MapReduce 进行计算。 用户接口主要有三个：CLI，Client 和 WUI。其中最常用的是
bbym010·2011-04-25 11:00

Hive学习笔记3--------Hive与数据库的异同（转自淘宝数据平台团队）

摘要：由于 Hive 采用了 SQL 的查询语言 HQL，因此很容易将 Hive 理解为数据库。其实 从结构上来看，Hive 和数据库除了拥有类似的查询语言，再无类似之处。本文将 从多个方面来阐述 Hive 和数据库的差异。数据库可以用在 Online 的应用中，但是 Hive 是为数据仓库而设计的，清楚这一点，有助于从应用角度理解 Hive 的特性。 查询语言 HQL SQL 
bbym010·2011-04-25 11:00

Hive学习笔记3--------Hive与数据库的异同（转自淘宝数据平台团队）

摘要：由于 Hive 采用了 SQL 的查询语言 HQL，因此很容易将 Hive 理解为数据库。其实 从结构上来看，Hive 和数据库除了拥有类似的查询语言，再无类似之处。本文将 从多个方面来阐述 Hive 和数据库的差异。数据库可以用在 Online 的应用中，但是 Hive 是为数据仓库而设计的，清楚这一点，有助于从应用角度理解 Hive 的特性。 查询语言 HQL SQL
qiemengdao·2010-08-26 10:00

Hive学习笔记2--------Hive结构（转自淘宝数据平台团队）

Hive体系结构Hive的结构如图所示，主要分为以下几个部分：用户接口，包括CLI，Client，WUI。元数据存储，通常是存储在关系数据库如mysql,derby中。解释器、编译器、优化器、执行器。Hadoop：用HDFS进行存储，利用MapReduce进行计算。用户接口主要有三个：CLI，Client和WUI。其中最常用的是CLI，Cli启动的时候，会同时启动一个Hive副本。Client是H
qiemengdao·2010-08-26 10:00

Hive学习笔记1--------Hive入门（转自淘宝数据平台团队）

Hive 是什么 在接触一个新的事物首先要回到的问题是：这是什么？ 这里引用 Hive wiki 上的介绍： Hive is a data warehouse infrastructure built on top of Hadoop. It provides tools to enable easy data ETL, a mechanism to put structures
qiemengdao·2010-08-26 09:00
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他