orcfile

【Kylin实战】Hive复杂数据类型与视图

各个标签（标注）类别能覆盖的曝光、点击在各个DSP上所覆盖的用户数……广告数据与标签数据join之后，存储orcfile的schema如下：createexternaltabledefault.ad_tag
NextToken·2016-04-13 14:00

Hive优化的五种方式

2.使用ORCFile存储数据Hive支持ORCFile， [codelanguage=”SQL”] CREATETABLEA_ORC(customerIDint,namestring,ageint,
amazon10·2016-03-15 10:05

Hive:ORC File Format存储格式详解

Hive:ORCFileFormat存储格式详解在Hive中，我们应该都听过RCFile这种格式吧，关于这种文件格式的结构什么的我就不介绍了，感兴趣的可以去网上找找。
江中炼·2016-03-08 23:00

hive入门们学习：orcFile和parquet存储格式简介

hive入门们学习：orcFile和parquet存储格式简介hive的的表格的存储格式默认情况下是textfile格式的，textfile格式的数据是按照行存储数据。
liyaohhh·2016-02-17 09:00

hive入门们学习：orcFile和parquet存储格式简介

               hive入门们学习：orcFile和parquet存储格式简介         hive的的表格的存储格式默认情况下是textfile格式的，textfile格式的数据是按照行存储数据
liyaohhh·2016-02-17 09:00

spark、hive、impala、hbase、gbase在结构化数据方面查询原理对比(含parquet/orc)

以前也玩过spark，但这次玩，是因为spark从1.4版本后使sparksql独立出来，想必一定不赖；另外，还支持DataFrame，底层存储支持parquet，甚至orcfile。
fengyun14·2015-12-11 23:49

ORCFILE,ParquetFile,CubeFile使用场景区别

这个其实是转自杭州第三次spark meetingup，华为的李昆大神的分享。 OLAP分析场景 ORC File Parquet File Cube File Full scan one dimension Fast  Fast Median (Low Cardinality) (只扫需要的
·2015-10-31 11:03

hive ORC 文件存储格式

  ORCfileformat，它的全名是OptimizedRowColumnar(ORC) fileformat。使用ORC文件格式提升Hive读、写与处理数据的性能。  
liuzhoulong·2015-10-27 15:00

针对Hive数据类型存储和ORCFile关系的研究

数据集导出：1、从tvlog库tvlog_tcl表中导出2015-09-09号的数据  INSERTOVERWRITELOCALDIRECTORY'/tmp/tvlog_tcl_2015_09_09'  SELECT*  FROMtvlog.tvlog_tcl  WHEREyear=2015andmonth=9andday=9;2、导出数据如下：  f03ec5b8ed9f4d209864a39a
祥林会跟你远走高飞·2015-09-10 15:00

RCFile 和 ORCFile 【转】

RCFile之前听说RCFile在读取数据时可以跳过不需要的列，不需要将一整行读入然后选择所需字段，所以在Hive中执行selecta,bfromtableAwherec=1这样的操作就相对比较高效。为了满足好奇心，找了一下关于RCFile的论文（RCFile:AFastandSpace-efficientDataPlacementStructureinMapReduce-basedWarehou
流水漂逸·2015-08-05 17:59

hive update delete

andROLLBACKarenotyetsupported.Alllanguageoperationsareauto－commit.Theplanistosupporttheseinafuturerelease.OnlyORCfileforma
dazheng·2015-07-09 14:05

Hive:ORC File Format存储格式详解

今天这篇文章要说的主题是ORCFile。一、定义ORCFile，它的全名是OptimizedRowColumnar(ORC)file，其实就是对RCFile做了一些优化。
Free World·2015-06-28 23:24

Hive:ORC File Format存储格式详解

今天这篇文章要说的主题是ORCFile。一、定义ORCFile，它的全名是OptimizedRowColumnar(ORC)file，其实就是对RCFile做了一些优化。
jiangshouzhuang·2015-06-28 23:00

Hive 4种文件格式

/3613661.htmlhttp://www.iteblog.com/archives/1014hive文件存储格式包括以下几类：1、TEXTFILE2、SEQUENCEFILE3、RCFILE4、ORCFILE
鲍礼彬·2015-05-17 23:53

Hive 4种文件格式

3613661.html  http://www.iteblog.com/archives/1014hive文件存储格式包括以下几类：1、TEXTFILE2、SEQUENCEFILE3、RCFILE4、ORCFILE
baolibin528·2015-05-17 23:00

关于orcfile的应用

http://stackoverflow.com/questions/25117760/how-to-convert-txt-csv-file-to-orc-formathttp://hadoopcraft.blogspot.jp/2014/07/generating-orc-files-using-mapreduce.html
heaven_齐天·2015-02-10 09:30

关于orcfile的应用

http://stackoverflow.com/questions/25117760/how-to-convert-txt-csv-file-to-orc-formathttp://hadoopcraft.blogspot.jp/2014/07/generating-orc-files-using-mapreduce.html
heaven_齐天·2015-02-10 00:55

【网络资料URL】―― hive

http://my.oschina.net/u/270950/blog/167400 Hive:ORCFileFormat存储格式详解http://www.iteblog.com/archives/1014
火箭筒·2015-01-23 16:26

【网络资料URL】―― hive

http://my.oschina.net/u/270950/blog/167400 Hive:ORCFileFormat存储格式详解http://www.iteblog.com/archives/1014
火箭筒·2015-01-23 16:26

【网络资料URL】—— hive

http://my.oschina.net/u/270950/blog/167400Hive:ORCFileFormat存储格式详解http://www.iteblog.com/archives/1014
火箭筒·2015-01-23 16:26

Hive文件存储格式

Hive文件存储格式包括以下几类：1.TEXTFILE2.SEQUENCEFILE3.RCFILE4.ORCFILE(0.11以后出现)其中TEXTFILE是默认格式，建表是不指定默认为这个格式，导入数据时会直接把数据文件拷贝到
lzm1340458776·2015-01-23 15:00

hive0.13.1 orc兼容性问题fix

线上使用cdh4.6.0和hive0.13.1,在hive0.11之后开始支持orcfile,hive0.13.1使用的是pb2.5.0,cdh4.6.0是用的2.4.0a，线上测试orcfile，建表正常
菜菜光·2015-01-04 22:32

hive0.13.1 orc兼容性问题fix

线上使用cdh4.6.0和hive0.13.1,在hive0.11之后开始支持orcfile,hive0.13.1使用的是pb2.5.0,cdh4.6.0是用的2.4.0a，线上测试orcfile，建表正常
菜菜光·2015-01-04 22:32

hive0.13.1 orc兼容性问题fix

线上使用cdh4.6.0和hive0.13.1,在hive0.11之后开始支持orcfile,hive0.13.1使用的是pb2.5.0,cdh4.6.0是用的2.4.0a，线上测试orcfile，建表正常
菜菜光·2015-01-04 22:32

Hive文件格式（表STORE AS 的四种类型）

hive文件存储格式包括以下几类：1、TEXTFILE2、SEQUENCEFILE3、RCFILE4、ORCFILE(0.11以后出现)其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到
kexinmei·2014-12-26 14:00

一套数据，多种引擎续---两种数据格式（Parquet/ORCfile）浅析

最近主要在研究大数典型应用adhocquery，要实现秒级的adhocquery，通常有3种思路：1、用搜索技术，将查询都建立索引，然后用搜索技术来实现。这种技术目前主要限制是索引建立和存储成本高，索引建立不及时，例如支付宝的higo。2、实时计算，对不能指定维度的查询，理论上认为是实时计算，每个列上建立函数索引，这种典型的代表是mesa。关于mesa，前面我有篇简单的介绍性文章《mesa介绍:g
jiezhu2007·2014-11-15 19:39

一套数据，多种引擎续---两种数据格式（Parquet/ORCfile）浅析

最近主要在研究大数典型应用adhoc query，要实现秒级的adhoc query，通常有3种思路：1、用搜索技术，将查询都建立索引，然后用搜索技术来实现。这种技术目前主要限制是索引建立和存储成本高，索引建立不及时，例如支付宝的higo。2、实时计算，对不能指定维度的查询，理论上认为是实时计算，每个列上建立函数索引，这种典型的代表是mesa。关于mesa，前面我有篇简单的介绍性文章《mesa介绍
jiezhu2007·2014-11-15 19:00

一套数据，多种引擎续---两种数据格式（Parquet/ORCfile）浅析

阅读更多最近主要在研究大数典型应用adhocquery，要实现秒级的adhocquery，通常有3种思路：1、用搜索技术，将查询都建立索引，然后用搜索技术来实现。这种技术目前主要限制是索引建立和存储成本高，索引建立不及时，例如支付宝的higo。2、实时计算，对不能指定维度的查询，理论上认为是实时计算，每个列上建立函数索引，这种典型的代表是mesa。关于mesa，前面我有篇简单的介绍性文章《mesa
jiezhu2007·2014-11-15 19:00

一套数据，多种引擎续---两种数据格式（Parquet/ORCfile）浅析

阅读更多最近主要在研究大数典型应用adhocquery，要实现秒级的adhocquery，通常有3种思路：1、用搜索技术，将查询都建立索引，然后用搜索技术来实现。这种技术目前主要限制是索引建立和存储成本高，索引建立不及时，例如支付宝的higo。2、实时计算，对不能指定维度的查询，理论上认为是实时计算，每个列上建立函数索引，这种典型的代表是mesa。关于mesa，前面我有篇简单的介绍性文章《mesa
jiezhu2007·2014-11-15 19:00

一套数据，多种引擎续---两种数据格式（Parquet/ORCfile）浅析

最近主要在研究大数典型应用adhoc query，要实现秒级的adhoc query，通常有3种思路：1、用搜索技术，将查询都建立索引，然后用搜索技术来实现。这种技术目前主要限制是索引建立和存储成本高，索引建立不及时，例如支付宝的higo。2、实时计算，对不能指定维度的查询，理论上认为是实时计算，每个列上建立函数索引，这种典型的代表是mesa。关于mesa，前面我有篇简单的介绍性文章《mesa介绍
jiezhu2007·2014-11-15 19:00

一套数据，多种引擎续---两种数据格式（Parquet/ORCfile）浅析

阅读更多最近主要在研究大数典型应用adhocquery，要实现秒级的adhocquery，通常有3种思路：1、用搜索技术，将查询都建立索引，然后用搜索技术来实现。这种技术目前主要限制是索引建立和存储成本高，索引建立不及时，例如支付宝的higo。2、实时计算，对不能指定维度的查询，理论上认为是实时计算，每个列上建立函数索引，这种典型的代表是mesa。关于mesa，前面我有篇简单的介绍性文章《mesa
jiezhu2007·2014-11-15 19:00

一套数据，多种引擎续---两种数据格式（Parquet/ORCfile）浅析

阅读更多最近主要在研究大数典型应用adhocquery，要实现秒级的adhocquery，通常有3种思路：1、用搜索技术，将查询都建立索引，然后用搜索技术来实现。这种技术目前主要限制是索引建立和存储成本高，索引建立不及时，例如支付宝的higo。2、实时计算，对不能指定维度的查询，理论上认为是实时计算，每个列上建立函数索引，这种典型的代表是mesa。关于mesa，前面我有篇简单的介绍性文章《mesa
jiezhu2007·2014-11-15 19:00

一套数据，多种引擎续---两种数据格式（Parquet/ORCfile）浅析

阅读更多最近主要在研究大数典型应用adhocquery，要实现秒级的adhocquery，通常有3种思路：1、用搜索技术，将查询都建立索引，然后用搜索技术来实现。这种技术目前主要限制是索引建立和存储成本高，索引建立不及时，例如支付宝的higo。2、实时计算，对不能指定维度的查询，理论上认为是实时计算，每个列上建立函数索引，这种典型的代表是mesa。关于mesa，前面我有篇简单的介绍性文章《mesa
jiezhu2007·2014-11-15 19:00

一套数据，多种引擎续---两种数据格式（Parquet/ORCfile）浅析

阅读更多最近主要在研究大数典型应用adhocquery，要实现秒级的adhocquery，通常有3种思路：1、用搜索技术，将查询都建立索引，然后用搜索技术来实现。这种技术目前主要限制是索引建立和存储成本高，索引建立不及时，例如支付宝的higo。2、实时计算，对不能指定维度的查询，理论上认为是实时计算，每个列上建立函数索引，这种典型的代表是mesa。关于mesa，前面我有篇简单的介绍性文章《mesa
jiezhu2007·2014-11-15 19:00

一套数据，多种引擎续---两种数据格式（Parquet/ORCfile）浅析

阅读更多最近主要在研究大数典型应用adhocquery，要实现秒级的adhocquery，通常有3种思路：1、用搜索技术，将查询都建立索引，然后用搜索技术来实现。这种技术目前主要限制是索引建立和存储成本高，索引建立不及时，例如支付宝的higo。2、实时计算，对不能指定维度的查询，理论上认为是实时计算，每个列上建立函数索引，这种典型的代表是mesa。关于mesa，前面我有篇简单的介绍性文章《mesa
jiezhu2007·2014-11-15 19:00

一套数据，多种引擎续---两种数据格式（Parquet/ORCfile）浅析

最近主要在研究大数典型应用adhoc query，要实现秒级的adhoc query，通常有3种思路：1、用搜索技术，将查询都建立索引，然后用搜索技术来实现。这种技术目前主要限制是索引建立和存储成本高，索引建立不及时，例如支付宝的higo。2、实时计算，对不能指定维度的查询，理论上认为是实时计算，每个列上建立函数索引，这种典型的代表是mesa。关于mesa，前面我有篇简单的介绍性文章《mesa介绍
jiezhu2007·2014-11-15 19:00

一套数据，多种引擎续---两种数据格式（Parquet/ORCfile）浅析

阅读更多最近主要在研究大数典型应用adhocquery，要实现秒级的adhocquery，通常有3种思路：1、用搜索技术，将查询都建立索引，然后用搜索技术来实现。这种技术目前主要限制是索引建立和存储成本高，索引建立不及时，例如支付宝的higo。2、实时计算，对不能指定维度的查询，理论上认为是实时计算，每个列上建立函数索引，这种典型的代表是mesa。关于mesa，前面我有篇简单的介绍性文章《mesa
jiezhu2007·2014-11-15 19:00

一套数据，多种引擎续---两种数据格式（Parquet/ORCfile）浅析

阅读更多最近主要在研究大数典型应用adhocquery，要实现秒级的adhocquery，通常有3种思路：1、用搜索技术，将查询都建立索引，然后用搜索技术来实现。这种技术目前主要限制是索引建立和存储成本高，索引建立不及时，例如支付宝的higo。2、实时计算，对不能指定维度的查询，理论上认为是实时计算，每个列上建立函数索引，这种典型的代表是mesa。关于mesa，前面我有篇简单的介绍性文章《mesa
jiezhu2007·2014-11-15 19:00

RCFile 和 ORCFile

RCFile之前听说RCFile在读取数据时可以跳过不需要的列，不需要将一整行读入然后选择所需字段，所以在Hive中执行selecta,bfromtableAwherec=1这样的操作就相对比较高效。为了满足好奇心，找了一下关于RCFile的论文（RCFile:AFastandSpace-efficientDataPlacementStructureinMapReduce-basedWarehou
ljie-PI·2014-08-22 22:00

hive学习 hive基本功

hive--serviceserviceName ServiceList:beelineclihelphiveserver2hiveserverhwijarlineagemetastoremetatoolorcfiledumprcfile
hao707822882·2014-08-13 08:00

ORCFile存储格式

先介绍下Orc的文件格式，截一张官方的图：    可以看到每个Orc文件由1个或多个stripe组成，每个stripe250MB大小，这个Stripe实际相当于之前的rcfile里的RowGroup概念，不过大小由4MB->250MB，这样应该能提升顺序读的吞吐率。每个Stripe里有三部分组成，分别是Index Data,Row Data,Stripe Footer：    1，Index Da
czw698·2014-08-06 14:00

Hive文件格式（RCFILE）

hive文件存储格式包括以下几类：1、TEXTFILE2、SEQUENCEFILE3、RCFILE4、ORCFILE(0.11以后出现)其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到
寂寞烟·2014-04-28 14:46

ORC File 翻译

www.iteblog.com/archives/1014原文 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ORC一、定义ORCFile
tobyqiu·2014-04-22 16:00

Hive文件格式

hive文件存储格式包括以下几类： 1、TEXTFILE 2、SEQUENCEFILE 3、RCFILE 4、ORCFILE(0.11以后出现) 其中TEXTFILE为默认格式，建表时不指定默认为这个格式
·2014-03-20 14:00

ORCFile测试

前段时间对ORCFile做了个测试，下面是测试报告PPT本文链接http://blog.csdn.net/lalaguozhe/article/details/17510177，转载请注明
lalaguozhe·2013-12-23 19:00

Orcfile文件格式解析（2）

  上篇文章从整体介绍了Orcfile的存储格式，接下来重点介绍下Orc里用到的几种编码格式：    字典编码：用于String类型的字段    Run-Length编码：用于int，long，short
实验室宅男的一亩三分地·2013-08-14 23:00

Orcfile文件格式解析（1）

  Orcfile(Optimized Row Columnar)是hive 0.11版里引入的新的存储格式，是对之前的RCFile存储格式的优化。
实验室宅男的一亩三分地·2013-08-14 23:00
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他