SequenceFile

hive存储格式sequencefile和rcfile的对比

创建sequencefile压缩表test2，使用insert overwritetabletest2select...语句将test1数据导入test2，设置配置项：sethive.exec.compress.output
czw698·2012-10-24 17:00

timeTunnel的学习

阅读更多采集数据(通过TT的clientAPI)：APP直接写tailfiledbsyncdfswriter向HDFS写数据--向云梯写数据格式固定，sequencefile，基于key-valuestorm
jianchen·2012-09-25 19:00

hive sequencefile 和rcfile 效率对比

创建sequencefile压缩表test2，使用insert overwritetabletest2select...语句将test1数据导入test2，设置配置项：sethive.exec.compress.output
wf1982·2012-09-17 17:00

HDFS之SequenceFile和MapFile

HDFS提供了两种类型的容器，分别是SequenceFile和MapFile。一、SequenceFileSequenceFile的存储类似
mahout·2012-09-02 17:00

浅析Hadoop文件格式

Hadoop中的文件格式1SequenceFile
923534069·2012-08-25 16:38

利用sequencefile处理小文件实例

重写RecordReader:importjava.io.IOException; importorg.apache.hadoop.conf.Configuration; importorg.apache.hadoop.fs.FSDataInputStream; importorg.apache.hadoop.fs.FileSystem; importorg.apache.hadoop.fs.P
mahout·2012-08-21 09:00

Sequencefile 文件结构

  SequenceFile是由二进制键值对组成的扁平文件。SequenceFile提供了writer、reader和sorter三种类来写、读和排序。   
fanshadoop·2012-08-01 21:00

hadoop SequenceFile 文件写入及各式分析

hadoopSequenceFile是一个由二进制形式key/value的字节流组成的存储文件,SequenceFile可压缩可切分，非常适合hadoop文件存储特性,SequenceFile的写入由SequenceFile.Writer
yyj0531·2012-07-06 16:22

hadoop SequenceFile 文件写入及各式分析

  hadoop SequenceFile是一个由二进制形式key/value的字节流组成的存储文件,SequenceFile可压缩可切分，非常适合hadoop文件存储特性,SequenceFile的写入由
yyj0531·2012-07-06 16:22

SequenceFile文件

    SequenceFile文件是Hadoop用来存储二进制形式的key-value对而设计的一种平面文件(FlatFile)。
xhh198781·2012-06-26 17:00

Mahout K-means clustering 入门

Mahout下处理的文件必须是SequenceFile格式的，所以需要把txtfile转换成sequenceFile。
chenwq·2012-06-03 10:00

浅析Hadoop文件格式

Hadoop中的文件格式1SequenceFile
江志伟·2012-05-28 00:00

Hadoop SequenceFile Writer And Reader

  package cn.edu.xmu.dm.mpdemo.ioformat; import java.io.IOException; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org
chenwq·2012-05-19 15:00

Hadoop Archive解决海量小文件存储

另一个是HDFS中SequenceFile存储方式的讨论，利用Block压缩方式可以很好的解决空间压力。     HDFS中文件是按Block来存储的，默认一个Block的长度是128MB，当
chenwq·2012-05-18 21:00

SequenceFile在Hadoop中使用

概念：SequenceFile是一个由二进制序列化过的key/value的字节流组成的文本存储文件，它可以在map/reduce过程中的input/output的format时被使用。
flyingpig4·2012-05-18 12:00

hive中间结果和结果的压缩

DEFLATE.deflate不不GzipgzipDEFLATE.gz不不ZIPzipDEFLATE.zip是是，在文件范围内bzip2bzip2bzip2.bz2不是LZOlzopLZO.lzo不不首先hive作业结果最好使用sequencefile
inte_sleeper·2012-05-16 14:18

hive中间结果和结果的压缩

DEFLATE.deflate不不GzipgzipDEFLATE.gz不不ZIPzipDEFLATE.zip是是，在文件范围内bzip2bzip2bzip2.bz2不是LZOlzopLZO.lzo不不首先hive作业结果最好使用sequencefile
inte_sleeper·2012-05-16 14:00

【转】mahout应用kmeans进行文本聚类1之——输入输出分析

转：http://blog.csdn.net/aidayei/article/details/6674112 输入分析： mahout下处理的文件必须是SequenceFile格式的，所以需要把
jayghost·2012-05-13 22:00

由nutch readseg -dump 中文编码乱码想到的……

两周前，我参考Hadoop权威指南2，写了一个读取SequenceFile的类，想读取Nutch抓取下来的segments文件。
jayghost·2012-05-13 22:00

Hive 的扩展特性—自定义脚本、UDF和UDAF介绍

Hive是一个很开放的系统，很多内容都支持用户定制，包括：文件格式：TextFile，SequenceFile内存中的数据格式：JavaInteger/String,HadoopIntWritable/
luanwpp·2012-05-07 15:00

Hadoop SequcenceFile 处理多个小文件

利用sequenceFile打包多个小文件，MapFile是sequenceFile的排序形式，程序如下：   public class testSequenceFile { public
Genie13·2012-04-29 11:00

Hadoop开发常用的InputFormat和OutputFormat

nbsp;org.apache.hadoop.mapred.SequenceFileInputFormat”配置读的话，读入的数据显示的话为乱码，其实是因为读入的还是sequence file格式的，包括sequencefile
·2012-04-23 00:00

hadoop下将大量小文件生成一个sequenceFile文件

1）遇到的问题，因为是在集群上运行，代码中StringseqFsUrl="hdfs://localhost:9000/user/mjiang/target-seq/sdfgz.seq";的localhost错误，于是老是出现连接不上的问题，（Retryingconnecttoserver:localhost/127.0.0.1:8020.Alreadytried0time(s).）所以运行程序时出
j3smile·2012-03-20 09:00

hadoop小文件操作之SequenceFile

存储文件： import java.io.BufferedInputStream; import java.io.FileInputStream; import java.io.IOException; import java.io.InputStream; import java.net.URI;   import org.apache.hadoop.conf.Co
lxm63972012·2012-02-29 12:00

hadoop 小文件解决方案

  基于Hadoop Sequencefile的小文件解决方案   一、 概述    小文件是指文件size小于HDFS上block大小的文件。
lxm63972012·2012-02-28 12:00

基于HIVE文件格式的map reduce代码编写

阅读更多byhugh.wangp我们的数据绝大多数都是在HIVE上，对HIVE的SEQUENCEFILE和RCFILE的存储格式都有利用，为了满足HIVE的数据开放，hiveclient的方式就比较单一
hugh.wangp·2012-02-14 19:00

基于HIVE文件格式的map reduce代码编写

阅读更多byhugh.wangp我们的数据绝大多数都是在HIVE上，对HIVE的SEQUENCEFILE和RCFILE的存储格式都有利用，为了满足HIVE的数据开放，hiveclient的方式就比较单一
hugh.wangp·2012-02-14 19:00

基于HIVE文件格式的map reduce代码编写

byhugh.wangp 我们的数据绝大多数都是在HIVE上，对HIVE的SEQUENCEFILE和RCFILE的存储格式都有利用，为了满足HIVE的数据开放，hiveclient的方式就比较单一，直接访问
hugh.wangp·2012-02-14 19:00

HIVE文件存储格式的测试比较

HIVE的三种文件格式：TEXTFILE、SEQUENCEFILE、RCFILE中，TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的，RCFILE是基于行列混合的
hugh.wangp·2012-02-13 17:00

hadoop io Sequence, Map, Set, Array, BloomMap Files(译文)

  hadoop 的 sequenceFile 文件为二进制的 K-V 对提供了可持久的数据结构。
dogegg250·2012-02-10 10:17

HDFS之SequenceFile和MapFile

HDFS提供了两种类型的容器，分别是SequenceFile和MapFile。一、SequenceFileSequenc
javaman_chen·2012-02-08 08:06

HDFS之SequenceFile和MapFile

HDFS提供了两种类型的容器，分别是SequenceFile和MapFile。一、SequenceFileSequenc
JavaMan_chen·2012-02-08 08:00

Hadoop Core 学习笔记(一) SequenceFile文件写入和读取Writable数据

本博客属原创文章,转载请注明出处:http://guoyunsky.iteye.com/blogs/1265944    刚接触Hadoop时,对SequenceFile和Writable还产生了一点联想
lwm_1985·2012-02-01 14:00

mahout中k-means例子的运行

首先简单说明下，mahout下处理的文件必须是SequenceFile格式的，所以需要把txtfile转换成sequenceFile。
lwm_1985·2012-01-31 10:00

hadoop SequenceFile 详解

hadoop SequenceFile 详解 SequenceFile 是一个由二进制序列化过的key/value的字节流组成的文本存储文件，它可以在map/reduce过程中的input
黎明lm·2012-01-05 15:00

mapreduce 编程SequenceFile类的使用

对于基于MapReduce的数据处理，将每个二进制数据的大对象融入自己的文件中并不能实现很高的可扩展性，针对上述情况，Hadoop开发了一组更高层次的容器SequenceFile。    
zyj8170·2012-01-05 15:00

Hadoop读取sequencefile和textfile文件内容

读取sequencefile，其中MockReporter是从Reporter接口派生出的一个假的reporter，它什么也不做（只实现那些接口）：publicstaticListparseSequenceFile
inte_sleeper·2011-11-25 10:00

Hadoop Core 学习笔记(一) SequenceFile文件写入和读取Writable数据

guoyunsky.iteye.com/blog/1265944 欢迎加入Hadoop超级群: 180941958           刚接触Hadoop时,对SequenceFile
guoyunsky·2011-11-18 16:00

Hadoop Core 学习笔记(一) SequenceFile文件写入和读取Writable数据

guoyunsky.iteye.com/blog/1265944 欢迎加入Hadoop超级群: 180941958           刚接触Hadoop时,对SequenceFile
guoyunsky·2011-11-18 16:00

Hive 的可拓展性

 文章转自：http://www.chinaovo.net/hive/295.htm Hive是一个很开放的系统，很多内容都支持用户定制，包括：文件格式：TextFile，SequenceFile内存中的数据格式
tylgoodluck·2011-11-17 09:00

mapreduce读取sequencefile文件中的数据

sequencefile中的数据是以key，value对存储的。通过mapreduce模式，可以读取sequencefile中的数据。
ludengji·2011-10-24 17:00

hadoop SequenceFile 读取例程注释

importjava.io.IOException; importjava.net.URI; importorg.apache.hadoop.conf.Configuration; importorg.apache.hadoop.fs.FileSystem; importorg.apache.hadoop.fs.Path; importorg.apache.hadoop.io.IOUtils;
lilin_xdu·2011-08-18 22:00

hadoop SequenceFile 写入例程注释

importjava.io.IOException;importjava.net.URI;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileSystem;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.IOUtils;importo
lilin_xdu·2011-08-18 21:00

mahout应用kmeans进行文本聚类1之——输入输出分析

 输入分析：mahout下处理的文件必须是SequenceFile格式的，所以需要把txtfile转换成sequenceFile，而聚类必须是向量格式的，mahout提供下面两个命令来将文本转成向量形式
aidayei·2011-08-09 22:00

SequenceFile的不足

SequenceFile的Reader用于读取sequencefile文件。
bupt041137·2011-06-20 21:21

SequenceFile的不足

  SequenceFile 的Reader 用于读取sequencefile文件。
bupt04406·2011-06-20 21:00

Hive - QTestUtil.java

srcTables：        "src","src1","srcbucket","srcbucket2","src_json","src_thrift",        "src_sequencefile
bupt041137·2011-06-18 18:00

hive - bug

CREATE TABLE part_test (key STRING, value STRING) PARTITIONED BY (ds STRING) STORED AS SEQUENCEFILE;
bupt04406·2011-06-03 10:00

SequenceFile 解决hadoop小文件问题

SequenceFileFormats2010-10-2718:50 OverviewSequenceFile isaflatfileconsistingofbinarykey/valuepairs.Itisextensivelyusedin MapReduce asinput/outputformats.Itisalsoworthnotingthat,internally,thetemporar
wf1982·2011-05-12 18:00

hdfs上的append测试

hbase在写入数据之前会先写hlog，hlog目前是sequencefile格式，采用append的方式往里追加数据。之前团队的同学测试关闭hlog会一定程序上提升写hbase的稳定性。
lc_koven·2011-05-04 23:00
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他