sequencefile

HDFS APPEND性能测试

hbase在写入数据之前会先写hlog，hlog目前是sequencefile格式，采用append的方式往里追加数据。之前团队的同学测试关闭hlog会一定程序上提升写hbase的稳定性。
yueyedeai·2013-11-25 12:00

Hadoop的MapFile, SetFile, ArrayFile 及 BloomMapFile文件格式<转>

SequenceFile是Hadoop的一个基础数据文件格式，后续讲的MapFile,SetFile,ArrayFile及BloomMapFile都是基于它来实现的。
yongjian_luo·2013-11-18 19:00

Hadoop的SequenceFile文件<转>

SequenceFile是Hadoop的一个重要数据文件类型，它提供key-value的存储，但与传统key-value存储（比如hash表，btree）不同的是，它是appendonly的，于是你不能对已存在的
yongjian_luo·2013-11-18 19:00

nutch存储数据文件sequencefile mapfile对应keyValue

crawldb (org.apache.hadoop.io.Text,org.apache.nutch.crawl.CrawlDatum) segments/content (org.apache.hadoop.io.Text,org.apache.nutch.protocol.Content) segments/crawl_fetch (org.apache.hadoop.io.T
lan13217·2013-10-04 10:00

nutch存储数据文件sequencefile mapfile对应keyValue

crawldb (org.apache.hadoop.io.Text,org.apache.nutch.crawl.CrawlDatum) segments/content (org.apache.hadoop.io.Text,org.apache.nutch.protocol.Content) segments/crawl_fetch (org.apache.hadoop.io.T
lan13217·2013-10-04 10:00

Hadoop SequenceFile

SequenceFile格式：每一个SequenceFile都包含一个“头”（header)。Header包含了以下几部分。
zuochanxiaoheshang·2013-09-10 22:00

Hive中查看数据来源文件和具体位置方法

BLOCK__OFFSET__INSIDE__FILE   如果是RCFile或者是SequenceFile块压缩格式文件则显示Blockfile
lalaguozhe·2013-09-09 09:00

Hadoop Core 学习笔记(一) SequenceFile文件写入和读取Writable数据

[color=blue] 刚接触Hadoop时,对SequenceFile和Writable还产生了一点联想,以为是什么神奇的东西.后来也明白,不过就是自己IO的一些协议,用于自己的输入输出.这里介绍下如何从
rose-zh·2013-09-02 11:00

hive 存储格式和压缩方式 一：Snappy + SequenceFile

为什么要用SequenceFile:a).压缩b).这种格式可分割，可供多个mapper并发读取贴一段《ProgrammingHive》的：CompressingfilesresultsinspacesavingsbutoneofthedownsidesofstoringrawcompressedfilesinHadoopisthatoftenthesefilesarenotsplittable
潇水汀寒·2013-08-30 02:38

Mahout0.6-VectorDumper bug修复

VectorDumper类的功能是从SequenceFile中按照键值对的方式读取信息并将其转化为文本形式，具体使用见第五部分1.1.2节第3）条。
·2013-08-14 18:00

Mahout0.6-VectorDumper bug修复

VectorDumper类的功能是从SequenceFile中按照键值对的方式读取信息并将其转化为文本形式，具体使用见第五部分1.1.2节第3）条。
zc02051126·2013-08-14 15:00

Mahout0.6-数据格式转换

在运行Mahout中的算法之前需要将文本数据（数字或者字符串）转化为SequenceFile格式作为Mahout中算法的输入，待Mahout中的算法执行完成后结果文件也是SequenceFile格式的，
zc02051126·2013-08-14 15:00

（转载）Hive学习笔记--Hive 高级编程

第一部分：产生背景产生背景•为了满足客户个性化的需求，Hive被设计成一个很开放的系统，很多内容都支持用户定制，包括：•文件格式：TextFile，SequenceFile•内存中的数据格式：JavaInteger
开源中国心理科主任·2013-08-12 08:00

Hive 高级编程——深入浅出学Hive

第一部分：产生背景产生背景•为了满足客户个性化的需求，Hive被设计成一个很开放的系统，很多内容都支持用户定制，包括：•文件格式：TextFile，SequenceFile•内存中的数据格式：JavaInteger
快乐程序员·2013-08-02 21:26

[转载]浅析Hadoop文件格式

Hadoop中的文件格式1SequenceFile
绝艳天纵·2013-08-01 14:00

Nutch 入门

com/blog/static/183144445201251625612309/参考资料：1.http://blog.csdn.net/forwen/article/details/48047332.SequenceFile
caolaosanahnu·2013-07-22 10:00

mahout之Kmeans使用及结果分析

     点的输入文件是SequenceFile(Key, VectorWritable)格式；       而初始集群的输入文件格式是SequenceFiles
ghost_face·2013-07-12 19:00

Hadoop 写SequenceFile文件 源代码

packagecom.tdxx.hadoop.sequencefile; importjava.io.IOException; importorg.apache.hadoop.conf.Configuration
zyuc_wangxw·2013-07-03 11:00

6.27项目学习安排

一，序列化SequenceFile学习现在主要要完成的事情1，SequenceFile根据key查value2，小规模建立索引3，key-多value序列化，学习国防科大文件序列化方法4，三种序列化方式
lskyne·2013-06-27 11:00

Hadoop序列化文件SequenceFile

Hadoop序列化文件SequenceFile主要用于解决大量小文件问题，SequenceFile是HadoopAPI提供的一种二进制文件支持。
lskyne·2013-06-27 11:00

浅析Hadoop文件格式

Hadoop中的文件格式1SequenceFile
lskyne·2013-06-26 17:00

SequenceFile文件

SequenceFile文件是Hadoop用来存储二进制形式的key-value对而设计的一种平面文件(FlatFile)。
lskyne·2013-06-26 16:45

SequenceFile文件

  SequenceFile文件是Hadoop用来存储二进制形式的key-value对而设计的一种平面文件(FlatFile)。
lskyne·2013-06-26 16:00

Hadoop下将大量小文件生成一个sequenceFile文件

1）遇到的问题，因为是在集群上运行，代码中StringseqFsUrl="hdfs://localhost:9000/user/mjiang/target-seq/sdfgz.seq";的localhost错误，于是老是出现连接不上的问题，（Retryingconnecttoserver:localhost/127.0.0.1:8020.Alreadytried0time(s).）所以运行程序时出
lskyne·2013-06-26 16:00

mapreduce读取sequencefile文件中的数据

[java] viewplaincopy通过mapreduce模式，可以读取sequencefile中的数据。  
lskyne·2013-06-26 16:00

HDFS之SequenceFile和MapFile

HDFS提供了两种类型的容器，分别是SequenceFile和MapFile。一、SequenceFileSequenc
klarclm·2013-05-22 07:00

MapReduce的文件操作

读取SequenceFile文件packagecom.cxw.read; importjava.io.IOException; importjava.net.URI; importorg.apache.hadoop.conf.Configuration
chengxw·2013-05-20 08:00

深入学习《Programing Hive》：数据压缩

         Hive使用的是Hadoop的文件系统和文件格式，比如TEXTFILE，SEQUENCEFILE等。
flyingdutchman·2013-05-17 15:00

hive存储格式sequencefile和rcfile的对比

创建sequencefile压缩表test2，使用insertoverwritetabletest2select...语句将test1数据导入test2，设置配置项：sethive.exec.compress.output
亚信联创大数据平台li·2013-04-29 18:09

hive存储格式sequencefile和rcfile的对比

创建sequencefile压缩表test2，使用insert overwritetabletest2select...语句将test1数据导入test2，设置配置项：sethive.exec.compress.output
Johnny_Lee·2013-04-29 18:00

Hive文件存储格式的测试比较

Hive的三种文件格式：TEXTFILE、SEQUENCEFILE、RCFILE中，TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的，RCFILE是基于行列混合的思想，先按行把数据划分成
iteye_1344·2013-04-22 19:17

hive的3种数据存储格式

hive有textFile,SequenceFile,RCFile三种文件格式。其中textfile为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理。
stevie·2013-04-12 17:48

读写sequenceFile

public class WriteReadSequenceFileTest { /** * @param args */ public static void main(String[] args) { Configuration conf=new Configuration(); conf.set("fs.default.name", "
bigsea·2013-03-14 11:00

基于Hadoop Sequencefile的小文件解决方案

基于HadoopSequencefile的小文件解决方案 一、概述  小文件是指文件size小于HDFS上block大小的文件。这样的文件会给hadoop的扩展性和性能带来严重问题。首先，在HDFS中，任何block，文件或者目录在内存中均以对象的形式存储，每个对象约占150byte，如果有10000000个小文件，每个文件占用一个block，则namenode大约需要2G空间。如果存储1亿个文件
mysileng·2013-03-04 19:00

对TextFile格式文件的lzo压缩建立index索引

对于lzo压缩，常用的有LzoCodec和lzopCodec，可以对sequenceFile和TextFile进行压缩，但是有一点，对TextFile压缩后，mapred对压缩后的文件默认是不能够进行split
yangbutao·2013-01-19 14:00

Hadoop HDFS之SequenceFile和MapFile

HDFS提供了两种类型的容器，分别是SequenceFile和MapFile。一、SequenceFileSequenceFile的存储类似于
jiagou·2013-01-17 18:00

Hadoop HDFS之SequenceFile和MapFile

HDFS提供了两种类型的容器，分别是SequenceFile和MapFile。一、SequenceFileSequenceFile的存储类似于
keda8997110·2013-01-17 18:00

mahout SparseVectorsFromSequenceFiles详解（2）

文档处理DocumentProcessor类处理sequencefile创建输出PathPathtokenizedPath=newPath(outputDir,DocumentProcessor.TOKENIZED_DOCUMENT_OUTPUT_FOLDER
softwarehe·2013-01-17 11:00

mahout SparseVectorsFromSequenceFiles详解（1）

mahout预处理数据的第一步是将文档转化为可以被hadoop处理的sequencefile，第二步是从sequencefile转化为Vector，称为Vectorizer过程，这里剖析的SparseVectorsFromSequenceFiles
softwarehe·2013-01-16 17:00

mahout将文件sequence化过程

apache/mahout/text/SequenceFilesFromDirectory.javasequence化的意义原始文档不能被hadoop处理，需要一个转化过程，这个过程就是sequence化定义类sequencefile
softwarehe·2013-01-16 12:00

我的读取hadoop Sequence格式的文件的代码

publicstaticvoidmain(String[]args){ org.apache.hadoop.io.SequenceFile.Readerreader=null; java.io.FileOutputStreamfos
Longerandlonger·2013-01-08 18:00

Hive 随谈（六）– Hive 的扩展特性

原文链接：http://www.alidata.org/archives/604Hive是一个很开放的系统，很多内容都支持用户定制，包括：文件格式：TextFile，SequenceFile内存中的数据格式
wind5shy·2013-01-06 14:00

hive文件存储格式

hive文件存储格式包括以下几类： TEXTFILE SEQUENCEFILE RCFILE 自定义格式 其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到
·2013-01-03 20:00

hadoop小文件的问题带来的问题和解决方案

hadoop自带了三种方案：hadooparchive，SequenceFile，CombineFileInputFormata、hadooparchive
yangbutao·2013-01-03 09:00

HDFS之SequenceFile和MapFile

 引自http://blog.csdn.net/javaman_chen/article/details/7241087HDFS之SequenceFile和MapFile Hadoop的HDFS和MapReduce
skywhsq1987·2012-12-17 11:00

Hadoop SequenceFile 文件写入及格式分析

Hadoop SequenceFile是一个由二进制形式key/value的字节流组成的存储文件,SequenceFile可压缩可切分，非常适合hadoop文件存储特性,SequenceFile的写入由
macyang·2012-12-15 15:00

使用java开发mapred时遇上的奇怪问题

1）错误代码：输入文件的keyclass为LongWritable，和Text不匹配   错误原因：最初设定程序的输入文件为sequencefile，生成的测试数据为textfile，而textfile
azhao_dn·2012-11-29 16:00

mahout将文本数据转化成向量形式

mahout提供下面两个命令来将文本转成向量形式（转化成向量后可以聚类）：1.mahout seqdirectory：将文本文件转成SequenceFile文件，SequenceFile文件是一种二制制存储的
jayghost·2012-11-14 15:00

hive文件存储格式小记

hive文件存储格式包括以下几类：•TEXTFILE•SEQUENCEFILE•RCFILE•自定义格式SEQUENCEFILE:SequenceFile是HadoopAPI提供的一种二进制文件支持，其具有使用方便
cindyzz·2012-10-30 14:51

hive文件存储格式小记

hive文件存储格式包括以下几类：•TEXTFILE•SEQUENCEFILE•RCFILE•自定义格式SEQUENCEFILE:SequenceFile是Hadoop API提供的一种二进制文件支持，
love敏小仪·2012-10-30 14:00
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他