sequencefile

Mahout应用（一）

拿kmeans为列子 Mahout中的kmeans所需要的输入比较特殊需要的输入类型为VectorWritable类型并且是SequenceFile格式存储（一般来讲为了方便查看数据我比较喜欢直接用
·2015-11-11 07:09

Hadoop 写SequenceFile文件 源代码

package com.tdxx.hadoop.sequencefile; import java.io.IOException; import org.apache.hadoop.conf.Configuration
·2015-11-11 05:17

Hive命令行工具

   Hive支持sequenceFile，说明可以对文件进行压缩，RCFile支持列式存储，做到稀疏存储，减小空间，读取速度快。          
Zero零_度·2015-11-09 15:00

[hadoop2.7.1]I/O之MapFile（排过序的SequenceFile）读、写、重建index实例

 MapFile是排序后的SequenceFile，MapFile由两部分组成，分别是data和index。
s060403072·2015-11-08 10:00

SequenceFile的读写操作

    SequenceFile可以处理hdfs上大量小文件，它可以作为大量小文件的容器。
·2015-11-07 12:03

hive文件存储格式

Hive的三种文件格式：TEXTFILE、SEQUENCEFILE、RCFILE中，TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的，RCFILE是基于行列混合的思想，先按行把数据划分成
微笑丶·2015-11-06 22:00

hive文件存储格式

Hive的三种文件格式：TEXTFILE、SEQUENCEFILE、RCFILE中，TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的，RCFILE是基于行列混合的思想，先按行把数据划分成
微笑丶·2015-11-06 22:00

[hadoop2.7.1]I/O之SequenceFile最新API编程实例（写入、读取）

写操作根据上一篇的介绍，在hadoop2.x之后，hadoop中的SequenceFile.Writer将会逐渐摒弃大量的createWriter（）重载方法，而整合为更为简洁的createWriter
s060403072·2015-11-06 22:00

[hadoop2.7.1]I/O之“泥坯块”SequenceFile前序知识

   概述   SequenceFile由一系列的二进制key/value组成，如果为key小文件名，value为文件内容，则可以将大批小文件合并成一个大文件。
s060403072·2015-11-05 17:00

基于Hadoop Sequencefile的小文件解决方案

一、 概述   小文件是指文件size小于HDFS上block大小的文件。这样的文件会给Hadoop的扩展性和性能带来严重问题。首先，在HDFS中，任何block，文件或者目录在内存中均以对象的形式存储，每个对象约占150byte，如果有1000 0000个小文件，每个文件占用一个block，则namenode大约需要2G空间。如果存储1亿个文件，则namenode需要20G空
·2015-10-27 15:28

SequenceFile介绍

SequeceFile是Hadoop API提供的一种二进制文件支持。这种二进制文件直接将<key, value>对序列化到文件中。一般对小文件可以使用这种文件合并，即将文件名作为key，文件内容作为value序列化到大文件中。这种文件格式有以下好处：1)支持压缩，且可定制为基于Record或Block压缩（Block级压缩性能较优） 2)本地化任务支持：因为文件可以被切分，因此Map
·2015-10-27 15:28

SequenceFile,RCFile格式的表不能直接从本地文件导入数据

hive有textFile,SequenceFile,RCFile三种文件格式。
·2015-10-21 10:52

hadoop小文件问题&解决方案

/mapreduce/hdfs-small-files-solution/http://hadoop.apache.org/docs/current/api/org/apache/hadoop/io/SequenceFile.htmlhttp
stark_summer·2015-09-25 15:00

Hadoop RCFile存储格式详解（源码分析、代码示例）

RCFile RCFile全称RecordColumnarFile，列式记录文件，是一种类似于SequenceFile的键值对（Key/ValuePairs）数据文件。 
yurun·2015-08-20 17:00

Hadoop RCFile存储格式详解（源码分析、代码示例）

RCFileRCFile全称RecordColumnarFile，列式记录文件，是一种类似于SequenceFile的键值对（Key/ValuePairs）数据文件。
demigelemiao·2015-08-20 17:00

drill1.0配置hive storage plugin及测试

，apachedrill最新发布版本是1.0.0，对与此版本的数据源支持和文件格式的支持：avroparquethivehbasecsvtsvpsvFilesystem对于目前我的需求：snappy+sequencefile
duguyiren3476·2015-08-06 10:00

基于Hive 的文件格式：RCFile 简介及其应用

目录[-]1、hadoop文件格式简介（1）SequenceFile（2）RCFile（3）Avro（4）文本格式（5）外部格式2、为什么需要RCFile3、RCFile简介4、超越RCFile，下一步采用什么方法
jiangshouzhuang·2015-06-28 23:00

Hive文件存储格式的测试比较

Hive的三种文件格式：TEXTFILE、SEQUENCEFILE、RCFILE中，TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的，RCFILE是基于行列混合的思想，先按行把数据划分成
igorzhang·2015-06-20 16:00

Hadoop HDFS SequenceFile

SequenceFile是一个由二进制序列化过的key/value的字节流组成的文本存储文件，它可以在map/reduce过程中的input/output的format时被使用。
fokYaland·2015-06-04 17:00

Hive 4种文件格式

www.cnblogs.com/Richardzhu/p/3613661.htmlhttp://www.iteblog.com/archives/1014hive文件存储格式包括以下几类：1、TEXTFILE2、SEQUENCEFILE3
鲍礼彬·2015-05-17 23:53

Hive 4种文件格式

www.cnblogs.com/Richardzhu/p/3613661.html  http://www.iteblog.com/archives/1014hive文件存储格式包括以下几类：1、TEXTFILE2、SEQUENCEFILE3
baolibin528·2015-05-17 23:00

hadoop SequenceFile介绍 大数据 存储

原文地址：http://tangjj.blog.51cto.com/blog/1848040/1532915SequenceFile是一个由二进制序列化过的key/value的字节流组成的文本存储文件。
u013758116·2015-05-03 16:00

hive文件存储格式

为默认格式存储方式：行存储磁盘开销大数据解析开销大压缩的text文件mr无法进行合并和拆分2.sequencefileHadoopAPI提供的一种二进制文件,以的形式序列化到文件中存储方式：行存储可分割压缩SequenceFile
yonghutwo·2015-04-29 10:00

hive数据压缩

http://itindex.net/detail/47472-%E5%AD%A6%E4%B9%A0-programing-hiveHive使用的是Hadoop的文件系统和文件格式，比如TEXTFILE，SEQUENCEFILE
forever_ai·2015-04-17 11:38

hive数据压缩

http://itindex.net/detail/47472-%E5%AD%A6%E4%B9%A0-programing-hiveHive使用的是Hadoop的文件系统和文件格式，比如TEXTFILE，SEQUENCEFILE
An342647823·2015-04-17 11:00

SequenceFileInputFormat用法

SequenceFileInputFormat只能处理SequenceFile类型的文件。
baolibin528·2015-04-16 14:00

Hadoop开发常用的InputFormat和OutputFormat

在用hadoop的streaming读数据时，如果输入是sequencefile，如果用“-inputformat org.apache.hadoop.mapred.SequenceFileInputFormat
Yuzhiyuxia·2015-03-23 14:00

Hadoop MapReduce优化相关

[大牛翻译系列]Hadoop 翻译文章索引 http://www.cnblogs.com/datacloud/p/3604492.html mapreduce合并小文件成sequencefile
EclipseEye·2015-03-16 21:00

InputFormat牛逼（9）FileInputFormat实现类之SequenceFileInputFormat

一、SequenceFileInputFormat及SequenceFileRecordReader /** An {@link InputFormat} for {@link SequenceFile
EclipseEye·2015-03-11 00:00

Hadoop中的SequenceFile和MapFile

SequenceFile1.SequenceFile概述1.1.sequenceFile文件是Hadoop用来存储二进制形式的对而设计的一种平面文件(FlatFile)。
lzm1340458776·2015-02-02 15:24

Hadoop中的SequenceFile和MapFile

SequenceFile1. SequenceFile概述1.1.sequenceFile文件是Hadoop用来存储二进制形式的对而设计的一种平面文件(FlatFile)。
lzm1340458776·2015-02-02 15:00

Hive-4-Hive的文件格式

TextFile 默认文件格式数据不做压缩，磁盘开销大，数据解析开销大，可以结合Gzip、Bzip2使用（系统自动检测，执行查询时自动解压）数据不会被Hive切分，所以无法对数据进行并行操作创建命令： 2、SequenceFile
f369504543·2015-01-24 15:00

Hive文件存储格式

Hive文件存储格式包括以下几类：1.TEXTFILE2.SEQUENCEFILE3.RCFILE4.ORCFILE(0.11以后出现)其中TEXTFILE是默认格式，建表是不指定默认为这个格式，导入数据时会直接把数据文件拷贝到
lzm1340458776·2015-01-23 15:00

mapreduce合并小文件成sequencefile

importjava.io.IOException; importorg.apache.hadoop.fs.Path; importorg.apache.hadoop.io.BytesWritable; importorg.apache.hadoop.io.NullWritable; importorg.apache.hadoop.mapreduce.InputSplit; importorg.
xiao_jun_0820·2015-01-15 20:00

Hadoop基于文件的数据结构

  1 SequenceFile的理解  （1）SequenceFile是Hadoop用来存储二进制形式的对而设计的一种平面文件（Flat File）； （2）可以把SequenceFile
username2·2014-12-31 15:00

Hive文件格式（表STORE AS 的四种类型）

hive文件存储格式包括以下几类：1、TEXTFILE2、SEQUENCEFILE3、RCFILE4、ORCFILE(0.11以后出现)其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到
kexinmei·2014-12-26 14:00

SequenceFile与MapFile

publicstaticStringuri="hdfs://192.168.1.201:9100";publicstaticString[]data={"one,two","three,four","five,six","seven,eight","nine,ten"};publicstaticvoidmain(String[]args)throwsIOException{//TODOAuto-g
deyu1982·2014-12-10 16:37

HDFS之SequenceFile和MapFile

http://blog.csdn.net/javaman_chen/article/details/7241087Hadoop的HDFS和MapReduce子框架主要是针对大数据文件来设计的，在小文件的处理上不但效率低下，而且十分消耗内存资源(每一个小文件占用一个Block,每一个block的元数据都存储在namenode的内存里)。解决办法通常是选择一个容器，将这些小文件组织起来统一存储。HDF
bluejoe2000·2014-11-27 22:00

Hadoop之K-Means聚类算法

在Hadoop分布式环境下实现K-Means聚类算法的伪代码如下：输入：参数0--存储样本数据的文本文件inputfile；参数1--存储样本数据的SequenceFile文件inputPath；参数2
LJBlog2014·2014-11-27 21:06

自定义流读取内存中的SequenceFIle数据

package org.apache.hadoop.hdfs.server.incHdfs; import java.io.ByteArrayInputStream; import java.io.IOException; import org.apache.hadoop.fs.FSInputStream; public class ByteInputStream extends FSInpu
cloudeagle_bupt·2014-11-19 14:00

自定义流读取内存中的SequenceFIle数据

package org.apache.hadoop.hdfs.server.incHdfs; import java.io.ByteArrayInputStream; import java.io.IOException; import org.apache.hadoop.fs.FSInputStream; public class ByteInputStream extends FSInpu
cloudeagle_bupt·2014-11-19 14:00

HDFS文本格式转化为Sequenfile

//这里使用SequenceFile的原因是有同步点，希望不会出现一条记录跨数据块的情况，我处理比较方便. 但是好像这个也会出现此类情况。。。。
cloudeagle_bupt·2014-11-18 20:00

HDFS文本格式转化为Sequenfile

//这里使用SequenceFile的原因是有同步点，希望不会出现一条记录跨数据块的情况，我处理比较方便. 但是好像这个也会出现此类情况。。。。
cloudeagle_bupt·2014-11-18 20:00

hadoop中的文件接口类-- SequenceFile

 SequenceFile文件是Hadoop用来存储二进制形式的key-value对而设计的一种平面文件(FlatFile)。
hao707822882·2014-11-08 23:00

pig处理json格式数据，取top100

在如下数据类型中 文件A：这里面是sequenceFile格式文件，key是long型时间戳，value是一个Text类型字符串（是JSON格式） 20140902112312 {"
scholltop·2014-10-20 17:00

pig处理json格式数据，取top100

在如下数据类型中 文件A：这里面是sequenceFile格式文件，key是long型时间戳，value是一个Text类型字符串（是JSON格式） 20140902112312 {"
scholltop·2014-10-20 17:00

一种SequenceFile的格式研究

最近仔细研究了以下公司中使用的SequenceFile文件格式，SequenceFile的格式比较紧凑，实现了从中间读取文件内容（便于hadoop将文件进行适当地切分），同时也可以支持仅读取文件的元数据功能
clamaa·2014-10-08 23:56

一种SequenceFile的格式研究

 最近仔细研究了以下公司中使用的SequenceFile文件格式，SequenceFile的格式比较紧凑，实现了从中间读取文件内容（便于hadoop将文件进行适当地切分），同时也可以支持仅读取文件的元数据功能
brandNewUser·2014-10-08 23:00

mahout Newsgroups 贝叶斯分类实例

20news-bydate.tar.gz，将数据集解压，会得到两个文件夹20news-bydate-test和20news-bydate-train，将两个文件夹合并存入20news-all文件夹2、将数据集转化为sequencefile
mach_learn·2014-09-29 11:53

Hadoop HDFS之SequenceFile和MapFile

原文：http://blog.csdn.net/keda8997110/article/details/8514908  Hadoop的HDFS和MapReduce子框架主要是针对大数据文件来设计的，在小文件的处理上不但效率低下，而且十分消耗磁盘空间(每一个小文件占用一个Block,HDFS默认block大小为64M)。解决办法通常是选择一个容器，将这些小文件组织起来统一存储。HDFS提供了两种类
u010064842·2014-09-12 22:00
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他