Inputformat

InputFormat牛逼（2）org.apache.hadoop.mapreduce.InputSplit & DBInputSplit

@Public @Stable InputSplit represents the data to be processed by an individual Mapper. Typically, it presents a byte-oriented view on the input and is the responsibility of RecordReader of the
EclipseEye·2015-03-10 22:00

InputFormat牛逼（1）org.apache.hadoop.mapreduce.lib.db.DBWritable

@Public @Stable Objects that are read from/written to a database should implement DBWritable. DBWritable, is similar to Writable except that the write(PreparedStatement) method takes a PreparedSta
EclipseEye·2015-03-10 22:00

Sample MultipleFileWordcount CombineFileInputFormat

       在旧版本的samples中，使用的是旧的api，mapred下面的MultiFileInputFormat,现在已经过时。
·2015-02-23 09:00

Sample: Write And Read data from HDFS with java API

不适合的方面： 低延迟的数据访问 解决方案：HBASE 大量的小文件 解决方案：combinefileinputformat
·2015-02-21 14:00

关于C99中的新特性：指定初始化 Designated initializers

在MSDN上找到个帖子：SYNTAXERROR:(FFMPEGSOURCECODERUNNINGONVS2012)在VS2012上编译ffmpeg遇到错误：AVInputFormatff_yop_demuxer
cmsbupt·2015-02-15 16:00

Hadoop CombineFileInputFormat实现原理及源码分析

Hadoop适用于少量的大文件场景，而不是大量的小文件场景（这里的小文件通常指文件大小显著小于HDFSBlockSize的文件），其主要原因是因为FileInputFormat在为这些小文件生成切片的时候
demigelemiao·2015-02-09 21:00

mapreduce-combiner函数使用例子代码

importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.mapreduce.Job;importorg.apache.hadoop.mapreduce.lib.input.FileInputFormat
u012965373·2015-02-02 22:00

MapReduce自定义RecordReader

：背景RecordReader表示以怎样的方式从分片中读取一条记录，每读取一条记录都会调用RecordReader类，系统默认的RecordReader是LineRecordReader，它是TextInputFormat
lzm1340458776·2015-01-23 12:00

【Scala三】分析Spark源代码总结的Scala语法一

Scala语法 1. classOf运算符 Scala中的classOf[T]是一个class对象，等价于Java的T.class,比如classOf[TextInputFormat]等价于TextInputFormat.class
bit1129·2015-01-21 22:00

【Scala三】分析Spark源代码总结的Scala语法一

Scala语法 1. classOf运算符 Scala中的classOf[T]是一个class对象，等价于Java的T.class,比如classOf[TextInputFormat]等价于TextInputFormat.class
bit1129·2015-01-21 22:00

【Scala三】分析Spark源代码总结的Scala语法一

Scala语法 1. classOf运算符 Scala中的classOf[T]是一个class对象，等价于Java的T.class,比如classOf[TextInputFormat]等价于TextInputFormat.class
bit1129·2015-01-21 22:00

hadoop伊始

这次做了一个ip段匹配的mapreduce程序，记录下来，所遇到的一些问题，这次共做了几次尝试：将login日志全部加在到内存，然后对总数据在myinputformat中进行处理和分区，首先统计数据总量
alentain·2015-01-20 15:00

hadoop伊始

这次做了一个ip段匹配的mapreduce程序，记录下来，所遇到的一些问题，这次共做了几次尝试：将login日志全部加在到内存，然后对总数据在myinputformat中进行处理和分区，首先统计数据总量
alentain·2015-01-20 15:00

hadoop伊始

这次做了一个ip段匹配的mapreduce程序，记录下来，所遇到的一些问题，这次共做了几次尝试：将login日志全部加在到内存，然后对总数据在myinputformat中进行处理和分区，首先统计数据总量
alentain·2015-01-20 15:00

Hadoop中的NLineInputFormat

一：背景NLineInputFormat也是FileInputFormat的子类，它是根据行数来划分InputSplit的，而不是像TextInputFormat那样依赖分片大小和行的长度。
lzm1340458776·2015-01-15 20:00

Hadoop中的KeyValueInputFormat

一：背景有时候，我们可以不以偏移量和行文本内容来作为数据源到MapTask的输入格式，而使用键值对的形式，使用KeyValueInputFormat就可以完成这种需求。
lzm1340458776·2015-01-15 20:00

Hadoop中的DBOutputFormat

一：背景为了方便MapReduce直接访问关系型数据库(MYSQL、Oracle等)，Hadoop提供了DBInputFormat和DBOutputFormat两个类，通过DBInputFormat类把数据库表中的数据导入到
lzm1340458776·2015-01-15 15:00

Hadoop中的DBInputFormat

一：背景为了方便MapReduce直接访问关系型数据库(MYSQL、Oracle等)，Hadoop提供了DBInputFormat和DBOutputFormat两个类，通过DBInputFormat类把数据库表的数据读入到
lzm1340458776·2015-01-15 12:00

Hadoop InputFormat源码分析

平时我们写MapReduce程序的时候，在设置输入格式的时候，总会调用形如job.setInputFormatClass(KeyValueTextInputFormat.class)来保证输入文件按照我们想要的格式被读取
lzm1340458776·2015-01-14 14:00

Hadoop TextInputFormat源码分析

InputFormat主要用于描述输入数据的格式(我们只分析新API，即org.apache.hadoop.mapreduce.lib.input.InputFormat)，提供以下两个功能：(1).数据切分
lzm1340458776·2015-01-14 11:00

Hadoop-2.4.1学习之InputFormat及源代码分析

    向Hadoop集群提交作业时，需要指定作业输入的格式（未指定时默认的输入格式为TextInputFormat）。
sky_walker85·2015-01-13 16:00

hadoop split

文件上传到HDFS前,InputFormat接口的getSplits方法会将文件划分切割成为若干个可序列化的split。
400·2015-01-12 14:00

NLineInputFormat

packagecom.test;importjava.io.IOException;importjava.util.Iterator;importjava.util.StringTokenizer;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.conf.Configured;importorg.apache.h
Zero零_度·2015-01-11 18:00

KeyValueTextInputFormat

packagecom.test;importjava.io.IOException;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.conf.Configured;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.IntWritable;impo
Zero零_度·2015-01-11 18:00

DBInputFormat

代码未做测试，先做记录package com.test; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import java.net.URI; import java.sql.PreparedStatement; import java.sql.ResultSet; import 
Zero零_度·2015-01-11 14:00

hadoop面试题整理(十二)

2.列举出hadoop中定义的最常用的InputFormats。那个是默认的？3.TextInputFormat和KeyValueInputFormat类之间的不同之处在于哪里？
zdp072·2015-01-10 20:00

FileInputFormat导读getSplits

/**  *GeneratethelistoffilesandmakethemintoFileSplits.  *@paramjobthejobcontext  *@throwsIOException  */ publicListgetSplits(JobContextjob)throwsIOException{   Stopwatchsw=newStopwatch().start();   //
Zero零_度·2015-01-09 14:00

hadoop编程笔记

FileInputFormat.setMinInputSplitSize(job, 2L * 1024 * 1024 * 1024); 将使得小于 2G 的输入文件不会被分割处理。
qq346359669·2015-01-07 10:00

TextInputFormat之getSplits函数分析

Client提交任务后，JobInProgress类会调用设置的InputFormat类的getSplits函数。下面分析下TextInputFormat格式的getSplits函数。
强子哥哥·2014-12-31 10:00

FFmpeg rtsp播放代码剖析

rtspurl播放的时候，会根据url中是否有rtsp来判断是否调用ff_rtsp_demuxer进行网络数据的读取AVInputFormatff_rtsp_demuxer={.name="rtsp",
fengyuzaitu·2014-12-27 12:17

spark+hcatalog操作hive表及其数据

http://www.cnblogs.com/xiaodf/packageiie.hadoop.hcatalog.spark;importiie.udps.common.hcatalog.SerHCatInputFormat
DF_XIAO·2014-12-24 11:18

hadoop集群优化

所以可以将一些小文件在进行mapreduce操作前进行一些预处理，整合成大文件，或者直接采用ConbinFileInputFormat来作为输入方式，此时hadoop会考虑节点和集群的位置信息，已决定将
Admirals·2014-12-23 11:00

hadoop散记

不写，默认是下面的转换类job.setInputFormatClass(TextInputFormat.class)ListInputFormat.getSplits首先对输入的数据做切分，切分后的split
Zero零_度·2014-12-22 09:00

自定义InputFormat

    0 引子：   InputFormt的各种实现类是针对不同数据源来定义的， 比如针对文件类型的FileInputFormat ,针对DB的DBInputFormat
chengjianxiaoxue·2014-12-03 13:00

InputFomrat各种子类实例

  0TextInputFormat  extendsFileInputFomrat 是默认读取文件的切分器   其内的LineRecordReader:用来读取每一行的内容， LineRecordReader
chengjianxiaoxue·2014-12-02 22:00

文件解析成键值对(FileInputFormat RecordReader解析)

  0引子： mapreduce在执行任务的时候，是如何将外部文件进行切分，并将这些文件转换成键值对方式的（还记得map-reduce基本概念和wordcount解析 文章中提到的概念吗?） 一些总结性的话：a)recordreader+inputsplit是数据输入处理阶段非常重要的两个概念。b)inputsplit:对原始输入数据的封装，封装原始数据源，这个数据源可以是hdfs文件系统，也可是
chengjianxiaoxue·2014-11-30 20:00

InputFormat简析

 0引子： hadoop把处理的文件读取到并解析成键值对，这个操作是通过InputFormat类的子类实现的。
chengjianxiaoxue·2014-11-30 13:00

av_read_frame的过程

从全局的AVInputFormat链表中遍历查找. 
penzchan·2014-11-30 10:00

Hadoop中MapReduce的一些关键词理解

Map-Reduce几个输入格式的理解：1当执行hadoop任务的时候FileInputFormat会得到一个文件夹的路径（需要分析的文件在这个路径中，hadoop默认不会读取子目录）2把这些文件进行分片
username2·2014-11-24 18:00

Hadoop中MapReduce的一些关键词理解

   Map-Reduce几个输入格式的理解： 1 当执行hadoop任务的时候FileInputFormat会得到一个文件夹的路径（需要分析的文件在这个路径中，hadoop默认不会读取子目录
username2·2014-11-24 18:00

hadoop输入分片计算(Map Task个数的确定) - 有无之中

作业从JobClient端的submitJobInternal()方法提交作业的同时，调用InputFormat接口的getSplits()方法来创建split。
有无之中·2014-11-21 14:00

MapReduce程序中的万能输入FileInputFormat.addInputPaths

写MR过程中经常会遇到多个源路径的输入，我们可以在MR程序主函数中通过FileInputFormat.addInputPaths(job,args[0])方法来实现，args[0]可以是folder1或者
lzq123_1·2014-11-21 08:00

MapReduce详解

今天我们走进MapReduce，分析MapReduce源代码，看看它到底是如何实现的，我们会根据数据流动的顺序来进行分析:-)1.读取数据（InputFormat）读取数据由InputFormat类完成
lzq123_1·2014-11-19 17:00

OutputFormat输出过程的学习

今天花了一点点的时间，把MapReduce的最后一个阶段，输出OutputFormat给做了分析，这个过程跟InputFormat刚刚好是对着干的，二者极具对称性。为什么这么说呢，待我一一分析。
Android路上的人·2014-11-19 10:39

OutputFormat输出过程的学习

今天花了一点点的时间，把MapReduce的最后一个阶段，输出OutputFormat给做了分析，这个过程跟InputFormat刚刚好是对着干的，二者极具对称性。
Androidlushangderen·2014-11-19 10:00

MapReduce的InputFormat过程的学习

     昨天经过几个小时的学习，把MapReduce的第一个阶段的过程学习了一下，也就是最最开始的时候从文件中的Data到key-value的映射，也就是InputFormat的过程。
Androidlushangderen·2014-11-14 10:00

hadoop mapreduce 自定义InputFormat

  很久以前为了满足公司的需求写过一些自定义InputFormat，今天有时间拿出来记一下  需求是这样的，如果如果使用FileInputFormat作为输入，是按照行来读取日志的，也就是按照\n来区分每一条日志的
坏坏一笑·2014-11-13 12:00

Hadoop与关系数据库

Hadoop中分别提供了DBInputFormat类和DBOutputFormat类，前者用于从关系数据库输入到HDFS,该类将关系数据库中的一条记录作为向Mapper输入的value值，后者用于将HDFS
臻是二哥·2014-11-11 21:00

SJTU 3001. 二哥的幸运

InputFormat第1行有1个整数N，表示要测试的数据OutputForma
u011345136·2014-11-01 21:00

ffmpeg源码分析之av_register_all()

1.muxer/demuxer和ecoder/decoder在代码实现上有很多相同的地方，但是最大的差别是：muxer/demuxer使用的结构是AVInputFormat/AVOutputFormat
rootusers·2014-10-30 16:00
上一页 24 25 26 27 28 29 30 31 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他