E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
InputFormat
FFmpeg的一些关键的数据结构(一)
ffmpeg定义的数据结构很有特色:有一些是动态与静态的关系，比如， URLProtocol 和 URLContex t ，AV
InputFormat
和 AVFormatContext ， AVCodec
chriszeng87
·
2014-10-29 17:00
ffmpeg
HIVE 处理日志，自定义
inputformat
完整版
为何要设置此功能是由于 hive fields terminated by '||||' 不支持 字符串导致 将你的
inputformat
类打成jar包，如My
InputFormat
.jar
lixuguang
·
2014-10-29 14:00
Project Euler #1: Multiples of 3 and 5
Ifwelistallthenaturalnumbersbelow10thataremultiplesof3or5,weget3,5,6and9.Thesumofthesemultiplesis23.Findthesumofallthemultiplesof3or5belowN.
InputFormat
FirstlinecontainsTthatdenotesthenumberoftestcases
Roy_Yuan
·
2014-10-27 23:00
c
ffmpeg源代码分析之avformat_open_input
函数作用是打开输入流，但是流具体是如何打开的，具体做了哪些事情，我们慢慢来分析研究下：intavformat_open_input(AVFormatContext**ps,constchar*filename, AV
InputFormat
rootusers
·
2014-10-16 10:00
ffmpeg
Hadoop如何计算map数和reduce数(hive,hbase)
job.split中包含split的个数由File
InputFormat
mlljava1111
·
2014-10-13 22:00
mapreduce
hadoop
Hadoop源码解析之: Text
InputFormat
如何处理跨split的行
我们知道hadoop将数据给到map进行处理前会使用
InputFormat
对数据进行两方面的预处理： 对输入数据进行切分，生成一组split，一个split会分发给一个mapper进行处理。
猪刚烈
·
2014-10-12 11:00
hadoop
split
TextInputFormat
跨split
3——FFMPEG之解复用器-----AV
InputFormat
1.数据结构：AV
InputFormat
为FFMPEG的解复用器对象，通过调用av_register_all()，FFMPEG所有的解复用器保存在以first_iformat为链表头的链表中，且还有个链表尾指针
finewind
·
2014-09-28 21:00
增加一个 AVFormat 格式:PES
lavf公共格式:AVFormatContext{ AV
InputFormat
*iformat; //输入格式 AVOutputFormat*oformat;//或者输出格式 void*priv_data
deyangliu
·
2014-09-22 21:00
ffmpeg
Codec
spark 不同执行方式的运行期分析
单个作业 yarn-clinet 的吧 交互 之前的mr 模型 1\ client 会执行
inputformat
lingzhi007
·
2014-09-20 12:00
spark
hadoop-mapreduce总结1
准备知识： 1.在
InputFormat
这个接口中，有两个方法，InputSplit[]getSplits();
段振岳
·
2014-09-16 17:19
mapreduce
过程
hadoop-mapreduce总结1
准备知识：1.在
InputFormat
这个接口中，有两个方法，InputSplit[]getSplits();RecordReadergetRecordReader();2.mapreduce作业提交与初始化过程
段振岳
·
2014-09-16 17:19
过程
mapreduce
hadoop
InputFormat
&OutputFormat
本文的主要目的是从源码级别讲解Hadoop中
InputFormat
和OutputFormat部分，首先简介
InputFormat
和OutputFormat，然后介绍两个重要的组件，RecordWriter
chen517611641
·
2014-09-16 11:00
源码
hadoop
框架
泛型
framework
hadoop用MultipleInputs/Multi
InputFormat
实现一个mapreduce job中读取不同格式的文件
hadoop用MultipleInputs/Multi
InputFormat
实现一个mapreducejob中读取不同格式的文件http://www.rigongyizu.com/use-multi
inputformat
-read-different-files-in-one-job
SIMONE
·
2014-09-16 09:00
一个Hadoop程序的优化过程 – 根据文件实际大小实现CombineFile
InputFormat
一个Hadoop程序的优化过程–根据文件实际大小实现CombineFile
InputFormat
http://www.rigongyizu.com/hadoop-job-optimize-combinefile
inputformat
SIMONE
·
2014-09-16 09:00
hadoop-处理小文件
一个Hadoop程序的优化过程 – 根据文件实际大小实现CombineFile
InputFormat
http://www.rigongyizu.com/hadoop-job-optimize-combinefile
inputformat
·
2014-09-15 14:00
hadoop
[Hadoop] 新API容易遇到的一个问题： expected LongWritable recieved Text
我们在之前一篇WordCount的文章里面使用了下面这条语句： job.set
InputFormat
Class(Text
InputFormat
.class); job.setOutputFormatClass
RangerWolf
·
2014-09-10 08:00
hadoop
自定义 hadoop MapReduce
InputFormat
切分输入文件
实际的遇到的问题——看数据： cookieId time url2 12:12:34 2_hao1233 09:10:34 3_baidu1 15:02:41 1_google3 22:11:34 3_sougou1 19:10:34 1_baidu2 15:02:41 2_google1 12:12:34 1_hao1233 23:10:34
zhongwen7710
·
2014-09-09 21:00
mapreduce
编程
hadoop
hadoop面试可能遇到的问题
问题1：说出hadoop中最长见得输入格式--文本输入格式Text
InputFormat
--keyvalu
华帝之魂
·
2014-09-01 15:18
分布式
利用贝叶斯分类器进行文本挖掘---笔记
hadoopjarmrtokenize.jartokenize.TokenizeDriver/home/grid/data/lesson8/home/grid/output/sportwords14/08/3121:59:33INFOinput.File
InputFormat
wfh45678
·
2014-09-01 14:28
数据挖掘
贝叶斯
分本分类器
hadoop
利用贝叶斯分类器进行文本挖掘---笔记
hadoopjarmrtokenize.jartokenize.TokenizeDriver/home/grid/data/lesson8/home/grid/output/sportwords14/08/3121:59:33INFOinput.File
InputFormat
wfh45678
·
2014-09-01 14:28
数据挖掘
贝叶斯
分本分类器
HIVE 处理日志，自定义
inputformat
完整版
阅读更多为何要设置此功能是由于hivefieldsterminatedby'||||'不支持字符串导致将你的
inputformat
类打成jar包，如My
InputFormat
.jar将My
InputFormat
.jar
wbj0110
·
2014-08-29 15:00
hive
HIVE 处理日志，自定义
inputformat
完整版
为何要设置此功能是由于 hive fields terminated by '||||' 不支持 字符串导致 将你的
inputformat
类打成jar包，如My
InputFormat
.jar
wbj0110
·
2014-08-29 15:00
hive
HIVE 处理日志，自定义
inputformat
完整版
为何要设置此功能是由于 hive fields terminated by '||||' 不支持 字符串导致 将你的
inputformat
类打成jar包，如My
InputFormat
.jar
wbj0110
·
2014-08-29 15:00
hive
HIVE 处理日志，自定义
inputformat
完整版
为何要设置此功能是由于 hive fields terminated by '||||' 不支持 字符串导致 将你的
inputformat
类打成jar包，如My
InputFormat
.jar
wbj0110
·
2014-08-29 15:00
hive
自定义hive的
Inputformat
然后现在的想法是自定义
Inputformat
的符号，往每个字段后面加一个hive默认的“\001”符号，这样创建表就会简单很多，而且有可能会提高表的查询的效率（因为还没测试过）。项目环境
lixiyuan
·
2014-08-29 10:00
【大数据笔记】--浅谈WordCount的Bug
WordCount数单词的时候,如果遇到大文件会对文件进行切分.但是切分是按照字节来进行的,完全有可能会将一个单词切分成2个单词,这样也就可能会创造2个不存在的单词.相关代码:WordCountmain函数(File
InputFormat
.addInputPath
flyfoxs
·
2014-08-28 16:00
Hive中配置Parquet(CDH4.3)
CDH4.3版本中并没有提供现成的Parquet安装包，所以如果在Hive或Impala中需要使用Parquet格式，需要手动进行安装，当创建Parquet格式的表时，需要定义Parquet相关的
InputFormat
wangxucumt
·
2014-08-27 09:00
hive
parquet
hive
Hive中配置Parquet(CDH4.3)
CDH4.3版本中并没有提供现成的Parquet安装包，所以如果在Hive或Impala中需要使用Parquet格式，需要手动进行安装，当创建Parquet格式的表时，需要定义Parquet相关的
InputFormat
wangxucumt
·
2014-08-27 09:00
hive
Parquet
FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
08/2420:29:11WARNconf.Configuration:mapred.max.split.sizeisdeprecated.Instead,usemapreduce.input.file
inputformat
.split.maxsize14
oaimm
·
2014-08-26 14:08
hive
Hive中的
InputFormat
、OutputFormat与SerDe
自定义多行分隔，列分隔转载：http://www.coder4.com/archives/4031前言Hive中，默认使用的是Text
InputFormat
，一行表示一条记录。
forever_ai
·
2014-08-22 15:58
hive
Hive中的
InputFormat
、OutputFormat与SerDe
自定义多行分隔，列分隔转载：http://www.coder4.com/archives/4031前言Hive中，默认使用的是Text
InputFormat
，一行表示一条记录。
·
2014-08-22 15:00
ffmpeg SDK开发手册
FFMpegSDK开发手册FFMpeg中比较重要的函数以及数据结构如下：1.数据结构：(1)AVFormatContext(2)AVOutputFormat(3)AV
InputFormat
(4)AVCodecContext
xwisen
·
2014-08-17 14:00
FFMPEG源码分析：avformat_open_input()（媒体打开函数）
//参数fmt是要打开的媒体格式的操作结构，因为是读，所以是
inputFormat
．此处可以 //传入一个调用者定义的inputFor
雷霄骅
·
2014-08-16 13:00
源码
ffmpeg
打开
map-reduce的八个流程
下面讲解这八个流程
Inputformat
——》map——》（combine）——》partition——》copy&merge——》sort——》reduce——》outputformatFileSplit
wind520
·
2014-08-15 12:00
mapreduce
hadoop
[Hadoop源码解读]（一）MapReduce篇之
InputFormat
平时我们写MapReduce程序的时候，在设置输入格式的时候，总会调用形如job.set
InputFormat
Class(KeyValueText
InputFormat
.class);来保证输入文件按照我们想要的格式被读取
libing13810124573
·
2014-08-10 22:00
MapReduce三种路径输入
1、第一种是通过一下方式输入： File
InputFormat
.addInputPath(job, new Path(args[0]));File
InputFormat
.addInputPath(job
·
2014-08-08 11:00
mapreduce
mapreduce编程（一）－二次排序
publicstaticclassMapextendsMapper publicstaticclassReduceextendsReducer 1首先说一下工作原理：在map阶段，使用job.set
InputFormat
Class
libing13810124573
·
2014-08-06 23:00
TextFile SequencFile性能对比
首先所有的输入格式都继承File
InputFormat
，对于TextFile和SequenceFile有对应的Text
InputFormat
和SequenceFile
InputFormat
。
r7raul
·
2014-08-04 15:37
hadoop
hive
sequenceFile
textFile
TextFile SequencFile性能对比
首先所有的输入格式都继承File
InputFormat
，对于TextFile和SequenceFile有对应的Text
InputFormat
和SequenceFile
InputFormat
。
r7raul
·
2014-08-04 15:37
hadoop
hive
TextFile
下一个生日要多久
输入格式
InputFormat
第一行,一个日期,格式为年-月-日第二行,也是一个日期,格式为月-日两个日期
Jacketinsysu
·
2014-08-01 11:00
ACM
句子里总的有多少个单词
输入格式
InputFormat
一行,有若干个单词或标点符号。长度小于256输出格式OutputFormat一行,一个整数表
Jacketinsysu
·
2014-08-01 11:00
字符串处理
hadoop面试题集锦
Name the most common
InputFormat
s defined in Hadoop? Which one is default ?
net19880504
·
2014-07-31 23:00
hadoop
SJTU OJ 2105 最大矩形
InputFormat
第一行，一个整数N，表示有N个纸条。第
WuXueyang
·
2014-07-27 09:00
hive自定义
InputFormat
自定义分隔符 package com.lwz.inputf; import java.io.IOException; import java.io.InputStream; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStre
乡里伢崽
·
2014-07-25 09:00
format
IOS --- 日期时间格式 转换
、如何如何将一个字符串如“20110826134106”装化为任意的日期时间格式，下面列举两种类型：NSString*string=@"20110826134106";NSDateFormatter*
inputFormat
ter
eduora_meimei
·
2014-07-24 17:19
Objective－c
IOS --- 日期时间格式 转换
如何如何将一个字符串如“20110826134106”装化为任意的日期时间格式，下面列举两种类型： NSString*string=@"20110826134106"; NSDateFormatter*
inputFormat
ter
Eduora_meimei
·
2014-07-24 17:00
iPhone开发
NSDate
nsdateformatter
stringFromDate
hadoop编程小技巧（6）---处理大量小数据文件CombineFile
InputFormat
应用
原理：应用CombineFile
InputFormat
，可以把多个小数据文件在进行分片的时候合并。由于每个分片会产生一个Mapper，当一个Mapper处理的数据比较小的时候，其效率较低。
fansy1990
·
2014-07-23 11:02
hadoop
编程
hadoop编程小技巧（6）---处理大量小数据文件CombineFile
InputFormat
应用
原理：应用CombineFile
InputFormat
，可以把多个小数据文件在进行分片的时候合并。由于每个分片会产生一个Mapper，当一个Mapper处理的数据比较小的时候，其效率较低。
fansy1990
·
2014-07-23 11:00
hadoop编程小技巧（5）---自定义输入文件格式类
InputFormat
Hadoop内置的输入文件格式类有：1）File
InputFormat
这个是基本的父类，我们自定义就直接使用它作为父类；2）Text
InputFormat
这个是默认的数据格式类，我们一般编程，如果没有特别指定的话
fansy1990
·
2014-07-22 13:00
大数据之路(二)——MapReduce流程详细分析
下面个人总结下MapReduce的流程： 1、MapRuduceFile要处理得文件：File存储在HDFS上，切分成默认64M的Block，存储在多个DataNode节点上 2、MapReduce
InputFormat
357236417
·
2014-07-20 21:00
mapreduce
上一页
25
26
27
28
29
30
31
32
下一页
按字母分类：
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他