Inputformat

p1099 进制转换

输入格式InputFormat输入数据共有三行，第一行是一个正整数，表示需要转换的数的进制n(2≤n≤16)，第二行是一个n进制数，若n>10则用大写字母A～F表示数码10～15，并且该n进制数对应的十进制的值不超过
grhsmt·2018-12-01 14:01

聊聊flink的ParallelIteratorInputFormat

序本文主要研究一下flink的ParallelIteratorInputFormat实例finalExecutionEnvironmentenv=ExecutionEnvironment.getExecutionEnvironment
codecraft·2018-11-30 00:00

聊聊flink的InputFormatSourceFunction

序本文主要研究一下flink的InputFormatSourceFunction实例finalStreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment
codecraft·2018-11-29 00:00

MapReduce合并小文件

实现思路文件的读取由map负责，在前面的示意图中可以看到一个inputformat用来读取文件，然后以keyvalue形式传递给map方法。
老子跑的动·2018-11-26 20:32

MapReduce&Yarn增强

1.MapReduce并行度机制详解maptask并行度机制:逻辑规划(逻辑切片)时间:客户端提交mr程序之前main(客户端),job.submit()地点:客户端参与者:待处理数据目录FileInputFormat.getSplits
CoderBoom·2018-11-25 22:55

网站日志流量系统----【结果输出模块】

在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。sqoop安装安装sq
CoderBoom·2018-11-25 17:06

网站日志流量系统----【结果输出模块】

在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。sqoop安装安装sq
CoderBoom·2018-11-25 17:06

hive创建表指定自定义多个字符

hive创建表指定分隔符，不支持多个字符作为分隔符,如果想使用多个字符作为分割符的话就需要实现InputFormat.主要重写next方法,代码如下packagegaode_84;importjava.io.IOException
Fei-joe·2018-11-22 18:08

MapTask工作机制

MapTask工作机制流程图：基本概念：切片数决定MapTask的数量切片大小=blockSize（默认128MB）针对每一个文件单独切片（除了处理小文件的CombineTextInputFormat和部分自定义
HelloWorldWP·2018-11-13 14:29

Java根据URL获取视频时长以及大小

importit.sauronsoftware.jave.Encoder;importit.sauronsoftware.jave.EncoderException;importit.sauronsoftware.jave.InputFormatException
xieke90·2018-11-05 16:00

Java根据URL获取视频时长以及大小

importit.sauronsoftware.jave.Encoder;importit.sauronsoftware.jave.EncoderException;importit.sauronsoftware.jave.InputFormatException
xieke90·2018-11-05 16:00

Apache Flink 各类关键数据格式读取/SQL支持

SparkStreaming支持的输入/输出数据如下：数据类型Flink支持情况Kafka需要定义schemaHDFS(parquet/csv/textfile)读取parquet需要使用AvroParquetInputFormat
rongyongfeikai2·2018-11-02 16:22

13.小文件combine优化

2.优化:在drive自定义设置//指定运行的inputformat方式默认的方式是textinputformat(小文件优化)job.setInputFormatClass(CombineTextInputFormat.class
千雨猫·2018-10-30 15:53

hive存储处理器（StorageHandlers）以及存储格式以及hive与hbase整合

不但可以让hive基于hbase实现，还可以支持cassandraJDBCMongoDB以及GoogleSpreadsheetsHIVE存储器的实现原理基于HIVE以及Hadoop的可扩展性实现：输入格式化（inputformats
首席撩妹指导官·2018-10-23 16:15

spark分区数,task数目,core数,worker节点个数,excutor数量梳理

当Spark读取这些文件作为输入时，会根据具体数据格式对应的InputFormat进行解析，一般是将若干个Block合并成一个输入分片，称为InputSplit，注意InputSplit不能跨越文件。
laughing1997·2018-10-18 16:15

spark 2.3.1 入门教程

可以从HadoopInputFormats（例如HDFS文件）或通过转换其他数据集来创建数据集scala>valtextFile=spark.read.textFile("README.md")text
Echo_y_q·2018-10-17 17:24

hive有关的MapReduce大作业的性能问题(mapper数过多)

一般来说MapTask(Map任务)每次处理一个块大小的input(默认使用FileInputFormat)。
Tony_仔·2018-10-11 20:54

【hadoop学习笔记】---MapReduce

其对外提供了5个标准的可编程接口，InputFormat、Mappper、Partitioner、Reducer、OutputFormat。
liff_lee·2018-09-28 22:44

大数据笔记 3--MapReduce工作流程

3、MapTask会利用InputFormat中的recorderReader将待处理的文本分割成键值对的形式，然后根据用户自定义的Map方法进行逻辑计算输出到colle
BigCabbageFy·2018-09-28 18:46

Hive进阶（2）—— 存储格式

FileFormats官网介绍：Hivesupportsseveralfileformats:*TextFile*SequenceFile*RCFile*AvroFiles*ORCFiles*Parquet*CustomINPUTFORMATandOUTPUTFORMAT
疯狂呼呼呼·2018-09-27 22:28

SimpleSearching

InputFormatAstringwhoselengthislessthan100.Outp
Ice_Times·2018-09-27 20:24

Hbase之整合Hive

HBase利用两者本身对外的API来实现整合，主要是靠HBaseStorageHandler进行通信，利用HBaseStorageHandler，Hive可以获取到Hive表对应的HBase表名，列簇以及列，InputFormat
总是吃不饱·2018-09-26 10:38

黑猴子的家：FileInputFormat切片机制

1、job提交流程源码详解waitForCompletion()submit();//1、建立连接connect();//1）创建提交job的代理newCluster(getConfiguration());//2）判断是本地yarn还是远程initialize(jobTrackAddr,conf);//2、提交jobsubmitter.submitJobInternal(Job.this,clu
黑猴子的家·2018-09-25 17:04

ffmpeg的av_read_frame杂记

av_read_frame在ffmpeg内部包含两个层次的读：1.解封装的读，根据封装协议如flv或者mp4，调用相关注册接口（AVInputFormat结构的回调函数）,其返回的是一个AVPacket
htjoy1202·2018-09-25 16:48

Hase整合hive

HBase利用两者本身对外的API来实现整合，主要是靠HBaseStorageHandler进行通信，利用HBaseStorageHandler，Hive可以获取到Hive表对应的HBase表名，列簇以及列，InputFormat
夜古诚·2018-09-20 21:10

大数据6-Maptask并行度有关

FileInoutFormat切片机制：2.总结：1.切片是为了给maptask分配任务，也就是为了整个mapreduce程序做map的并行度规划；2.一个切片会交给一个maptsak来处置；3.默认的切片机制是FileInputFormatgetSplits
deyu01·2018-09-17 09:43

Annovar(1) 注释也能输出vcf格式（--vcfinput）

一直知道用table_annovar.pl的输入文件可以是vcfformat也可以是avinputformat，今天才发现输出文件也可以是vcfformat：perltable_annovar.plDPM09234
_nnnoOooM·2018-09-06 10:23

自定义DBInputFormat,抽取mysql表存储在分库中

阅读更多前言：mysqla表是按照分库存储的，现在需要抽取到hdfs中实现点：1自定义DBInputFormat，将表对应的分库重新创建conn连接，然后切片2在mapper类中自定义切片后的接收数据的接收类
chengjianxiaoxue·2018-08-27 18:00

自定义DBInputFormat,抽取mysql表存储在分库中

阅读更多前言：mysqla表是按照分库存储的，现在需要抽取到hdfs中实现点：1自定义DBInputFormat，将表对应的分库重新创建conn连接，然后切片2在mapper类中自定义切片后的接收数据的接收类
chengjianxiaoxue·2018-08-27 18:00

自定义DBInputFormat,抽取mysql表存储在分库中

阅读更多前言：mysqla表是按照分库存储的，现在需要抽取到hdfs中实现点：1自定义DBInputFormat，将表对应的分库重新创建conn连接，然后切片2在mapper类中自定义切片后的接收数据的接收类
chengjianxiaoxue·2018-08-27 18:00

Hive 加载HDFS数据建表, 挂载分区遇到问题及解决方法

CREATEEXTERNALTABLEIFNOTEXISTStmp.tmp_tb_jinritoutiao_log(contentstringCOMMENT'json内容格式')COMMENT'今日头条视频内容'PARTITIONEDBY(`day`string)STOREDASINPUTFORMAT'com.hadoop.mapred.DeprecatedLzoTextInput
huntblack·2018-08-22 10:01

（hive） Execution Error, return code -101 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask解决方案

解决bug思路：出现这个问题说明你的mapreduce.input.fileinputformat.split.maxsize设置的太小了解决方案：hive(default)>setmapreduce.input.fileinputformat.split.maxsize
WJWFighting·2018-08-14 17:53

Hbase整合Hive案例

HBase利用两者本身对外的API来实现整合，主要是靠HBaseStorageHandler进行通信，利用HBaseStorageHandler，Hive可以获取到Hive表对应的HBase表名，列簇以及列，InputFormat
心眼的痕·2018-08-14 14:50

自定义Rowkey规则读取Hbase数据

在Flink中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制TableInputFormat来实现我们的需求了，我们还可以采用Flink的DataSet的方式读取
dounine·2018-08-13 21:12

hive优化及数据倾斜总结

在对hive进行优化之前应理解mapreduce的原理maptask程序会根据InputFormat将输入文件分割成splits，每个split会作为一个maptask的输入，每个maptask会有一个内存缓冲区
放纵博爱·2018-08-13 10:23

Hadoop入门——汇总

MapReduceMapReduce基础概念序列化与Writable接口MapReduce的输入与输出MapReduce中的压缩程序的几种运行提交模式自定义分区PartitionerMapReduce基于CombineFileInputFormat
东天里的冬天·2018-08-13 10:11

hive根据现有数据表创建分区表,进行动态或静态分区插入数据

age`int,`sex`string,`addr`string)ROWFORMATDELIMITEDFIELDSTERMINATEDBY','LINESTERMINATEDBY'\n'STOREDASINPUTFORMAT'org.apache.hadoop.mapred.TextInputForma
javartisan·2018-08-10 19:37

MapReduce输入输出格式

阅读更多常用输入格式输入格式特点使用的RecordReader是否使用FileInputFormat的getSplitsTextInputFormat以行偏移量为key，以换行符前的字符为ValueLineRecordReader
cboss8·2018-08-10 16:00

MapReduce输入输出格式

阅读更多常用输入格式输入格式特点使用的RecordReader是否使用FileInputFormat的getSplitsTextInputFormat以行偏移量为key，以换行符前的字符为ValueLineRecordReader
cboss8·2018-08-10 16:00

sparksql读取hbase

).sqlContext//拉取hbase数据valhBaseConfiguration=HBaseConfiguration.create()hBaseConfiguration.set(TableInputFormat.INPUT_TABLE
weisongming·2018-08-08 19:14

Hbase与Hive的整合

HBase利用两者本身对外的API来实现整合，主要是靠HBaseStorageHandler进行通信，利用HBaseStorageHandler，Hive可以获取到Hive表对应的HBase表名，列簇以及列，InputFormat
炉边暖酒·2018-08-08 17:18

MapReduce计数器

文件系统计数器所属类：org.apache.hadoop.mapreduce.FileSystemCounterBYTES_READ：文件系统读取的字节数BYTES_WRITTEN：文件系统写的字节数FileInputFormat
IT_laobai·2018-08-07 11:58

XGBoost for Ranking 使用方法

但是官方文档页面的TextInputFormat部分只说输入是一个train.txt加一个train.txt.group,但是并没有这两个文件具体的内容格式以及怎么读取，非常不清楚。
等流星的牧羊人·2018-08-06 14:40

MapReduce预处理阶段-----浅谈InputFormat接口

1.mapreduce的简介mapreduce:基于YARN的系统，用于并行处理大型数据集，在我看来是一个计算框架，官网对于mapreduce的解释：HadoopMapReduce是一个软件框架，用于轻松编写应用程序，以可靠，容错的方式在大型集群（数千个节点）的商用硬件上并行处理大量数据（多TB数据集）。MapReduce作业通常将输入数据集拆分为独立的块，这些块由map任务以完全并行的方式处理。
Cherry_lzy·2018-08-04 16:59

MapReduce切片机制以及maptask和reducetask并行度设置

A利用指定的inputformat来获取RecordReader对象读取数据，形成KV输入。B将输入的kv对传递给客户定义的map方法，做逻辑
Ancony_·2018-07-29 20:46

hive优化之调整mapreduce数目

MapReduce大量小文件问题1.默认情况下，TextInputformat对任务的切片机制是按文件规划切片，不管文件多小，都会是一个单独的切片，都会交给maptaskz这样，如果有大量小文件，就会产生大量的
吃鱼的羊·2018-07-26 09:22

spark使用自定义Hadoop的FileInputFormat读取hdfs上的数据

比如：一个300MB的文件，其中包含6条记录，每条记录300/6=50MB，该文件在hdfs上分了3个block，每个block为128MB，如上图，第3、6个记录跨block了。如下图所示。为了处理改文件，spark在每个数据节点上创建executor，这些executor负责读取自己的数据。Block1上的Executor1读取3条记录作为输入，其中本地读Line1、Line2，本地和远程读L
leebhing·2018-07-25 14:28

Spark SQL读取hbase映射到hive表-----异常记录

异常问题一：Exceptioninthread"main"java.lang.NoClassDefFoundError:org/apache/hadoop/hbase/mapreduce/TableInputFormatBaseatjava.lang.ClassLoader.defineClass1
fengfengchen95·2018-07-25 11:47

Hugo配合GitHub搭建博客（Windows 10）

@"%SystemRoot%\System32\WindowsPowerShell\v1.0\powershell.exe"-NoProfile-InputFormatNone-ExecutionP
HWilliamgo·2018-07-23 01:57

hive map数的计算-combinehiveinputformat

对hive输入格式设置为CombineHiveInputFormat的进行分析map数是如何计算的。
gina_石头·2018-07-20 18:19
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他