avro

Dubbo源码解析（十八）Dubbo 序列化、反序列化

文章目录Dubbo序列化、反序列化序列化--编解码技术介绍目的实际序列技术Java序列化hessian2fstjsonkyroprotobufavroDubbo序列化的实现源码结构dubbo-serialization-apiHession2
wuhulala·2020-09-16 04:11

DIV+CSS：二级导航的制作代码

startList=function(){if(document.all&&document.getElementById){navRoot=document.getElementById("menu"
cenyebao·2020-09-16 02:51

0.1 Flink--Kafka2Es之读取kakfa数据

1.其中topic中数据使用自定义avro格式压缩,前4个字节为数据schemaID，后续数据字节为具体avro格式的二进制数据2.schema定义以文件形式存储在zookeeper中，文件名为schemaId
matthew-yang·2020-09-16 00:22

GCC的ARM编译选项

Next:AVROptions,Previous:ARCOptions,Up:SubmodelOptions[Contents][Index]3.18.5ARMOptionsThese‘-m’optionsaredefinedfortheARMport
玛丽奥ZJY·2020-09-15 16:25

Flume的source、channel，sink简单介绍及使用

/source_kafka.conf-Dflume-root-logger=INFO,consoleSource#exec动态监听文件agent1.sources.avro-source1.channels
struggle@徐磊·2020-09-15 14:43

Spark SQL读取外部数据源

SparkSQL读取外部数据源1、SparkSQL可以加载任何地方的数据，例如mysql，hive，hdfs，hbase等，而且支持很多种格式如json,parquet,avro,csv格式。
明天你好lk·2020-09-15 14:36

【Hadoop】Avro源码分析（一）：Schema

抽象类SchemaType类图原生类型Schema的创建保留字段RecordSchema类Name与NamesField类RecordShema的定义toString的实现测试代码有关Avro的schema
lifehack·2020-09-15 08:04

【Hadoop】Avro源码分析（二）：反序列化之Generic

文件读取类图继承DataFileStreamDataFileReaderHeader与DataBlock读取初始化HeaderDataBlock读取本文着重研究avro反序列化的Generic方式，先从下面这段读取
lifehack·2020-09-15 08:04

【Hadoop】数据序列化系统Avro

Avro简介schema文件组成Header与Datablock声明代码测试代码序列化与反序列化specificgeneric参考资料1.Avro简介Avro是由DougCutting（Hadoop之父
lifehack·2020-09-15 08:04

sqoop import命令参数

--append将数据追加到hdfs中--as-avrodatafile将文件导入到一个avro文件中--as-sequencefile将数据导入到一个sequencefile中--as-textfile
七年··2020-09-14 14:48

ffmpeg 中av_rescale_rnd 的含义

int64_tav_rescale_rnd(int64_ta,int64_tb,int64_tc,enumAVRoundingrnd);直接看代码,它的作用是计算"a*b/c"的值并分五种方式来取整.用在
vbLittleBoy·2020-09-14 11:10

(三)flink的Table API 与 SQL-外部连接器

文章目录TableSource(1)FileSystemConnector(2)KafkaConnectorTableFormat(1)CSVFormat(2)JSONFormat(2)ApacheAvroFormatflink
_尽_际·2020-09-14 09:10

maven构建CDH开发环境

默认目录hadoop：/opt/cloudera/parcels/CDH/libCDH文件是指向${CDH.Version}的一个链接lib下可用的包包含如下：avrohado
楚汐·2020-09-14 08:46

expect脚本同步文件,expect脚本指定host和要同步的文件,构建文件分发系统,批量远程执行命令

/usr/bin/expectsetpasswd"123456"spawnrsync-avro[email protected]:/tmp/12.txt/tmp/expect{"yes/no"{send"yes
weixin_39663255·2020-09-14 05:27

HDFS中文件数据格式

SequenceFile,MapFile,AvroDatafile。
奔跑的蜗牛AZ·2020-09-14 01:03

python遍历Hdfs的文件和目录，并且返回文件或目录的基本属性，包括创建时间，修改时间，文件或目录标识...

可以同时返回这个文件的基本属性，指示这个文件是file还是directory，以及创建日期和修改日期#-*-coding:utf-8-*-fromhdfsimport*importosfromhdfs.ext.avroimportAvroReader
9栋108·2020-09-14 00:36

关于flume采集，这个问题一直无法解决，不知道是hadoop集群的问题还是，flume的问题

impression_washington_1_201408262011.COMPLETED2014-08-2710:24:49,844(pool-5-thread-1)[INFO-org.apache.flume.client.avro.ReliableSpoolingFileEventReader.rollCur
千山我独行_不需相送·2020-09-13 20:03

CCA175考试心得

全部为实践操作题1>前五题分别为(sqoop,hive)1).sqoop-import2).sqoop-export,3).hive创建表，并且将已经存在于hdfs上的表导入到新建表中4).hive创建avro
wsppstwo·2020-09-13 20:17

flume-Kafka-Strom架构的搭建及使用

#配置组件a1.sources=r1a1.channels=c1a1.sinks=k1a1.sinks=k2#配置sourcea1.sources.r1.type=avroa1.sources.r1.bi
我想E得足够快·2020-09-13 20:44

flume

flume-ng处理数据有两种方式：avro-client、agent。avro-client：一次性将数据传输到指定的avro服务
goenkk·2020-09-13 18:15

Flume HA

Namethecomponentsonthisagents1.sources=r1s1.sinks=k1s1.channels=c1#Describe/configurethesources1.sources.r1.type=avro
dianhe6449·2020-09-13 18:11

Flume-ng分布式部署和配置

/flume-conf.properties配置文件（默认没有，cpflume-conf.properties.templateflume-conf.properties）agent.sources=avrosrcagent.channels
肖的博客·2020-09-13 18:01

Kafka生产者消费者java示例（包含Avro序列化）

文章内容包含Kafka未进行序列化生产消费java示例，和使用Avro序列化数据进行生产和消费的示例，掌握这些之后就对Kafka的生产消费有基本开发基础。
sunyang098·2020-09-13 18:22

记Flume-NG一些注意事项(不定时更新，欢迎提供信息)

一、关于Source：1、spool-source：适合静态文件，即文件本身不是动态变化的；2、avrosource可以适当提高线程数量来提高此source性能；3、ThriftSource在使用时有个问题需要注意
R芮R·2020-09-13 18:36

flume集群搭建

数据采集端：source：使用spooldir扫描文件获取资源channel：memorysink：avrosink数据接收端：source：avrosinkchannel：memorysink：loggersink
CrazyL-·2020-09-13 17:48

Flume HA的配置

cdapps/flume/myconf/avro-hdfs.conf（此处source端为avro模式，sink端为hdfs模式）hd
齐世伟·2020-09-13 17:04

大数据实操篇 No.4-Flume集群搭建

第1章集群规划Flume集群，负载均衡和故障转移模式，笔者准备了3台机器安装了flume，其中webapp200是应用服务器，flume安装在这里，目的是收集应用服务器上的日志，通过2个avrosink
pezynd·2020-09-13 17:04

【每日一面】关于Netty

①为什么选择NettyNetty是业界最流行的NIO框架之一，它的健壮性、功能、性能、可定制性和可扩展性在同类框架中都是首屈一指的，它已经得到成百上千的商用项目验证，例如Hadoop的RPC框架Avro
流烟默·2020-09-13 15:44

FFMPEG 关于对时间戳转换的理解

首先介绍转换函数：av_rescale_q_rnd(int64_ta,int64_tb,int64_tc,enumAVRoundingrnd)此函数主要用于对于不同时间戳的转换。
零凌灵·2020-09-13 06:07

Jackson 序列化忽略指定类型的属性

本文准确来讲是探讨如何用Jackson来序列化Apacheavro对象，因为简单用Jackson来序列化Apacheavro对象会报错。
YanbinQiu·2020-09-13 01:43

kafka-connect遇到的问题

使用的话，大家看官方文档kafka-connect，下面有几个使用过程中遇到的问题：我的kafka里的数据是avro格式的，应需求要从kafka导入mysql数据库和从HDFS导入到kafka。
姥爷家的小胡同·2020-09-12 05:19

Kafka Connect 日志配置

/etc/schema-registry/connect-avro-distributed.properties但是会在如下目录生成一个connectDistribut
码农无双·2020-09-12 01:16

SparkStreaming整合Flume --push方式与--pull方式

test-flume-push-streaming.conf#flume-push-streamingflume-push-streaming.sources=netcat-sourceflume-push-streaming.sinks=avro-sinkflume-push-streaming.channels
我是60岁程序员·2020-09-11 23:10

Hadoop项目简介

ApacheHadoop项目简介Core----一系列分布式文件系统和通用I/O的组件和接口（序列化、JavaRPC和持久化数据结构）Avro----一种提供高效、跨语言PRC的数据序列化系统，持久化数据存储
cfyme·2020-09-11 19:08

avro序列化和反序列化——利用avsc文件方式

details/64444908上一篇中（https://blog.csdn.net/wild46cat/article/details/80963111），我们在构建序列化和反序列化的时候，我们必须有avro
0day__·2020-09-11 11:38

avro的简单使用

和protobuf类似，在使用avro的时候首先需要进行编译，通过schema编译出对应的java类文件。但是有一点好处是，可以直接在项目中进行编译，不用每次都使用命令行进行编译。
0day__·2020-09-11 11:38

Avro 生成代码使用案例

摘要：最近研究Kafka，其中数据对象的序列化和反序列化操作除了内置的序列化器外，还可以自定义对象序列化器，另外还有一中方法就是使用Avro，这种方法通过规范Schema达到更通用的效果。
chuwei8023·2020-09-11 08:13

如何使用Avro文件

数据将以Avro数据格式存储。
Tybyqi·2020-09-11 08:17

avro 文件的使用

avro序列化文件向文件中写入数据（序列化）从文件中读取数据（反序列化）简介它可以提供：丰富的数据结构类型快速可压缩的二进制数据形式存储持久数据的文件容器远程过程调用RPC简单的动态语言结合功能，Avro
阿云兜兜·2020-09-11 07:47

Kryo、msgpack、protobuf、Hessian、Avro、Thrift等序列化框架比较

最近一直在想如果让我自己来做一个服务化框架出来，该实现些什么功能，具体该怎么去做这样的问题，数据序列化是一个重要的模块，故此有意对常见的一些开源序列化框架做一个比较！我个人对Hessian、Java、protobuf、Thrift这几种序列化方式比较熟悉，但是对Kryo、msgpack就没有怎么涉及了，先把这篇文章开一个头，积累了足够的能量之后再来完善。
zhangzhaokun·2020-09-11 06:15

thrift、proto buf与Avro区别

thrift：是由Facebook主导开发的,一个跨平台，支持多语言的，通过定义IDL文件，自动生成RPC客户端与服务端通信代码的工具，以构建在C++,Java,Python,PHP,Ruby,Erlang,Perl,Haskell,C#,Cocoa,JavaScript,Node.js,Smalltalk,andOCaml这些编程语言间无缝结合的、高效的服务protocolbuffer是一种序列
zcc_0015·2020-09-11 06:25

三种通用应用层协议protobuf、thrift、avro对比,完爆xml,json,http

原文：https://www.douban.com/note/523340109/Googleprotobuf：优点二进制消息，性能好/效率高（空间和时间效率都很不错）proto文件生成目标代码，简单易用序列化反序列化直接对应程序中的数据类，不需要解析后在进行映射(XML,JSON都是这种方式)支持向前兼容（新加字段采用默认值）和向后兼容（忽略新加字段），简化升级支持多种语言（可以把proto文件
weixin_34198797·2020-09-11 05:08

RPC综述 - PB, Thrift, Avro

ApacheAvro与Thrift比较,http://www.tbdata.org/archives/1307Thriftvs.ProtocolBuffers,http://stuartsierra.com
weixin_34111790·2020-09-11 05:25

【通信框架】跨语言通信框架的比较——Protobuf、Thrift和Avro

在阅读的过程中有任何问题，欢迎一起交流邮箱：[email protected]：1494713801一、概述thrift：是由Facebook主导开发的一个跨平台、支持多语言的，通过定义IDL文件，自动生成RPC客户端与服务端通信代码的工具，以构建在C++,Java,Python,PHP,Ruby,Erlang,Perl,Haskell,C#,Cocoa,JavaScript,Node.js,
u010515761·2020-09-11 04:58

Hive存储格式对比

ApacheHive支持ApacheHadoop中使用的几种熟悉的文件格式，如TextFile，RCFile，SequenceFile，AVRO，ORC和Parquet格式。
ronaldo_liu2018·2020-09-11 03:17

Google Protocol buffer 系列一： 对比 Protocal Buffers, Thrift, Avro

非常好的ppt，讲序列化，主要对比ProtocalBuffers,Thrift,Avrohttp://www.slideshare.net/IgorAnishchenko/pb-vs-thrift-vs-avro
三少GG·2020-09-11 03:44

序列化之protobuf与avro对比(Java)

序列化之protobuf与avro对比(Java)最近在做socket通信中用到了关于序列化工具选型的问题，在调研过程中开始趋向于用protobuf，可以省去了编解码的过程。
程序猫互联网底层剖析·2020-09-11 03:23

跨语言通信方案的比较—Thrift、Protobuf和Avro

http://www.bubuko.com/infodetail-605556.html常用的跨语言通信方案：基于SOAP消息格式的WebService基于JSON消息格式的RESTful服务以上两种方案的弊端：XML体积太大，解析性能极差JSON体积相对较小，解析相对较快，但表达能力较弱现在比较流行的跨语言通信方案：Googleprotobuf(http://code.google.com/p/
me_lawrence·2020-09-11 02:18

跨语言序列化-protobuf/thrift/avro性能测试

1.编写Schema1.1student.protopackageprotobuf;optionjava_package="com.topsec.trd";optionjava_outer_classname="StudentProto";messageStudent{requiredstringname=1;requiredint32age=2;requiredint32sex=3;option
lj淡然一笑·2020-09-11 02:03

跨语言序列化-protobuf/thrift/avro性能测试

1.编写Schema1.1student.proto[java]viewplaincopypackageprotobuf;optionjava_package="com.topsec.trd";optionjava_outer_classname="StudentProto";messageStudent{requiredstringname=1;requiredint32age=2;requir
追寻北极·2020-09-11 01:02
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他