Avro

Java里面的序列化和反序列化

什么是序列化和反序列化序列化和反序列化是将对象转化成字节数组以方便保存或者用于网络传输，这个对象可以是一个图片，一个字符串，一个class等等，常见的序列化格式有字节数组，json格式，xml格式，更加高效的有google开源的ProtocolBuffers，以及ApacheAvro
简书生活2017·2019-12-16 23:04

flume面试题

1、作用（1）Source组件是专门用来收集数据的，可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec、jms、spoolingdirectory、netcat、sequencegenerator
随性i·2019-12-14 19:00

Hive调优之数据篇

文件格式Hive支持TEXTFILE,SEQUENCEFILE,AVRO,RCFILE,ORC和PARQUET等6种文件格式。
长较瘦·2019-12-12 14:53

flutter最简单轻量便捷的路由管理方案NavRouter

大家好，我是CrazyQ1，今天给大家推荐一个路由管理方案，用的非常不错的，叫nav_router。项目地址是：https://github.com/fluttercandies/nav_router这篇文章主要是来介绍这个东西的使用。nav_router是flutter最简单/轻量/便捷的路由管理方案，支持各种路由动画，跳转/传参起来非常方便，跳转新页面只需：routePush(NewPage(
王橙艺·2019-12-11 22:00

2019-03-13

关系型数据库的数据导入到Hadoop(可保存为多种文件类型：文本类型，Avro二进制类型以及SequenceFiles类型)与其相关的系统(如HBase和Hive)中；同时也可以把数据从Hadoop系统里抽取并导出到关系型数据库里
做一只乐观的小猴子·2019-12-08 02:00

面试官：Netty这些我必问

最流行的NIO框架，由JBOSS提供的，整合了FTP,SMTP,HTTP协议API简单成熟稳定社区活跃·经过大规模验证（互联网、大数据、网络游戏、电信通信）Elasticsearch、Hadoop子项目avro
mousycoder·2019-11-19 21:21

Flume 初探

Flume组成架构详解：Source输入端常用的类型有：spoolingdirectory、exec、avro、syslog、netcat等Put事务的流程：doPut：将批数据先写入临时缓冲区putListdoCommit
Nice·2019-11-19 21:32

avro源码阅读-读avro文件

在实际工作中，会将avro文件读到一个类中。下面就看看代码是如何实现的（这里看的是avro-1.7.7版本）。
lzwang2·2019-11-08 17:12

netty源码分析之nio线程个数以及线程命名规则

概述netty是一个以高性能著称的网络通信框架，许多开源项目都使用了netty作为底层网络通信框架，如avro，dubbo，nats；本文将从源码的角度讲述netty在确定线程个数方面如何保证应用程序性能最优
简书闪电侠·2019-11-08 17:50

sqoop数据导入导出应用案例

所有记录都存储为文本文件的文本数据（或者Avro、sequence文件等二进制数据）。1.1语法下面的命令用于将数据导入到hdfs上。
yanzhelee·2019-11-02 02:57

Spark读写csv,txt,json,xlsx,xml,avro文件

Spark读写csv,txt,json,xlsx,xml,avro文件1.Spark读写csv文件2.Spark读写txt文件3.Spark读写json文件4.Spark读写excel文件5.Spark
search-lemon·2019-10-30 14:23

06 ，spark 提速手段 ： 16G 文件读取耗时

1，普通数据格式：非压缩(我们用csv)Sparksupportsmanyformats,suchascsv,json,xml,parquet,orc,andavro.Sparkcanbeextendedtosupportmanymoreformatswithexternaldatasources-formoreinformation2
孙砚秋·2019-10-20 22:51

Flume的基础架构

每日积累学习Flume的基础架构Source负责接收数据到flumeAgent的组件；可以处理各种类型、各种格式的日志数据，avro、thriftexecjmsspoolingdirectorynetcatsequecesysloghttplegacyChannel
gddemon·2019-10-11 20:54

Hive的数据存储格式

Hive支持的存储格式有：TextFileSequenceFileRCFileAvroFilesORCFilesParquet注：Hive默认的格式为TextFile，可以通过sethive.default.fileformat
BabyFish13·2019-10-10 17:59

Hive的数据存储格式

Hive支持的存储格式有：TextFileSequenceFileRCFileAvroFilesORCFilesParquet注：Hive默认的格式为TextFile，可以通过sethive.default.fileformat
BabyFish13·2019-10-10 17:59

[PX4]mavros安装+offboard控制过程记录

本篇文章将继续开发环境的搭建，完成ROS+gazebo+Mavros的仿真环境搭建，其中mavros可以用来执行offboard控制。!!!
SharkU·2019-10-09 14:00

Flume-自定义 Source

Source组件可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec、jms、spoolingdirectory、netcat、sequencegenerator、syslog、http
江湖小小白·2019-09-28 22:00

Flume 初探

Flume组成架构详解：Source输入端常用的类型有：spoolingdirectory、exec、avro、syslog、netcat等Put事务的流程：doPut：将批数据先写入临时缓冲区putListdoCommit
Nice_N·2019-09-24 16:00

Spark 系列（八）—— Spark SQL 之 DataFrame 和 Dataset

它具有以下特点：能够将SQL查询与Spark程序无缝混合，允许您使用SQL或DataFrameAPI对结构化数据进行查询；支持多种开发语言；支持多达上百种的外部数据源，包括Hive，Avro，Parquet
heibaiying·2019-09-23 08:38

浅谈序列化之protobuf与avro对比(Java)

但是调研过程中发现了protobuf的一些弊端，比如需要生成相应的文件类，和业务绑定太紧密，所以在看了AVRO之后发现它完美解决了这个问题。下面记录下对这两种序列化工具的入门与测评。
·2019-09-22 23:04

Spring Batch 4.2 新特性

的发行版主要增强了下面的改进：使用Micrometer来支持批量指标（batchmetrics）支持从ApacheKafkatopics读取/写入（reading/writing）数据支持从ApacheAvro
OSSEZTEC·2019-09-11 11:00

Spring Batch 4.2 新特性

的发行版主要增强了下面的改进：使用Micrometer来支持批量指标（batchmetrics）支持从ApacheKafkatopics读取/写入（reading/writing）数据支持从ApacheAvro
HoneyMoose·2019-09-11 11:10

YARN底层基础库

的稳定性和扩展性,YARN借用了MRV1的一些底层基础库,比如RPC库等,但因为引入了很多新的软件设计方式,所以它的基础库更多,包括直接使用了开源序列化框架ProtocolBuffers和ApacheAvro
BirdieGarden·2019-08-30 16:00

Flume知识点总结

spoolingdirectory(读文件夹里的数据)exec(执行linux命令)–常见的有tail-F文件监听一个文件里变化(其中-F是挂掉后会重试,-f是挂掉后不会重试)syslog监听日志文件的avro
小角色XT·2019-08-25 20:09

Flume的avro_source exec_source spooldir_source thrift_source

1.flume的avro_source的使用1.在flume的conf文件夹下建立avro.conf文件[root@hadoop01/]#vi/usr/local/flume-1.9.0/conf/avro.conf2
C_time·2019-08-24 17:22

关于avro

关于avro1、avro是一个独立于编程语言的数据序列化系统。
大飞飞_s8·2019-08-22 10:19

Spark 系列（十五）—— Spark Streaming 整合 Flume

二、推送式方法在推送式方法(Flume-stylePush-basedApproach)中，SparkStreaming程序需要对某台服务器的某个端口进行监听，Flume通过avroSink将数
黑白影·2019-08-15 07:00

flink打包编译问题

[ERROR]Failedtoexecutegoalonprojectflink-avro-confluent-registry:Couldnotresolvedependenciesforprojectorg.apache.flink
小白鸽·2019-08-14 14:15

Spark 系列（八）—— Spark SQL 之 DataFrame 和 Dataset

它具有以下特点：能够将SQL查询与Spark程序无缝混合，允许您使用SQL或DataFrameAPI对结构化数据进行查询；支持多种开发语言；支持多达上百种的外部数据源，包括Hive，Avro，Parquet
黑白影·2019-08-12 07:00

Java对象与Avro相互转换

Java对象与Avro相互转换一、pom依赖和包引用1.pom依赖2.包引用二、序列化和反序列化1.java对象序列化为avro字节数组2.反序列化三、完整代码和测试用例一、pom依赖和包引用1.pom
cherlshall·2019-08-09 16:09

大数据入门之分布式计算框架Spark(4) -- Spark Streaming整合Flume、Kafka

2.整合流程vimstreaming.conf（仅供测试）agent1.sources=avro-sourceagent1.channels=logger-ch
Kiku_xq·2019-08-06 22:39

flink sql-clent MATCH_RECOGNIZE kafka 例子

环境flink1.7.2增加flink1.7.2的lib中的jar，否则会报类找不到avro-1.8.2.jarflink-connector-kafka-0.10_2.12-1.7.2.jarflink-connector-kafka-base
大海之中·2019-07-05 14:29

MAVROS PX4

视觉开发的工作在NVIDIA的JETSONTX2板卡上完成，也可以用ODROID，这个视情况而定，而视觉识别后的结果要传输给飞控，因为在TX2上面跑的是ROS系统，所以TX2与PIXHAWK数据之间的交互使用到了MAVROS
weixin_44616080·2019-06-30 23:57

Impala性能优化总结

通常对于大数据量来说，Parquet文件格式是最佳的2.防止入库时产生大量的小文件(insert...values会产生大量小文件，应该避免使用)  在impala外生成数据时，最好是text格式或者Avro
写Bug的张小天·2019-06-05 18:35

序列化和反序列化

serialVersionUID的作用Transient关键字绕开transient机制的办法序列化小结分布式架构下常见序列化技术了解序列化的发展简单了解各种序列化技术json序列化框架Hessian序列化框架Avro
番茄柿·2019-06-04 16:52

Hive存储格式跟压缩对比(各种技术都在这里)

存储:1TextFile2SequenceFile3RCFile4OrcFile5Parquet6Avro6种性能测试textfile默认格式；存储方式为行存储；磁盘开销大数据解析开销大；但使用这种方式
Hellooorld·2019-06-01 13:39

HIVE中常见文件存储格式比较

文件格式在HIVE中，常见的文件存储格式有TextFileParquetORCSequenceRCAVRO建表语句这里我们根据不同的文件格式，新建测试表。
henrrywan·2019-05-31 16:21

RPC原理解析

GRPC与thrift、avro-rpc等其实在总体原理上并没有太大的区别，简而言之GRPC并没有太多突破性的创新。
邵红晓·2019-05-21 18:57

CDH集群配置、日志、jar包以及安装目录和常用命令汇总

二、关键目录1.开启应用目录：默认可以直接敲命令行/opt/cloudera/parcels/CDH/bin查询#lsavro-tools        kite-dataset sqoop-create-hive-tablebeeline
RayBreslin·2019-05-09 19:32

打造通用流处理平台

整合日志输出到Flumestreaming.confagent1.sources=avro-sourcesagent1.channels=logger-channelagent1.sinks=log-sink
huxin9611·2019-05-06 15:49

【4.分布式存储】-数据编码与压缩

在网络和磁盘中考虑格式和人编辑格式到物理格式之间的映射，在牺牲cpu处理压缩和解压缩下，可以减少磁盘占用和网络开销，下面主要讲三种网络通信的数据压缩thriftBP,PB,Avro和几种
梦想家·2019-04-30 00:00

Sqoop —— 在Hadoop和关系型数据库(例如MySQL)之间高效地传输数据

基于MapReduce的Sqoop工具可以很方便的将关系型数据库中的表导入到Hive、HBase中，并且记录可以以文本文件(每行一条记录)存储，也可以以Avro或SequenceFiles的二进制格式存储
A&F·2019-04-19 20:25

Flume avro client和hdfs sink 完成自定义目录文件收集

边缘Node(例如hostname为BJ-NODE1)上的日志每分钟切出来一个文件，通过Flumeavroclient把5分钟粒度内的日志上传到中央节点，生成一个文件，文件名类似BJ-NODE1_timestamp.log
orangleliu·2019-04-11 14:03

整合Flume和Kafka的综合使用

flume版本1.7，kafka版本0.9.0.01、技术选型Agent1：execsource+memorychannel+avrosinkAgent2：avrosource+memorychannel
jackson_hou03·2019-04-10 16:25

Kafka使用Apache Avro序列化

常用的序列化框架有ApacheAvro、Twitter的Thrift和Google的Protobuf。
SimpleEasy·2019-04-05 16:00

redisson 分布式锁 waitTime 小坑

maven依赖org.redissonredisson2.9.0com.fasterxml.jackson.dataformatjackson-dataformat-avro2.9.0RedissonManager
戈里·2019-04-02 14:24

Flume案例-Avro&Exec&Exec&Syslogtcp&JSONHandler&HDFS sink&File Roll Sink&channels

flume案例-Avro、Exec、Exec、Syslogtcp、JSONHandler、HDFSsink、FileRollSink、channels1、AvroAvro可以发送一个给定的文件给Flume
lds_include·2019-03-31 09:11

更多类型的flume source：avro

技术选型：execsource+memorychannel+avrosinkavrosource+memorychannel+loggersinkavro-memory-logger.confavro-memory-logger.sources
baixiaojiu9·2019-03-27 09:41

[Netty]nio线程个数以及线程命名规则

作者：简书闪电侠链接：https://www.jianshu.com/p/512e983eedf5概述netty是一个以高性能著称的网络通信框架，许多开源项目都使用了netty作为底层网络通信框架，如avro
Franco蜡笔小强·2019-03-20 18:08

《StreamSets实现Kafka数据实时写入Mysql》

kafkaorigin目前支持Avro、Binary、Datagram、Del
Mathieu66·2019-03-17 00:00
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他