Avro 第18页

Fens·2020-06-23 07:29

flume日志收集系统常见配置

前面介绍了flume入门实例，介绍了配置netcat信源，以及memory信道，logger信宿，其实flume常见的信源信道信宿有很多，这里介绍flume常用信源的三种方式：netcat,avro,exec

luffy5459·2020-06-23 07:19

ASN 和 PB 的编码效率比较

作者：王纯业###第一个例子http://martin.kleppmann.com/2012/12/05/schema-evolution-in-avro-protocol-buffers-thrift.html

Rayking629·2020-06-23 05:06

使用Jute进行序列化

Zookeeper在网络传输时使用的是Jute进行序列化和反序列化，官方也提出过要使用类似于ApacheAvro、Thrift或是Google的protobuf这样的组件来替换Jute，但考虑到新老版本组件的兼容性

Terisadeng·2020-06-23 05:22

Scala中的枚举

objectSourceTypeextendsEnumeration{//这行是可选的，类型别名，在使用import语句的时候比较方便，建议加上typeSourceType=Value//枚举的定义valKafka,Avro

Woople·2020-06-23 04:31

Flume1.9.0的安装、部署、简单应用(含分布式、与Hadoop3.1.2、Hbase1.4.9的案例)

设置环境变量验证是否安装成功Flume的案例案例1：Avro案例2：Spool案例3：Exec案例4：Syslogtcp案例5：JSONHandler案例6：Hadoopsink案例7：FileRollSink

dianbutang4605·2020-06-23 04:52

flume启动报错

DEBUG,console，报错：org.apache.flume.FlumeException:Failedtosetupserversocketatorg.apache.flume.source.AvroSource.start

dengmanzhou3124·2020-06-23 03:25

第五章：基于Hive实现海量数据离线处理

Hadoopstart-all.sh2.修改flume配置文件flume.propertiesa1.sources = r1a1.sinks = k1a1.channels = c1a1.sources.r1.type = avroa1

给dongcc换成百威·2020-06-23 03:29

Flume Avro 两台机器间进行数据传输的方式

flume通过avro方式在两台机器之间进行数据传输比如要在192.168.17.18上把数据传到192.168.17.171首先要再两台机器上都部署flume2在17flume下这样配置avro-flume.confagent3

年华似水·2020-06-23 02:45

大数据学习之小白快速了解flume

其中最常用的是SpoolingDirectorySource，ExecSource和AvroSource。关键参数讲解：（1）batchSize：这

大数据在说话·2020-06-23 01:10

Pinot架构介绍

Kafka3.索引技术：为了提供快速的查询，Pinot采用列式存储以及各种索引技术（bitmap，invertedindex）2.DataFlow2.1Hadoop(Historical)1.输入数据：AVRO

cjfeii·2020-06-22 23:35

大数据存储HDFS详解

数据序列化FaceBookThrift（具体序列化和RPC两个功能）、GoogleProtocolBuffers（ProtoBuf）（只有序列化功能，不具备RPC功能）、ApacheAvro（具体序列化和

凹谷·2020-06-22 21:51

Flume采集处理日志文件

[b]1.source[/b]flume提供多种source供用户进行选择，尽可能多的满足大部分日志采集的需求，常用的source的类型包括avro、exec、netcat、spooling-directory

wcnmbcsd·2020-06-22 20:14

Hadoop中的几种文件格式

SequenceFile,MapFile,AvroDatafile。

Lust-Ring·2020-06-22 18:19

Flume学习06 — SDK

目前Flume支持自定义客户端通过Avro、Thrift、Log4j、Syslog和HTTPPOST（JSON格式）发送的数据。客户端发送的数据必须是Flume能够识别的Event格式。

死神的丧钟·2020-06-22 12:16

通过mavros调用px4遇得到的问题

在TX1上通过mavros调用px4遇到问题如下：[FATAL][1455208235.573568497]:UAS:GeographicLibexception:Filenotreadable/usr

走出自动化坑的程序猿·2020-06-22 12:15

flume 总结：日常数据采集中配置文件

文章目录1.flume简介1.1工作流程1.2核心概念1.3数据类型2.flume下载安装2.1下载2.2安装3.配置文件3.1常见的source3.1.1avrosource3.1.2execsource3.1.3spooling-directorysource3.2

机智的小狐狸·2020-06-22 10:43

Flume中Multiplexing Channel Selector(分类选择器)的使用

1.需求：在102机器启动agent1（netcatsource—memorychannel—avrosink）agent2（execsource—memorychannel—avrosink）在103

Hi Xiu Hui·2020-06-22 09:11

机载处理器(树莓派、Jetson TX2及个人pc等均适用)配置ROS+mavros开发环境 (Pixhawk飞控测试)

需要事先准备的：树莓派：（1）一块装了Ubuntu16.04mate系统的树莓派（我的是3代，别的平台没有测试过），（2）键盘、显示器等需要操作树莓派终端的工具（或者已经配置好远程终端或者远程桌面）,（3）网络环境，（4）USB转串口转换器（解决树莓派串口使用问题，配置串口的话较麻烦），（ps.要加强散热，树莓派cpu比较菜，配置环境过程中若芯片温度过高系统很容易崩掉的2333，我当时多搬了一台风

圣右·2020-06-22 08:18

Flume基本知识点

3.1source组件是专用于收集日志的，可以处理各种类型各种格式的日志数据,包括avro、thrift、exec、jms、spoolingdirectory、

bigdataCoding·2020-06-22 07:33

mavros连接px4失败的usb-ttl原因

问题描述：最近在搞mavros，以方便协处理器和pixhawk通讯，在按照官网教程安装mavros，设置px4，连接硬件之后发现mavros卡在中间下不去：MAVROSstarted.MYID1.240

SoftwarerRJY·2020-06-22 05:42

flume AvroSource和AvroSink使用

AvroSourceAvroSource是flume主要的RPCSource，能接收其他节点的AvroSink或者用FlumeSDK发来的数据,常与AvroSink结合作为缓冲使用。

SW_LCC·2020-06-22 04:38

ros+mavros+gazebo仿真实践要点总结

1.安装ros时要看好对应的版本，ubuntu16.4对应的kenitic版本，Ubuntu18.04对应的melodic版本。2.通过ssh方式clonepx4_firmware比http方式快的多3.参考教程https://gaas.gitbook.io/guide/wu-ren-ji-zi-dong-jia-shi-xi-lie-offboard-kong-zhi-yi-ji-gazebo-

LockeDr·2020-06-22 00:52

px4 offboard外部控制仿真

官网中http://dev.px4.io/en/ros/mavros_offboard.html，只给示例代码，却不告诉怎么用，实在有点坑，还好参照网上的一些博客，找到了使用方法。

Lin_QC·2020-06-22 00:18

8、Flume 日志采集工具

Flume提供对数据进行简单处理并且写到各种数据接受方（可定制）的能力，Flume提供从本地文件（spooldirectorysource)、实时日志（taildir、exec)、REST消息、Thrift、Avro

bug发现与制造·2020-06-21 23:06

PX4 Offboard Control with MAVROS--MAVROS（环境搭建）

需要准备的材料———————————————————————————————————————————1、PIXhawk或者Pixracer2、一个已经安装好ubuntumate16.04的树莓派3B3、一根microUSB数据线———————————————————————————————————————————一、安装ROS1、设置source.listsudosh-c'echo"debhttp

__RainBow__·2020-06-21 20:13

ROS环境下Pixhawk+XPlane半实物仿真

本文介绍了借助Mavros软件包实现ROS环境下机载处理的半实物仿真环境搭建。

冬青实验室·2020-06-21 19:31

px4通过mavros+wifi+板载计算机连接地面站

方法机载计算机和地面站计算机需要连在一个wifi下才行启动mavros时加上连接地面站的参数即可：我们原先没有连地脉站的命令是：roslaunchmavrospx4.launchfcu_url:=/d

这是小旭哦·2020-06-21 15:39

flume-ng配置文件详解（一）

1Avro案例[root@localhostconf]#viavro.confagent1.sources=r1agent1.sinks=k1agent1.channels=c1agent1.sources.r1

豹变·2020-06-21 14:03

Flume的Source、Sink总结，及常用使用场景

数据源SourceRPC异构流数据交换AvroSourceThriftSource文件或目录变化监听ExecSourceSpoolingDirectorySourceTaildirSourceMQ或队列订阅数据持续监听

昕友软件·2020-06-21 07:00

Docker容器中运行flume

Namethecomponentsonthisagentapp1.sources=r1app1.sinks=k1app1.channels=c1#Describe/configurethesourceapp1.sources.r1.type=avroapp1

redstarofsleep·2020-06-21 07:08

Flume学习（三）Flume的配置方式

1、单一代理流配置1.1官网介绍http://flume.apache.org/FlumeUserGuide.html#avro-source通过一个通道将来源和接收器链接。

匿名啊啊啊·2020-06-21 06:29

java.lang.IllegalStateException: File name has been re-used with different files. (flume报错）

Filenamehasbeenre-usedwithdifferentfiles.Spoolingassumptionsviolatedfor/usr/local/data/flumedata/words.txt.COMPLETEDatorg.apache.flume.client.avro.ReliableSpooling

hxhh·2020-06-21 04:53

Flume-ng：avro源发送日志

agent1向agent3发送日志agent3配置agent3.channels.ch1.type=memoryagent3.sources.avro-source1.channels=ch1agent3

lskyne·2020-06-21 03:38

Flume 数据采集系统性能优化和关键问题汇总

其中最常用的是SpoolingDirectorySource，ExecSource和AvroSource。关键参数讲解：（1）batchSize：这个参数当你采用的是

小草君·2020-06-21 02:37

【Flink实战系列】Flink使用StreamingFileSink写入HDFS（parquet格式snappy压缩）

Flink使用StreamingFileSink写入HDFS怎么用snappy压缩，之前的文章介绍过了写入parquet格式的数据，当时也有星球里面的朋友问这种写法怎么压缩，我只是简单的回复了说可以用AvroParquetWriter

JasonLee-后厂村程序员·2020-06-13 13:49

Flume自定义Source详细操作

Source组件可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec、jms、spoolingdirectory、netcat、sequencegenerator、syslog、http

大数据小同学·2020-06-10 08:54

flume 到 kafka整合

注意启动flume是--name要和配置文件的前缀一直否知启动失败flume目录为/opt/cloudera/parcels/CDH/lib/flume-ngflume配置文件exec-memory-avro.confvim

彬在俊·2020-06-02 11:00

宽带优化之Flume Avro在个推的实践

这期文章，Mr.Tech邀请了在性能优化方面有着丰富经验的个推高级运维工程师白子画，为大家分享宽带优化之FlumeAvro在个推的实践。

个推·2020-05-27 23:37

Apache Parquet 技术干货分享

Parquet是一种面向分析的、通用的列式存储格式，兼容各种数据处理框架比如Spark、Hive、Impala等，同时支持Avro、Thrift、ProtocolBuffers等数据模型。

大数据技术架构·2020-05-27 12:08

hive的文件格式和压缩

查了查资料解决了问题，在此记录并引申一下2、文件格式支持的文件格式在官网写的就很明显了Hivesupportsseveralfileformats:TextFileSequenceFileRCFileAvroFilesORCFilesParquet

早点起床晒太阳·2020-05-19 17:35

Flink SQL 解析复杂（嵌套）JSON

在Flink1.10的TableAPI和SQL中，表支持的格式有四种：CSVFormatJSONFormatApacheAvroFormatOldCSVFormat官网地址如下：https://ci.apache.org

春江花夜月·2020-04-12 15:00

Apache Avro是什么干什么用的(RPC/序列化)

Avro（读音类似于[ævrə]）是Hadoop的一个子项目，由Hadoop的创始人DougCutting（也是Lucene，Nutch等项目的创始人，膜拜）牵头开发Avro是一个数据序列化系统，设计用于支持大批量数据交换的应用

吴国友·2020-04-12 14:52

java序列化框架

序列化需要考虑的点1、通用性：是否跨平台，是否跨语言2、性能成本：时间；空间3、可读性：二进制vsxmlvsjson（等等）4、安全性：跨机房访问常用框架1、thrift2、protobuf3、xml4、json5、avro

canezk·2020-04-11 05:18

大数据通用的序列化器——Apache Avro

1.简介ApacheAvro（以下简称Avro）是一种与编程语言无关的序列化格式。DougCutting创建了这个项目，目的是提供一种共享数据文件的方式。

CoderJed·2020-04-07 03:14

avro 文件的读写

_importorg.apache.avro.io.{DatumWriter,_}importorg.apache.avro.specific.

Helen_Cat·2020-04-06 21:30

2018-01-11 Hadoop Platform and Application Framework -- Lesson 5 Applications and Services

OverviewoftheTypesofHadoop-basedapplication:Databases/StoresAvro:ItletsususedatestructureswithincontextofHadoopMapReducejobs

鸭鸭学语言·2020-04-04 18:06

【go语言】跨语言进行TCP网络数据传输

1.背景在一个微服务盛行，http2.0即将普及，各种序列化工具(ApacheThrift、googleprotocolbuffers、Apacheavro以及新一代googleflatbuffers）

_清平·2020-04-04 14:29

Netty4实战 - TCP粘包&拆包解决方案

它已经得到了成百上千的商业项目的验证，例如Hadoop的RPC框架Avro就使用了Netty作为底层通信框架，其他的业界主流RPC框架，例如：Dubbo、Google开源的gRPC、新浪微博开源的Motan

FX_SKY·2020-04-03 05:15

看电影你能不能闭好你的嘴？

2017/08/21星期一Article|8F姐Pictures|StavrosStamatiou昨天一下班直奔电影院去看《二十二》，这部朋友圈无数人推荐，口碑非常好的电影，今天才有空去看。

8F姐·2020-03-29 23:04

推荐频道

Avro

Mahout推荐算法API详解