Avro

flume学习（三）：flume将log4j日志数据写入到hdfs

配置文件如下：tier1.sources=source1tier1.channels=channel1tier1.sinks=sink1tier1.sources.source1.type=avrotier1
xiao_jun_0820·2020-06-30 00:43

RPC for C/C++

thrift:open-sourcedbyfacebook,anditisusedbyTaobao.Supportmultiplelanguage,butNOTsupportdynamictyping,Avro
Alan_Pisces·2020-06-29 21:59

无人机仿真环境搭建-Ubuntu18.04安装PX4固件、ROS、gazebo、mavros

Ubuntu18.04安装PX4仿真环境、ROS、gazebo、mavros本教程就是介绍一下在Ubuntu18.04中安装PX4仿真环境的步骤，之前写过一篇文章介绍过在16.04中安装的步骤，现在一些环境有变化
不断积淀·2020-06-29 13:00

Hadoop家族系列文章

series-hadoop-family/Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop,Hive,Pig,HBase,Sqoop,Mahout,Zookeeper,Avro
葡萄喃喃呓语·2020-06-29 08:45

Mahout推荐引擎

用Maven构建Mahout项目Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop,Hive,Pig,HBase,Sqoop,Mahout,Zookeeper,Avro,
lxr-bzd·2020-06-29 06:15

Flume中阶应用——启动命令详解、组件范例说明、事务说明

/flume-ng[options]...commands:helpdisplaythishelptext#显示帮助信息agentrunaFlumeagent#启动flume代理avro-clientrunanavroFlumeclient
懒癌牙套妹·2020-06-29 06:31

Flume spoolDirSource 无法加header怎么办

自带的spoolDirSource不像avroSource一样可以加文件头，所以我们需要自定义步骤：1.在项目目录下的Mavendependencies下找下面选中的的：2.自己新建一个MySpoolDirectorySource
Jsoooo·2020-06-29 01:03

关于flume Header头信息乱码解析问题

hostnamewangdong-testfilenametest-log.....这种现象导致我们在写消费者程序的时候，无法通过正常格式化json的方式或者字符串切割的方式去做解析，经查找，发现flume内部采用了apache的消息格式中间件avro
Suntoma·2020-06-28 23:50

使用MAVROS来实现电脑与PIXHAWK之间的通讯

使用MAVROS来实现电脑与PIXHAWK之间的通讯官网教程：http://dev.px4.io/master/zh/ros/mavros_installation.html推荐使用源码安装，二进制不可修改源代码创作工作空间查看自己是否安装
爱吃猪猪的男人·2020-06-28 22:31

flume之Avro Source和Avro Sink

2019独角兽企业重金招聘Python工程师标准>>>一、AvroSouce介绍Flume主要的RPCSource是AvroSourceAvroSource被设计为高扩展的RPC服务器端，能从其他的FlumeAgent
weixin_34301132·2020-06-28 16:57

flume spooldir bug修复

BUG:在往目录中copy大文件时，没有复制完,flume就开始读-->导致报错在代码中体现为:org.apache.flume.client.avro.ReliableSpoolingFileEventReader.retireCurrentFile
weixin_34244102·2020-06-28 14:20

Flume学习之路 （三）Flume的配置方式

一、单一代理流配置1.1官网介绍http://flume.apache.org/FlumeUserGuide.html#avro-source通过一个通道将来源和接收器链接。
weixin_34168880·2020-06-28 12:09

Flume安装与配置详解

比如可以同时从文件目录、log4j、http、avro、kafka等渠道收集日志，通过传输输出到kafka、hdfs、MySQL、文件等。在传输过程中可以对数据做简单处理。
weixin_34008805·2020-06-28 09:49

Flume部署安装详细图文步骤(2节点)

下面我来安装部署FlumeNG，这里我们安装配置两个节点cloud003、cloud004，以AvroSource+MemoryChannel+HDFSSink结合方式示例讲解，大家可以尝试其他实现方式
weixin_33921089·2020-06-28 08:34

Flume学习之路 （二）Flume的Source类型

一、概述官方文档介绍：http://flume.apache.org/FlumeUserGuide.html#flume-sources二、FlumeSources描述2.1AvroSource2.1.1
weixin_33911824·2020-06-28 07:35

GCC的ARM编译选项

Next:AVROptions,Previous:AdaptevaEpiphanyOptions,Up:SubmodelOptions3.17.2ARMOptionsThese`-m'optionsaredefinedforAdvancedRISCMachines
weixin_33787529·2020-06-28 05:12

flume学习（三）---sink

sink名称type数据目的地工作方式备注HDFSSinkhdfsHDFSHiveSinkhivehiveLoggerSinklogger自定义日志级别为INFO，主要用于调试AvroSinkavro外部
weixin_33744141·2020-06-28 04:32

Flume-习题

1、作用（1）Source组件是专门用来收集数据的，可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec、jms、spoolingdirectory、netcat、sequencegenerator
weixin_33724059·2020-06-28 04:30

[转] flume使用（六）：后台启动及日志查看

/conf/g01-taildir-avro-sink.conf-nagent1-Dflume
weixin_30764771·2020-06-28 00:28

【Flume学习之一】Flume简介

（Events可以是日志记录、avro对象等。）Flume的数据流由事件(Event)
weixin_30697239·2020-06-27 23:38

基于Flume+LOG4J+Kafka的日志采集架构方案

Flume包含Source、Channel、Sink三个最基本的概念：Source——日志来源，其中包括：AvroSource、ThriftSource、ExecSource、JMSSourc
第八个猴子·2020-06-27 21:19

Linux安装yum

安装与卸载背景由于某种原因删了/usr/share中的yum-plugins、yum-cli文件夹，导致了yum命令失效，后发现之后，从其他虚拟机中导入了这两个文件夹，但是还是缺少了配置文件，导致yum命令一直不能使用，从avro
魏小强·2020-06-27 14:22

PX4学习笔记3: 速度控制

offboard模式offboard模式控制例子注意:必须2Hz以上的频率发布控制消息,否则PX4则自动由offboard切会返航return模式(一直网往上飞至一定高度后返航,可由以下参数进行调整)1.mavros
wbzhang233·2020-06-27 14:27

PX4学习（1）——PX4固件版本开发环境（ROS+mavros版本）

参考px4官网流程：https://dev.px4.io/en/setup/dev_env_linux_ubuntu.htmlhttps://dev.px4.io/en/setup/building_px4.html配置过程中网速一定要好！！！！一定要好！！！！最好！！！不然会出很多莫名其妙的bug的！！！！！--------------------------------------------
wb790238030·2020-06-27 14:09

Apache Flume 1.7深入浅出，快速入门

01-ApacheFlume的介绍.wmv汪文君Flume深入浅出实战视频-02-环境搭建，快速入门，快速启动一个Agent.wmv汪文君Flume深入浅出实战视频-03-ApacheFlume的配置，AvroAgent
wangwenjun69·2020-06-27 13:36

使用Docker容器模拟分布式flume

使用Docker容器模拟分布式flume使用Docker模拟分布式flume，agent1通过avro接口连接agent2和agent3，agent2和agent3采用负荷分担方式。
大叔在编程·2020-06-27 08:44

Hadoop 基础架构 详解

其生态包括：Common：一系列组件和接口，用于分布式文件系统和通用I/O（序列化，JavaRPC和持久化数据结构）Avro：一种序列化系统，用于支持高效、跨语言的RPC和持久化数据存储MapReduce
_Rick_·2020-06-27 07:10

Flume实战三，将A服务器日志实时采集到B服务器中

架构图：技术选型：execsource+memorychannel+avrosinkavrosource+memorychannel+loggersink1)serverA数据收集端在cd$FLUME_HOME
蜗牛!Destiny·2020-06-27 06:35

hadoop 之flume 日志收集系统，及与kafka相似与不同处

source：source组件是专门用来收集数据的，可以处理各种类型、各种格式的日志数据,包括avro、thrift、exec、jms、spoolingdirectory、netcat、sequencegenerat
u013378306·2020-06-27 06:20

PX4+gazebo仿真给无人机添加摄像头

1.启动仿真：cd到Firmware文件夹，执行以下代码roslaunchpx4mavros_posix_sitl.launch如果启动过程卡住或者很慢，下载该链接的压缩包https://bitbucket.org
1113249853·2020-06-27 05:00

Flume学习笔记 --- 命令参数

bin/flume-ngversion下面是具体的分类参数commands:helpdisplaythishelptext展示flume当前参数帮助agentrunaFlumeagent运行一个agentavro-clientrunanavroFlumeclient
杨鑫newlfe·2020-06-27 05:38

Flume学习笔记 --- Flume数据抽取

2.RPC模式Flume发行版本包含的Avro客户端可以使用AvroRPC机制将给定文件发送到FlumeAvro源。
杨鑫newlfe·2020-06-27 05:38

Flume学习笔记 --- Flume搭建与配置

例如，Avro源需要主机名（IP
杨鑫newlfe·2020-06-27 05:07

flume的多agent连接

2.实现1）example01机器上的tail-avro.conf文件a1.sources=r1a1.sinks=k1a1.channels=c1#这里数据源的配置和单机版一样a1.sources.r1
澈彻策·2020-06-27 04:40

flume 的安装和入门小例子

本文结构我的环境CentOS7flume安装与启动flume的avro小例子Spool的小例子Syslogtcp小例子1.flume安装与启动1.1下载安装包访问官网传送门，不信你不点下载apache-flume
双斜杠少年·2020-06-27 03:55

【Hadoop】Flume NG Getting Started（Flume NG 新手入门指南）翻译

获得FlumeNG从源码构建配置flume-ng全局选项flume-ngagent选项flume-ngavro-client选项提供反馈FlumeNG是什么？
_和·2020-06-27 02:24

Flume 使用场景记录

Flume用来收集日志信息，这里记录以下使用场景：场景一：使用avrosource,memory,logger将收集到的日志打印在标准输出，适合测试。
sj206327327206·2020-06-27 00:02

入门大数据---Spark_Streaming整合Flume

二、推送式方法在推送式方法(Flume-stylePush-basedApproach)中，SparkStreaming程序需要对某台服务器的某个端口进行监听，Flume通过avroSink将数
一线大数据·2020-06-26 23:00

flume基础（二）

Source、Channel和Sink的内置类型如下：（可参考官网修改配置http://flume.apache.org/FlumeUserGuide.html）FlumeSourceSource类型说明AvroSource
今天摸鱼了吗·2020-06-26 21:24

flume-kafka整合--实时日志采集

flume采用架构exec-source+memory-channel+avro-sinkavro-source+memory-channel+kafka-sinkkafka采用架构启动zookeeperzkServer.shstart
上善若水211·2020-06-26 20:22

Flume日志采集，avro采集，以及通过参数控制下沉到hdfs的文件大小，时间等控制

1Flume日志收集1.1总体介绍官方地址：http://flume.apache.org/1.1.1背景flume作为cloudera开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume初始的发行版本目前被统称为FlumeOG（originalgeneration），属于cloudera。但随着FLume功能的扩展，FlumeOG代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴
to.to·2020-06-26 20:06

Hadoop 压缩格式

使用容器文件格式，例如顺序文件、Avro数据文件、ORCFiles或者Parquet文件，所有这些文件格式同时支持压缩和切分。通常最好与一个快速压缩工具联合使用，例如LZO，LZ4，或者Snappy。
天地不仁以万物为刍狗·2020-06-26 19:58

flume之avro实践

channels=c1a1.sources=r1a1.sinks=k1a1.channels.c1.type=memorya1.sources.r1.channels=c1a1.sources.r1.type=avroa1
左边的天堂·2020-06-26 19:48

PX4 SITL MAVROS速度控制-用机身坐标系发布速度

不改变PX4控制双闭环源码，仅依靠mavros现有的速度控制和位置控制话题，来实现旋翼圆形轨迹。
taste_cyn·2020-06-26 18:45

flume--avro输入

a1.sources=s1a1.channels=c1a1.sinks=k1a1.sources.s1.type=avroa1.sources.s1.channels=c1a1.sources.s1.bind
wangfutai91·2020-06-26 16:49

入门大数据---SparkSQL_Dataset和DataFrame简介

它具有以下特点：能够将SQL查询与Spark程序无缝混合，允许您使用SQL或DataFrameAPI对结构化数据进行查询；支持多种开发语言；支持多达上百种的外部数据源，包括Hive，Avro，Parquet
一线大数据·2020-06-26 10:00

Flume 常见配置zo

AvroSource：监听一个avro服务端口，采集Avro数据序列化后的数据
洪荒或有仙·2020-06-26 07:52

大型协作框架flume中avro类型的应用场景

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。系统功能编辑日志收集Flume最早是Cloudera提供的日志收集系统，目前是Apache下的一个孵化项目，Flume支持在日志系统中定制各类数据发送方，用于收集数
rumple·2020-06-26 06:09

Nginx 模块开发之日志模块---实时记录http请求信息写入flume

日志框架采用flume（两种source：syslogtcp和avro），日志分析采用hadoop。
rizhaolutong·2020-06-26 05:44

Hadoop项目基本

Common:一系列组件和接口,用于分布式文件系统和通用I/O(序列化,javaRPC和持久化数据结构)Avro:一种序列化系统,用于支持高效,快语言的RPC和持久化数据存储MapReduce:分布式数据处理模型和执行华景
lg大大·2020-06-26 04:19
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他