flume)

flume+kafka+storm+mysql架构设计

这个框架用的组件基本都是最新稳定版本，flume-ng1.4+kafka0.8+storm0.9+mysql（项目是maven项目，需要改动mysql配置，提供两种topology：读取本地文件
曾经de混混·2020-09-14 17:50

大数据高频面试题--Zookeeper、Flume知识点

Zookeeper相关总结1.1选举机制半数机制1.2常用命令ls、get、createFlume相关总结2.1Flume组成，Put事务，Take事务1）Flume组成，Put事务，Take事务TaildirSource
xinlinliu·2020-09-14 16:47

Sqoop从mysql导入数据至HDFS操作（sqoop初级）

后面文章打算用flume+kafka+SlipStream流处理结合起来做一个黑名单访问实时监测数据案例，所以就不单独介绍每个组件具体的用法了，直接在实战中让大家直观感受下在生产环境中这些组件是如何配套使用的
bw_233·2020-09-14 16:33

大数据高频面试题-项目中常见问题

项目中遇到过哪些问题8.1Hadoop宕机8.2Ganglia监控8.3Flume小文件8.4Kafka挂掉8.5Kafka消息数据积压，Kafka消费能力不足怎么处理？
Mr.WiG·2020-09-14 16:03

大数据高频面试题-Flume相关总结

4.4Flume相关总结4.4.1Flume组成，Put事务，Take事务4.4.2Flume拦截器4.4.3FlumeChannel选择器4.4.4Flume监控器4.4.5Flume采集数据会丢失吗
Mr.WiG·2020-09-14 16:03

flume+kafka+storm+mysql架构设计

我重新整理的篇最新版的安装笔记：点击打开链接版本：flume-ng1.6kafka2.10-0.8.2storm0.9.5大家可以看这篇文章中的架构图和数据流向图。但是安装部署请看最新版的。
停不下的脚步·2020-09-14 15:30

关于使用kafka的个人总结

本篇文章算是对几个月工作的一个总结吧，接触了几个月的kafka和flume，感觉自己也只能算是了解kafka的阶段，接下来也打算深入研究下kafka的原理，下面写的算是对工作中使用到的kafka方面的东西做个总结吧
sniperken·2020-09-14 15:20

大数据高频面试题【目录】

大数据高频面试题【目录】（小标题既超链接，点击可直接跳转）手写代码Linux&ShellHadoopFlumeKafkaHiveHBaseSqoopScalaSpark项目中的常见问题JavaSERedisMySQLJVM
Mr.WiG·2020-09-14 12:43

filebeat安装部署

日志采集的工具有很多种，如fluentd,flume,logstash,betas等等。首先要知道为什么要使用filebeat呢？
weixin_30377461·2020-09-14 11:00

CDH5.14操作指南

、Cloudera安装6、Cloudera管理7、ClouderaNavigatorClouderaNavigator使用审计8、Cloudera操作9、Cloudera安全10、文件格式和压缩11、Flume
weixin_30950237·2020-09-14 09:37

Spark基础(六):SparkStreaming实操读写kafka（亲测）

文章目录启动环境配置sources文件flume-kafka创建Kafka-topicsflume导入kafka1、sparkstreaming向Kafka读数据2、sparkStreaming向Kafka
跳蛙pass·2020-09-14 01:54

如何使用 Apache Flume 发送日志数据至 Apache Pulsar

ApacheFlume是一个分布式的、可靠易用的系统，可以有效地收集和汇总来自多种源系统的大量日志数据，或转移这些数据至一个数据中心存储。
Apache Pulsar·2020-09-13 23:31

辅助系统----日志采集框架Flume

hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架，如图所示：1.日志采集框架Flume1.1.1
魔法 • 革·2020-09-13 22:54

通过Time、Window与Trigger比较Google Cloud DataFlow与Apache Flink的区别

众所周知，ApacheFlink最早来源于[Stratosphere]项目，DataFlow则来源于MillWheel项目，且DataFlow的实现是基于FlumeJava和MillWheel。
lmalds李麦迪·2020-09-13 22:01

Flume的优化

现在Hadoop用于日志ETL的工具主要有Facebook的Scribe，Apache的Chukwa和Cloudera的Flume等等。从容错性、负载均
yydcj·2020-09-13 20:12

flume搭建调试

InstallingCDH3https://ccp.cloudera.com/display/CDHDOC/CDH3+Installationwgethttp://archive.cloudera.com/redhat/cdh/cloudera-cdh3.repo-O/etc/yum.repos.d/cloudera.repoyumsearchhadoopyum-yinstallhadoop-0.
yydcj·2020-09-13 20:40

linux单节点配置flume1.8

使用版本:hadoop2.7.3jdk:1.7flume:1.5前提:hadoop已经启动起来。
又见藤蔓·2020-09-13 20:59

使用Flume采集流式数据发送到Kafka，再由Flink消费Kafka数据，实现电话号码统计本地文件读取

defmain(args:Array[String]):Unit={valenv=ExecutionEnvironment.getExecutionEnvironmentenv.setParallelism(1)vallog:DataSet[String]=env.readTextFile("D:\\Mywork\\workspace\\IdeaProjects\\baway2019\\flink
yiyiqi123·2020-09-13 20:21

关于flume采集，这个问题一直无法解决，不知道是hadoop集群的问题还是，flume的问题

on_1_201408262011to/data/flume/event_log/impression_washington_1_201408262011.COMPLETED2014-08-2710:24
千山我独行_不需相送·2020-09-13 20:03

走向云计算之数据收集系统Flume

Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数
想作会飞的鱼·2020-09-13 20:57

数据分析平台(1)：日志收集

记录利用HAProxy给Flume做负载均衡的关键步骤。
豪伊大汉堡·2020-09-13 20:46

flume 架构规划

基于源头的数据大小、数据采集的目的地规划Flume拓扑架构具备缓冲数据峰值的能力规划满足处理瞬时故障所需的容量====Flume单层架构1.架构简单2.配置管理复杂，维护难度大3.HDFS频繁写，小文件多
wjl7813·2020-09-13 20:13

Flume 与 Kafka 整合连接

Flume从一个java程序接受随机生成的数据，并传至kafka，java程序通过http协议连接flume把flume安装目录下的配置文件复制一份到任意路径如：/home/hadoop/flume.conf
whywww·2020-09-13 20:42

flume-Kafka-Strom架构的搭建及使用

一、flumeflume是一个日志监听架构，主要由三部分组成，source、channel、sink。一个agent包含了这三个组件，其中一个agent是一个线程关于这三个组件具体配置不过多赘述。
我想E得足够快·2020-09-13 20:44

flume学习-含安装

1.Flume是什么：Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。
春_·2020-09-13 20:05

Flume NG高可用集群搭建（亲测有效）

高可用架构图结构分配agent1配置(flume-client.conf)：#agent1nameagent1.channels=c1agent1.sources=r1agent1.sinks=k1k2
不言尘世·2020-09-13 20:01

数据仓库 — 06_Flume的安装与部署（Flume组成框架、Agent内部原理、安装配置、日志采集配置文件、拦截器的编写、Flume群起脚本、Flume启动报错解决）

文章目录1概述1.1Flume定义1.2Flume组成架构1.2.1Agent1.2.2Source1.2.3Channel1.2.4Sink1.2.5Event1.3Flume拓扑结构1.3.1Agent
文泽路小男孩·2020-09-13 20:00

Flume安装——环境搭建（二）

文章目录前言一、flume（日志收集系统）简介1.日志收集2.优势二、Flume安装1.Flume安装地址2.安装部署前言如果你从本文中学习到丝毫知识，那么请您点点关注、点赞、评论和收藏大家好，我是爱做梦的鱼
爱做梦的鱼·2020-09-13 20:54

大数据-Flume高可用方案

3.高可用方案在完成单点的FlumeNG搭建后，下面我们搭建一个高可用的FlumeNG集群，架构图如下所示：3.1.角色分配Flume的Agent和Collector分布如下表所示：图中所示，Agent1
cwl_java·2020-09-13 20:49

数据采集工具Flume的安装和使用

Flume是一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统。
猎剑·2020-09-13 20:48

【flume】搭建

flume的搭建1.在官网下载对应的flume版本，我这里下载的是1.8的http://flume.apache.org/2.将下载好的安装包上传至机器上，并解压至指定的目录3.进入解压好的目录下的conf
爱哭的小孩TnT·2020-09-13 20:04

Flume+Kafka+Storm+Redis构建大数据实时处理系统：实时统计网站PV、UV+展示

[TOC]1大数据处理的常用方法前面在我的另一篇文章中《大数据采集、清洗、处理：使用MapReduce进行离线数据分析完整案例》中已经有提及到，这里依然给出下面的图示：前面给出的那篇文章是基于MapReduce的离线数据分析案例，其通过对网站产生的用户访问日志进行处理并分析出该网站在某天的PV、UV等数据，对应上面的图示，其走的就是离线处理的数据处理方式，而这里即将要介绍的是另外一条路线的数据处理
weixin_34406796·2020-09-13 20:26

flume常见异常汇总以及解决方案

flume常见异常汇总以及解决方案作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。
weixin_34306676·2020-09-13 20:50

六大主流大数据采集平台架构分析

今天为大家介绍几款数据采集平台：ApacheFlumeFluentdLogstashChukwaScribeSplunkForwarder大数据平台与数据采集任
weixin_34000916·2020-09-13 20:03

一个flume agent异常的解决过程记录

今天在使用flumeagent的时候，遇到了一个异常，现把解决的过程记录如下：问题的背景：我使用flumeagent来接收从stormtopology发送下来的accesslog,做本地文件落盘。
weixin_30563917·2020-09-13 20:59

分布式日志收集系统 Flume 应用：实时采集 Python 爬取的豆瓣最新电影

Flume是分布式的日志收集系统，它将各个服务器中的数据收集起来并送到指定的地方去，比如送到HDFS。
蔚1·2020-09-13 20:04

flume设计性能优化

目录业务场景：过程1（单flume）：过程2（多个flume并行处理）:过程3（多路复用（路由）模式）：下面一个flume的配置，和selector.header的java代码介绍业务场景：每五分钟会新生成一个
千里风雪·2020-09-13 20:10

flume上传日志到ha hadoop hdfs上

将hadoop集群的core-site.xml和hdfs-site.xml放在flume的conf目录下ForHA,youmustusetheHAservicename,suchashdfs://nameservice1
passer199101·2020-09-13 19:37

Flume NG 简介及配置实战

1、Flume的一些核心概念：1.1数据流模型1.2高可靠性1.3可恢复性2、Flume整体架构介绍2.1Execsource2.2SpoolingDirectorySource3、常用架构、功能配置示例
young-ming·2020-09-13 19:03

flume 学习四：各种执行案例二

=r1a4.channels=c1a4.sinks=k1#具体定义sourcea4.sources.r1.type=spooldira4.sources.r1.spoolDir=/home/jurf/flumelog
健康平安的活着·2020-09-13 19:56

flume如何实现高可用和高性能?

flume的高可用,是依赖tomcat集群来实现的,每一个tomcat的项目都会与一个flume相关联,tomcat高可用的同时,flume也是高可用的.
醉糊涂仙·2020-09-13 19:24

Flume_Flume占CPU资源高问题

原文地址：https://www.jianshu.com/p/0b8c59a1b58b问题描述Flume多个配置合并后，发现占用cpu很高，利用top有30-50%的使用率，某几台机器60-100%，有时候还会挂起
高达一号·2020-09-13 19:45

flume监控分析

flume监控分析由启动flume时可以发现,flume入口函数位于flume-ng-node目录中的Application.java文件中:Info:Sourcingenvironmentconfigurationscript
ty_laurel·2020-09-13 19:14

flume 示例一收集tomcat日志

1234567891011121314151617181920212223242526272829303132#Asingle-nodeFlumeconfiguration#Namethecomponentsonthisagentage
奔跑的小象·2020-09-13 19:14

Flume系统搭建和使用的一些经验总结-搭建篇

对于日志收集系统，我们的首选就是Flume。为何这么坚决呢，难道没有其他工具能做个这个事情么？当然有！不过，考虑到Flume的简单易用，稳定性和高扩展性，它是我们的最佳选择。
屈世超·2020-09-13 19:21

Spark Streaming实时流处理项目实战笔记—— Flume实战案例（一）

实时流处理概述：数据量大时效性高需求：使用分布式日志收集框架Flume，从指定网络端口采集数据输出到控制台环境参数scala2.11.8官网【地址】http://flume.apache.org/FlumeUserGuide.html
一个谦虚的青年·2020-09-13 19:17

Flume环境搭建

上传压缩包(apache-flume-1.8.0-bin.tar.gz）rz解压到指定的目录(注意若是在当前目录就不需要C)tarzxvfapache-flume-1.8.0-bin.tar.gz-C.
lhh学bg·2020-09-13 19:12

Flume和kafka连接测试

Flume的配置文件：（和kafka连接的配置文件）#文件名:kafka.properties#配置内容：分别在linux系统里面建两个文件夹：一个文件夹用于存储配置文件（flumetest），一个文件夹用于存储需要读取的文件
匿名啊啊啊·2020-09-13 19:55

实现flume高可用（讲解+案例）

flume介绍：https://blog.csdn.net/qq_40343117/article/details/100119574flume搭建+案例：https://blog.csdn.net/qq
LXH0305·2020-09-13 19:43

Flume环境搭建及配置

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。
灰灰鲁伊·2020-09-13 19:27
上一页 23 24 25 26 27 28 29 30 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他