flume)

spark实时处理hdfs流数据

scala调用spark-SQL：python如图：Paste_Image.png问题总结1、spark-streaming流处理2、sbt打包3、hdfs小文件（20150701_记，后续补充）后续1、flume
gk4030·2021-05-09 13:15

双层flume，中间件kafka，采集到hdfs并按日期分文件夹

1.架构要采集的日志位于hadoop102和hadoop103两个节点上，采集数据到kafka中，这是第一层flume。再从Kafka采集到hdfs中，这是第二层flume。
desperado0726·2021-05-08 00:56

Day15:数据采集工具Flume与Sqoop

知识点01：回顾知识点02：目标知识点03：Flume的功能与应用知识点04：Flume的基本组成知识点05：Flume的开发规则知识点06：Flume开发测试知识点07：常用Source：Exec知识点
保护胖丁·2021-05-07 22:01

玩转Flume+Kafka原来也就那点事儿

好久没有写分享了，继前一个系列进行了Kafka源码分享之后，接下来进行Flume源码分析系列，望大家继续关注，今天先进行开篇文章Flume+kafka的环境配置与使用。
小程故事多·2021-05-03 06:59

Hadoop数据分析平台实战——200Spring+MyBatis+Mysql框架整合

其中日志收集模块主要由sdk+nginx+flume组成，项目工程名为bf_track；数据分析模块主要由hive和mapreduce来完成，项目工程名为bf_transformer;数据展示模块主要由
Albert陈凯·2021-05-01 15:56

一张图了解大数据技术生态体系

2）Flume：Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在
mischen520·2021-05-01 11:18

大数据开发学习笔记——flume集成hive

又是周五啦~分享完就回家过周末~_~flume集成hive的笔记1、确定你的flume在哪台主机上2、确认该台主机上的flume是否可以正常使用?
卿卿老祖·2021-04-30 10:03

双11背后的大规模数据处理-TT

从宏观方面来看，开源界非常著名的Kafka+Flume的组合在一定程度上能够提供和TT类似的基础功能；不同的是，在阿里巴巴的业务体量和诉求下，我们有比较多的配置管控、资源调度、轨迹校验和血缘识别等方面的工作
曹振华·2021-04-28 00:59

Flume简介及Flume部署、原理和使用介绍

Flume简介及Flume部署、原理和使用介绍Flume概述Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。
王亭_666·2021-04-27 11:27

Storm核心组件、编程模型

流式计算：数据实时产生、数据实时传输、数据实时计算、实时展示代表技术：Flume实时获取数据、Kafka/metaq实时数据存储、Storm/JStorm实时数据计算、Redis实时结果缓存、持久化存储
piziyang12138·2021-04-27 06:05

开发人员常用框架文档整理及中文翻译

开发人员常用的框架文档整理及中文翻译，包含Spring系列文档（Spring,SpringBoot,SpringCloud,SpringSecurity,SpringSession），日志（ApacheFlume
Docs4dev·2021-04-25 22:57

Flume+Kafka+SparkStreaming 进行WordCounts实例

1.flumeflume的安装配置就不说了，网上一大堆。
盗梦者_56f2·2021-04-25 05:56

Flume1.6.0 ES2.3.5 sink

1.删除flume1.6.0/lib里面的guava-.jarandjackson-core-.jar2.拷贝es2.3.5/lib里es2.3.5.jar包，到flume1.6.0/lib3.拷贝elasticsearch-sink2
水他·2021-04-23 19:14

Fluem的安装及使用

1.下载flume1.6.0,下载地址：http://archive.apache.org/dist/flume/2.减压，在conf目录下修改flume-env.sh文件，将java的安装目录配置进去
z小赵·2021-04-23 05:50

P06_flume-ng-1.5.0-cdh5.3.6安装

安装flume1、将课程提供的flume-ng-1.5.0-cdh5.3.6.tar.gz使用WinSCP拷贝到sparkproject1的/usr/local目录下。
Albert陈凯·2021-04-22 11:04

Kafka集成Flume 客户端测试实现

前言：测试环境LINUX：centos6.5FLUME：1.6.0-cdh5.7.0KAFKA:2.12-0.11.0一、定义Kafka所使用的Topic启动Kafka：$kafka-server-start.sh-daemon
Again阿姜·2021-04-22 05:55

初始Hadoop

volume（海量）,velocity（快速）,vitality（灵活）,value（价值）1C：complexity（复杂性）二、hadoop的定义广义：以hadoop为主的生态圈，包括hadoop，flume
卡卡西儿·2021-04-21 02:17

flume事务和进阶

1.概述flume是高可用，高可靠的，分布式的海量日志采集、聚合和传输的系统。
GOD_WAR·2021-04-17 16:36

大数据大厂面试100题及详细答案解答，爆肝八小时近四万长文

大数据面试100题数据采集面试题FlumeFlume使用场景Flume丢包问题Flume与Kafka的选取数
柏汌不是百川·2021-04-16 14:08

大数据学习路线

文章目录大数据学习路线前言编程语言阶段学习视频链接大数据框架阶段学习一、Linux（基本操作）视频：二、Hadoop（重点中的重点）视频：三、Zookeeper视频：四、Hive（重点）视频：五、Flume
小夕Coding·2021-04-15 09:18

flume+hdfs+spark sql+Echarts实现用户行为分析（5分钟频次）

背景良品数据分析系统是为了满足运营实时监控用户浏览行为、点击行为、以及观测良品铺子+日活的一套数据分析系统。这是他的前期的功能定位，后期会扩展他的监控范围，比如自营外卖的用户加购行为，用户的下单行为，用户的支付行为，以及整个外卖系统销售实时统计监控。随着系统的稳定后期可以承担商品精准推荐，精准营销，以及良品app的用户行为分析以及配套的各种营销手段，让良品的多套C端系统从此有了自己的对外了解用户，
机灵鬼鬼·2021-04-15 05:31

kafka分区规则、flume对接Kafka等

1)kafka分区规则粘性分区规则：队列满了或者到达时间限制，则换分区。图片.png图片.png可见数据被发往2个分区（队列满了，则换分区）：图片.png图片.png每发完一条消息后，睡眠200ms；则会因为超时，而触发换分区：图片.png自定义分区器：图片.png测试代码（前5条数据发到1号分区，后5条数据发到0号分区）：图片.png图片.png输出：图片.png162的kafka客户端：图片.
strive1024·2021-04-12 20:39

数据采集组件：Flume基础用法和Kafka集成

本文源码：GitHub||GitEE一、Flume简介1、基础描述Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方
·2021-03-22 19:59

2021-03-14~15~16 大数据课程笔记 day53day54day55

@R星校长1.大数据集群搭建及管理问题提出问题：需要搭建1000台服务器的集群，其中集群包含Hive、Hbase、Flume、Kafka、Spark等集群，需要多长时间搭建好？
Rich Dad·2021-03-16 22:11

个人总结-Flume

1、书写配置文件#agent1代表代理名称Agent1.sources=source1Agent1.sinks=sink1Agent1.channels=channel1#spoolingDirectory是监控指定文件夹中新文件的变化，一旦有新文件出现，就解析该文件，然后写入channle，写入完成后，标记该文件已经完成或者删除#配置source1Agent1.sources.source1.t
蠟筆小噺没有烦恼·2021-03-11 12:47

数据采集组件：Flume基础用法和Kafka集成

本文源码：GitHub||GitEE一、Flume简介1、基础描述Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方
·2021-03-09 22:47

四十二、Kafka的介绍

从本文开始，Flume我们就告一段落了，接下来我们来讲述Kafka的相关内容。Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。
象在舞·2021-02-25 08:23

Flume的三要素（Source/Channel/Sink）、拦截器、选择器、Sink组

三要素（Source/Channel/Sink）Source：负责接收数据到flume的组件1.Netcat：基于TCP端口的数据源接收器#配置Agent中的三要素a1.sources=r1a1.sinks
大数据ZRL·2021-02-24 22:12

flume进阶（事务，原理，自定义，案例）

Flume事务FlumeAgent内部原理Flume拓扑结构1.简单串联2.副本和多路复用（多路复用要配合拦截器使用）3.负载均衡和故障转移Flume支持使用将多个sink逻辑上分到一个sink组，sink
每天都在努力的人·2021-02-23 20:23

Docker一键部署大数据平台开发环境

目前，比较主流的大数据平台架构如图所示，主要采用Flume或Beats进行数据采集，Kafka做数据采集消息队列，不仅可以消峰，也可以直接与ELKB配合进行数据采集；数据存储则采用主流的HDFS做为原始数据存储
谷迈科技·2021-02-23 17:29

四十一、使用Ganglia监控Flume

本文主要介绍使用Ganglia监控Flume。关注专栏《破茧成
象在舞·2021-02-20 16:00

大数据之Flume:Flume进阶

1.Flume事务2FlumeAgent内部原理重要组件：1）ChannelSelectorChannelSelector的作用就是选出Event将要被发往哪个Channel。
浊酒南街·2021-02-20 13:36

四十、Flume自定义MySQLSource

上一篇文章我们通过自定义Source和Sink来实现了Flume的数据采集，本文我们再来看一个自定义MySQLSource的实例。
象在舞·2021-02-20 10:24

大数据中篇03_Flume

Flume定义：Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。
Radiation_x·2021-02-09 20:56

余老师带你学习大数据框架全栈第十二章Flume第七节简单案例之Flume进阶--Flume 事务

4.1Flume事务Flume是一个传输工具，在工作中要保证数据尽量不丢失，然而数据在传输过程中要经过source读数据——>再写给channel——>sink再从channel中取数据,在任一环节中都有可能会丢失数据
weixin_45810046·2021-02-08 15:09

logstash kafka mysql_logstash_output_kafka:Mysql同步Kafka深入详解

方案四：flume。方案五：其他类似方案。其中：debezium和flume是基于mysqlbinlog实
卫星88·2021-02-06 14:30

大数据日志监控平台

1.15后端：Java8、SpringBoot、JPA、Mybatis、Redis、MySql大数据：Spark2.4.5、kafka_2.13-2.4.1、zookeeper-3.4、apache-flume
魑魅魍魉_5a55·2021-02-04 13:37

ES(四) FileBeat+LogStash安装与测试

一、引小白以前监控log文件用的是Flume，但是仅仅用Flume来做日志监控显得有点“重”，而且Flume对windows的支持并不是太好，所以小白使用FileBeat+Logstash替代了Flume
碼小白·2021-02-03 08:22

大数据之flume

sudoyuminstall-ync2、检查44444端口是否被占用:sudonetstat-tunlp|grep444443、操作命令1)监听:nc-l端口号2)发送:nc主机名(ip地址)端口号二、安装flume
枫叶无言_1997·2021-02-02 15:26

Flume进阶（Agent内部原理以及拓扑结构）

Flume事务FlumeAgent的内部原理重要组件：1）ChannelSelectorChannelSelector的作用就是选出Event将要被发往哪个Channel。
_Ordinary丶·2021-01-28 20:48

Flume的容错性测试和双层Flume架构

目录一.FailoverSinkProcessor测试二.双层的Flume架构三.单source多channel多sink一.FailoverSinkProcessor测试官网解释FailoverSinkProcessor
程研板·2021-01-25 23:10

Flume安装与配置

Flume安装与配置Flume介绍环境下载安装配置案例Flume介绍一款分布式的海量应用日志采集、聚合、传输的框架，支持配置多种数据发送方与接收方，具有高可用、高可靠的特性。
Murmure__·2021-01-23 11:02

flume 采集写入hbase速度越来越慢_flume 进阶 0338

Flume事务Put事务流程doPut：将批数据先写入临时缓冲区putListdoCommit：检查channel内存队列是否足够合并doRollback：channel内存队列空间不足，回滚数据Take
weixin_39629780·2021-01-19 23:57

flume写入mysql_Flume高级之自定义MySQLSource

1自定义Source说明Source是负责接收数据到FlumeAgent的组件。
練心·2021-01-19 07:03

Flume架构原理

文章目录1、Flume架构1.1Agent：1.2Event：1.3Client：2、Flume特性2.1可靠性2.2可恢复性2.3可靠性保证（面试）2.3.1故障转移2.3.2负载均衡2.3.3多层代理
xiaoxaoyu·2021-01-18 10:45

三十九、Flume自定义Source、Sink

上篇文章咱们基于Flume举了几个例子，包括它的扇入扇出等等。这篇文章我们主要来看一下怎样通过自定义Source和Sink来实现Flume的数据采集。
象在舞·2021-01-18 10:48

电商日志分析大数据实训项目

方式安装：二、CentOS7下Nginx的安装：三、部署前端网站到nginx下四、Tomcat的安装五、电商后台系统部署到Linux服务器上六、AB压测（httpd）安装七、Hadoop安装与配置八、Flume
若兰幽竹·2021-01-14 16:08

Kafka系统学习（未完待续。。。）

1.2大数据一般处理流程：日志收集者(flume)--->Kafka--->消息消费者（spark、flink）。
码上中年·2021-01-11 20:41

大数据技术核心框架最强知识体系总结||（2021版）（含面试题）

文章目录前言hadoop框架Hive数据仓库ZooKeeper协调服务系统HBasephoenixRedisFlumeSSMKafkaScalaSparkAzkaban常用工具前言希望能够给大家提供一些学习大数据的方法和一些基础的框架
张心情·2021-01-09 23:28

大数据开发环境搭建系列六：Kafka和flume的安装和环境搭建

1.写在前面最近学习推荐系统，想做一个类似于企业上的那种推荐系统(采用的阿里天池赛的一个电商数据集，然后基于大数据的Lambda架构，实现离线和在线相结合的实时推荐系统)，这样可以熟悉一下真实环境中的推荐系统流程，但是这里面需要大数据的开发环境，所以这里的这个系列是记录自己搭建大数据开发环境的整个过程，这里面会涉及到Hadoop集群，Spark，zookeeper,HBase,Hive,Kafka
Miracle8070·2021-01-08 17:08
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他