flume)

flume+kafka+Storm+mysql+ssm+高德地图热力图项目需求

一、概述本篇文章主要介绍如何使用Storm+flume+Kafka实现实时数据的计算，并且使用高德地图API实现热力图的展示。
weare_b646·2021-06-13 13:24

2.Flume安装部署

1.Flume的安装过程1.上传安装包到数据源所在节点上2.然后解压tar-zxvfapache-flume-1.8.0-bin.tar.gz3.然后进入flume的目录，修改conf下的flume-env.sh
非勤能补拙·2021-06-12 18:47

5、Flume拦截器_日志的采集和汇总

1.案例场景A、B两台日志服务机器实时生产日志主要类型为access.log、nginx.log、web.log现在要求：把A、B机器中的access.log、nginx.log、web.log采集汇总到C机器上然后统一收集到hdfs中。但是在hdfs中要求的目录为：/source/logs/access/20160101/**/source/logs/nginx/20160101/**/sour
非勤能补拙·2021-06-12 14:45

数据采集与存储

当用户的需要从简单的批处理转向更高频率的更新时，传输时间要求不超过2分钟，就应该考虑Flume或Kafka之类的工具了。存储层可能需要变为HBase或Solr，这样插入与读取操作会获得更细的粒度。
徐梦磊·2021-06-12 02:35

Flume的安装和测试

1.Flume的安装查看JAVA_HOME:[root@bigdata113~]#echo$JAVA_HOME/opt/module/jdk1.8.0_181安装Flume[root@bigdata112soft
初之寒夏_末之凉秋·2021-06-11 19:18

Flume的安装与使用详解

Flume的简单介绍Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。
weare_b646·2021-06-11 11:44

Spark Streaming概述

SparkStreaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。
大数据小同学·2021-06-11 06:19

flume分布式数据采集工具概述及安装配置、使用

背景我们前面一直在写处理程序、sql去处理数据，大家都知道我们要处理和分析的数据是存在hdfs分布式文件存储系统当中的但这些数据并不是一开始就存储在hdfs当中的，有些数据在业务系统的机器上，有些数据在日志系统的机器上这就要求我们能够将数据从业务系统的机器上给收集过来，而且后面我们实践后续项目时也要求能够对数据进行采集（不然数据从哪来？）比如说我们需要分析用户的行为习惯，通过分析了解用户的喜好等，
我是大成子·2021-06-10 17:53

4、Flume的高阶特性

1．load-balance负载均衡负载均衡是用于解决一台机器(一个进程)无法解决所有请求而产生的一种算法。LoadbalancingSinkProcessor能够实现loadbalance功能，如下图Agent1是一个路由节点，负责将Channel暂存的Event均衡到对应的多个Sink组件上，而每个Sink组件分别连接到一个独立的Agent上，示例配置，如下所示：image.pnga1.sin
非勤能补拙·2021-06-08 23:31

运满满-Java开发工程师技术面综合面

技术一面天猫商城项目购物车怎么实现的（｡ò∀ó｡），多线程，同步，jvm内存分配及回收，jvm内存命令，项目，丢失数据可能的原因，flume版本，，git分支及使用，concurrent包有没有了解过，
淫生苦短·2021-06-08 21:29

码农周刊分类整理 -- H

colobu)[PDF]Hadoop源代码分析(@童燕群)如何选择满足需求的SQLonHadoop系统(@DataScientist)LinkedIn开源高可用Hadoop工具集Gradle(张天雷)FlumeMemoryChannel
harrytsz·2021-06-07 21:29

flume笔记

Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。一、主要组件：1、Agent是一个JVM进程，它以事件的形式将数据从源头送至目的，是Flume数据传输的基本单元。
霹雳解锋镝·2021-06-05 00:08

2021年大数据基础（四）：大数据业务分析基本步骤

目录大数据业务分析基本步骤明确分析目的和思路数据收集flumesqoopkettle数据处理-ETLMapReduceSpark数据分析HiveSQLSparkSQL数据展现报告撰写部门组织结构大数据业务分析基本步骤典型的大数据分析包含以下几个步骤
Lansonli·2021-05-22 21:35

基于Flume的日志收集系统(二)改进和优化

转自http://www.aboutyun.com/thread-8318-1-1.html问题导读：1.Flume的存在些什么问题？2.基于开源的Flume美团增加了哪些功能？
大时代_f479·2021-05-20 13:23

flume遇到的问题和解决

1.安装,需要指定JAVA_HOME在conf/flume-evn.sh里面指定JAVA_HOME2.channel为filechannel运行时报OOM:[hdfs]$bin/flume-ngagent
米卡啦·2021-05-19 22:35

[图list]Flume入门

Flume入门-爱编程http://www.w2bc.com/Article/47910Paste_Image.pngPaste_Image.png大数据系统数据采集产品的架构分析-OPEN开发经验库http
葡萄喃喃呓语·2021-05-19 05:17

玩转Flume之核心架构深入解析

前段时间我们分享过玩转Flume+Kafka原来也就那点事儿（http://mp.weixin.qq.com/s?
码农老K·2021-05-18 22:49

黑猴子的家：Flume核心组件

Flume主要由3个重要的组件构成1）Source：完成对日志数据的收集，分成transtion和event打入到channel之中，Flume提供了各种source的实现，包括AvroSource、ExceSource
黑猴子的家·2021-05-18 00:35

Flume安装教程

前段时间学了flume，怕忘记就写点日志总结一下。避免踩第二次坑。。。
在朝阳寺树下·2021-05-16 23:55

大数据离线业务场景中的增量技术

大数据离线业务场景中的增量技术业务需求离线实时增量全量增量采集方案Flume增量采集Sqoop增量采集append（按照某一列自增的int值）lastmodifield（按照数据变化的时间列的值）where
杀智勇双全杀·2021-05-16 20:47

消息队列之一: kafka

https://www.oneapm.com/ci/kafka.htmlhttps://segmentfault.com/a/1190000016153221(Flume+zk+kafka)1.kafka
suxin1932·2021-05-15 09:13

Kafka到Hdfs的数据Pipeline整理

6077311.html作者：Syn良子出处：http://www.cnblogs.com/cssdongl转载请注明出处找时间总结整理了下数据从Kafka到Hdfs的一些pipeline，如下1>Kafka->Flume
葡萄喃喃呓语·2021-05-15 06:29

flume传输大文件异常Input length = 2

在使用flumespooling组件传输文件时，经常会出现以下问题：1.文件只能传输一部分。2.第二次将文件放到flume的监控目录下时，不能传输文件，监控目录中的文件也不会被删除。
light01·2021-05-13 04:27

海量数据分流处理-------一致性哈希算法

大学时期做移动开发(ios),毕业后开始做大数据开发，到现在也为止也做过不少工程项目，掌握了不少我只认为是工具的东西，比如Hadoop中的HDFS、Mapreduce、Yarn、HBase、Hive、Sqoop、Flume
狼牙战士·2021-05-12 16:04

Hadoop生态系统

如:HDFS、MapReduce、Yarn、Zookeeper、Hive、HBase、Oozie、Mahout、Pig、Flume、Sqoop。
爱儿曼·2021-05-12 12:53

图解Flume对接Kafka（附中文注释）

文章目录1、前言2、架构图2.1、前半part：File->Flume->Kafka2.2、后半part：Kafka->Flume->HDFS2.3、总3、代码3.1、File->Flume->Kafka3.2
小基基o_O·2021-05-11 15:48

Day16:数据仓库设计

模型知识点09：建模：维度模型知识点10：事实表知识点11：维度表：雪花模型知识点12：维度表：星型/星座模型知识点13：渐变维度知识点14：分层设计知识点15：常见层次知识点16：分层案例知识点01：回顾Flume
保护胖丁·2021-05-09 20:06

spark实时处理hdfs流数据

scala调用spark-SQL：python如图：Paste_Image.png问题总结1、spark-streaming流处理2、sbt打包3、hdfs小文件（20150701_记，后续补充）后续1、flume
gk4030·2021-05-09 13:15

双层flume，中间件kafka，采集到hdfs并按日期分文件夹

1.架构要采集的日志位于hadoop102和hadoop103两个节点上，采集数据到kafka中，这是第一层flume。再从Kafka采集到hdfs中，这是第二层flume。
desperado0726·2021-05-08 00:56

Day15:数据采集工具Flume与Sqoop

知识点01：回顾知识点02：目标知识点03：Flume的功能与应用知识点04：Flume的基本组成知识点05：Flume的开发规则知识点06：Flume开发测试知识点07：常用Source：Exec知识点
保护胖丁·2021-05-07 22:01

玩转Flume+Kafka原来也就那点事儿

好久没有写分享了，继前一个系列进行了Kafka源码分享之后，接下来进行Flume源码分析系列，望大家继续关注，今天先进行开篇文章Flume+kafka的环境配置与使用。
小程故事多·2021-05-03 06:59

Hadoop数据分析平台实战——200Spring+MyBatis+Mysql框架整合

其中日志收集模块主要由sdk+nginx+flume组成，项目工程名为bf_track；数据分析模块主要由hive和mapreduce来完成，项目工程名为bf_transformer;数据展示模块主要由
Albert陈凯·2021-05-01 15:56

一张图了解大数据技术生态体系

2）Flume：Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在
mischen520·2021-05-01 11:18

大数据开发学习笔记——flume集成hive

又是周五啦~分享完就回家过周末~_~flume集成hive的笔记1、确定你的flume在哪台主机上2、确认该台主机上的flume是否可以正常使用?
卿卿老祖·2021-04-30 10:03

双11背后的大规模数据处理-TT

从宏观方面来看，开源界非常著名的Kafka+Flume的组合在一定程度上能够提供和TT类似的基础功能；不同的是，在阿里巴巴的业务体量和诉求下，我们有比较多的配置管控、资源调度、轨迹校验和血缘识别等方面的工作
曹振华·2021-04-28 00:59

Flume简介及Flume部署、原理和使用介绍

Flume简介及Flume部署、原理和使用介绍Flume概述Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。
王亭_666·2021-04-27 11:27

Storm核心组件、编程模型

流式计算：数据实时产生、数据实时传输、数据实时计算、实时展示代表技术：Flume实时获取数据、Kafka/metaq实时数据存储、Storm/JStorm实时数据计算、Redis实时结果缓存、持久化存储
piziyang12138·2021-04-27 06:05

开发人员常用框架文档整理及中文翻译

开发人员常用的框架文档整理及中文翻译，包含Spring系列文档（Spring,SpringBoot,SpringCloud,SpringSecurity,SpringSession），日志（ApacheFlume
Docs4dev·2021-04-25 22:57

Flume+Kafka+SparkStreaming 进行WordCounts实例

1.flumeflume的安装配置就不说了，网上一大堆。
盗梦者_56f2·2021-04-25 05:56

Flume1.6.0 ES2.3.5 sink

1.删除flume1.6.0/lib里面的guava-.jarandjackson-core-.jar2.拷贝es2.3.5/lib里es2.3.5.jar包，到flume1.6.0/lib3.拷贝elasticsearch-sink2
水他·2021-04-23 19:14

Fluem的安装及使用

1.下载flume1.6.0,下载地址：http://archive.apache.org/dist/flume/2.减压，在conf目录下修改flume-env.sh文件，将java的安装目录配置进去
z小赵·2021-04-23 05:50

P06_flume-ng-1.5.0-cdh5.3.6安装

安装flume1、将课程提供的flume-ng-1.5.0-cdh5.3.6.tar.gz使用WinSCP拷贝到sparkproject1的/usr/local目录下。
Albert陈凯·2021-04-22 11:04

Kafka集成Flume 客户端测试实现

前言：测试环境LINUX：centos6.5FLUME：1.6.0-cdh5.7.0KAFKA:2.12-0.11.0一、定义Kafka所使用的Topic启动Kafka：$kafka-server-start.sh-daemon
Again阿姜·2021-04-22 05:55

初始Hadoop

volume（海量）,velocity（快速）,vitality（灵活）,value（价值）1C：complexity（复杂性）二、hadoop的定义广义：以hadoop为主的生态圈，包括hadoop，flume
卡卡西儿·2021-04-21 02:17

flume事务和进阶

1.概述flume是高可用，高可靠的，分布式的海量日志采集、聚合和传输的系统。
GOD_WAR·2021-04-17 16:36

大数据大厂面试100题及详细答案解答，爆肝八小时近四万长文

大数据面试100题数据采集面试题FlumeFlume使用场景Flume丢包问题Flume与Kafka的选取数
柏汌不是百川·2021-04-16 14:08

大数据学习路线

文章目录大数据学习路线前言编程语言阶段学习视频链接大数据框架阶段学习一、Linux（基本操作）视频：二、Hadoop（重点中的重点）视频：三、Zookeeper视频：四、Hive（重点）视频：五、Flume
小夕Coding·2021-04-15 09:18

flume+hdfs+spark sql+Echarts实现用户行为分析（5分钟频次）

背景良品数据分析系统是为了满足运营实时监控用户浏览行为、点击行为、以及观测良品铺子+日活的一套数据分析系统。这是他的前期的功能定位，后期会扩展他的监控范围，比如自营外卖的用户加购行为，用户的下单行为，用户的支付行为，以及整个外卖系统销售实时统计监控。随着系统的稳定后期可以承担商品精准推荐，精准营销，以及良品app的用户行为分析以及配套的各种营销手段，让良品的多套C端系统从此有了自己的对外了解用户，
机灵鬼鬼·2021-04-15 05:31

kafka分区规则、flume对接Kafka等

1)kafka分区规则粘性分区规则：队列满了或者到达时间限制，则换分区。图片.png图片.png可见数据被发往2个分区（队列满了，则换分区）：图片.png图片.png每发完一条消息后，睡眠200ms；则会因为超时，而触发换分区：图片.png自定义分区器：图片.png测试代码（前5条数据发到1号分区，后5条数据发到0号分区）：图片.png图片.png输出：图片.png162的kafka客户端：图片.
strive1024·2021-04-12 20:39

数据采集组件：Flume基础用法和Kafka集成

本文源码：GitHub||GitEE一、Flume简介1、基础描述Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方
·2021-03-22 19:59
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他