【Kafka-3.x-教程】专栏：【Kafka-3.x-教程】-【一】Kafka概述、Kafka快速入门【Kafka-3.x-教程】-【二】Kafka-生产者-Producer【Kafka-3.x-教程】-【三】Kafka-Broker、Kafka-Kraft【Kafka-3.x-教程】-【四】Kafka-消费者-Consumer【Kafka-3.x-教程】-【五】Kafka-监控-Eagle【K

整体架构日志采集端FlumeFlume的设计宗旨是向Hadoop集群批量导入基于事件的海量数据。系统中最核心的角色是agent，Flume采集系统就是由一个个agent所连接起来形成。

1、数据通道2、Flume配置1）Flume配置概述Flume需要将Kafka中topic_db主题的数据传输到HDFS，故其需选用KafkaSource以及HDFSSink，Channel选用FileChannel

接着使用flume监控采集这些文件，然后发送给kafka中待消费。

1.2Phoenix特点容易集成：如Spark，Hive，Pig，Flume和MapReduce。

它支持从很多种数据源中读取数据，比如Kafka、Flume、Twitter、ZeroMQ、Kinesis或者是TCPSocket。

下载地址：http://archive.apache.org/dist/flume/1.解压apache-flume-1.7.0-bin.tar.gz到/opt/module/目录下[honey@hadoop102software

目录一、准备工作二、实时读取本地文件到HDFS（一）案例需求（二）需求分析（三）实现步骤三、实时读取目录文件到HDFS（一）案例需求（二）需求分析（三）实现步骤一、准备工作Flume要想将数据输出到HDFS

Redis1、Redis的优势2、redis的持久化3、BIO和NIO4、Redis为什么快5、主从复制6、cluster集群7、redis缓存穿透8、redis缓存雪崩9、redis缓存击穿10、布隆过滤器11、redis缓存--Java中的使用1、Redis的优势性能高：redis的读写能力一秒上万次，是单线程的数据类型丰富：支持String,hash,set,list,zset原子：所有操作

这篇文章是学习笔记总结，重新梳理内容内化，也希望对正在阅读这篇文章的你有所启发。两个触动：触动一：课程预热环节，老师让我们两两搭档画画。

【前置文章】【k8s学习】Kubernetes新手学习，4小时视频笔记总结【k8s学习】Helm安装及Hello-world示例【k8s学习】kustomize学习【k8s学习】GitOps介绍【环境】

目录[-]（一）hadoop相关安装部署（二）hive（三）pig（四）hadoop原理与编码（五）数据仓库与挖掘（六）Oozie工作流（七）HBase（八）flume（九）sqoop（十）ZooKeeper

1）案例需求使用Flume采集服务器本地日志，需要按照日志类型的不同，将不同种类的日志发往不同的分析系统。

1）案例需求：hadoop100上的Flume-1监控文件/opt/module/group.log，hadoop101上的Flume-2监控某一个端口的数据流，Flume-1与Flume-2将数据发送给

本篇笔记总结C++程序的基本构成元素之一——表达式以及构成它所需的运算符。一、表达式需要明确任何值或任何有效值与运算符的组合都是表达式。同理，每个表达式都有值。

JavaWeb知识点汇总前言：跟了狂神javaweb学习有一阵子了，这里简单进行笔记总结，也是第一次使用markdown写这么长的文章，虽然是跟着敲的，也是多理解了一遍，以及具体上手自己写的代码和相应效果图

记Flume-NG一些注意事项(不定时更新，欢迎提供信息)这里只考虑flume本身的一些东西，对于JVM、HDFS、HBase等得暂不涉及。。。。

1.Flume事务详解2.FlumeAgent内部原理重要组件：1）ChannelSelectorChannelSelector的作用就是选出Event将要被发往哪个Channel。

1）案例需求使用Flume-1监控文件变动，Flume-1将变动内容传递给Flume-2，Flume-2负责存储到HDFS。

1）案例需求:使用Flume监听整个目录的实时追加文件，并上传至HDFS2）需求分析:3）实现步骤：（1）创建配置文件flume-taildir-hdfs.c

1.简单串联这种模式是将多个flume顺序连接起来了，从最初的source开始到最终sink传送的目的存储系统。

本文将介绍如何使用SparkStreaming连接各种数据源，包括AmazonKinesis、ApacheFlume等，并提供详细的示例代码，以帮助大家构建实时数据处理应用程序。

avro类型固定的日志文件内容spooling类型固定的日志目录的新增文件内容exec类型自定义的、实时的（采集新增加的），去重的采集固定的日志文件的内容syslog类型利用tcp、udp通信协议，采集端自动采集端口日志5140netcat类型也是利用tcp、udp通信协议，自定义端口avro端口，只接收来来自外部avro客户端的事件流（avro序列化后的数据）监听固定的日志文件的内容avro监听

大数据的关键技术1.3大数据采集与数据预处理技术1.3.1大数据采集技术1.3.2数据预处理技术第二章数据采集基础2.1传统数据采集技术2.2大数据采集基础第三章大数据采集架构1.Chukwa数据采集2.Flume

目录一、Flume简介（一）Flume定义（二）Flume作用二、Flume组成架构三、Flume安装配置（一）下载Flume（二）解压安装包（三）配置环境变量（四）查看Flume版本信息四、Flume

首先我们需要了解一下什么是ECMA：ECMA（EuropeanComputerManufacturersAssociation）中文名称为欧洲计算机制造商协会，这个组织的目标是评估、开发和认可电信和计算机标准。1994年后该组织改名为Ecma国际什么是ECMAScript：ECMAScript是由Ecma国际通过ECMA-262标准化的脚本程序设计语言；百度百科：https://baike.bai

修改数据原理分享前罗列大纲，挑出重点分享时需要讲原理+应用场景根据笔记总结分享文档，代码截图等（不要直接拿笔记出来讲）任务目标基础语法学习从es6.8迁移至7.1从es6.8迁移至8.7.0相关javaapi

SparkStreaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。

插入排序直接插入排序前i个元素是有序的，将第i+1个元素逐个往前比较，比到比一个数大的就插入到这个数后面，即这个数后面的数到i个数全部往后移例：DS内排—直插排序题目描述给定一组数据，使用直插排序完成数据的升序排序。–程序要求–若使用C++只能include一个头文件iostream；若使用C语言只能include一个头文件stdio程序中若include多过一个头文件，不看代码，作0分处理不允许

文章目录SLAM001什么是回环检测？002常用的回环检测方法有哪些？003介绍一下Gauss-Netwon和LM算法004介绍一下Ceres优化库，比如你使用过里面哪些内容？005描述（扩展）卡尔曼滤波与粒子滤波，你自己在用卡尔曼滤波时遇到什么问题没有？006除了视觉传感，还用过其他传感吗？比如GPS，激光雷达007什么是紧耦合、松耦合？优缺点008你认为室内SLAM与自动驾驶SLAM有什么区别

1.Flume安装部署1.1安装地址（1）Flume官网地址：WelcometoApacheFlume—ApacheFlume（2）文档查看地址：Flume1.11.0UserGuide—ApacheFlume

1）案例需求：实时监控Hive日志，并上传到HDFS中2）需求分析：3）实现步骤：（1）Flume要想将数据输出到HDFS，依赖Hadoop相关jar包检查/etc/profile.d/my_env.sh

1）案例需求：使用Flume监听整个目录的文件，并上传至HDFS2）需求分析：3）实现步骤：（1）创建配置文件flume-dir-hdfs.conf创建一个文件vimflume-dir-hdfs.conf

FlumeFlume是一种分布式、可靠且可用的服务高效收集、聚合和移动大量日志数据。它具有基于流媒体的简单灵活的架构数据流。它坚固耐用，容错，可靠性可调机制以及许多故障转移和恢复机制。

1.监控端口数据官方案例1）案例需求：使用Flume监听一个端口，收集该端口数据，并打印到控制台。

Push，指的是Flume主动push数据给SparkStreaming。Pull，指的是SparkStreaming主动从Flume拉取数据。

在工作中经常会遇到去重的场景，例如基于App的用户行为日志分析系统，用户的行为日志从手机客户端上报到Nginx服务端，通过Logstash、Flume或其他工具将日志从Nginx写入到Kafka中。

1、默认拦截器官网提供了几个默认拦截器，具体使用可查官方文档image.png2、自定义拦截器（实现MapReducer中的日志的清洗功能）a.编写代码（实现Interceptor接口，并实现内部接口Builder）Interceptor接口主要实现具体的拦截器的功能，内部接口Builder功能包含实例化Interceptor，以及获取配置文件传给Interceptorpackagetop.guj

1.Flume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。

Shiro\textcolor{Orange}{Shiro}Shiro学习过程中的笔记，方便查阅学习\textcolor{green}{学习过程中的笔记，方便查阅学习}学习过程中的笔记，方便查阅学习笔记总结来源于视频

1、Flume分布式系统中最核心的角色是agent，flume采集系统是由一个一个agent所连接起来的形成的2、每一个agent相当于一个数据采集员，内部有三个组件构成Source：采集组件，用于跟数据源对接

之前设备开了一整天，使得本来很少的抓包数据积累地很多，我打包发给开发人员，700多M，当时网速很慢，发了半天，我想起之前学过的FTP传输，如果设备采集的数据和抓包信息，实时传给FTP服务器，厂家那边的开发随时就可以查看我这边的数据，岂不是方便了许多。现在由于暂时没设备，闲着没事，就重温了一下计算机网络FTP相关的知识，搭建一个本地的FTP服务器。虽然现在我们可以通过微信、QQ等软件进行文件传输，这

本次笔记总结了产品岗群面和笔试的常见题目，也分享了小路个人的解题思路，请大家酌情参考。1.产品设计类产品设计类题目，是检验求职者产品基本功、产品思维的常见题型。

这是我看完了之后，做的一点笔记总结。

大数据数据仓库是基于HIVE构建的数据仓库，分布文件系统为HDFS，资源管理为Yarn，计算引擎主要包括MapReduce/Tez/Spark等，分层架构如下：1、数据来源层：日志或者关系型数据库，并通过Flume

目录一、Hadoop基础操作二、RDD编程三、SparkSQL编程四、SparkStreaming编程五、Flume的安装配置一、Hadoop基础操作按要求完成以下操作：1、在HDFS中创建目录/user

1、安装在我的ecs虚拟机安装，去Flume官网找到下载地址2、配置环境变量export到path中，不多说进入flume的安装目录下conf中，复制一个模板cpflume-env.sh.templateflume-env.sh

对于日志收集统计分析方案现在主流的有ELKrediskafkaflume+大数据平台，ELK我们以后再介绍，这里先简单介绍下rsyslog对接kafkakafka中的术语BrokerKafka集群包含一个或多个服务器

1、配置文件#1agenta2.sources=r2a2.sinks=k2a2.channels=c2#2sourcea2.sources.r2.type=execa2.sources.r2.command=tail-F/opt/tmpa2.sources.r2.shell=/bin/bash-c#3sinka2.sinks.k2.type=hdfsa2.sinks.k2.hdfs.path=hd

今日读书：《让未来现在就来-成为高效能的行动派》-彭小六花费时间：1小时所读页数：50页笔记总结：1、提出问题，并提出解决方法。2、如果你找不到自己的问题，这才是你最大的问题。