flume集群搭建

ELK集群搭建(基础教程)

ELK集群搭建(基础教程)目录：机器准备集群内各台机器安装Elasticsearch安装部署Kafka（注：每个节点都配置，注意ip不同）安装logstash工具安装filebeatELK收集Nginx
lqcbj_IT老混混·2024-01-30 16:41

Flume企业级应用 - 扇入扇出

水善利万物而不争，处众人之所恶，故几于道文章目录1.扇入、扇出2.示例1.扇入（聚合）a1配置：a1_netcat_mem_avro.confa2配置：a2_taildir_mem_avro.confa3配置：a3_avro_mem_logger.conf2.扇出（复制）a1配置：a1_taildir_mem_avro.confa2配置：a2_avro_mem_hdfs.confa3配置：a3_a
阿年、嗯啊·2024-01-30 15:13

103.Flume对Kafka数据采集并写入HBase

103.1演示环境介绍CM版本：5.12.1CDH版本：5.12.1Flume，HBase服务已安装且正常运行root用户操作103.2操作演示1.HBaseSink开发示例开发HBaseSink需要添加
大勇任卷舒·2024-01-29 21:54

浅析大数据技术架构

数据源的种类比较多：1、网站日志作为互联网行业，网站日志占的份额最大，网站日志存储在多台网站日志服务器上，一般是在每台网站日志服务器上部署flumeagent，实时的收集网站日志并存储到HDFS上。
at小白在线中·2024-01-29 19:11

Elasticsearch-head插件的安装

2、下载es-head插件3、启动es-head插件4、设置跨域5、访问效果三、ElasticSearch7.9.0集群搭建详细步骤总结前言介绍三种安装es-head插件的方式1、Google浏览器插件安装
lfwh·2024-01-29 11:55

Redis集群方案及Redis3.2本地集群搭建搭建

前言我们都知道Redis是一个很优秀的缓存框架，很大程度上提高了我们获取数据的效率，然而在现在的互联网环境下，Redis存储的数据有限，并且为了保证高可用性，我们得想办法来保证Redis能够一直高效的运转，使得我们的请求到达时，能快速并且准确的返回我们需要的数据，所以我们得做集群，保证随时都有一个Redis服务可用为什么Redis要做集群，总结下来有以下三点【1】解决单点故障问题，保证随时都有一个
fortune_often_in·2024-01-29 07:20

【Docker】nacos集群搭建Nginx负载均衡

目录一、mysql安装与基操1.1数据准备1.2创建mysql与数据表二、Nacos集群部署2.1创建nacos及配置2.2创建Nginx容器一、mysql安装与基操1.1数据准备拉取mysqldockerpullmysql:5.7(版本)定义挂载目录mkdir-p/mysql/{conf,data,script}配置my.cnfmy.cnf内容：[mysqld]#Mysql服务的唯一编号每个my
云村小威·2024-01-28 18:13

DevOps工程师技能_容器化技术之K8s集群搭建

K8s-集群搭建部署说明1、安装包下载CentOSLinux7.61810x8664iso官方原版镜像下载https://renwole.com/archives/15302、系统环境配置ipaddrvi
Coder_Boy_·2024-01-28 06:57

Elasticsearch8.1.0 集群搭建（linux）

一、传统模式1.下载elasticsearchDownloadElasticsearch|Elastic最新版的elasticsearch，最好jdk选用172.linux配置es用户tar-xzvfelasticsearch-8.1.0-linux-x86_64.tar.gzgroupaddesuseraddes-gespasswdes:123456chown-Res:eselasticsear
发呀发呀哈哈·2024-01-28 05:53

Nginx进阶篇【五】

Nginx进阶篇【五】八、Nginx实现服务器端集群搭建8.1.Nginx与Tomcat部署8.1.1.环境准备(Tomcat)8.1.1.1.浏览器访问:8.1.1.2.获取动态资源的链接地址:8.1.1.3
良辰美景好时光·2024-01-28 03:08

ELK Stack 7.3.0构建多系统多用户安全认证日志平台（二）

Elasticsearch集群搭建，操作系统Linuxcentos7三台机器：192.168.137.55192.168.137.56192.168.137.571、192.168.137.55这台机器
程序员之成长路·2024-01-28 00:56

用户行为数据采集

Flume——Hadoop——VMVM环境准备安装JDK安装HadoopHadoop运行模式本地模式伪分布式完全分布式集群启动组件逐一启动。模块启动
日月交辉·2024-01-27 23:18

centos7 安装k8s集群

Kubernetes集群搭建(centos7)部署架构ip域名备注安装软件192.168.2.246master主节点DockerKubeadmkubeletkubectlflannel192.168.2.247node1
ricky饭团·2024-01-27 15:50

flume+kafka+SparkStreaming+mysql+ssm+高德地图热力图项目

第一步、编写python脚本，产生模拟数据#coding=UTF-8importrandomimporttimephone=["13869555210","18542360152","15422556663","18852487210","13993584664","18754366522","15222436542","13369568452","13893556666","1536669855
printf200·2024-01-27 12:24

利用Docker搭建Mysql 5.7强一致性集群解决方案实战

利用Docker搭建Mysql5.7强一致性集群解决方案实战前言拓展：Mysql高可用,弱一致性集群搭建解决方案之：Replication主角：Mysql强一致集群搭建解决方案：percona-xtradb-cluster
24K不怕·2024-01-27 12:50

Oracle 11g RAC安装运维总结

1.1高可用（HA）1.2负载均衡（LB）1.3RAC集群1.4CRS2架构2.1RAC环境组成2.1.1硬件环境2.1.2软件组成2.2CRS组成2.3单实例与RAC环境3.Oracle11gRAC集群搭建
不 古·2024-01-27 11:03

2021-03-07

HDFS=====>解决存储问题·MapReduce=====>解决计算问题·Yarn=====>资源协调者·Zookeeper=====>分布式应用程序协调服务·Flume=====>日志收集系统·Hive
残月冷无声·2024-01-27 10:39

03-Redis缓存高可用集群

文章目录1、Redis集群方案比较2、Redis高可用集群搭建redis集群搭建Java操作redis集群4、Redis集群原理分析槽位定位算法跳转重定位Redis集群节点间的通信机制gossip通信的
野心与梦·2024-01-27 08:39

Hbase2.1 集群搭建

>Hbase在大数据的体系中扮演着DB角色，不得不说是重要的一员，在上一篇，大猪已经给大家演示了[Hadoop3.2集群搭建](https://www.jianshu.com/p/3182aaff918d
kikiki5·2024-01-27 03:24

Flume1.9基础学习

文章目录一、Flume入门概述1、概述2、Flume基础架构2.1Agent2.2Source2.3Sink2.4Channel2.5Event3、Flume安装部署3.1安装地址3.2安装部署二、Flume
魅Lemon·2024-01-27 00:01

手把手超详细Docker部署MongoDB集群

Mongodb集群搭建mongodb集群搭建的方式有三种：主从备份（Master-Slave）模式，或者叫主从复制模式。副本集（ReplicaSet）模式。分片（Sharding）模式。
YellowKang·2024-01-26 18:04

ElasticSearch7.7.1集群搭建

前言Elasticsearch（ES）是一个基于ApacheLucene的分布式、高扩展、近实时的搜索引擎，主要用于海量数据快速存储、实时检索、高效分析的场景。通过简单易用的RESTfulAPI，Elasticsearch隐藏了Lucene的复杂性，使得全文搜索变得简单。以下是Elasticsearch的主要特点：分布式：由于其分布式特性，Elasticsearch可以将海量数据分散到多台服务器上
卢卡上学·2024-01-26 16:32

135.如何进行离线计算-1

应用场景用户流失预警系统基于用户购买的挽回系统用户特征和规则提取系统数据分析系统用户画像系统流程数据采集数据预处理数据建模ETL数据导出工作流调度135.1数据采集Flume收集服务器日志到hdfstype
大勇任卷舒·2024-01-26 15:03

Linux高可用集群搭建

1.准备两个部署好项目的服务器这里采用VM+CentOS7进行虚拟机搭建，为了避免重复搭建的繁琐，创建好第一个虚拟机并搭建好环境后，第二个使用克隆右键虚拟机-》管理-》克隆选择好安装路径确定即可完成clone克隆完成后打开两个虚拟机，可使用命名来修改主机名hostnamectlset-hostname主机名两个虚拟机分别安装keepalived,具体步骤如下安装keepalivedyuminsta
顾十方·2024-01-26 09:03

MongoDB集群搭建（三节点副本集）

软件包安装0、主机规划IP地址访问端口10.0.0.2012701710.0.0.2022701810.0.0.203270191、MongoDB安装包下载下载地址：https://www.mongodb.com/try/download/community版本根据需求选择，Mongodb6.0及以上的版本没有mongo命令2、上传至服务器，并添加环境变量将下载的安装包mongodb-linux-
四火..·2024-01-26 09:29

Hadoop3.x学习笔记

Hadoop概述1.1简介1.2hadoop优势1.3hadoop组成1.4大数据技术生态体系2、环境准备(重点)2.1模板机配置2.2模板创建3、本地运行模式（官方WordCount）4、Hadoop集群搭建
魅Lemon·2024-01-26 09:24

php连接redis集群 CodeIgniter(ci)框架redis5集群RedisClustert类使用，php redis集群加密码调用

注意：如果redis集群配置了密码，需要把php环境升级到php7.3，不然无法使用redis5集群搭建（集群加密）看这里：https://blog.csdn.net/u011477914/article
爱吃榴莲的橙子·2024-01-26 08:56

Flume介绍

一、介绍ApacheFlume是一种分布式、可靠且可用的系统，用于有效地收集、汇总大量日志数据，并将其从多个不同来源转移到集中式数据存储区。ApacheFlume的使用不仅限于日志数据聚合。
有人看我吗·2024-01-26 00:21

大数据开发之Spark（spark streaming）

sparkstreaming支持的数据源很多，例如：kafka、flume、hdfs等。数据输入后可以用spark的高度抽象原语如：map、reduce、join、window等进行计算。
Key-Key·2024-01-25 21:07

大数据平台组件日常运维操作说明（Hadoop/Zookeeper/Kafa/ES/Mysql/Spark/Flume/Logstash/Tomcat）

Hadoop日常运维操作说明hdfs生产环境hadoop为30台服务器组成的集群，统一安装配置，版本号为2.7.7部署路径：/opt/hadoop启动用户：hadoop配置文件：/opt/hadoop/config/hdfs-site.xml/opt/hadoop/config/core-site.xmlhadoopy运行环境变量配置文件：hadoop-env.shjournalnode.envd
love6a6·2024-01-25 07:12

二、 Flume-案例一：监控端口数据

1、配置文件#定义Agenta1.sources=r1a1.sinks=k1a1.channels=c1#定义netcatsourcea1.sources.r1.type=netcata1.sources.r1.bind=bigdata111a1.sources.r1.port=44445#定义sinka1.sinks.k1.type=logger#定义channela1.channels.c1.
一种依耐丶从未离开·2024-01-24 20:39

Kubeadm安装单master多node节点K8S集群

kubeadm安装k8s1.25版本集群步骤环境说明实验环境规划集群搭建规划初始化安装k8s集群的实验环境安装虚拟机更新yum源和操作系统配置机器主机名配置主机hosts文件，相互之间通过主机名互相访问配置主机之间无密码登录关闭交换分区
sissie喵~·2024-01-24 18:15

22-07-19 西安 RabbitMQ（03） 消息可靠投递、消费端限流、死信队列、延迟队列、集群搭建

消息的可靠投递消息发送方希望杜绝任何消息丢失或者投递失败，RabbitMQ为我们提供了两种方式用来控制消息的投递可靠性模式confirm确认模式return退回模式消息从producer到exchange有问题了则会返回一个confirmCallback（确认模式）。消息从exchange–>queue投递失败则会返回一个returnCallback（退回模式）利用这两个callback控制消息的
￡小羽毛·2024-01-24 11:29

ElasticSearch

支持对各种类型的数据的索引；搜索速度快，可以提供实时的搜索服务；便于水平扩展，每秒可以处理PB级海量数据E：EalsticSearch搜索和分析的功能L：Logstach搜集数据的功能，类似于flume
奋斗小温·2024-01-24 11:16

linux安装mycat2 搭建主从复制 读写分离 分库分表

压缩包2.解压3.修改权限4.配置物理地址5.启动mycat6.连接mycat二、主从复制1.环境说明2.配置主从复制三、读写分离1.创建数据源2.创建集群3.创建逻辑库，为其配置集群4.测试读写分离四、集群搭建
理塘丁甄·2024-01-24 11:03

mysql分库负载均衡_使用Mycat实现Mysql数据库的主从复制、读写分离、分表分库、负载均衡和高可用...

ITManager这是一个开源的项目管理工具，具备组织架构管理，权限管理，任务管理，测试管理，日报，周报，绩效考核，还包括配套的代码生成器：http://www.itproject-manager.com/Mysql集群搭建使用
im陈璐·2024-01-24 11:30

kafka集群的错误处理

今天由于kafka集群搭建时的配置不当，由于一台主消费者挂掉(服务器崩了，需要维修)，导致了所有新版消费者(新版的offset存储在kafka)都无法拉取消息。
Stalary·2024-01-24 10:16

RKE快速搭建离线k8s集群并用rancher管理界面

关联文章：1.k8s集群搭建前的服务器初始化，见文章《附1：k8s服务器初始化》2.rke搭建的k8s集群新增节点，见文章《附2：rke安装的k8
SRE成长记·2024-01-24 10:23

Flink（十五）【Flink SQL Connector、savepoint、CateLog、Table API】

前言今天一天争取搞完最后这一部分，学完赶紧把Kafka和Flume学完，就要开始做实时数仓了。据说是应届生得把实时数仓搞个80%~90%才能差不多找个工作，太牛马了。
让线程再跑一会·2024-01-24 07:17

Druid集群搭建手册

1.Java环境安装和配置建议使用JDK1.8。可以参考《Linux安装JDK完整步骤》。2.创建用户创建druid用户，用来管理druid相关的服务。执行命令：useradddruid#创建用户passwddruid#设置druid用户密码3.Zookeeper安装和配置Druid的服务套件imply自带zookeeper，方便单机部署。如果是集群部署，最好使用自己部署的zookeeper集群。
萧十一郎君·2024-01-24 06:13

hadoop 集群搭建笔记

修改主机名字：hostnamectlset-hostname主机名称修改hosts文件进行解析：xxxx.xxxx.xxxx.xxxx主机名字ssh免密登录：ssh-keygen-trsa生成密钥ssh-copy-idslave1ssh-copy-idslave2每个节点都拷贝公钥ssh-copy-idmaster集群部署2、配置集群1、核心配置文件配置core-site.xmlfs.defaul
阿强的学习笔记·2024-01-24 03:42

Elasticsearch8 集群搭建（二）配置篇：（3）安全配置

此篇记录Elasticsearch8.x传输层的安全配置。传输层节点间：如果集群有多个节点，必须在节点间配置TLS。生产模式下，如果不启用TLS，集群将无法启动。图片来源：SetupbasicsecurityfortheElasticStack|ElasticsearchGuide[8.10]|Elastic传输层依赖于TLS进行节点间的加密和认证。在节点之间配置TLS可以防止未授权的节点访问集群
要薪贫气和哦·2024-01-23 21:11

Kafka集群与可靠性

Kafka集群与可靠性1.Kafka集群搭建实战使用两台Linux服务器：一台192.168.182.137一台192.168.182.138安装kafka首先，我们需要配置java环境变量（这里就略过了
llp1110·2024-01-23 13:39

Postgresql的集群搭建与监控方案

转载说明：如果您喜欢这篇文章并打算转载它，请私信作者取得授权。感谢您喜爱本文，请文明转载，谢谢。相关文章：PostgreSQL学习之部署与简单使用PostgreSQL的常见错误和解决方法如果PostgreSQL有两层nginx代理，会发生什么事？前言之前在《PostgreSQL学习之部署与简单使用》记录了PostgreSQL的搭建和简单使用，本文记录PostgreSQL集群的搭建，接入Promet
SRE成长记·2024-01-23 10:30

flume自定义拦截器

要自定义Flume拦截器，你需要编写一个实现org.apache.flume.interceptor.Interceptor接口的自定义拦截器类。
不加班程序员·2024-01-23 06:25

flume案例

在构建数仓时，经常会用到flume接收日志数据，通常涉及到的组件为kafka，hdfs等。下面以一个flume接收指定topic数据，并存入hdfs的案例，大致了解下flume相关使用规则。
不加班程序员·2024-01-23 06:48

redis哨兵架构

lua脚本redis分布式锁redis分布式锁redissonredis缓存优化redis的过期淘汰策略redis连接池参数文章目录系列文章目录redis的哨兵高可用架构(中小型公司大部分在使用)哨兵集群搭建
敖小军·2024-01-22 23:46

大数据之使用Flume监听本地文件采集数据流到HDFS

本文介绍Flume监听本地文件采集数据流到HDFS我还写了一篇文章是Flume监听端口采集数据流到Kafka【点击即可跳转，写的也非常详细】任务一：在Master节点使用Flume采集/data_log
十二点的泡面·2024-01-22 19:54

大数据之使用Flume监听端口采集数据流到Kafka

本文介绍Flume监听端口采集数据流到Kafka我还写了一篇文章是Flume监听本地文件采集数据流到HDFS【点击即可跳转，写的也非常详细】任务一：实时数据采集前摘：Flume是一种分布式、高可靠、高可用的数据收集系统
十二点的泡面·2024-01-22 19:53

【大数据处理技术实践】期末考查题目：集群搭建、合并文件与数据统计可视化

集群搭建、合并文件与数据统计可视化实验目的任务一：任务二：实验平台实验内容及步骤任务一：搭建具有3个DataNode节点的HDFS集群集群环境配置克隆的方式创建Slave节点修改主机名编辑hosts文件生成密钥免认证登录修改
汐ya~·2024-01-22 09:35
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他