bigdata集群搭建第19页

Kafka集群搭建与SpringBoot项目集成

kafka集群环境包地址：百度网盘请输入提取码提取码：x9yn一、Kafka集群搭建1、准备环境（1）准备三台LINUX服务器：xxx.xxx.xxx.1xxx.xxx.xxx.2xxx.xxx.xxx

sum墨·2023-10-25 22:12

hadoop集群搭建

hadoop有三种部署方式1、Local(Standalone)Mode（单机模式）数据存储在本地2、Pseudo-DistributedMode（伪集群模式）数据存储在HDFS3、Fully-DistributedMode（集群模式）集群部署，数据存储在HDFS一、安装JDK因为hadoop是Java语言开发的，所以依赖jdk环境，需要先安装jdkJDK安装教程二、安装hadoop2.1、下载h

有人看我吗·2023-10-25 16:51

安装Python及爬虫入门介绍

大数据（BigData）大数据（bigdata）指无法在一定时间范围内用常规软件工具进行

进击的雷神·2023-10-25 09:42

Hadoop核心机制详细解析

作者：InBigData来源：InBigData|2012-07-0310:57移动端收藏分享Hadoop的核心机制是通过HDFS

Amao_come_on·2023-10-25 09:18

（八）kubernetes集群搭建（二进制方式）之--node部署kube-proxy

kubernetes集群搭建（二进制方式）之--node部署kube-proxy1.创建配置文件2.配置参数文件3.生成kube-proxy证书4.生成kubeconfig文件5.systemd管理kube-proxy6

六种味·2023-10-25 04:11

大数据技术导论|datawhale组队学习

学习链接：https://datawhalechina.github.io/juicy-bigdata/#/READMETask01阅读第一、二章第一章主要介绍了大数据的概念、应用以及其关键技术。

郑粗心·2023-10-24 20:43

Spring Cloud之服务注册与发现（Eureka）

目录Eureka介绍角色实现流程单机构建注册中心服务提供者服务消费者集群搭建注册中心服务提供者自我保护机制原理分析Eureka介绍Eureka是springcloud中的一个负责服务注册与发现的组件，本身是基于

lgcgkCQ·2023-10-24 15:45

你们看吧，一看一个不吱声

本来能及时返回，就是无限嵌套publicResultschedulerClusterSendNotes(){//执行获取集群ID的逻辑//获取集群Result>result=bigdataCommonFegin.selectClusterList

红桃∩·2023-10-24 12:37

国产化技术探究达梦8数据库搭建一主一从双机热备守护Data Watch集群搭建实战windows版本

国产化技术探究达梦8数据库搭建一主一从双机热备守护DataWatch集群搭建实战windows版本如果是Linux版本达梦8部署则参考笔者另一篇博文https://blog.csdn.net/nasen512

技术很渣·2023-10-24 11:54

国产化技术探究达梦8数据库搭建一主一从双机热备守护Data Watch集群搭建实战Linux版本

国产化技术探究达梦8数据库搭建一主一从双机热备守护集群搭建实战一、环境说明服务器类型IP地址操作系统数据库实例名称主机172.18.21.144centos7DMSERVER备机172.18.21.147centos7DMSERVER2

技术很渣·2023-10-24 11:54

redis从入门到高级/redis面试/redis集群搭建/缓存雪崩/缓存击穿/缓存穿透

本套视频从redis基础到高级，老师手把手教你搭建高可用集群，解决redis集群常见问本系列课本门课程从redis基础到高级，老师手把手教你搭建高可用集群，解决redis集群常见问题，思路清晰，旨在挑战高薪。课程亮点：1、入门门槛低，零基础也能听懂；2、课程体系完整全面，从指令到api操作，应有尽有；3、操作步骤详细，手把手带你搭建高可用集群；微信扫码听课：1.redis基础1.1.NoSql1.

sxzzyzhaoliang·2023-10-24 07:14

LVS-DR模式集群搭建

1.LVS-DR模式的特点：1>.所有集群节点RS必须和Director在相同的物理网段（即同一个局域网中）；2>.所有客户端入站（而不是出站）请求由Director首先接收，并转发给集群节点RS；3>.集群节点RS通常来说最好带外部IP，而不使用Director及某固定机器作为默认网关，以便将数据包直接回复给客户端计算机，且不会产生回包的瓶颈；4>.所有集群节点RS上必须在lo网卡上绑定VIP地

她的名字叫李承利·2023-10-24 06:03

Docker Swarm Mode

DockerSwarmModeDockerSwarm集群搭建DockerSwarm节点维护DockerService创建先看docker官网上的一句话：DockerSwarmmodeisbuiltintotheDockerEngine.DonotconfuseDockerSwarmmodewithDockerClassicSwarmwhichisnolongeractivelydeveloped

鱼找水需要时间·2023-10-24 06:50

使用Kafka的一些简单介绍: 1集群 2原理 3 术语

[TOC]第一节Kafka集群承前如果你是开发,对搭建kafka集群没什么兴趣,可以跳过这一章,直接看明天的内容.如果你觉得多了解一点没有什么坏处的话,请继续看下去.提醒一下,本章图多Kafka集群搭建概述

yann扬曹同学·2023-10-24 05:16

【Docker系列】Docker Swarm 多节点集群

三节点集群搭建创建3节点swarmcluster的方法https://labs.play-with-docker.com/playwithdocker网站，优点是快速方便，缺点是环境不持久，4个小时后环境会被重置在本地通过虚拟化软件搭建

小叶柏杉·2023-10-24 04:01

docker Swarm部署

测试：4台linux配置2G1核测试机dockerSwarm使用范围10台以下建议使用dockerSwarm，swarm通过工作节点控制工作节点（小型架构适用）集群搭建1.初始化集群命令初始化集群并得出集群初始化后的

甩锅研究中心·2023-10-24 04:30

Docker Swarm 节点维护

DockerSwarmModeDockerSwarm集群搭建DockerSwarm节点维护DockerService创建1.角色转换Swarm集群中节点的角色只有manager与worker，所以其角色也只是在

鱼找水需要时间·2023-10-24 04:55

Redis 底层数据存储结构

Redis系列笔记：第一篇:Redis基础命令第二篇:Redis常见应用场景第三篇:RedisCluster集群搭建第四篇:Redis主从及哨兵搭建第五篇:Redis主从及集群第六篇:Redis持久化第七篇

云三木·2023-10-24 03:43

在mac上进行hadoop集群搭建

一、环境说明软件版本环境&软件版本操作系统&macOs11.2.1虚拟机&VMwareFusion12.1服务器&CentOS7.8jdk1.8hadoop2.9.2集群规划框架linux01linux02linux03HDFSNameNode、DataNodeDataNodeSecondaryNameNode、DataNodeYARNNodeManagerNodeManagerNodeManag

大鱼1995·2023-10-24 01:40

HDFS API编程：第一个应用程序的开发：创建一个目录

使用javaapi操作HDFS文件系统创建一个目录:1）创建Configuration2）获取FileSystem3）一系列HDFSAPI操作packagecom.haglife.bigdata.hadoop.hdfs

糯米君_·2023-10-24 01:29

Docker Swarm集群搭建教程

1.DockerSwarm简介DockerSwarm是Docker官方三剑客项目之一，提供Docker容器集群服务，是Docker官方对容器云生态进行支持的核心方案。使用它，用户可以将多个Docker主机封装为单个大型的虚拟Docker主机，快速打造一套容器云平台。注意：Docker1.12.0+Swarmmode已经内嵌入Docker引擎，成为了docker子命令dockerswarm，绝大多数

东方雨倾·2023-10-24 00:40

Docker Swarm集群搭建

DockerSwarm集群搭建1背景2环境3安装部署3.1操作系统部署3.1.1主机名设置3.1.2网络设置3.1.3端口设置3.2中间件部署3.2.1ansible安装3.2.1.1安装3.2.1.2

水步天·2023-10-24 00:09

Docker Swarm集群搭建记录

一、简介DockerSwarm是Docker官方提供的一款集群管理工具，其主要作用是把若干台Docker主机抽象为一个整体，并且通过一个入口统一管理这些Docker主机上的各种Docker资源。二、名词解释swarm：集群的管理和编排。docker可以初始化一个swarm集群，其它节点可以加入。node：每一个docker主机就是一个docker节点，分为manager节点和worker节点。ma

叶先生i·2023-10-24 00:39

docker swarm 集群搭建

安装docker配置镜像加速环境配置搭建集群创建服务扩缩容3、防火墙，安全组2377端口放开通常错误有：1】如果主管理器（leader）没有开放，其它主机无法加入2】如果leader放开了，其它主机没有放开，那么可以加入集群，但是部署任务会失败，dockerserviceps服务名可以看到一直在部署，除了本机，当然如果你没有配置了每台主机每个服务的最大任务数（默认），就会全部部署到本机，docke

兔子也发飙·2023-10-24 00:39

docker swarm集群搭建

一、说明节点最低要求是要4台机器，manager至少2台机器（>1），要是一台挂掉一台，另外一台也会无法工作，所以至少3台manager192.168.31.231manage1管理节点192.168.31.232manage2管理节点192.168.31.233worker1管理节点192.168.31.234worker2管理节点二、搭建集群1、通过dockerswarm--help可以看到很

三颗草丶·2023-10-24 00:37

Docker Swarm集群搭建与测试

DockerSwarm文档https://docs.docker.com/engine/swarm/参考https://qiita.com/Brutus/items/b3dfe5957294caa82669https://docs.docker.jp/swarm/overview.html架构示意Manager可以管理集群，也可以运行容器worker只能运行容器搭建docker环境搭建OS设置#关

代号223·2023-10-24 00:36

Docker Swarm 集群搭建

DockerSwarmModeDockerSwarm集群搭建DockerSwarm节点维护DockerService创建1.准备主机搭建一个dockerswarm集群，包含5个swarm节点。

鱼找水需要时间·2023-10-24 00:34

Elasticsearch集群搭建

目录WIndow集群Linux集群单点部署集群部署ES优化硬件选择分片策略推迟分片分配路由选择写入速度优化批量数据提交优化存储设备合理使用合并减少Refresh的次数加大Flush设置减少副本的数量内存设置重要配置WIndow集群创建elasticsearch-cluster文件夹，在内部复制三个elasticsearch服务修改集群文件目录下每个节点的config/elasticsearch.y

非鱼·2023-10-23 21:53

Hadoop-HA高可用集群QJM搭建

1.此教程默认已经搭建好完全分布式2.Zookeeper集群搭建配置完全分布式zk集群---------------------1.挑选3台主机cs1~cs32.每台机器都安装zktar环境变量3.配置

airpoet·2023-10-23 16:38

NFS_搭建LNMP共享目录

1.概述现在需要搭建一个NFS服务器,为负载均衡集群搭建一个共享的上传目录,1.1系统环境角色:IP主机名操作系统软件版本NFS192.168.10.14node10014CentOS7nfs1.3+rpcbind

fangfc·2023-10-23 12:49

zookeeper 集群搭建，及zoo.cfg配置详解

ZooKeeper以FastPaxos算法为基础，用于完成leader的选举工作，所以至少需要3个节点。（为奇数个节点更加）为此，我准备了以下3个节点：192.168.3.201service1192.168.3.202service2192.168.3.203service31、下载zookeeper3.4.10：解压：#tar-zxvfzookeeper-3.4.10.tar.gz2、修改配置

MasterCoding·2023-10-23 02:52

zookeeper集群搭建以及zoo.cfg配置详解

Zookeeper是一个协调服务，可以用它来作为配置维护、名字服务、分布式部署；1.官网下载2.解压tar-zxvf/home/lk/下载/zookeeper-3.3.6.tar.gz3.进入conf目录，拷贝zoo_samle.cfg为zoo.cfgcpzoo_sample.cfgzoo.cfg4.编辑zoo.cfg#thedirectorywherethesnapshotisstored.da

maslii·2023-10-23 02:48

k8s系列06-负载均衡器之MatelLB

文中使用的k8s集群是在CentOS7系统上基于docker和flannel组件部署v1.23.6版本，此前写的一些关于k8s基础知识和集群搭建的一些方案，有需要的同学

tinychen·2023-10-22 03:01

ZooKeeper+HBase分布式集群环境搭建

安装版本：hadoop-2.10.1、zookeeper-3.4.12、hbase-2.3.1一、zookeeper集群搭建与配置1.下载zookeeper安装包2.解压移动zookeeper3.修改配置文件

马龙强_·2023-10-22 01:37

Scala入门案例

1:输入两个数，按从小到大排序后输出packagecom.qf.bigdataimportscala.collection.mutable.ArrayBufferimportscala.io.StdInobjectDemo02

南潇如梦·2023-10-21 13:55

基于Docker搭建Redis集群，以及Waiting for the cluster to join等问题分析、解决

基于Docker搭建Redis集群，以及槽位问题分配等问题解决前言一、Redis集群搭建1.拉取镜像2.创建6个Redis节点3.初始化Redis节点二、搭建问题问题1.Waitingfortheclustertojoin2

我要做个有钱人2020·2023-10-21 13:54

大数据测试之大数据系统及特点

1、大数据系统定义比较官方的定义：大数据(BigData)是将包括结构化、非结构化、甚至多结构化海量数据进行整合，并通

千锋IT教育·2023-10-21 10:10

Redis集群系列四 —— 哨兵集群搭建

准备实例和配置搭建一个三节点的Sentinel集群，来监管之前的Redis主从集群，如图：参考上述配置，分别复制redis下的sentinel.conf文件，如图：文件中除端口外，其它配置都是一样的。启动Sentinel使用redis-sentinel命令来启动，也可以使用redis-server命令来启动一个运行在Sentinel模式下的Redis服务器：redis-sentinel/etc/r

旷野历程·2023-10-21 05:31

Redis系列：搭建Redis集群(集群模式)

建议搭建步骤：1、安装6台单机redis2、修改配置文件：redis.conf3、在某一台上执行集群命令效果1、集群搭建成功后，从节点宕机，不会影响集群的使用，从节点启动后，会自动加入集群，还是从节点。

New俊·2023-10-21 05:28

Pulsar集群搭建和基本命令使用

目录1.Pulsar集群搭建2.Pulsar基本命令使用3.使用pulsar-mamager对Pulsar进行可视化管理4.参考资料1.Pulsar集群搭建为了方便快捷，此处使用Docker安装。

温文尔雅的流氓·2023-10-20 16:15

redis集群搭建详细过程

redis版本：redis-5.0.3.tar.gz操作系统：完全新安装的centos7.6系统使用一台虚拟机模拟6个redis节点，3个master，3个slave,虚拟机IP为192.168.220.11和使用不同的IP创建集群基本过程一致，为了方便，就不创建多个虚拟机了。开始搭建：yuminstall-ywgetgccsystemctlstopfirewalld.servicesystemc

cyclone_29·2023-10-20 16:12

Kafka系列（五）、开启SASL安全认证以及配置ACL权限控制

kafkaeagle安装使用滴滴开源的kafka-manager编译及部署使用kafka管理监控系统CMAK(yahoo的kafka-manager)部署及使用Kafka系列（一）、2.6.0版本kafka集群搭建

王义凯_Rick·2023-10-20 13:07

Kafka从入门到学废（五）——Kafka认证集群搭建

文章目录安装包准备认证配置文件启动zookeeper启动kafka集群验证Topic验证生产者验证消费者验证安装包准备下载安装包到目标目录，用tarzxvf命令解压认证配置文件进入kafka安装包根目录的config文件夹下，创建kafka_server_jaas.conf和kafka_zoo_jaas.conf两个文件创建文件kafka_zoo_jaas.confServer{org.apach

爱清清·2023-10-20 13:01

优化技巧

在我们遇到一些bigdata的业务场景，它就很有用了。尤其是做管理后台的时候，经常会有一些超大数据量的table，或者一个含有n多数据的图表，这种数据量很大的东西使用起来最明显的感受就是卡。

宋小菜_菜菜·2023-10-20 07:45

[SpringCloud]Nacos配置管理

配置管理Nacos实现配置热更新配置管理拉取配置配置热更新环境共享配置Nacos集群搭建Nacos实现配置热更新配置管理启动Nacos之后，在配置管理的配置列表中点击创建配置。

辰宝IWZ·2023-10-20 05:46

数字化转型是新瓶装旧酒吗？

编辑：彭文华来源：大数据架构师（ID：bigdata_arch）彭友萌好，我是你的老彭友。周四受51CTO邀请，给大家做了一个数字化转型的线上分享。

大数据架构师Evan·2023-10-20 05:08

Hbase2.1 集群搭建

>Hbase在大数据的体系中扮演着DB角色，不得不说是重要的一员，在上一篇，大猪已经给大家演示了[Hadoop3.2集群搭建](https://www.jianshu.com/p/3182aaff918d

kikiki5·2023-10-20 00:32

kafka_2.10集群搭建

环境准备：zookeeper集群搭建机器名称IPmaster192.168.43.32slave1192.168.43.14slave2192.168.43.183kafka集群搭建1.把Kafka2.10

WSQ(E)·2023-10-19 19:52

kafka_2.10-0.8.2.1集群搭建和简单使用

1.解压kafkatar-zxvfkafka_2.10-0.8.2.1-C/software2.1在hadoop节点修改配置文件config/server.propertiesbroker.id=0#代理的idhost.name=hadoop#主机名log.dirs=log.dirs=/usr/local/software/kafka_2.10-0.8.2.1/kfkdata#日志存放地址num.

chucancheng5319·2023-10-19 19:14

FLink学习笔记：01-Flink集群搭建

文章目录集群规划1、下载安装包2、解压文件3.配置Flinkmasters文件workersflink-conf.yaml环境变量启动集群集群规划机器名称IP角色k8s-node3192.168.0.52masterk8s-node5192.168.0.52slavek8s-node8192.168.0.52slave1、下载安装包下载对应scala版本的flink，1.14支持hadoop2.X

wangzhongyudie·2023-10-19 14:19

推荐频道

bigdata集群搭建