bigdata集群搭建

kubeadm部署kubernetes集群

Kubernetes集群搭建Kubernetes是由谷歌开源的Docker容器集群管理系统，为容器化的应用提供了资源调度、部署运行、服务发现、扩容及缩容等一整套功能。
242030·2023-11-22 02:57

Docker 搭建 Redis 集群

RedisCluster模式搭建步骤1、创建网卡2、Redis配置3、运行容器4、创建集群5、查看集群信息6、运行测试redis集群搭建常见三种方式：主从复制、Sentinel（哨兵）模式、Cluster
david6969xin·2023-11-22 02:23

Docker 搭建redis集群

文章目录创建配置文件的脚本启动6个redis容器的脚本集群搭建创建配置文件的脚本forportin$(seq16);\do\mkdir-p/mydata/redis/node-${port}/conftouch
weixin_45773632·2023-11-22 02:52

CentOS 搭建Kafka集群

Kafka官网下载kafkawgethttps://downloads.apache.org/kafka/3.1.0/kafka_2.12-3.1.0.tgz2、安装ZookeeperZookeeper集群搭建可以不使用
前尘忆梦Memory·2023-11-21 22:47

redis高可用集群搭建

上篇博客记录了哨兵模式的集群搭建，今天搭建高可用的redis集群以及两种集群架构的对比。
Butterfly(Papillon)·2023-11-21 20:47

Mysql数据库之MHA集群

，学的越多，之前的就越容易忘记，没事写写也挺好，一来积累自己的知识和阅历，二来以后忘记了，还能翻回来自己找找．唯一的受限条件就是我这个人有点懒，希望可以坚持下来．这是我的第一篇博客，只是很基础的数据库集群搭建
一个菜鸟水平的运维民工·2023-11-21 19:12

Redis非关系型数据库集群搭建

redis非关系型数据库在以往的项目中经常使用到，一直没有时间写一篇关于redis数据库使用心得！什么是redis?Redis是一个开源的使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库！redis数据库的数据类型？redis数据库有5中数据库类型，分别是String(字符串)、list(链表)、Hash(哈希值)、set(集合)、zset(有序集合)red
技术旅人·2023-11-21 14:39

Docker容器编排

文章目录基本概念DockerComposeSwarm分布式NodeTaskservice集群搭建弹性伸缩基本概念针对容器生命周期的管理，对容器生命周期进行更方便更快捷的方式进行管理。
Lum1n0us·2023-11-21 13:30

GZ033 大数据应用开发赛题第08套

2023年全国职业院校技能大赛赛题第08套赛项名称：大数据应用开发英文名称：BigDataApplicationDevelopment赛项组别：高等职业教育组赛项编号：GZ033背景描述工业互联网是工业全要素
嘿哈小将·2023-11-21 12:39

GZ033 大数据应用开发赛题第06套

2023年全国职业院校技能大赛赛题第06套赛项名称：大数据应用开发英文名称：BigDataApplicationDevelopment赛项组别：高等职业教育组赛项编号：GZ033背景描述大数据时代背景下
嘿哈小将·2023-11-21 12:38

GZ033 大数据应用开发赛题第05套

2023年全国职业院校技能大赛赛题第05套赛项名称：大数据应用开发英文名称：BigDataApplicationDevelopment赛项组别：高等职业教育组赛项编号：GZ033背景描述工业互联网是工业全要素
嘿哈小将·2023-11-21 12:08

GZ033 大数据应用开发赛题第07套

2023年全国职业院校技能大赛赛题第07套赛项名称：大数据应用开发英文名称：BigDataApplicationDevelopment赛项组别：高等职业教育组赛项编号：GZ033背景描述大数据时代背景下
嘿哈小将·2023-11-21 12:27

微服务系列：服务调用 Spring Cloud 之 OpenFeign 详细入门

微服务系列：SpringCloudAlibaba之Nacos注册中心微服务系列：SpringCloudAlibaba之Nacos配置中心微服务系列：SpringCloudAlibaba之Nacos集群搭建继上面几篇
程序猿秃头之路·2023-11-21 10:39

Zookeeper实现分布式队列

Zookeeper不适合存储大数据量存储，官方并不推荐作为队列使用，但由于实现简单，集群搭建较为便利，因此在一些吞吐量不高的小型系统中还是比较好用的。
jockerwu·2023-11-21 05:15

IELTS雅思口语基本对话答案

·I’mcurrentlyanAItestengineerworkingforabigdatacompanyInShanghai.3.Whydidyouchoosethatjob?
极客与宽客·2023-11-21 03:41

Hadoop伪分布式集群搭建

一、切换到root用户su-root二、关闭selinux：vim/etc/selinux/configSELINUX=disabled三、切换到hadoop用户，配置免密登陆。cd进入hadoop用户的家目录ssh-keygen-trsa[输入完后连按4个回车]sshnode100[yes，输入hadoop用户的密码]ssh-copy-idnode100[输入hadoop用户的密码]四、解压安装
皮卡丘要进化·2023-11-21 02:13

hive01--hive的安装及配置

如果hadoop没有安装的请参考：hadoop01--Hadoop伪分布式集群搭建_码到成龚的博客-CSDN博客hive不像hadoop，Kafka，zookeeper那样需要搭建集群，我们只需要在两个安装即可
码到成龚·2023-11-20 20:58

非遗进入“大数据时代”

灵玖软件：www.lingjoin.com大数据论坛：www.bigdatabbs.com“蜿蜒山路，车行其间，远望层峦叠嶂，溪流潺潺，近看古朴村落，袅袅炊烟……”一幅辽阔的图景由远及近，一个恬淡的画外音传出其间
cigang4063·2023-11-20 16:29

k8s的高可用集群搭建，详细过程实战版

kubernetes高可用集群的搭建前面介绍过了k8s单master节点的安装部署今天介绍一下k8s高可用集群搭建环境准备：vip：192.168.121.99keeplivemaster01：192.168.121.153centos7master02
aa一叶知秋aa·2023-11-20 15:45

HDFS完全分布式集群搭建与配置及常见问题总结

思路：1.准备3台虚拟机（静态IP，IP映射，主机名称，防火墙关闭，普通用户创建等等）2.安装JDK，配置环境变量3.安装Hadoop，配置环境变量4.配置免密登录5.编写同步脚本，配置集群(前三步已完成)搭建集群步骤1.首先要关闭防火墙systemctlstopfirewalldsystemctldisablefirewalldsystemctlstatusfirewalld2.还要关闭SELi
HUNG4050·2023-11-20 12:03

*HDFS完全分布式集群搭建与配置及常见问题总结*

小组介绍：哈喽大家好！我们是---哈了个Doop小组，接下来为大家做一下小组介绍。一共有六个成员。主要特点是由一名男生和五名女生组成，又称为“一汉娘子组”，由无所不能且帅气的文组长带领。成员有：优秀的诺同学和芝同学、有创意的灵同学、两位颜值担当的杰同学和张同学。组员介绍已完毕。使用电脑时很多朋友会发现一台计算机虽然可以安装多个操作系统，但是对电脑的硬件有着极大的要求，而虚拟机的出现则完美的解决了这
哈了个Doop·2023-11-20 12:26

【无标题】2024AIOTE智博会 第十五届上海国际智慧城市、物联网、大数据博览会

智博会第十五届上海国际智慧城市、物联网、大数据博览会2024AIOTE智博会第十五届上海国际智慧城市、物联网、大数据博览会The15thShanghaiInternationalSmartCity,IOT,bigdataExpo
展会·2023-11-20 10:16

【无标题】2023第十五届上海国际智慧城市、物联网、大数据博览会

@TOC2023AIOTE智博会第十五届上海国际智慧城市、物联网、大数据博览会The15thShanghaiInternationalSmartCity,IOT,bigdataExpo时间：2023年05
展会·2023-11-20 10:46

2024AIOTE智博会 第十六届山西国际智慧城市、物联网、大数据博览会

2024AIOTE智博会第十六届山西国际智慧城市、物联网、大数据博览会The16thShanxiInternationalSmartCity,IOT,bigdataExpo时间：2024年06月3日-5
展会·2023-11-20 09:10

[docker-compose中间件集群系列] - 6 redis 哨兵模式的原理简单介绍以及集群搭建

redis的作用就不多介绍了，redis的原理相信也有很多文章。我这边的分享就直接分享一下实际业务使用的哨兵模式和集群模式。还有他们有什么不同，哪种业务场景应该用哪一种模式。这一篇先来说哨兵模式，集群模式放在第7集。开始聊这个之前，有一个点比较重要，要保证各位的redis版本在6.0以上，因为有一个非常重要的配置，关乎到你运维的配置是高版本才有的，就是redis对于hostname配置的处理方式。
HoZanDung·2023-11-20 09:36

Zookeeper学习笔记（2）—— Zookeeper API简单操作

前置知识：Zookeeper学习笔记（1）——基础知识-CSDN博客Zookeeper集群搭建部分前提：保证zookeeper集群处于启动状态环境搭建依赖配置junitjunitRELEASEorg.apache.logging.log4jlog4j-core2.8.2org.apache.zookeeperzookeeper3.5.7log4j.propertieslog4j.rootLogge
THE WHY·2023-11-20 07:26

Mongodb副本集集群搭建+用户认证（详细步骤）

各位biu贝~~~初次见面，多多指教。目录1.下载Mongodb压缩包1.1.下载压缩包1.2.解压并重命名3.Mongodb安装配置3.1.创建目录、文件3.Mongodb集群配置3.1.目录拷贝3.2.启动并初始化服务4.Mongodb添加身份验证4.1.创建用户4.2.服务重启服务器资源：192.168.45.131192.168.45.132192.168.45.1331.下载Mongod
小杜小杜小杜·2023-11-20 01:50

MongoDB副本集集群搭建

软件下载进去这个网站，选择自己想要的版本、要安装的系统，还有格式，我选的是tgz格式https://www.mongodb.com/try/download/community安装以下配置三台机器都要运行将下载好的文件上传到centons,并解压重命名放置到指定目录tar-zvxfmongodb-linux-x86_64-rhel80-4.4.18.tgzmvmongodb-linux-x86_6
G_scsd·2023-11-20 01:13

Hadoop第五章：词频统计

系列文章目录Hadoop第一章：环境搭建Hadoop第二章：集群搭建（上）Hadoop第二章：集群搭建（中）Hadoop第二章：集群搭建（下）Hadoop第三章：Shell命令Hadoop第四章：Client
超哥--·2023-11-19 16:29

HDFS 使用Hadoop 中自带的词频统计程序，对数据集进行词频统计

一、准备工作：1.按CDH环境说明文档配置相对目录转到/user/hdfs，那么新创建的用户文件夹bigdata***就在/user/hdfs目录之下。
码猿小菜鸡·2023-11-19 16:28

解决公网下，k8s calico master节点无法访问node节点创建的pod

目的：解决pod部署成功后，只能在node节点访问，而master节点无法访问原因：集群搭建时，没有配置公网进行kubectl操作，从而导致系统默认node节点，使用内网IP加入k8s集群！
睡竹·2023-11-19 15:43

Docker——阿里云搭建Docker Swarm集群

阿里云搭建DockerSwarm集群DockerSwarm概念环境部署Swarm集群搭建安装Docker配置阿里云镜像加速搭建集群Raft一致性算法Swarm集群弹性创建服务（扩缩容）概念总结服务副本与全局服务
611#·2023-11-19 11:59

RabbitMQ 集群和镜像队列

文章目录一、clustering(集群)1、使用集群的原因2、搭建步骤2.1、拉取镜像2.2、创建三个RabbitMQ容器节点2.3、集群搭建二、镜像队列1、使用镜像的原因2、搭建步骤总结一、clustering
哥的时代·2023-11-19 11:55

大数据开发：kafka集群搭建步骤示例

基于Hadoop的大数据技术生态当中，kafka在日志采集这个环节，提供重要的支持。今天的大数据开发学习分享，我们主要来讲讲在Hadoop集群上如何搭建和配置kafka集群。一、集群规划首先看一下集群规划，3台节点都搭建kafka,并且每个节点都需要提前安装有zookeeper集群。二、kafka安装和配置1、下载安装包并解压缩下载地址：http://kafka.apache.org/downlo
成都加米谷大数据·2023-11-19 08:53

redis持久化储存（RDB、AOF）和主从复制

redis持久化储存（RDB、AOF）和主从复制一、持久化储存RDB触发方式优势与劣势AOFAOF持久化流程频率设置优势与劣势二、主从复制概念准备工作薪火相传反客为主哨兵模式设置哨兵哨兵服务集群搭建使用命令启动集群服务命令故障恢复优点
见面吃火锅·2023-11-18 22:13

数字化时代，数据就是资产

2011年，麦肯锡发布报告，认为“大数据BigData已成为当今竞争、创新、生产效率提升的关键基础”。一时间，大数据，成为业内热点。数据，大家都懂；大，有什么区别？
派可数据BI可视化·2023-11-18 18:39

Linux系统Redis的集群搭建

redis的集群搭建此案例在3台虚拟机上每台机搭建一个master主节点和一个slave从节点，共3个master节点，3个slave从节点，共计6个redis节点；（集群至少需要存在3个主节点，如果只有
云·泽·2023-11-18 18:44

【EI会议征稿】第七届大数据与应用统计国际学术研讨会（ISBDAS 2024）

第七届大数据与应用统计国际学术研讨会（ISBDAS2024）20247thInternationalSymposiumonBigDataandAppliedStatistics第七届大数据与应用统计国际学术研讨会
搞科研的小刘选手·2023-11-17 18:10

redis大全

redis-cli常用命令redis常用命令redis数据结构redis数据结构redis持久化存储持久化存储redis事务redis事务redis管道管道redis7集群搭建集群redis常见问题以及解决方案常见问题以及解决方案
BACKWASH2038·2023-11-17 18:22

大数据开发学习笔记

前言：本文介绍了各个大数据开发框架及数据库的学习记录链接有什么问题欢迎大家留言或者私信交流~Hadoophadoop集群搭建+hive安装_hadoop集群安装hive-CSDN博客Hadoop基础入门
THE WHY·2023-11-17 16:01

达摩院自研向量检索引擎Proxima在行业搜索中的应用

开放搜索（OpenSearch）：https://www.aliyun.com/product/opensearch•智能推荐（AIRec）：https://www.aliyun.com/product/bigdata
阿里云开放搜索·2023-11-17 14:59

【腾讯云 TDSQL-C Serverless 产品测评】Serverless集群高可用测评

【腾讯云TDSQL-CServerless产品测评】Serverless集群高可用测评一、前言二、Serverless介绍三、TDSQL-CServerlessMysql介绍四、集群可用性测试4.1、集群搭建
请你不要再迷恋哥·2023-11-17 11:16

大数据系列-Hadoop集群搭建（2）集群配置

上篇已经把Hadoop安装到各虚拟机（大数据系列-Hadoop集群搭建（1）），本篇通过认识Hadoop，规划虚拟机部署。
zhm6422107·2023-11-17 03:59

4hadoopHDFS集群搭建-伪分布式模式

hadoop旧版网址：http://hadoop.apache.org/old/2.6.5版本ssh协议在免密登陆其他机器的时候，不会加载其他机器的环境变量。就是不会加载/etc/profile文件在免密登陆别的机器时，如果需要环境变量可以先加载环境变量，然后在执行命令。例如：[email protected]’source/etc/profile;echo$PATH’即可伪分布式模式：单
没有女朋友的程序员·2023-11-17 03:28

大数据分布式集群搭建（5）

下面我们来操作大数据中的重头戏Hadoop1.HADOOP背景介绍1.1什么是HADOOP1.HADOOP是apache旗下的一套开源软件平台2.HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理3.HADOOP的核心组件有A.HDFS（分布式文件系统）B.YARN（运算资源调度系统）C.MAPREDUCE（分布式运算编程框架）4.广义上来说，HADOOP通
KongX_B·2023-11-17 03:25

九、Nacos集群搭建

Nacos集群搭建1.集群结构图官方给出的Nacos集群图：其中包含3个nacos节点，然后一个负载均衡器代理3个Nacos。这里负载均衡器可以使用nginx。
qing_ti_xx·2023-11-17 03:00

k8s集群搭建（ubuntu 20.04 + k8s 1.28.3 + calico + containerd1.7.8）

环境&需求服务器：10.235.165.21k8s-master10.235.165.22k8s-slave110.235.165.23k8s-slave2OS版本：root@vms131:~#lsb_release-aNoLSBmodulesareavailable.DistributorID:UbuntuDescription:Ubuntu20.04.5LTSRelease:20.04Code
zpsimon·2023-11-16 22:10

elasticsearch集群搭建

elasticsearchARM架构集群搭建一、搭建环境搭建服务器IP环境es版本号路径20.10.0.xxCentOSLinuxrelease7.9.2009(AltArch)elasticsearch
xjl_bk·2023-11-16 21:11

4. hdfs高可用集群搭建

简介前面把hadoop机器已经准备好了，zk集群搭建好了，本本就是开始搭建hdfs环境hadoop环境准备创建hadoop用户三台机器都创建hadoop用户useraddhadoop-d/home/hadoopecho
shura1014·2023-11-16 20:11

K8S 集群搭建

一、基础环境搭建1、前置要求一台或多台机器，操作系统CentOS7.x-86_x64硬件配置：2GB或更多RAM，2个CPU或更多CPU，硬盘30GB或更多集群中所有机器之间网络互通可以访问外网，需要拉取镜像禁止swap分区2、部署步骤1、在所有的节点上安装Docker和kubeadm2、部署KubernetesMaster3、部署容器网络插件4、部署KubernetesNode，将节点加入Kub
拾 -.-·2023-11-16 17:33
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他