bigdata集群搭建

*HDFS完全分布式集群搭建与配置及常见问题总结*

小组介绍：哈喽大家好！我们是---哈了个Doop小组，接下来为大家做一下小组介绍。一共有六个成员。主要特点是由一名男生和五名女生组成，又称为“一汉娘子组”，由无所不能且帅气的文组长带领。成员有：优秀的诺同学和芝同学、有创意的灵同学、两位颜值担当的杰同学和张同学。组员介绍已完毕。使用电脑时很多朋友会发现一台计算机虽然可以安装多个操作系统，但是对电脑的硬件有着极大的要求，而虚拟机的出现则完美的解决了这
哈了个Doop·2023-11-20 12:26

【无标题】2024AIOTE智博会 第十五届上海国际智慧城市、物联网、大数据博览会

智博会第十五届上海国际智慧城市、物联网、大数据博览会2024AIOTE智博会第十五届上海国际智慧城市、物联网、大数据博览会The15thShanghaiInternationalSmartCity,IOT,bigdataExpo
展会·2023-11-20 10:16

【无标题】2023第十五届上海国际智慧城市、物联网、大数据博览会

@TOC2023AIOTE智博会第十五届上海国际智慧城市、物联网、大数据博览会The15thShanghaiInternationalSmartCity,IOT,bigdataExpo时间：2023年05
展会·2023-11-20 10:46

2024AIOTE智博会 第十六届山西国际智慧城市、物联网、大数据博览会

2024AIOTE智博会第十六届山西国际智慧城市、物联网、大数据博览会The16thShanxiInternationalSmartCity,IOT,bigdataExpo时间：2024年06月3日-5
展会·2023-11-20 09:10

[docker-compose中间件集群系列] - 6 redis 哨兵模式的原理简单介绍以及集群搭建

redis的作用就不多介绍了，redis的原理相信也有很多文章。我这边的分享就直接分享一下实际业务使用的哨兵模式和集群模式。还有他们有什么不同，哪种业务场景应该用哪一种模式。这一篇先来说哨兵模式，集群模式放在第7集。开始聊这个之前，有一个点比较重要，要保证各位的redis版本在6.0以上，因为有一个非常重要的配置，关乎到你运维的配置是高版本才有的，就是redis对于hostname配置的处理方式。
HoZanDung·2023-11-20 09:36

Zookeeper学习笔记（2）—— Zookeeper API简单操作

前置知识：Zookeeper学习笔记（1）——基础知识-CSDN博客Zookeeper集群搭建部分前提：保证zookeeper集群处于启动状态环境搭建依赖配置junitjunitRELEASEorg.apache.logging.log4jlog4j-core2.8.2org.apache.zookeeperzookeeper3.5.7log4j.propertieslog4j.rootLogge
THE WHY·2023-11-20 07:26

Mongodb副本集集群搭建+用户认证（详细步骤）

各位biu贝~~~初次见面，多多指教。目录1.下载Mongodb压缩包1.1.下载压缩包1.2.解压并重命名3.Mongodb安装配置3.1.创建目录、文件3.Mongodb集群配置3.1.目录拷贝3.2.启动并初始化服务4.Mongodb添加身份验证4.1.创建用户4.2.服务重启服务器资源：192.168.45.131192.168.45.132192.168.45.1331.下载Mongod
小杜小杜小杜·2023-11-20 01:50

MongoDB副本集集群搭建

软件下载进去这个网站，选择自己想要的版本、要安装的系统，还有格式，我选的是tgz格式https://www.mongodb.com/try/download/community安装以下配置三台机器都要运行将下载好的文件上传到centons,并解压重命名放置到指定目录tar-zvxfmongodb-linux-x86_64-rhel80-4.4.18.tgzmvmongodb-linux-x86_6
G_scsd·2023-11-20 01:13

Hadoop第五章：词频统计

系列文章目录Hadoop第一章：环境搭建Hadoop第二章：集群搭建（上）Hadoop第二章：集群搭建（中）Hadoop第二章：集群搭建（下）Hadoop第三章：Shell命令Hadoop第四章：Client
超哥--·2023-11-19 16:29

HDFS 使用Hadoop 中自带的词频统计程序，对数据集进行词频统计

一、准备工作：1.按CDH环境说明文档配置相对目录转到/user/hdfs，那么新创建的用户文件夹bigdata***就在/user/hdfs目录之下。
码猿小菜鸡·2023-11-19 16:28

解决公网下，k8s calico master节点无法访问node节点创建的pod

目的：解决pod部署成功后，只能在node节点访问，而master节点无法访问原因：集群搭建时，没有配置公网进行kubectl操作，从而导致系统默认node节点，使用内网IP加入k8s集群！
睡竹·2023-11-19 15:43

Docker——阿里云搭建Docker Swarm集群

阿里云搭建DockerSwarm集群DockerSwarm概念环境部署Swarm集群搭建安装Docker配置阿里云镜像加速搭建集群Raft一致性算法Swarm集群弹性创建服务（扩缩容）概念总结服务副本与全局服务
611#·2023-11-19 11:59

RabbitMQ 集群和镜像队列

文章目录一、clustering(集群)1、使用集群的原因2、搭建步骤2.1、拉取镜像2.2、创建三个RabbitMQ容器节点2.3、集群搭建二、镜像队列1、使用镜像的原因2、搭建步骤总结一、clustering
哥的时代·2023-11-19 11:55

大数据开发：kafka集群搭建步骤示例

基于Hadoop的大数据技术生态当中，kafka在日志采集这个环节，提供重要的支持。今天的大数据开发学习分享，我们主要来讲讲在Hadoop集群上如何搭建和配置kafka集群。一、集群规划首先看一下集群规划，3台节点都搭建kafka,并且每个节点都需要提前安装有zookeeper集群。二、kafka安装和配置1、下载安装包并解压缩下载地址：http://kafka.apache.org/downlo
成都加米谷大数据·2023-11-19 08:53

redis持久化储存（RDB、AOF）和主从复制

redis持久化储存（RDB、AOF）和主从复制一、持久化储存RDB触发方式优势与劣势AOFAOF持久化流程频率设置优势与劣势二、主从复制概念准备工作薪火相传反客为主哨兵模式设置哨兵哨兵服务集群搭建使用命令启动集群服务命令故障恢复优点
见面吃火锅·2023-11-18 22:13

数字化时代，数据就是资产

2011年，麦肯锡发布报告，认为“大数据BigData已成为当今竞争、创新、生产效率提升的关键基础”。一时间，大数据，成为业内热点。数据，大家都懂；大，有什么区别？
派可数据BI可视化·2023-11-18 18:39

Linux系统Redis的集群搭建

redis的集群搭建此案例在3台虚拟机上每台机搭建一个master主节点和一个slave从节点，共3个master节点，3个slave从节点，共计6个redis节点；（集群至少需要存在3个主节点，如果只有
云·泽·2023-11-18 18:44

【EI会议征稿】第七届大数据与应用统计国际学术研讨会（ISBDAS 2024）

第七届大数据与应用统计国际学术研讨会（ISBDAS2024）20247thInternationalSymposiumonBigDataandAppliedStatistics第七届大数据与应用统计国际学术研讨会
搞科研的小刘选手·2023-11-17 18:10

redis大全

redis-cli常用命令redis常用命令redis数据结构redis数据结构redis持久化存储持久化存储redis事务redis事务redis管道管道redis7集群搭建集群redis常见问题以及解决方案常见问题以及解决方案
BACKWASH2038·2023-11-17 18:22

大数据开发学习笔记

前言：本文介绍了各个大数据开发框架及数据库的学习记录链接有什么问题欢迎大家留言或者私信交流~Hadoophadoop集群搭建+hive安装_hadoop集群安装hive-CSDN博客Hadoop基础入门
THE WHY·2023-11-17 16:01

达摩院自研向量检索引擎Proxima在行业搜索中的应用

开放搜索（OpenSearch）：https://www.aliyun.com/product/opensearch•智能推荐（AIRec）：https://www.aliyun.com/product/bigdata
阿里云开放搜索·2023-11-17 14:59

【腾讯云 TDSQL-C Serverless 产品测评】Serverless集群高可用测评

【腾讯云TDSQL-CServerless产品测评】Serverless集群高可用测评一、前言二、Serverless介绍三、TDSQL-CServerlessMysql介绍四、集群可用性测试4.1、集群搭建
请你不要再迷恋哥·2023-11-17 11:16

大数据系列-Hadoop集群搭建（2）集群配置

上篇已经把Hadoop安装到各虚拟机（大数据系列-Hadoop集群搭建（1）），本篇通过认识Hadoop，规划虚拟机部署。
zhm6422107·2023-11-17 03:59

4hadoopHDFS集群搭建-伪分布式模式

hadoop旧版网址：http://hadoop.apache.org/old/2.6.5版本ssh协议在免密登陆其他机器的时候，不会加载其他机器的环境变量。就是不会加载/etc/profile文件在免密登陆别的机器时，如果需要环境变量可以先加载环境变量，然后在执行命令。例如：[email protected]’source/etc/profile;echo$PATH’即可伪分布式模式：单
没有女朋友的程序员·2023-11-17 03:28

大数据分布式集群搭建（5）

下面我们来操作大数据中的重头戏Hadoop1.HADOOP背景介绍1.1什么是HADOOP1.HADOOP是apache旗下的一套开源软件平台2.HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理3.HADOOP的核心组件有A.HDFS（分布式文件系统）B.YARN（运算资源调度系统）C.MAPREDUCE（分布式运算编程框架）4.广义上来说，HADOOP通
KongX_B·2023-11-17 03:25

九、Nacos集群搭建

Nacos集群搭建1.集群结构图官方给出的Nacos集群图：其中包含3个nacos节点，然后一个负载均衡器代理3个Nacos。这里负载均衡器可以使用nginx。
qing_ti_xx·2023-11-17 03:00

k8s集群搭建（ubuntu 20.04 + k8s 1.28.3 + calico + containerd1.7.8）

环境&需求服务器：10.235.165.21k8s-master10.235.165.22k8s-slave110.235.165.23k8s-slave2OS版本：root@vms131:~#lsb_release-aNoLSBmodulesareavailable.DistributorID:UbuntuDescription:Ubuntu20.04.5LTSRelease:20.04Code
zpsimon·2023-11-16 22:10

elasticsearch集群搭建

elasticsearchARM架构集群搭建一、搭建环境搭建服务器IP环境es版本号路径20.10.0.xxCentOSLinuxrelease7.9.2009(AltArch)elasticsearch
xjl_bk·2023-11-16 21:11

4. hdfs高可用集群搭建

简介前面把hadoop机器已经准备好了，zk集群搭建好了，本本就是开始搭建hdfs环境hadoop环境准备创建hadoop用户三台机器都创建hadoop用户useraddhadoop-d/home/hadoopecho
shura1014·2023-11-16 20:11

K8S 集群搭建

一、基础环境搭建1、前置要求一台或多台机器，操作系统CentOS7.x-86_x64硬件配置：2GB或更多RAM，2个CPU或更多CPU，硬盘30GB或更多集群中所有机器之间网络互通可以访问外网，需要拉取镜像禁止swap分区2、部署步骤1、在所有的节点上安装Docker和kubeadm2、部署KubernetesMaster3、部署容器网络插件4、部署KubernetesNode，将节点加入Kub
拾 -.-·2023-11-16 17:33

Kubernetes（K8S）集群搭建基础入门教程

上一篇文章讲了K8s相关组件知识点，这篇文章主要是搭建一个Master节点和多个Node节点的集群环境。Kubernetes(K8s)基本概念前期准备1、准备3台centos7或者更高版本的虚拟机，主要用来安装K8s集群，下面是3台虚拟机的配置情况：IP操作系统主机名称配置网络192.168.2.124centos7.9k8s-master4vCPU/8G内存/20G硬盘NAT或者桥接模式192.
养歌·2023-11-16 17:32

搭建kubernetes_k8s集群搭建

kubernetes_k8s主要内容1、kubernetes简介（1）kubernetes基本介绍（2）k8s集群架构组件（3）k8s核心概念2、kubernetes集群搭建（1）搭建k8s集群部署方式
羽帝·2023-11-16 17:02

docker+k8s本地搭建集群，并用Dashboard实现集群的图像界面

docker+k8s本地搭建k8s集群的搭建有二进制方式和kubeadm方式，kubeadm方式搭建比较简单，但二进制方式有助于帮助理解集群搭建过程中更加细节的部分，本文采用kubeadm方式，有兴趣和能力的同学看完本篇后可以去了解二进制方式
weixin_44806034·2023-11-16 17:31

2 二进制方式搭建K8S集群

本文介绍基于二进制方式，进行单Master、多Master的K8S集群搭建全过程。经本人手动测试无误后整理成下文，建议先查看目录详情了解整体流程，后进行实操。
银河猎户悬臂·2023-11-16 17:01

轻量高可用的 K8s 集群搭建方案：MicroK8s

MicroK8s是CNCF认证的Kubernetes发行版，由Ubuntu背后的商业公司Canonical开发和维护。它和完整版的Kubernetes一样支持高可用特性（HA），支持快速组建K8s集群。适合用于边缘计算、IoT、以及使用KubeFlow的MLOps机器学习场景。当然，也适合用于开发者本地环境，以轻量的资源消耗、简单的运维成本获得几乎完整的Kubernetes生态体验。本篇文章，我们
soulteary·2023-11-16 17:00

k8s集群搭建

k8s集群搭建虚拟机环境准备vagrant初始化三台sentos/7环境(需要先安装vagrant)Vagrantfile文件:Vagrant.configure("2")do|config|(1..3
TakeMyHandNow·2023-11-16 17:57

【k8s集群搭建(二)：基于虚拟机的linux的k8s集群搭建_超详细_可视化界面Dashboard安装_记录全过程踩坑记录及解决方法】

在master执行#根据在线配置文件创建资源kubectlapply-fhttps://raw.githubusercontent.com/kubernetes/dashboard/v2.3.1/aio/deploy/recommended.yaml设置访问端口#修改配置文件找到type，将ClusterIP改成NodePortkubectleditsvckubernetes-dashboard-
2020. 12.13·2023-11-16 17:55

rabbitmq 集群搭建

RabbitMQ集群介绍RabbitMQ集群是一组RabbitMQ节点（broker）的集合，它们一起工作以提供高可用性和可伸缩性服务。RabbitMQ集群中的节点可以在同一物理服务器或不同的物理服务器上运行。RabbitMQ集群的工作原理是，每个节点在一个虚拟主机中提供服务，并通过网络进行通信和数据同步。当一个节点在集群中宕机时，其他节点可以接管其未处理的消息和队列，并尝试恢复数据同步，从而确保
liuyunshengsir·2023-11-16 15:53

K8S 集群搭建

1、搭建清单2台linux服务器（一个master节点，一个node节点），建议搭3台（一个master，两个node）我使用的是腾讯云，节点与节点使用公网IP通信确保2台服务器都安装了docker2、服务器前置工作如果是本机启动多个linux虚拟机，可忽略建议学习阶段关闭防火墙及安全策略如果需要添加安全组端口放行，我这里附上我的端口放行列表放行端口如下：8080：选择性放行，这个在证书会使用到，
睡竹·2023-11-16 12:30

达梦集群搭建

一、数据库安装###（一）安装前准备版本准备[root@localhost~]#uname-aLinuxlocalhost.localdomain3.10.0-1160.el7.x86_64#1SMPMonOct1916:18:59UTC2020x86_64x86_64x86_64GNU/Linux将镜像文件传到/opt目录下[root@localhost100~]#cd/opt/[root@lo
EOPG·2023-11-16 10:54

Hadoop概述

第1章大数据概论1.1大数据概念大数据（BigData）：指无法在一定时间范围内用常规软件工具进行处理的数据集合，需要新处理模式才具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产
留不住斜阳·2023-11-16 08:50

redis-5.0.8主从集群搭建、不重启修改配置文件

一、环境准备192.168.5.100redis-01192.168.5.101redis-02192.168.5.102redis-03关闭防火墙、能够通网二、安装redis[root@localhost~]#wgethttp://download.redis.io/releases/redis-5.0.8.tar.gz[root@localhost~]#tarxfredis-5.0.8.tar
我还能再学点·2023-11-16 07:13

大数据Hadoop之——部署hadoop+hive+Mysql环境（Linux）

目录一、JDK的安装1、安装jdk2、配置Java环境变量3、加载环境变量4、进行校验二、hadoop的集群搭建1、hadoop的下载安装2、配置文件设置2.1.配置hadoop-env.sh2.2.配置
爱吃面的猫·2023-11-16 06:51

【论文】基于Hadoop的铁路货运大数据平台设计与应用

点我完整下载：基于Hadoop的铁路货运大数据平台设计与应用.docx基于Hadoop的铁路货运大数据平台设计与应用DesignandApplicationofRailwayFreightBigDataPlatformbasedonHadoop
wusp1994·2023-11-16 06:45

从零开始，掌握Nacos搭建的艺术(单点、集群、docker-compose)

：你只管努力，剩下的交给时间：小破站从零开始，掌握Nacos前言：前提：建表语句第一：单节点搭建：第二：集群搭建：第三：使用docker-compose搭建目录结构Docker-compose.ymlconf.d
一只牛博·2023-11-16 04:43

【CEPH-初识篇】Ceph 详细介绍，一篇解决 Ceph 集群搭建， 三大存储使用

文章目录前言简介（理论篇）逻辑结构数据存储原理三大存储RADOSGW（对象网关）BRD（块存储）CEPHFS（文件存储）所有组件结合起来POOL、PG简介组件结合搭建ceph（操作篇）1、基础配置2、创建ceph集群3、部署mgr管理服务4、部署osd使用ceph一、cephfs文件系统二、块存储三、对象存储使用S3访问RGW使用命令行方式操作rgw参考资料前言你好，我是无名小歌。今天给大家分享一
秋意零·2023-11-15 15:46

k8s安装ingress-nginx

目录前言准备helm安装包修改values.yaml安装ingress测试功能前言k8s集群搭建参考：https://blog.csdn.net/centrl/article/details/134291473
墨家先生·2023-11-15 14:20

RabbitMQ+keepalived+haproxy搭建高可用集群

RabbitMQ+keepalived+haproxy搭建高可用集群一、集群简介1.1RabbitMQ集群1.2集群架构二、RabbitMQ集群搭建RabbitMQ普通集群模式2.1环境准备2.2host
哒不死的小小强·2023-11-15 07:45

keepalived+haproxy+redis-cluster 高可用负载均衡redis集群搭建

搭建高可用redis-cluster集群KeepAlived+Redis+Haproxy实现主从热备、负载均衡、秒级切换实战Redis+Keepalived+Haproxy的集群架构，分别用六个端口，实现多路复用，最终实现主从热备、负载均衡、秒级切换。一、部署Redis集群1、环境一台虚拟机模拟6个节点，创建出3master、3salve环境redis1:192.168.182.120:（6001
Bejpse·2023-11-15 07:42

SparkSQL数据源

第1关：SparkSQL加载和保存代码：packagecom.educoder.bigData.sparksql2;importorg.apache.spark.sql.AnalysisException
小kamil·2023-11-15 05:06
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他