bigdata集群搭建第18页

0基础学习大数据的学习路线和方向

首先从字面来了解一下大数据大数据（巨量数据集合（IT行业术语））大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量

weixin_34096182·2023-10-29 11:42

0基础学习大数据你需要了解的学习路线和方向

首先从字面来了解一下大数据大数据（巨量数据集合（IT行业术语））大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量

chuanmao9486·2023-10-29 11:06

k8s高可用集群搭建部署

简介k8s普通搭建出来只是单master节点，如果该节点挂掉，则整个集群都无法调度，K8s高可用集群是用多个master节点加负载均衡节点组成，外层再接高可用分布式存储集群例如ceph集群，实现计算能力+存储能力的高可用，同时，etcd也可以独立出来用外部的etcd集群架构详解高可用架构图架构详解访问链路步骤：外部域名访问——>node集群负载均衡——>ingress——>node集群——>ser

Anime777·2023-10-29 08:43

redis集群搭建报错-(error) CLUSTERDOWN The cluster is down

【README】最近搭建一个redis集群，参考博文（https://www.cnblogs.com/mafly/p/redis_cluster.html）对集群配置后，master，slave也启动起来，但无法插入数据；【1】报错信息；[root@centos201redis-cluster]#/usr/local/bin/redis-cli-c-h192.168.163.201-p637919

PacosonSWJTU·2023-10-29 08:52

Docker swarm 集群搭建

Dockerswarm集群搭建服务器准备主机名IP主机配置master10.10.10.32c2gnode0110.10.10.42c2gnode0210.10.10.52c2g主机名配置#master

萬萬萬v7·2023-10-29 08:42

Docker swarm集群之compose启动多服务

Dockerswarm集群之compose启动多服务本篇文章是在搭建过Swarm集群基础上进行的，如未搭建过请移步：[Dockerswarm集群搭建-Wanwan’sBlog(wanwancloud.cn

萬萬萬v7·2023-10-29 08:42

工作流开源系统--DRAKE

1工作流开源系统概要以下是各类数据分析的工作流pipeline管道模型的框架和库包，包含特定科学等业务领域行业或者通用领域，结合大数据bigdata分析的各种开放源码项目。

袁一白·2023-10-29 05:03

Elasticsearch 3 节点集群搭建 (7.9.0)

最近发布的ElasticStack7.9，带来了很多新的特性。ElasticAgent统一集成数据采集代理是一大亮点。另外还看增加了企业搜索、端点安全防护等组件。IngestManager统一Beat配置管理功能让我们向SaaS风格的监控工具又迈进了一步。由代理端自行注册到后端，在后端统一纳管所有被管理服务器，将是一种以后非常通用的模式。这样做的好处是：将数据采集端点的配置工作量和复杂度降低到最低

DevOps教练·2023-10-29 03:59

sqoop mysql 拒绝连接_Sqoop 连接MySQL报错：拒绝连接 (Connection refused)

@MarsJlog：[root@bigdataopt]#ls-lt/opt/sqoop-1.4.6/lib/mysql-connector-java-5.1.45-bin.jar-rwxrwxrwx.1rootroot99981012

weixin_39849671·2023-10-28 20:01

sqoop连接MYSQL报错处理

sqooplist-databases--connectjdbc:mysql://10.100.81.207:3306/--usernameroot--password123Warning:/home/bigdata

泊涯·2023-10-28 20:56

k8s集群环境搭建

k8s环境集群搭建1.简述2.k8s概述3.软硬件配置3.1硬件配置3.2软件配置4环境配置4.1使用root权限4.2节点ip配置4.3设置系统主机名4.4解析主机名4.5关闭swap4.6设置时间同步

陈（程）序员·2023-10-28 17:30

2.spark 读取流数据

packagecom.sparktest.bigdata.sparkimportorg.apache.spark.

一杭oneline·2023-10-28 16:52

【Zookeeper集群】Zookeeper集群搭建

以下是基本的ZooKeeper集群搭建步骤：建立一个名为zookeeper的用户和组，并创建需要保存ZooKeeper数据的目录，可以使用命令。

后端研发Marion·2023-10-28 15:57

CentOS7搭建Zookeeper集群

目录一、CenOS7安装Zookeeper单节点二、Zookeeper集群搭建1、同一台服务器搭建伪Zookeeper集群2、3台服务器搭建Zookeeper集群首先，zookeeper安装依赖jdk环境

it_lihongmin·2023-10-28 15:57

大数据和智能数据应用架构系列教程之：大数据与交通出行

这种庞大的、结构复杂的数据集合称为“大数据”（BigData）。随着互联网、移动互联网、云计算、大数据的发展，用户对数据的需求也在不断增加。用户获取信息的方式也变得越来越多样化。

禅与计算机程序设计艺术·2023-10-28 09:58

redis5.0集群搭建(两台服务器)

.redis集群5.0之前和5.0之后版本的区别4.1redis5.0之前的版本创建集群4.2redis5.0之后的版本创建集群4.3redis5.0之前的版本需要依赖ruby环境5.redis5.0集群搭建

craftsman2020·2023-10-28 08:19

三台机器搭建redis集群过程及问题记录

文章目录1.前言2.搭建集群3.遇到的问题4.cluster指令5.相关文章(1)redis集群搭建(2)华为云两台机器内网互联(3)/etc/rc.d/init.d详解|程序开机自启(4)Redis5.0

craftsman2020·2023-10-28 08:19

【redis】 windows环境下安装、配置、使用、卸载

3.3WindowsRedis默认配置文件3.4修改连接密码3.5修改redis配置bind3.6重启服务4.卸载redis5.windows环境下启动多个redis服务（搭建redis集群）6.相关文章(1)redis集群搭建

craftsman2020·2023-10-28 08:48

redis集群中节点fail,noaddr

noaddr2.clusternodes节点信息解读2.1每个字段的含义2.2flags字段各标记含义3.redis集群fail,noaddr问题解决4.cluster指令5.相关文章(1)redis集群搭建

craftsman2020·2023-10-28 08:45

etcd集群搭建

一、准备环境角色IPetcd-1192.168.66.31etcd-2192.168.66.41etcd-3192.168.66.42二、软件下载单独为etcd放置一个目录，方便后面直接通过scp命令迁移mkdir/opt/etcdmkdir/opt/etcd/{bin,cfg,ssl,data,wal}–p下载wget-chttps://github.com/etcd-io/etcd/relea

leellun·2023-10-28 04:25

大数据和智能数据应用架构系列教程之：大数据与人工智能

“BigData”这个词汇一度引起轰动。作为一个技术词汇，它代表着海量的数据、高维度的结构化和非结构化数据以及各种新型的信息和服务。

禅与计算机程序设计艺术·2023-10-27 23:07

【经验分享】openGauss容灾集群搭建

gs_sdr命令代码解读背景openGauss推出了容灾架构，相比之前的一个集群主从架构，而容灾架构是两个集群间的数据同步。为了更深入了解其原理，本文试图通过阅读gs_sdr命令相关的代码来学习下相关的各种操作。1.容灾搭建过程可以参考：https://www.modb.pro/db/6287672.vscode调试配置可以参考：https://www.modb.pro/db/6583443.个人

renxyz·2023-10-27 19:23

Spring Cloud学习：二【详细】

NamespaceNacos调用流程Nacos与Eureka注册对比Nacos与Eureka的共同点Nacos与Eureka的区别Nacos配置管理统一配置配置自动刷新多环境配置共享配置文件优先级Nacos集群搭建数据库初始化配置

zmbwcx·2023-10-27 15:39

Linux（centos7）如何部署ElasticSearch7.6.2单节点跟集群（es部署指南）

原创Linux（centos7）部署ElasticSearch7.6.2集群跟单节点目录一、单节点es搭建部署二、3个节点es集群搭建部署三、部署失败的4个原因目录这篇文章将涉及到如何在centos7的

暴打鲁班·2023-10-27 14:51

springboot整合redis集群

springboot整合redis集群搭建redis集群1.创建springboot项目在springboot项目中整合redis集群有三种方式（jedis，lettuce，RedisTemplate）

DAIDAIAAAAAA·2023-10-27 12:38

ambari2.7.3 安装 impala

.*/\1/'`sudogitclonehttps://github.com/cas-bigdatalab/ambari-impala-service.git/var/lib/ambari-serve

jzy3711·2023-10-27 11:09

Flink-Checkpoint&Savepoint-任务恢复，任务保障制度

savepoint是需要更新程序jar或升级停止job时人为指定的保存状态目录，savepoint中的状态更新一些2.停止job的命令老的方式(cancel,以过时),-s指定的是savepoint的目录/bigdata

for your wish·2023-10-27 11:26

大数据时代的学习方向和清晰的路线分享

定义是大数据(bigdata)，或称巨量资料，指的是所涉及的资料量规模巨

金罗老师·2023-10-27 09:06

Kubernetes集群环境搭建&部署Dashboard

1、Kubernetes集群搭建本次环境搭建需要三台CentOS服务器（一主二从），然后在每台服务器中分别安装Docker（18.06.3）、kubeadm（1.18.0）、kubectl（1.18.0

邋遢的流浪剑客·2023-10-27 08:04

Nacos集群搭建

一、参照alibaba版本说明，下载对应的nacos版本此处下载对应的1.4.1版本二、修改nacos配置文件修改conf目录下的application.properties文件,主要db相关的配置。多台服务器同步修改server.servlet.contextPath=/nacosserver.port=8848spring.datasource.platform=mysqldb.num=1db

新生代农名工·2023-10-27 07:31

Redis Cluster集群搭建

Redis系列笔记：第一篇:Redis基础命令第二篇:Redis常见应用场景第三篇:RedisCluster集群搭建第四篇:Redis主从及哨兵搭建第五篇:Redis主从及集群第六篇:Redis持久化第七篇

云三木·2023-10-27 02:50

Redis 高可用集群原理和实践

集群环境搭建Redis集群最少需要3个master节点，这里我们搭建3个master节点，3个slave及节点（由于我机器配置受限，直接通过端口的方式模拟集群搭建，本处只是实验方便，生产环境不可采取此方案

运维开发故事·2023-10-27 00:33

安装Airflow

NEO_X·2023-10-26 21:05

Redis集群搭建真的很简单

背景很多小伙伴在学习redis的时候都只在windows上搭建过redis，然后工作之后也只是在应用redis。那么redis在Linux上如何搭建呢？集群如何搭建呢？本文不讲原理，只讲实际操作。真的很简单。环境Linux-Ubuntu20.04.6LTSx86_64Redis6.2.6准备工作1、下载redishttps://redis.io/download/英语好的可以直接找历史版本下载，英

架构大数据双料架构师·2023-10-26 17:31

Aliyun大数据Zookeeper集群搭建

14、ZooKeeper集群搭建14.1主机规划(Etcd和ZK可以搭建系统主机上节省IP资源)序号主机名称角色数量主机内网IP规划主机外网IP主机配置基础软件系统01etcd-ZK-MasterNode01110.0.0.30123.57.59.1372C4Gwget

我是李小胖·2023-10-26 14:37

Windows下 YOLOv5配置、部署、及遇到的问题

YOLOv5配置Yolov5前期配置参考该博客简单快速建立pytorch环境YOLOv5目标检测模型跑起来(超简单）_Bigdata达闻西的博客-CSDN博客_pytorchyolo本人先期已经配置完成

Eurus_X·2023-10-26 04:27

k8s系列03-kubeadm部署calico网络的k8s集群

此前写的一些关于k8s基础知识和集群搭建的一些方案，有需要的同学可以看一下。1、准备工作1.1calico-集群节点信息机器均为8C8G的虚拟机，硬盘为100G。

tinychen777·2023-10-26 00:36

Docker swarm集群搭建教程

一、什么是SwarmSwarm这个项目名称特别贴切。在Wiki的解释中，Swarmbehavior是指动物的群集行为。比如我们常见的蜂群，鱼群，秋天往南飞的雁群都可以称作Swarmbehavior。Swarm项目正是这样，通过把多个DockerEngine聚集在一起，形成一个大的docker-engine，对外提供容器的集群服务。同时这个集群对外提供SwarmAPI，用户可以像使用DockerEn

weixin_30276935·2023-10-25 23:49

k8s集群搭建-Kubeadm

准备工作（所有的机器）1、安装vimyum-yinstallvim*2、关闭防火墙systemctlstopfirewalldsystemctldisablefirewalld3、时间校正（系统时间不一致会导致node节点无法加入集群）yuminstall-yntpntpdatecn.pool.ntp.org4、关闭selinuxsed-i's/enforcing/disabled/'/etc/s

miner_wf·2023-10-25 23:46

wf-docker集群搭建（未完结）

系列文章目录提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录前言一、redis集群二、mysql集群三、nacos集群1.环境要求2.拉取镜像2.1.拉取镜像方式配置集群2.2.自定义nacos镜像配置集群3自定义Docker网络4添加Nacos的环境变量5.挂载nacos的配置文件6.docker-compose部署nacos7文件目录如下:前言一、redis

seeyoutlb·2023-10-25 23:42

Kafka集群搭建、Kafka命令行使用、Kafka与springboot集成、Kafka生产者、Kafka消费者、Kafka面试题

文章目录1.Kafka概述1.1kafka简介1.2消息队列1.2.1使用消息队列的好处1.2.2消息队列的两种模式1.3Kafka基础架构2.单机版kafka搭建2.1下载kafka2.2修改配置2.3配置环境变量2.4kafka常用命令行2.4.1启动和关闭kafka2.4.2查询命令2.4.3创建与删除2.4.4生产与消费2.5生产者消费者吞吐量测试3.集群版搭建3.1新增集群配置3.2启动

苦糖果·2023-10-25 22:20

kafka 入门集群搭建&集成Springboot

kafka入门-集群搭建&简单示例集群搭建搭建ZooKeeper集群1、官网下载zookeeper下载地址2、解压安装准备三台机器，分别解压apache-zookeeper-3.5.8-bin.tar.gz

不喝阔落·2023-10-25 22:18

Kafka集群搭建 & SpringBoot整合Kafka集群

Kafka集群搭建准备工作准备三台虚拟器，装好jdk，192.168.1.117:9092,192.168.1.128:9092,192.168.1.129:9092kafka安装0.systemctlstopfirewalld1

宁漂打工仔·2023-10-25 22:45

Kafka集群搭建与SpringBoot项目集成

kafka集群环境包地址：百度网盘请输入提取码提取码：x9yn一、Kafka集群搭建1、准备环境（1）准备三台LINUX服务器：xxx.xxx.xxx.1xxx.xxx.xxx.2xxx.xxx.xxx

sum墨·2023-10-25 22:12

hadoop集群搭建

hadoop有三种部署方式1、Local(Standalone)Mode（单机模式）数据存储在本地2、Pseudo-DistributedMode（伪集群模式）数据存储在HDFS3、Fully-DistributedMode（集群模式）集群部署，数据存储在HDFS一、安装JDK因为hadoop是Java语言开发的，所以依赖jdk环境，需要先安装jdkJDK安装教程二、安装hadoop2.1、下载h

有人看我吗·2023-10-25 16:51

安装Python及爬虫入门介绍

大数据（BigData）大数据（bigdata）指无法在一定时间范围内用常规软件工具进行

进击的雷神·2023-10-25 09:42

Hadoop核心机制详细解析

作者：InBigData来源：InBigData|2012-07-0310:57移动端收藏分享Hadoop的核心机制是通过HDFS

Amao_come_on·2023-10-25 09:18

（八）kubernetes集群搭建（二进制方式）之--node部署kube-proxy

kubernetes集群搭建（二进制方式）之--node部署kube-proxy1.创建配置文件2.配置参数文件3.生成kube-proxy证书4.生成kubeconfig文件5.systemd管理kube-proxy6

六种味·2023-10-25 04:11

大数据技术导论|datawhale组队学习

学习链接：https://datawhalechina.github.io/juicy-bigdata/#/READMETask01阅读第一、二章第一章主要介绍了大数据的概念、应用以及其关键技术。

郑粗心·2023-10-24 20:43

Spring Cloud之服务注册与发现（Eureka）

目录Eureka介绍角色实现流程单机构建注册中心服务提供者服务消费者集群搭建注册中心服务提供者自我保护机制原理分析Eureka介绍Eureka是springcloud中的一个负责服务注册与发现的组件，本身是基于

lgcgkCQ·2023-10-24 15:45

推荐频道

bigdata集群搭建