E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Codis集群搭建
Hadoop——MapReduce相关eclipse配置及Api调用(图文超详细版)(内含遇到错误的解决方法)
还没有搭建Hadoop成功的同学,欢迎看看我之前的文章:Hadoop
集群搭建
(步骤图文超详细版)目录一、前情提要二、前置条件三、上传文件至HDFS四、压缩Hadoop文件五、配置Eclipse六、HDFS
HuiSoul
·
2021-11-10 00:34
Hadoop大数据实战
hadoop
mapreduce
大数据
搭建zookeeper集群步骤和出现问题解决方案
文章目录1.搭建前准备1.1ssh免密码登录配置方法1.2安装JDK1.3下载并配置zookeeper2.zookeeper
集群搭建
2.1启动zookeeper服务3.启动问题1.搭建前准备1.1ssh
hero.zhong
·
2021-11-08 19:47
ssh
服务器
运维
Hadoop分布式高可用HA
集群搭建
笔记(含Hive之构建),成功入职百度月薪35K
把登录用户名写进去添加写入权限1.2.5脚本准备这是一个批处理脚本,转载自网友“子墨良言”通过它可以方便地在一整个集群当中执行相同的命令并获得回显。deploy.confmasternode,all,namenode,zookeeper,resourcemanager,slavenode1,all,slave,namenode,zookeeper,resourcemanager,slavenode
程序员1024开源
·
2021-11-08 11:48
程序员
面试
java
后端
第一篇:《Kubernetes 入门介绍》
前言:本文是一篇kubernetes(下文用k8s代替)的入门文章,将会涉及k8s的技术历史背景、架构、
集群搭建
、一个Redis的例子,以及如何使用operator-sdk开发operator的教程。
杨博东的博客
·
2021-11-08 09:00
RabbitMQ-进阶(镜像队列、负载均衡、联邦插件)
RabbitMQ进阶RabbitMQ进阶,是对RabbitMQ基础进行一个补充,里面涵盖了集成SpringBoot框架的使用,以及
集群搭建
,已经集群相关知识集成SpringBootSpringBoot集成
JolyouLu
·
2021-10-28 16:59
分布式中间件
rabbitmq
负载均衡
java
Hadoop——安装MySQL、Hive以及Sqoop(步骤图文超详细版)
还没有搭建Hadoop,欢迎看看我前面的一篇文章:Hadoop
集群搭建
(步骤图文超详细版)目录一、前置条件二、安装Mysql三、安装Hive四、安装Sqoop一、前置条件需要安装下载方法Hive-1.2.1
HuiSoul
·
2021-10-27 15:39
Hadoop大数据实战
hadoop
hive
sqoop
[JD] 一、基础架构与RPC框架剖析
基础架构基础架构设计主要考虑的几个方面:业务开发框架、存储、管理平台、MIS支撑、运维、基础组件、基础服务·业务开发框架又可以划分:网关、业务逻辑层、数据访问层·存储主要有:关系型存储MySQL、TiDB、缓存系统
Codis
小土狗一只
·
2021-10-26 22:08
架构师笔记
rpc
云原生Java架构实战 K8s+Docker+KubeSphere+DevOps(上)
VPCVPC的子网计算VPC的交换机重要概念容器化docker概念青云服务器centos安装dockerdocker实战docker进阶部署redis创建Java应用Kubernetes基础概念简介集群的方式
集群搭建
创建服务器
朱阿朱
·
2021-10-26 19:12
学习笔记
devops
kubernetes
k8s 日志收集,部署EFK-elasticsearch+fluentd+kibana
k8s日志收集,部署EFK-elasticsearch+fluentd+kibanak8s
集群搭建
完成后,由于pod分布在不同node内,定位问题查看日志变得复杂起来,pod数量不多的情况下可以通过kubectl
吃方便面的猫
·
2021-10-26 14:37
k8s
elasticsearch
docker
kubernetes
k8s
分布式
Hadoop——
集群搭建
(步骤图文超详细版)
目录一、前置条件二、安装Centos系统三、配置Centos系统静态IP(很重要!)三、解压jdk压缩包,配置环境变量四、配置免密钥登录修改主机名增加ip映射关系关闭防火墙**==我们继续来配置免密码登录!==**验证免密码登录五、Hadoop配置六、集群启动并测试集群一、前置条件需要安装下载方法VmwareWorkstation官网下载链接Centos7系统百度网盘下载,提取码:t6vajdk1
HuiSoul
·
2021-10-26 00:10
Hadoop大数据实战
hadoop
大数据
分布式
hdfs
SSH免密登录
Hadoop入门三 : Hadoop
集群搭建
一.Hadoop集群简介HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上在一起。HDFS集群负责海量数据的存储,集群中的角色主要有:NameNode、DataNode、SecondaryNameNodeYARN集群负责海量数据运算时的资源调度,集群中的角色主要有:ResourceManager、NodeManagermapreduce是一个分布式运算编程框
·
2021-10-15 17:04
hadoop
es
集群搭建
步骤及解决es集群无法形成的问题
搭建es集群时,修改或添加elasticsearch.yml配置如下:cluster.name:geingo-elasticsearchnode.name:es-node1path.data:/usr/local/elasticsearch-7.15.0/datapath.logs:/usr/local/elasticsearch-7.15.0/logsnetwork.host:0.0.0.0ht
·
2021-10-14 18:00
Minio分布式
集群搭建
一、分布式Minio快速入门分布式Minio可以让你将多块硬盘(甚至在不同的机器上)组成一个对象存储服务。由于硬盘分布在不同的节点上,分布式Minio避免了单点故障。1、分布式Minio有什么好处?在大数据领域,通常的设计理念都是无中心和分布式。Minio分布式模式可以帮助你搭建一个高可用的对象存储服务,你可以使用这些存储设备,而不用考虑其真实物理位置。数据保护分布式Minio采用erasurec
·
2021-10-12 12:35
minio
【Kubernetes】
集群搭建
/部署问题集锦
遇到的坑1.Timeout:WaitingforthekubelettobootupthecontrolplaneasstaticPodsfromdirectory"/etc/kubernetes/manifests".Thiscantakeupto4m0shttps://stackoverflow.com/que...2.Theconnectiontotheserverlocalhost:808
·
2021-10-11 15:32
kubernetes
Hadoop
集群搭建
__7.克隆虚拟机
一、虚拟机的克隆虚拟机右键>管理>克隆下一步选择克隆源创建完整克隆选择虚拟机位置克隆完成重复上述步骤创建tunabook103、tunabook104二、虚拟机配置配置网络地址tunabook102vim/etc/sysconfig/network-scripts/ifcfg-ens33#修改的内容IPADDR=192.168.10.102vim/etc/hostname#修改的内容tunaboo
EuropeanSheik
·
2021-10-10 22:00
开发工具教程
hadoop
big
data
linux
【云原生】⚡手把手教你搭建集群环境⚡Linux服务器集群+Docker+Kubernetes 完整
集群搭建
目录一、创建Linux集群环境:1.创建虚拟机:选择时区:配置网络:设置密码和用户:系统安装选择:2.配置虚拟机:修改虚拟机IP:在虚拟机中修改配置:修改主机名:二、安装Docker:1.移除Docker相关内容:2.安装基本依赖环境:3.设置镜像仓库,进行下载:指定版本安装:4.启动Docker:判断是否启动成功:5.配置镜像加速:三、搭建集群环境:1.克隆虚拟机:2.配置克隆的虚拟机:修改主机
故里º
·
2021-10-09 00:37
云原生
docker
linux
运维
kubernetes
集群
Hadoop 伪
集群搭建
与使用
1.下载下载地址,Indexof/hadoop/common/stable2.解压tar-zxvfhadoop-3.3.1.tar.gz3.配置修改核心配置:vietc/hadoop/core-site.xmlfs.defaultFShdfs://localhost:9000vietc/hadoop/hdfs-site.xmldfs.replication1配置hadoop环境变量vietc/ha
【非典型Coder】
·
2021-09-28 11:33
hadoop
大数据
Nacos2.0不同服务器
集群搭建
遇到的问题
今天使用Nacos2.0搭建集群,突然遇到了下面的情况。集群的服务列表显示的服务都不一样.123奇怪哦,他们的服务列表应该显示的一样啊,然后我翻了一下官方官方所以需要把9848和9849这两个端口打开啦。还有一个双写模式:官方说明curl-XPUT'localhost:8848/nacos/v1/ns/operator/switches?entry=doubleWriteEnabled&value
大太阳_b63c
·
2021-09-18 15:01
Hive从入门到精通,HQL硬核整理四万字,全面总结,附详细解析,赶紧收藏吧!!
MySQL基本操作以及常用的内置函数汇总整理Redis主从复制以及
集群搭建
详细步骤解析,赶快收藏练手吧!Hadoop集群HD
北慕辰
·
2021-09-08 15:32
hive
SQL数据库
BigData
hive
big
data
sql
数据仓库
大数据
ElasticSearch7
集群搭建
服务器环境集群由三台服务器构成,相关环境如下:节点IP节点1192.168.112.101节点2192.168.112.102节点3192.168.112.103下载安装包下载ES7的Linux安装包:https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.14.1-linux-x86_64.tar.gz安装安装ES
々怀念forever
·
2021-09-07 23:12
运用.net core中实例讲解RabbitMQ高可用集群构建
目录一、集群架构简介二、普通
集群搭建
2.1各个节点分别安装RabbitMQ2.2把节点加入集群2.3代码演示普通集群的问题三、镜像集群四、HAProxy环境搭建。
·
2021-09-07 14:07
mqtt
集群搭建
并使用nginx做负载均衡_亲测得结论
mqtt
集群搭建
RabbitMQ
集群搭建
和测试总结_亲测搭建好RabbitMQ集群,并开启mqtt插件功能,mqtt集群也就搭建好了nginx配置mqtt负载均衡#修改rabbitmq1节点ip为1.19
beyond阿亮
·
2021-09-05 22:34
mqtt
mqtt
nginx
spring
boot
大数据开发基础入门与项目实战(三)Hadoop核心及生态圈技术栈之1.Hadoop简介及Apache Hadoop完全分布式
集群搭建
文章目录前言1.大数据简介(1)知识体系(2)大数据定义及应用场景(3)大数据发展趋势及从业人员发展路线2.Hadoop简介3.Hadoop的重要组成4.ApacheHadoop完全分布式
集群搭建
(1)
cutercorley
·
2021-09-03 22:51
大数据开发基础入门与项目实战
大数据开发
Hadoop核心及生态圈技术栈
Hadoop简介及集群搭建
kafka
集群搭建
image.png0.服务器准备服务器规划IPhostname服务服务10.10.xxx.61kafka-01zookeeper-01kafka-0110.10.xxx.62kafka-01zookeeper-02kafka-0210.10.xxx.63kafka-01zookeeper-03kafka-03hostname三台服务器hostname设置分别如上表hosts/etc/hosts文件
玄德公笔记
·
2021-09-02 16:55
Go操作etcd的实现示例
etcd
集群搭建
一个3节点集群示例:Go语言操作etcd安装put和get操作watch操作基于etcd实现分布式锁参考链接:etcd是近几年比较火热的一个开源的、分布式的键值对数据存储系统,提供共享配置
·
2021-09-02 14:05
全国大学生大数据技能竞赛(Spark on Yarn安装)
系列文章全国大学生大数据技能竞赛(Hadoop
集群搭建
)全国大学生大数据技能竞赛(数仓部署)文章目录系列文章前言资料链接SparkonYarn安装3.1安装Scala3.2安装Spark前言本篇博客根据往年全国大学生大数据技能竞赛资料搭建
鈴音.
·
2021-08-30 20:01
竞赛
spark
scala
big
data
手把手教centos安装企业级redis集群
版本说明安装redis集群redis
集群搭建
教程也是全网随便能找的到,但很多都是写的demo,很多是按照单服务器来搭建多redis实例。
·
2021-08-29 11:18
深入浅析RabbitMQ镜像集群原理
HAProxy4)最后,任何想要连接到RabbitMQ集群的客户端搭建集群准备:1、准备3个虚拟机2、设置node1、node2、node3的hosts安装Erlang:安装RabbitMQ:同步cookie:
集群搭建
·
2021-08-23 18:06
RocketMQ笔记:
集群搭建
原创文章,转载请注明原文章地址,谢谢!数据复制与刷盘策略复制策略复制策略是Broker的Master与Slave间的数据同步方式。分为同步复制与异步复制。同步复制:消息写入master后,master会等待slave同步数据成功后才向producer返回成功ACK。异步复制:消息写入master后,master立即向producer返回成功ACK,无需等待slave同步数据成功。异步复制策略会降低
因你而在_caiyq
·
2021-08-18 13:10
K8s
集群搭建
系列(四) 你好 Istio
引言自上一篇文章【K8s
集群搭建
系列(三)K8s启动】到现在已经过去很长时间了,而本篇文章在很早之前就该发布,但是每次写了开头都放弃了。因为我觉得作为普通使用者,其实没必要去折腾,能用就可以了。
Tubetrue01
·
2021-08-17 09:40
全国大学生大数据技能竞赛(数仓部署)
系列文章目录全国大学生大数据技能竞赛(Hadoop
集群搭建
)全国大学生大数据技能竞赛(SparkonYarn安装)文章目录系列文章目录前言资料链接数仓部署详解(一)hbase安装1.1解压缩1.2修改配置文件
鈴音.
·
2021-08-16 18:45
竞赛
hive
mysql
hbase
docker实现redis
集群搭建
的方法步骤
目录一、创建redisdocker基础镜像二、制作redis节点镜像三、运行redis集群引用:摘要:接触docker以来,似乎养成了一种习惯,安装什么应用软件都想往docker方向做,今天就想来尝试下使用docker搭建redis集群。首先,我们需要理论知识:RedisCluster是Redis的分布式解决方案,它解决了redis单机中心化的问题,分布式数据库——首要解决把整个数据集按照分区规则
·
2021-08-16 17:23
Centos7下FastDFS+Nginx
集群搭建
(详细教程)
Centos7下FastDFS+Nginx
集群搭建
准备1、FastDFS的安装(所有跟踪服务器和存储服务器均执行如下操作)1.1、编译和安装所需的依赖:1.2、安装libfastcommon1.2.1、
清风凌冽
·
2021-08-16 14:55
FastDFS
fastdfs
centos
nginx
linux
全国大学生大数据技能竞赛(Hadoop
集群搭建
)
系列文章全国大学生大数据技能竞赛(数仓部署)全国大学生大数据技能竞赛(SparkonYarn安装)文章目录系列文章前言资料链接用VMware练习配置前准备三台虚拟机并修改网络为桥接01本地源YUM02基础环境配置1.防火墙2.主机名与映射2.1修改主机名2.2添加映射3.时间同步3.1时区3.2时间同步协议NTP4.定时任务crontab4.1描述4.2案例:定时任务03远程登录ssh04语言环境
鈴音.
·
2021-08-14 14:09
竞赛
hadoop
大数据
新手Hadoop安装 环境搭建
内部环境的搭建四.安装ssh并配置无密码登陆1.登陆2.设置无密码登陆五.安装Java环境六.安装Hadoop七.Hadoop伪分布配置1.配置文件2.开启NameNode和DataNode守护进程八.Hadoop
集群搭建
总结一
·
2021-08-13 11:12
5分钟搭建redis集群(redis5.0.5)
/download.redis.io/releases/redis-5.0.5.tar.gz$tarxzfredis-5.0.5.tar.gz$cdredis-5.0.5$makeredis5.0版本
集群搭建
不需要我们安装
·
2021-08-12 12:15
K8s
集群搭建
系列(三)K8s 启动
引言安装【Docker】之后,我们马上就开始进入K8s的搭建工作,这里采用的搭建方式是kubeadm,省略的无所谓的步骤,让搭建尽可能简单。好了,让我们开始吧。K8s搭建关闭selinux以及防火墙[root@localhost~]#setenforce0[root@localhost~]#sed-i"s/^SELINUX=enforcing/SELINUX=disabled/g"/etc/sys
Tubetrue01
·
2021-08-08 01:09
kafka-eagle
1环境说明kafka已安装见文档:《kafka单机启动》、《kafka
集群搭建
》2文件准备下载地址https://www.kafka-eagle.org/文件准备将文件拷贝到服务器,解压缩至/data目录里在
开发运维玄德公
·
2021-08-05 15:29
kafka单机启动
集群方式搭建见《kafka
集群搭建
》环境说明:我的测试环境是阿里云ECS.IP:172.xxx.xxx.149绑定弹性IP:47.xxx.xxx.1401.下载urlhttp://kafka.apache.org
开发运维玄德公
·
2021-08-05 11:55
Redis Cluster
集群搭建
你会吗
三台机器201、202、203,每台机器装两个redis实例,构建rediscluster集群。1.安装添加redis-cluster目录,将redis压缩包拷贝到该目录下,解压压缩包。解压完后,将文件夹redis-5.0.3重命名为redis1。[root@test201redis-cluster]#mvredis-5.0.3redis1需要在redis1目录下使用make命令进行编译。[roo
·
2021-08-03 15:48
Redis的Cluster
集群搭建
的实现步骤
目录一、引言二、Redis的Cluster模式介绍1、Redis群集1012、Redis群集TCP端口3、Redis集群和Docker4、Redis集群数据分片5、Redis集群之主从模型6、Redis集群一致性保证7、Redis群集配置参数三、创建和使用Redis群集四、使用创建群集脚本创建Redis群集五、测试故障转移六、手动故障转移七、总结一、引言本文档只对Redis的Cluster集群做简
·
2021-08-03 13:15
故障整理
1.RocketMQ部署不当导致磁盘空间不释放背景生产环境采用RocketMQ三主三从
集群搭建
,6个实例部署在3台Linux服务器上(节省资源),每台服务器部署一主一从,生产上运行一段时间后,发现磁盘空间报警
凡之baba
·
2021-08-03 11:33
Spark
集群搭建
Spark分布式
集群搭建
Spark版本选择三大主要版本:Spark-0.XSpark-1.X(主要Spark-1.3和Spark-1.6)Spark-2.X(最新Spark-2.4.6)本次选择的版本:
顾子豪
·
2021-08-02 23:50
在Docker环境下,TDengine的客户端为什么连不上集群?
这个话题就是——如何完善Docker环境下TDengine的
集群搭建
。“什么?除了你们官方自己人之外,怎么会有用户加班加点地讨论如何完善Docker环境的
集群搭建
,这也太假了。”
·
2021-07-27 19:14
大数据Flink电商数仓实战项目流程全解(一)
项目整体思路和架构项目最终成果展示:本项目主要参考尚硅谷的Flink实时数仓项目完成,最近又重新跑了一遍,项目整体我会在后续上传到码云中,也会逐步同步更新到博客中来,里面不仅包含了整体代码和整个
集群搭建
过程
大数据YYDS
·
2021-07-21 00:21
大数据Flink实战
flink
kafka
redis
大数据
spring
boot
kubernetes(K8S)
集群搭建
部署
K8S集群架构图解kubernetes安装仓库初始化1、购买云主机主机名称IP地址最低配置registry192.168.1.1001CPU,1G内存2、安装仓库服务[root@registry~]#yummakecache[root@registry~]#yuminstall-ydocker-distribution[root@registry~]#systemctlenable--nowdoc
一个小运维
·
2021-07-15 15:36
02-k8s-1.21高可用
集群搭建
前言:本次搭建使用了docker抛弃docker的文档见:《k8s1.20单master使用containerd》环境说明系统:centos7.9规划如下:IP地址集群角色节点名其他服务10.10.239.201mastercrust-m01keepalive/haproxy/docker/kubeadm/kubelet/kubect10.10.239.202mastercrust-m02keep
开发运维玄德公
·
2021-07-14 19:40
k8s本地
集群搭建
(v1.21.2)
k8s前期准备工作我这里主要使用docker-case构建本地k8s(v1.21.2)集群的软件准备vagrant2.2.16跨平台虚拟化工具virtualbox开源免费的虚拟机k8sversionv1.21.2vagrant环境说明需要使用root用户进去开始安装,不然会遇到很多问题节点连接方式密码
[email protected]
@
zhaoyunxing
·
2021-07-09 18:43
Python海量数据处理之_Hadoop(一)
集群搭建
下面将讲述如何利用服务器集群处理大数据,这里使用的工具是Hadoop,内容太多,分为三部分介绍,本篇是第一部分
集群搭建
,后两部分分别是原理和python调用。2.Hadoop简介 如果有多台用于数据计
xieyan0811
·
2021-06-26 22:10
zipkin 分布式链路追踪服务端搭建
Cassandra
集群搭建
1、下载安装包http://archive.apache.org/dist/cassandra/3.11.6/apache-cassandra-3.11.6-bin.tar.gz2
战神汤姆
·
2021-06-26 09:55
上一页
47
48
49
50
51
52
53
54
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他