集群分布式技术第16页

ES 增删改查入门

PROTOCOLhttp或者https（如果你在Elasticsearch前面有一个https代理）HOSTElasticsearch集群中任意节点的主机名，或者用localhost代表本地机器上的节点

BlackChen·2024-02-15 01:00

2022年计划大概要学习或提升的一些能力

上周六的时候我在部门里进行了一次分享，主题是《k8s集群的搭建实战分享》。其实，k8s那门技术我很早就想学了，大概是在三年前，那时候还在学校。今天再次意识到自己还没很多知识没有学好！

极客开发者·2024-02-15 00:33

大数据集群环境启动总结

hadoop启动与停止单个节点逐一启动在主节点上使用以下命令启动HDFSNameNode：hadoop-daemon.shstartnamenode在每个从节点上使用以下命令启动HDFSDataNode：hadoop-daemon.shstartdatanode在主节点上使用以下命令启动YARNResourceManager：yarn-daemon.shstartresourcemanager在每

我还不够强·2024-02-14 23:04

Hadoop(HDFS)的超级用户

HDFS的超级用户不一定非得是namenode主机上的超级用户，也不需要所有的集群的超级用户都是一个。同样的，

zinger.wang·2024-02-14 21:12

集群同步分发脚本

写脚本之前先安装服务yuminstallrsync-y#!/bin/bash#$#：表示传递给脚本或函数的参数个数。#1获取输入参数个数，如果没有参数，直接退出pcount=$#if((pcount==0));thenechonoargs;exit;fi#2获取文件名称p1=$1fname=`basename$p1`echofname=$fname#3获取上级目录到绝对路径pdir=`cd-P$(

日写BUG八百行·2024-02-14 19:40

centos LB负载均衡集群三种模式区别 LVS/NAT 配置 LVS/DR 配置 LVS/DR + keepalived配置 nginx ip_hash 实现长连接 LVS是四层LB...

centosLB负载均衡集群三种模式区别LVS/NAT配置LVS/DR配置LVS/DR+keepalived配置nginxip_hash实现长连接LVS是四层LB注意down掉网卡的方法nginx效率没有

weixin_30686845·2024-02-14 18:40

LVS/DR&LVS高可用集群

一、基本知识HeartbeatHeartbeat项目是Linux-HA工程的一个组成部分，其与lvs在本质上无关。Heartbeat提供了2个核心的功能正是lvs所需要的，心跳监测部分和资源接管，心跳监测可以通过网络链路和串口进行，而且支持冗余链路，安装了Heartbeat的两台机器会通过心跳检测互相检测对方的状态，当检测到对方失效的时候会调用资源接管来做接管服务器，保证高可靠性。在一个高可靠的l

Hannah_zh·2024-02-14 18:39

SpringBoot+Dubbo+Zookeeper集群实战

搭建环境Idea工程目录结构parent父工程api-service子工程api-service-impl子工程web子工程创建父工程Parentimage.pngimage.png4.0.0com.springboot.dubboparentpom1.0-SNAPSHOTapi-service-implapi-servicewebUTF-81.81.81.84.0.13.4.130.2.0org

长孙俊明·2024-02-14 18:59

PySpark介绍及其安装教程

Spark官方提供的一个Python类库，其中内置了完全的SparkAPI，使得Python用户在导入这个类库后，可以使用自己熟悉的Python语言来编写Spark应用程序，并最终将程序提交到Spark集群运行

文景大大·2024-02-14 14:58

使用solr6.0搭建solrCloud

使用solr6.0搭建solrCloud一、搭建zookeeper集群下载zookeeper压缩包到自己的目录并解压（本例中的目录在/opt下），zookeeper的根目录我们在这里用${ZK_HOME

牛初九·2024-02-14 13:06

实训总结

软件的分类单机版软件，分布式软件分布式软件：C/S架构软件：客户端需安装专门软件B/S架构软件：客户端为浏览器3.软件测试的定义与原则1》测试显示软件存在缺陷2》穷尽测试是不可能的3》测试尽早介入4》缺陷集群性

胖虎大魔王·2024-02-14 13:49

Kubernetes(K8S)集群部署实战

目录一、准备工作1.1、创建3台虚拟机1.1.1、下载虚拟机管理工具1.1.2、安装虚拟机管理工具1.1.3、下载虚Centos镜像1.1.4、创建台个虚拟机1.1.5、设置虚拟机网络环境1.2、虚拟机基础配置（3台虚拟机进行相同处理）1.2.1、配置host1.2.2、关闭防火墙1.2.3、将桥接的IPv4流量传递到iptables的链二、Docker安装三、Kubernetes安装3.1、配置

道法自然实事求是·2024-02-14 12:32

Kubernetes（k8s）集群部署实战经验总结

法一：使用KubeSphereAll-in-One模式轻松部署k8s集群（强烈推荐新手使用）参考链接：https://kubesphere.com.cn/docs/quick-start/all-in-one-on-linux

南南南南南琦·2024-02-14 12:32

redis Cluster 搭建实战

GCCsudoapt-getinstallgcc3.安装RUBYsudoapt-getinstallrubysudoapt-getinstallrubygems4.安装rubyredis库geminstallredis5.创建集群目前测试过程中

大大老湿·2024-02-14 11:18

【生产实测可用】Redis修改集群弱口令

起因漏扫redis连接发现弱口令需要修改先连上去看看是空口令还是弱口令redis-cli-p6379-ha.b.c.dinfosentinel找到启动服务器的配置文件cp-av/app/redis-7001/redis.conf/app/redis-7001/redis.conf.bak20240207echo"requirepass口令">>/app/redis-7001/redis.conf主

白-胖-子·2024-02-14 11:45

Mysql集群--双主模式

MySQL主从模式，一主多从、读写分离等。但是单主如果发生单点故障，从库切换成主库还需要作改动。因此，如果是双主或者多主，就会增加MySQL入口，提升了主库的可用性。因此随着业务的发展，数据库架构可以由主从模式演变为双主模式。双主模式是指两台服务器互为主从，任何一台服务器数据变更，都会通过复制应用到另外一方的数据库中一，双主双写&是双主单写双主双写存在以下问题：ID冲突在A主库写入，当A数据未同步

FYHannnnnn·2024-02-14 08:48

mysql-读写分离

1.什么是读写分离在数据库集群架构中，让主库负责处理写入操作，而从库只负责处理select查询，让两者分工明确达到提高数据库整体读写性能。

PercyXuBiao·2024-02-14 08:17

【解决】redis集群加入密码报错“Jedis does not support password protected Redis Cluster configurations“

升级redis密码之后，运行程序报错"JedisdoesnotsupportpasswordprotectedRedisClusterconfigurations"。原因：Jedis版本原因不支持Redis密码当时我们用的Jedis版本是2.8.2（jedis-2.8.2.jar），redis版本是1.7.2（jedis-2.8.2.jar），springboot版本是1.4.0（1.4.0.RE

辣个仔·2024-02-14 08:33

[Doris] Doris的安装和部署 (二)

文章目录1.安装要求1.1Linux操作系统要求1.2软件需求1.3注意事项1.4内部端口2.集群部署2.1操作系统安装要求2.2下载安装包2.3解压2.4配置FE2.5配置BE2.6添加BE2.7FE

959y·2024-02-14 08:56

在树莓派上构建多节点K8S集群！

在很长一段时间里，我对于在树莓派上搭建Kubernetes集群极为感兴趣。在网络上找到一些教程并且跟着实操，我已经能够将Kubernetes安装在树莓派上，并在三个Pi集群中工作。

k3s中文社区·2024-02-14 07:07

springboot(eureka)

注入容器,通过此对象在java代码中发起http请求,用id查询对应的user数据,拿到对应的json,再自动json反序列化成对应对象这样就实现不同数据库不同访问接口服务器的接口调用(跨服务的远程调用)集群时候如何做

喜欢刷dp的菜菜·2024-02-14 07:11

.NET Core + K8S + Apollo 玩转配置中心

1.引言Apollo（阿波罗）是携程框架部门研发的分布式配置中心，能够集中化管理应用不同环境、不同集群的配置，配置修改后能够实时推送到应用端，并且具备规范的权限、流程治理等特性，适用于微服务配置管理场景

圣杰·2024-02-14 07:20

如何将 starrocks 的 be 的多个存储目录剔除一个？

说明starrocks集群的be节点的多个存储目录，有一个磁盘空间过小，搭建时误配置上，如下所示：$df-lhFilesystemSizeUsedAvailUse%Mountedondevtmpfs94G094G0%

qingzhongli·2024-02-14 06:04

Sentinel 实战-集群流控

集群流控我们已经知道如何为应用接入限流了，但是到目前为止，这些还只是在单机应用中生效。

weixin_42073629·2024-02-14 06:55

sentinel 集群流控 sentinel 持久化到nacos

介绍为什么要使用集群流控呢？假设我们希望给某个用户限制调用某个API的总QPS为50，但机器数可能很多（比如有100台）。

爱编程的皮皮虾·2024-02-14 06:50

2022-10-27

二、扶持方式（一）产业集群培育1.鼓励优势企业集聚。对新引进的网络安全领域

知产圈李老师·2024-02-14 06:37

elasticsearch实战摘录

目录elasticSearch语法摘录准备相关:docker启动es索引新数据选择合适的查询类型:使用term使用过滤器:应用聚合:通过ID获取文档:配置es集群索引更新和删除数据查看所有索引使用mapping

MarsLord·2024-02-14 05:10

Socket.D 开源输传协议 v2.4.0 发布

Socket.Dv2.4在Broker集群“可用性”方面有了极大的增强增加安全停止模式增加二段式停止协

组合缺一·2024-02-14 05:06

高并发系统的设计(1)

多上几台服务器,搞个集群!为什么要这么干呢?从2g4核,换成32g64核,可以提高单机的性能,但是单机是有极限的,受制于硬件。

Fuly1024·2024-02-14 05:32

08:K8S资源对象管理｜服务与负载均衡｜Ingress

K8S资源对象管理｜服务与负载均衡｜IngressDaemonSet控制器污点策略容忍容忍污点其他资源对象Job资源对象有限生命周期CronJob资源对象集群服务服务自动发现headless服务实现服务定位与查找服务类型

桑_榆·2024-02-14 05:59

docker镜像部署到k8s集群

一、搭建docker私有仓库本文使用阿里云私有仓库（个人免费版），阿里云—>容器镜像服务二、docker打包1、程序目录ll-rw-r--r--1rootroot8724月1122:03dockerfile-rw-r--r--1rootroot86784月1121:53jdk-8u251-linux-x64.tar.gz-rw-r--r--1rootroot753069584月1121:47ruo

qq_270490096·2024-02-14 04:32

集群应用方法2020.12.24

实验室小伙伴已经安装好docker，每个人都有自己的文件夹。需要软件： Xshell7（终端控制） Xftp7（文件上传）1.登录（用Xshell7）1.打开Xshell7进入终端；2.输入sshXXX@IP；（XXX是名字的拼音，IP为IP地址）3.输入密码；即可进入终端（直接进入自己的文件夹内）4.进入base环境命令：source~/anaconda3/bin/activateroot5

星 ♚ 城·2024-02-14 03:51

什么是分布式，分布式和集群的区别又是什么？

2.分布式与集群的区别?集群集群是指在

DawidZhu·2024-02-14 03:51

一万字详解 Redis Cluster Gossip 协议

RedisClusterGossip协议今天来讲一下ReidsCluster的Gossip协议和集群操作，文章的思维导图如下所示。

爱PSUI设计的星星·2024-02-14 02:42

2018-08-31

材料产业园区作为山东省发展高端新材料产业的综合性园区其以煤基、生物基、石墨烯、节能环保四大新材料产业集群为支撑，8年来砥砺奋进，逐步形成了配套完善、功能完备、集中程度高的专业化、规范化、标准化示范园区。

舒夜233·2024-02-14 01:31

一文彻底搞懂Redis的三种集群模式

文章目录1.主从模式1.1基本原理1.2工作机制1.3优缺点2.哨兵模式2.1基本原理2.2工作机制2.3优缺点3.集群模式3.1基本原理3.2工作机制3.3优缺点4.总结redis高可用的三种模式：主从模式

澡澡洗澡澡·2024-02-13 22:24

利用 Docker 安装 Hadoop 集群并通过 Java API 访问 HDFS

前言最近刚好在学习Hadoop，在安装过程中遇到了一些小麻烦，正好将此次过程记录并分享出来，希望能对准备学习本块内容的读者们有所帮助。本次操作在Ubuntu中完成，如何安装Ubuntu本文不再赘述。本文所涉及到的代码及配置文件可在微信公众号「01二进制」后台回复「hadoop」获取。在Ubuntu中安装配置Docker使用官方安装脚本自动安装安装命令如下：curl-fsSLhttps://get.

qq_33419925·2024-02-13 21:38

深入解析大型数据中心云平台的网络技术与实践

虚拟集群的规模(非物理机所能比拟)使得Vxlan的组播传播（虚拟机构成的集群包含的MAC地址数量往往多一两个数量级MAC地址表）对网络设备性能要求巨大(你不可能每个交换机都买核心交换机一样的配置吧）。

知白守黑V·2024-02-13 21:56

《未来领导者的领导力深度修炼》

2.不局限于领导力是领导的能力，每个人都具有不同差异的领导力，领导自己做好每件事，在团队中集群体之力完成目标，勇于承担风险，善于沟通，信任他人并自信这些都是我们的领导力。3.

风吹麦浪_97dc·2024-02-13 20:12

Sealer - 把kubernetes看成操作系统集群纬度的Docker

写在开头身为一名技术人员，总是喜欢把自己的作品打造成理想状态呈现给别人，我非常荣幸能把集群镜像这样一个卓越的想法变成现实,也非常开心用户使用我们的作品时对我们的高度认可。

sealyun·2024-02-13 20:22

Nginx服务器之负载均衡策略（6种）

一、关于Nginx的负载均衡在服务器集群中，Nginx起到一个代理服务器的角色（即反向代理），为了避免单独一个服务器压力过大，将来自用户的请求转发给不同的服务器。

樱井咲夜·2024-02-13 19:04

云服务器安装Kafka集群

上一篇云服务器搭建zookeeper集群讲解了在云服务器环境下，zookeeper集群的搭建，今天我们在其基础上来搭建一下在云服务器环境下kafka集群。

NealLemon·2024-02-13 17:35

你的Helm安全吗？

一、背景Kubernetes是目前最为流行、成为事实标准的容器集群管理平台，为容器化应用提供了部署运行、资源调度、服务发现和动态伸缩等一系列完整功能。

JFrog·2024-02-13 14:35

大数据处理为何选择Spark，而不是Hadoop

一.基础知识1.SparkSpark是一个用来实现快速而通用的集群计算的平台。在速度方面，Spark扩展了广泛使用的MapReduce计算模型，而且高效地支持更多计算模式，包括交互式查询和流处理。

嘿嘿海海·2024-02-13 14:00

技术架构的演进之路

目录一、常见概念二、架构演进2.1单机架构2.2应用数据分离架构2.3应用服务集群架构2.4读写分离/主从分离架构2.5冷热分离架构2.6垂直分库架构2.7微服务架构2.8容器编排架构三、互联网应用的架构一

GG_Bond20·2024-02-13 13:46

工作中Redis有哪些好用的运维工具

工作中使用Redis时，如果大家公司没有专业运维，可能开发人员就会面临这些运维的工作，包括Redis的运行状态监控，数据迁移，主从集群、切片集群的部署和运维等等。

诗者才子酒中仙·2024-02-13 13:11

Dubbo的负载均衡策略剖析

当服务提供者是集群时，通过在消费方设置负载均衡策略，避免大量请求一直集中在其中的某一个或者某几个服务提供方机器上。

Ability Liao·2024-02-13 13:23

集群内的原理

https://www.elastic.co/guide/cn/elasticsearch/guide/current/distributed-cluster.html

放开那个BUG·2024-02-13 12:13

hadoop 分布式集群安装与原理

对很多人来说，学习大数据都止步于集群搭建，即使是那些工作过很多年的JAVA程序员也不例外，我们分享一套能让您轻松完成集群搭建的方法，包括Hadoop的源码编译、企业级环境安装与配置和常用大数据组件的基本原理

海牛大数据_青牛老师·2024-02-13 12:44

dockerer-compose搭建单机clickhouse集群，工作中最新亲测能用，超详细

公司这几天让我搭建clickhouse集群，这一周我在公司的角色更像是运维人员搭建集群和服务，一个字干,另外kafka搭建点击这篇，zookeeper集群搭建点击这篇。

迷梦星河·2024-02-13 11:53

推荐频道

集群分布式技术

ES 增删改查 入门