#作者:闫乾苓文章目录1.版本选择Ceph版本发布历史目前官方在维护的版本2.部署方法3.服务器规划4.前置配置4.1系统更新4.2配置hostscat>>/etc/hosts>/etc/hosts/etc/chrony.conf/etc/chrony.conf/etc/os-release<
Nacos部署模式介绍、应用场景和示例
小猿、
服务器相关技术栈微服务技术栈docker后端微服务
概述Nacos支持多种部署模式,主要包括单机模式、集群模式和多集群模式。1.单机模式特点:只有一个Nacos节点。数据存储在本地嵌入式数据库(如Derby)。配置简单,启动快速。应用场景:开发环境:开发者可以在本地快速启动Nacos进行开发和调试。测试环境:用于功能测试和集成测试,无需复杂的集群配置。Docker部署示例:1、拉取Nacos镜像:dockerpullnacos/nacos-serv
RabbitMQ 和 Redis 的选择
一条小小yu
rabbitmqredis
在处理大规模消息场景时,RabbitMQ和Redis的选择需根据具体需求权衡。大规模消息场景的关键考量吞吐量需求:Redis:更适合超高频写入(如百万级/秒),但需牺牲部分可靠性。RabbitMQ:稳定吞吐(数十万级/秒),适合长期高负载但无需极限性能的场景。消息可靠性:必须持久化→选RabbitMQ(内置持久化+多节点集群)。可容忍丢失→Redis(依赖AOF/RDB,但集群部署需注意一致性)。
ubuntu20.04系统安装zookeeper简单教程
楼下创了电瓶车
zookeeper分布式云原生
Ubuntu系统中安装和配置Zookeeper的完整指南ApacheZookeeper是一个开源的分布式协调服务,广泛用于分布式应用程序中管理配置、提供命名服务、分布式同步以及组服务等。在本教程中,我们将详细介绍如何在Ubuntu系统中安装Zookeeper,并进行相关配置,使其能够正常运行。环境准备在开始之前,请确保你的Ubuntu系统版本为18.04或更高版本。此外,Zookeeper依赖于J
linux zk服务 关闭_linux – 如何在Ubuntu上停止ZooKeeper?
童广
linuxzk服务关闭
我按照建议here在ubuntu14.04上安装了zookeeperd:不幸的是,这个过程在某种程度上是不可停止的.我甚至试过杀了-9user@node1:/opt/zookeeper-3.4.6$ps-ef|grepzookeeperzookeep+40081801:07?00:00:00/usr/bin/java-cp/etc/zookeeper/conf:/usr/share/java/jl
ubuntu20.04 zookeeper安装
Yue9v
zookeeperlinux分布式
安装ZooKeeper之前,请确保你已经安装了Java,因为ZooKeeper需要Java运行环境。java安装sudoapt-getupdatesudoapt-get-yinstallopenjdk-11-jdkjava--version设置JAVA_HOME环境变量gedit~/.bashrc添加如下行来设置JAVA_HOME:exportJAVA_HOME=/usr/lib/jvm/java
keepalived应用
小卓笔记
服务器linux数据库
Keepalived是一个基于VRRP(虚拟路由冗余协议)实现的高可用解决方案,常用于构建高可用性的服务器集群,特别是在负载均衡场景中,可确保服务的不间断运行。以下为你详细介绍它:0主要功能高可用性:借助VRRP协议,Keepalived能在多台服务器间自动切换,当主服务器出现故障时,备用服务器可迅速接替工作,保障服务的持续可用。负载均衡:Keepalived可与LVS(Linux虚拟服务器)集成
融合AMD与NVIDIA GPU集群的MLOps:异构计算环境中的分布式训练架构实践
在深度学习的背景下,NVIDIA的CUDA与AMD的ROCm框架缺乏有效的互操作性,导致基础设施资源利用率显著降低。随着模型规模不断扩大而预算约束日益严格,2-3年更换一次GPU的传统方式已不具可持续性。但是Pytorch的最近几次的更新可以有效利用异构计算集群,实现对所有可用GPU资源的充分调度,不受制于供应商限制。本文将深入探讨如何混合AMD/NVIDIAGPU集群以支持PyTorch分布式训
lvs
wzyzzu
linux
目录LVS项目理论项目介绍体系结构IP负载均衡负载调度安装配置简介组件背景硬件/网络的要求路由的必要条件节点内部连接的必要条件安装软件配置例子简单实例LVSLVS是章文嵩博士发起和领导的优秀的集群解决方案,许多商业的集群产品,比如RedHat的Piranha,TurboLinux公司的TurboCluster等,都是基于LVS的核心代码的。在现实的应用中,LVS得到了大量的部署,请参考http:/
kubernetes部署 etcd 集群
weixin_30569033
json
本文档介绍部署一个三节点高可用etcd集群的步骤:etcd集群各节点的名称和IP如下:kube-node0:192.168.111.10kube-node1:192.168.111.11kube-node2:192.168.111.12创建etcd证书和私钥,所有证书和私钥的操作在/etc/kubernetes/ca/目录。这里说下题外话:证书和私钥跟程序本身没有什么特定的关系,只是网络传输时的认
ElasticSearch-7.17.10集群升级至ElasticSearch-7.17.24
程序终结者
elasticsearchelasticsearch大数据
文章目录集群概览主机名系统版本es01CentOS_7.6-aaarch64ElasticSearch-7.17.10es02CentOS_7.6-aaarch64ElasticSearch-7.17.10es03CentOS_7.6-aaarch64ElasticSearch-7.17.10需求1.将三台ES节点从ElasticSearch-7.17.10升级至ElasticSearch-7.1
ES中_cat/nodes返回结果参数的解释以及性能调优指南
Elastic开源社区
elasticsearch运维调优ES全文检索ES角色
文章目录1、Elasticsearch`_cat/nodes?v`字段详解2、常用字段说明3、`node.role`字段详解4、示例输出5、其他可选参数6、总结1、Elasticsearch_cat/nodes?v字段详解在Elasticsearch中,_cat/nodesAPI用于查看集群中所有节点的信息。通过添加?v参数,可以返回带有表头的详细输出,便于理解每个字段的含义。以下是_cat/no
快速部署一个k8s集群
懒人P
Kubernetes云原生kubernetes容器运维
部署单Master的K8s集群kubeadm方式文章目录部署单Master的K8s集群一,前置知识点1.1生产环境可部署Kubernetes集群的两种方式1.2准备环境1.3操作系统初始化配置【所有节点】二,安装Docker/kubeadm/kubelet(所有节点)2.1安装Docker。2.2添加阿里云YUM软件源。2.3安装kubeadm,kubelet和kubectl.三,部署Kubern
2025 年江苏省职业院校技能大赛“应用软件系统开发“赛项规程
qq_2924167571
java应用软件系统开发GZ031应用软件系统开发赛项职业院校技能大赛最新比赛资料
2025年江苏省职业院校技能大赛"应用软件系统开发"赛项规程一、赛项名称赛项编号:JSG2025031赛项名称:应用软件系统开发赛项组别:高职学生组、高职教师组赛项归属赛道:电子与信息赛道二需要最新竞赛资料“应用软件系统开发”文章底部名片联系我二、竞赛目的党的二十大报告明确指出“要推动战略性新兴产业融合集群发展,构建新一代信息技术等一批新的增长引擎”,新一代信息技术产业对经济社会高质量发展的赋能作
Spark集群启动与关闭
陈沐
sparksparkhadoopbigdata
Hadoop集群和Spark的启动与关闭Hadoop集群开启三台虚拟机均启动ZookeeperzkServer.shstartMaster1上面执行启动HDFSstart-dfs.shslave1上面执行开启YARNstart-yarn.shslave2上面执行开启YARN的资源管理器yarn-daemon.shstartresourcemanager(如果nodeManager没有启动(正常情况
Spark 解析_spark.sparkContext.getConf().getAll()
闯闯桑
spark大数据分布式
spark.sparkContext.getConf().getAll()是ApacheSpark中的一段代码,用于获取当前Spark应用程序的所有配置项及其值。以下是逐部分解释:代码分解:spark:这是一个SparkSession对象,它是Spark应用程序的入口点,用于与Spark集群进行交互。spark.sparkContext:sparkContext是Spark的核心组件,负责与集群通
程序员必看!DeepSeek全栈开发实战指南:从代码生成到性能优化
AI创享派
后端
一、DeepSeek技术新突破:程序员效率革命(开篇结合最新技术动态)2025年2月25日,DeepSeek接连放出两大技术王牌:全球首个面向MoE模型的全栈通信库DeepEP开源,以及深度思考R1模型的全面升级。这两项技术突破对程序员群体意义重大:通信效率飞跃:DeepEP通过NVLink优化实现GPU间158GB/s传输速度,后端开发者训练大模型时可节省60%集群资源推理性能突破:R1模型在H
介绍 Apache Spark 的基本概念和在大数据分析中的应用
佛渡红尘
apache
ApacheSpark是一个开源的集群计算框架,最初由加州大学伯克利分校的AMPLab开发,用于大规模数据处理和分析。相比于传统的MapReduce框架,Spark具有更快的数据处理速度和更强大的计算能力。ApacheSpark的基本概念包括:弹性分布式数据集(RDD):是Spark中基本的数据抽象,是一个可并行操作的分区记录集合。RDD可以在集群中的节点间进行分布式计算。转换(Transform
hadoop集群关闭命令顺序_启动和关闭Hadoop集群命令步骤
氪老师
hadoop集群关闭命令顺序
启动和关闭Hadoop集群命令步骤总结:1.在master上启动hadoop-daemon.shstartnamenode.2.在slave上启动hadoop-daemon.shstartdatanode.3.用jps指令观察执行结果.4.用hdfsdfsadmin-report观察集群配置情况.5.通过http://npfdev1:50070界面观察集群运行情况.(如果遇到问题看https://
在kali linux中配置hadoop伪分布式
we19a0sen
三数据分析分布式linuxhadoop
目录一.配置静态网络二.配置主机名与IP地址映射三.配置SSH免密登录四.配置Java和Hadoop环境五.配置Hadoop伪分布式六.启动与验证一.配置静态网络原因:Hadoop集群依赖稳定的网络通信,动态IP可能导致节点失联。静态IP确保节点始终通过固定地址通信。操作步骤:#修改网络配置文件sudovim/etc/network/interfaces#添加内容(根据实际网络修改):autoet
Spring Boot 动态配置管理:ZooKeeper 集成与 Redis 配置覆盖实践
weixin_43833540
java-zookeeperspringbootzookeeper
一、引言在微服务架构中,配置管理的动态性与灵活性至关重要。传统通过application.properties/application.yml进行静态配置的方式,已难以满足实时更新需求。本文将详细介绍如何通过ZooKeeper实现SpringBoot应用的Redis配置动态管理,并支持配置热刷新。二、核心实现方案1整体架构设计ZooKeeper作为配置中心存储Redis配置SpringBoot应用
Kubernetes(k8s)和Docker Compose本质区别
愚昧之山绝望之谷开悟之坡
笔记dockerkubernetesdocker容器
Kubernetes(k8s)和DockerCompose是两种不同的容器编排工具,它们有各自的特点和使用场景。Kubernetes:Kubernetes是一个开源的容器编排平台,用于自动化计算机软件的部署、扩展和管理。它支持跨多个主机集群的容器化应用程序的自动部署、扩展和管理。Kubernetes提供了高可用性、自动故障转移、自动扩展和滚动更新等功能。它不仅支持Docker容器,还支持其他容器运
K8s
longdada007
容器大数据容器大数据
kubeadm部署集群k8s001k8s002k8s0031.修改hostsecho"192.168.201.135k8s01">>/etc/hostsecho"192.168.201.136k8s02">>/etc/hostsecho"192.168.201.137k8s03">>/etc/hosts2关闭防火墙查看防火墙状态firewall-cmd--state1停止firewallsyste
惊人的贵!DeepSeek-R1 本地部署成本不同方案大对比,成本优化建议也一并奉上!你能部署的起吗?
涛涛讲AI
大模型大模型
关于DeepSeek-R1本地部署的成本信息,费用范围因部署方案和硬件配置差异较大,具体可分为以下三类情况:一、企业级满血版部署(671B参数)硬件采购成本服务器集群:含8张NVIDIAA100/H100显卡的服务器,市场价格约80-120万元配套设备:液冷系统、冗余电源等附加成本约15-25万元运维成本电费:满载功耗约6000W,年电费约5-8万元(按工业电价1.2元/度计算)维护:专业工程师团
Linux企业实战-----LVS+keepalived负载均衡集群
Yang5208
linux负载均衡运维
用LVS实现负载均衡实现步骤:#若在虚拟环境中需执行此步骤创建两个新的虚拟机,VMWARE可忽略此步骤真实主机:cd/var/lib/libvirt/images/lsqemu-imgcreate-fqcow2-brhel7.6.qcow2server3qemu-imgcreate-fqcow2-brhel7.6.qcow2server4server1:pcsclusterdisable--all
实战篇:GBase 8a MPP Cluster 安装部署过程
Lucifer三思而后行
DBA实战系列数据库gbasecluster
目录前言☀️环境准备安装介质下载操作系统安装安装前准备1、关闭防火墙2、禁用Selinux3、创建gbase用户4、创建目录并授权5、重启主机❤️GBase8aMPPCluster安装主节点上传安装介质主节点解压安装包分发配置文件配置环境变量修改主节点安装配置文件主节点执行安装命令检查集群状态申请和导入授权①导出集群各节点的指纹信息②邮件申请授权③主节点导入授权④检查授权情况所有节点启动集群服务主
分享100个最新免费的高匿HTTP代理IP
mcj8089
代理IP代理服务器匿名代理免费代理IP最新代理IP
推荐两个代理IP网站:
1. 全网代理IP:http://proxy.goubanjia.com/
2. 敲代码免费IP:http://ip.qiaodm.com/
120.198.243.130:80,中国/广东省
58.251.78.71:8088,中国/广东省
183.207.228.22:83,中国/
mysql高级特性之数据分区
annan211
java数据结构mongodb分区mysql
mysql高级特性
1 以存储引擎的角度分析,分区表和物理表没有区别。是按照一定的规则将数据分别存储的逻辑设计。器底层是由多个物理字表组成。
2 分区的原理
分区表由多个相关的底层表实现,这些底层表也是由句柄对象表示,所以我们可以直接访问各个分区。存储引擎管理分区的各个底层
表和管理普通表一样(所有底层表都必须使用相同的存储引擎),分区表的索引只是
JS采用正则表达式简单获取URL地址栏参数
chiangfai
js地址栏参数获取
GetUrlParam:function GetUrlParam(param){
var reg = new RegExp("(^|&)"+ param +"=([^&]*)(&|$)");
var r = window.location.search.substr(1).match(reg);
if(r!=null
怎样将数据表拷贝到powerdesigner (本地数据库表)
Array_06
powerDesigner
==================================================
1、打开PowerDesigner12,在菜单中按照如下方式进行操作
file->Reverse Engineer->DataBase
点击后,弹出 New Physical Data Model 的对话框
2、在General选项卡中
Model name:模板名字,自
logbackのhelloworld
飞翔的马甲
日志logback
一、概述
1.日志是啥?
当我是个逗比的时候我是这么理解的:log.debug()代替了system.out.print();
当我项目工作时,以为是一堆得.log文件。
这两天项目发布新版本,比较轻松,决定好好地研究下日志以及logback。
传送门1:日志的作用与方法:
http://www.infoq.com/cn/articles/why-and-how-log
上面的作
新浪微博爬虫模拟登陆
随意而生
新浪微博
转载自:http://hi.baidu.com/erliang20088/item/251db4b040b8ce58ba0e1235
近来由于毕设需要,重新修改了新浪微博爬虫废了不少劲,希望下边的总结能够帮助后来的同学们。
现行版的模拟登陆与以前相比,最大的改动在于cookie获取时候的模拟url的请求
synchronized
香水浓
javathread
Java语言的关键字,可用来给对象和方法或者代码块加锁,当它锁定一个方法或者一个代码块的时候,同一时刻最多只有一个线程执行这段代码。当两个并发线程访问同一个对象object中的这个加锁同步代码块时,一个时间内只能有一个线程得到执行。另一个线程必须等待当前线程执行完这个代码块以后才能执行该代码块。然而,当一个线程访问object的一个加锁代码块时,另一个线程仍然
maven 简单实用教程
AdyZhang
maven
1. Maven介绍 1.1. 简介 java编写的用于构建系统的自动化工具。目前版本是2.0.9,注意maven2和maven1有很大区别,阅读第三方文档时需要区分版本。 1.2. Maven资源 见官方网站;The 5 minute test,官方简易入门文档;Getting Started Tutorial,官方入门文档;Build Coo
Android 通过 intent传值获得null
aijuans
android
我在通过intent 获得传递兑现过的时候报错,空指针,我是getMap方法进行传值,代码如下 1 2 3 4 5 6 7 8 9
public
void
getMap(View view){
Intent i =
apache 做代理 报如下错误:The proxy server received an invalid response from an upstream
baalwolf
response
网站配置是apache+tomcat,tomcat没有报错,apache报错是:
The proxy server received an invalid response from an upstream server. The proxy server could not handle the request GET /. Reason: Error reading fr
Tomcat6 内存和线程配置
BigBird2012
tomcat6
1、修改启动时内存参数、并指定JVM时区 (在windows server 2008 下时间少了8个小时)
在Tomcat上运行j2ee项目代码时,经常会出现内存溢出的情况,解决办法是在系统参数中增加系统参数:
window下, 在catalina.bat最前面
set JAVA_OPTS=-XX:PermSize=64M -XX:MaxPermSize=128m -Xms5
Karam与TDD
bijian1013
KaramTDD
一.TDD
测试驱动开发(Test-Driven Development,TDD)是一种敏捷(AGILE)开发方法论,它把开发流程倒转了过来,在进行代码实现之前,首先保证编写测试用例,从而用测试来驱动开发(而不是把测试作为一项验证工具来使用)。
TDD的原则很简单:
a.只有当某个
[Zookeeper学习笔记之七]Zookeeper源代码分析之Zookeeper.States
bit1129
zookeeper
public enum States {
CONNECTING, //Zookeeper服务器不可用,客户端处于尝试链接状态
ASSOCIATING, //???
CONNECTED, //链接建立,可以与Zookeeper服务器正常通信
CONNECTEDREADONLY, //处于只读状态的链接状态,只读模式可以在
【Scala十四】Scala核心八:闭包
bit1129
scala
Free variable A free variable of an expression is a variable that’s used inside the expression but not defined inside the expression. For instance, in the function literal expression (x: Int) => (x
android发送json并解析返回json
ronin47
android
package com.http.test;
import org.apache.http.HttpResponse;
import org.apache.http.HttpStatus;
import org.apache.http.client.HttpClient;
import org.apache.http.client.methods.HttpGet;
import
一份IT实习生的总结
brotherlamp
PHPphp资料php教程php培训php视频
今天突然发现在不知不觉中自己已经实习了 3 个月了,现在可能不算是真正意义上的实习吧,因为现在自己才大三,在这边撸代码的同时还要考虑到学校的功课跟期末考试。让我震惊的是,我完全想不到在这 3 个月里我到底学到了什么,这是一件多么悲催的事情啊。同时我对我应该 get 到什么新技能也很迷茫。所以今晚还是总结下把,让自己在接下来的实习生活有更加明确的方向。最后感谢工作室给我们几个人这个机会让我们提前出来
据说是2012年10月人人网校招的一道笔试题-给出一个重物重量为X,另外提供的小砝码重量分别为1,3,9。。。3^N。 将重物放到天平左侧,问在两边如何添加砝码
bylijinnan
java
public class ScalesBalance {
/**
* 题目:
* 给出一个重物重量为X,另外提供的小砝码重量分别为1,3,9。。。3^N。 (假设N无限大,但一种重量的砝码只有一个)
* 将重物放到天平左侧,问在两边如何添加砝码使两边平衡
*
* 分析:
* 三进制
* 我们约定括号表示里面的数是三进制,例如 47=(1202
dom4j最常用最简单的方法
chiangfai
dom4j
要使用dom4j读写XML文档,需要先下载dom4j包,dom4j官方网站在 http://www.dom4j.org/目前最新dom4j包下载地址:http://nchc.dl.sourceforge.net/sourceforge/dom4j/dom4j-1.6.1.zip
解开后有两个包,仅操作XML文档的话把dom4j-1.6.1.jar加入工程就可以了,如果需要使用XPath的话还需要
简单HBase笔记
chenchao051
hbase
一、Client-side write buffer 客户端缓存请求 描述:可以缓存客户端的请求,以此来减少RPC的次数,但是缓存只是被存在一个ArrayList中,所以多线程访问时不安全的。 可以使用getWriteBuffer()方法来取得客户端缓存中的数据。 默认关闭。 二、Scan的Caching 描述: next( )方法请求一行就要使用一次RPC,即使
mysqldump导出时出现when doing LOCK TABLES
daizj
mysqlmysqdump导数据
执行 mysqldump -uxxx -pxxx -hxxx -Pxxxx database tablename > tablename.sql
导出表时,会报
mysqldump: Got error: 1044: Access denied for user 'xxx'@'xxx' to database 'xxx' when doing LOCK TABLES
解决
CSS渲染原理
dcj3sjt126com
Web
从事Web前端开发的人都与CSS打交道很多,有的人也许不知道css是怎么去工作的,写出来的css浏览器是怎么样去解析的呢?当这个成为我们提高css水平的一个瓶颈时,是否应该多了解一下呢?
一、浏览器的发展与CSS
《阿甘正传》台词
dcj3sjt126com
Part Ⅰ:
《阿甘正传》Forrest Gump经典中英文对白
Forrest: Hello! My names Forrest. Forrest Gump. You wanna Chocolate? I could eat about a million and a half othese. My momma always said life was like a box ochocol
Java处理JSON
dyy_gusi
json
Json在数据传输中很好用,原因是JSON 比 XML 更小、更快,更易解析。
在Java程序中,如何使用处理JSON,现在有很多工具可以处理,比较流行常用的是google的gson和alibaba的fastjson,具体使用如下:
1、读取json然后处理
class ReadJSON
{
public static void main(String[] args)
win7下nginx和php的配置
geeksun
nginx
1. 安装包准备
nginx : 从nginx.org下载nginx-1.8.0.zip
php: 从php.net下载php-5.6.10-Win32-VC11-x64.zip, php是免安装文件。
RunHiddenConsole: 用于隐藏命令行窗口
2. 配置
# java用8080端口做应用服务器,nginx反向代理到这个端口即可
p
基于2.8版本redis配置文件中文解释
hongtoushizi
redis
转载自: http://wangwei007.blog.51cto.com/68019/1548167
在Redis中直接启动redis-server服务时, 采用的是默认的配置文件。采用redis-server xxx.conf 这样的方式可以按照指定的配置文件来运行Redis服务。下面是Redis2.8.9的配置文
第五章 常用Lua开发库3-模板渲染
jinnianshilongnian
nginxlua
动态web网页开发是Web开发中一个常见的场景,比如像京东商品详情页,其页面逻辑是非常复杂的,需要使用模板技术来实现。而Lua中也有许多模板引擎,如目前我在使用的lua-resty-template,可以渲染很复杂的页面,借助LuaJIT其性能也是可以接受的。
如果学习过JavaEE中的servlet和JSP的话,应该知道JSP模板最终会被翻译成Servlet来执行;而lua-r
JZSearch大数据搜索引擎
颠覆者
JavaScript
系统简介:
大数据的特点有四个层面:第一,数据体量巨大。从TB级别,跃升到PB级别;第二,数据类型繁多。网络日志、视频、图片、地理位置信息等等。第三,价值密度低。以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒。第四,处理速度快。最后这一点也是和传统的数据挖掘技术有着本质的不同。业界将其归纳为4个“V”——Volume,Variety,Value,Velocity。大数据搜索引
10招让你成为杰出的Java程序员
pda158
java编程框架
如果你是一个热衷于技术的
Java 程序员, 那么下面的 10 个要点可以让你在众多 Java 开发人员中脱颖而出。
1. 拥有扎实的基础和深刻理解 OO 原则 对于 Java 程序员,深刻理解 Object Oriented Programming(面向对象编程)这一概念是必须的。没有 OOPS 的坚实基础,就领会不了像 Java 这些面向对象编程语言
tomcat之oracle连接池配置
小网客
oracle
tomcat版本7.0
配置oracle连接池方式:
修改tomcat的server.xml配置文件:
<GlobalNamingResources>
<Resource name="utermdatasource" auth="Container"
type="javax.sql.DataSou
Oracle 分页算法汇总
vipbooks
oraclesql算法.net
这是我找到的一些关于Oracle分页的算法,大家那里还有没有其他好的算法没?我们大家一起分享一下!
-- Oracle 分页算法一
select * from (
select page.*,rownum rn from (select * from help) page
-- 20 = (currentPag