E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
rocketmq集群
doris
集群
开发doris的团队厉害,这个百度工程师确实也干了一些实事,不像领导层只会跑火车。1参数配置1.1文件句柄数vim/etc/security/limits.conf*softnofile655350*hardnofile6553501.2关闭透明大页echonever>/sys/kernel/mm/transparent_hugepage/enabledechonever>/sys/kernel/
warrah
·
2025-02-20 09:30
岁月云——大数据杂烩
doris
如果MLlib 中没有所需要的模型,如何使用 Spark 进行分布式训练?
模型训练阶段将模型的训练任务分配到Spark
集群
的各个节点。数据并行:每个节点会处理数据的不同部分,并计算该部分的梯度或模型参数。自定义算法:如果使用的是自定义算法(
是纯一呀
·
2025-02-20 08:57
WSL
Docker
AI
spark
分布式
mllib
基于Python的搜索引擎的设计与实现
传统的搜索引擎往往依赖于庞大的服务器
集群
和复杂的算法,对资源消耗较大,且难以满足个性化搜索需求。基于Python的搜索引擎设计,则凭借Python语言的易学易用、丰富的第三方库和强大的社区支持,为开
AI大模型应用之禅
·
2025-02-20 06:42
DeepSeek
R1
&
AI大模型与大数据
java
python
javascript
kotlin
golang
架构
人工智能
Kubernetes的Ingress和Service有什么区别?
在Kubernetes中,Ingress和Service是两个不同的概念,它们在功能、作用范围、应用场景等方面存在明显区别,具体如下:功能Ingress:主要用于管理
集群
外部到内部服务的HTTP和HTTPS
硅基创想家
·
2025-02-20 06:41
#
Kubernetes实战与经验
kubernetes
容器
云原生
Kubernetes的Ingress 资源是什么?
在Kubernetes中,Ingress资源是一种用于管理
集群
外部对内部服务访问的API对象,主要用于将不同的外部请求路由到
集群
内的不同服务,以下是关于它的详细介绍:定义与作用Ingress资源定义了从
集群
外部到内部服务的
硅基创想家
·
2025-02-20 06:40
#
Kubernetes实战与经验
kubernetes
容器
云原生
k8s rook-ceph MountDevice failed for volume pvc An operation with the given Volume ID already exists
https://github.com/rook/rook/issues/4896环境kubeadm搭建的k8s
集群
,rook-ceph部署的ceph存储,monpod所在宿主机和挂载客户端机器pod所在机器不在一个二层网络里
时空无限
·
2025-02-20 02:36
Kubernetes
kubernetes
ceph
rook-ceph无法登录dashboard
环境ubuntu22.04tlsk8s1.20.2现象搭建好ceph
集群
环境后,执行如下命令获取admin登录账号的密码kubectl-nrook-cephgetsecretrook-ceph-dashboard-password-ojsonpath
时空无限
·
2025-02-20 02:06
Kubernetes
ceph
ceph
kubernetes
kubeadm拉起的k8s
集群
证书过期的做法
集群
已奔溃也可以解决
kubeadm拉起的k8s
集群
证书过期的做法这个是很久之前遇到的了,今天有空(心血来潮)就都回忆回忆写在这里为爱发光,部分内容来自arch先生(死党)的帮助。
KTKong
·
2025-02-19 23:40
kubernetes
容器
云原生
虚拟机安装k8s
集群
环境准备-主节点(MasterNode):IP地址:192.168.40.100主机名:k8s-master-工作节点(WorkerNode):IP地址:192.168.40.101主机名:k8s-node1步骤1:配置虚拟机环境1.1设置主机名在每台虚拟机上设置唯一的主机名:#在主节点上执行sudohostnamectlset-hostnamek8s-master#在工作节点上执行sudohos
开着拖拉机寻找春天
·
2025-02-19 23:39
kubernetes
容器
云原生
GPU通信革命:跨平面网络效率提升300%的秘密武器
、技术解析:突破AI算力瓶颈的底层创新1.技术背景:终结多平面网络CPU中转困境传统多平面网络中,跨平面GPU通信必须经过CPU内存拷贝,导致两大痛点:20-30%的通信带宽浪费在CPU中转环节大规模
集群
训练时
CodePatentMaster
·
2025-02-19 22:27
人工智能
深度学习
机器学习
自然语言处理
微服务
服务器
AIGC
进阶
RocketMQ
- 消息存储-一张图掌握核心要点
看了很多遍源码整理的一张图进阶
RocketMQ
图片,关于
RocketMQ
你只需要记住这张图!消息传递责任已移交至Broker,接下来如何处理?首先,我们需要确保消息的持久化,避免因宕机导致的数据丢失。
微服务技术分享
·
2025-02-19 22:26
rocketmq
常用的高性能计算工具有哪些
一、高性能计算:定义与意义高性能计算(HPC)是一种利用超级计算机或大规模
集群
来处理复杂计算任务的技术。它通过并行计算和优化算法,
这题有点难度
·
2025-02-19 21:24
人工智能
学习
Hadoop01-入门&
集群
环境搭建--非原创(test)
Hadoop01-入门&
集群
环境搭建今日内容Hadoop的介绍
集群
环境搭建准备工作Linux命令和Shell脚本增强
集群
环境搭建来来来大数据概述大数据:就是对海量数据进行分析处理,得到一些有价值的信息,
xl.liu
·
2025-02-19 21:50
大数据
Test
使用 Docker 部署 Apache Spark
集群
教程
本文将详细介绍如何使用Docker和DockerCompose快速部署一个包含一个Master节点和两个Worker节点的Spark
集群
。
努力的小T
·
2025-02-19 20:48
docker
docker
spark
linux
运维
服务器
云计算
容器
海量日志接入 Serverless 应用降本70%以上
本文档将探讨在日志场景下,使用阿里云ElasticsearchServerless相较于基于ECS自建Elasticsearch
集群
的成本与性能优势,展示如何通过Serverless架构实
·
2025-02-19 20:47
Nacos 何避免并发读写冲突问题?
以下是Nacos避免并发读写冲突的几种关键机制:1.强一致性协议(Raft协议)Nacos使用了Raft协议来确保
集群
中多个节点的数据一致性。
·
2025-02-19 20:43
Kafka Raft知识整理
而Zookeeper并“不快”,
集群
规模大了之后,很容易成为
自东向西
·
2025-02-19 17:23
Kafka
知识整理
kafka
分布式
Kafka topic、producer、consumer的基础使用
文章目录Kafka初级前言1.topic的增删改查2.生产者的消息发送3.消费者消费数据Kafka初级前言关于kafka的
集群
安装这里就先跳过,如果需要相关资料以及学习视频的可以在留言下留下联系信息(邮箱
病妖
·
2025-02-19 17:22
Kafka
kafka
big
data
分布式
Hadoop管理工具dfsadmin和fsck的使用
1.dfsadmin工具dfsadmin是用于管理HDFS
集群
的命令行工具,主要用于监控和管理HDFS的状态。
脚本无敌
·
2025-02-19 16:46
Hadoop
hadoop
npm
大数据
Kafka的生产者和消费者模型
工作原理:生产者通过Kafka提供的API与Kafka
集群
进行通信,将消息异步发送到指定的主
Java资深爱好者
·
2025-02-19 16:15
kafka
分布式
阶段 1:Kafka基础认知
Kafka
集群
由多个broker组成。Consumer(消费者):负责从Kafkatopic中读取和处理数据,可以是日志分析服务、数据库服务器等。
AI航海家(Ethan)
·
2025-02-19 16:13
分布式
kafka
kafka
分布式
Linux下部署MySQL8.0
集群
- 一主两从模式(主从复制)
目录一、部署前准备1、查看系统信息#查看系统版本cat/etc/red*#查看系统位数getconfLONG_BIT[root@localhost~]#cat/etc/red*CentOSLinuxrelease7.5.1804(Core)[root@localhost~]#getconfLONG_BIT642、下载对应安装包进入MySQL官网:https://dev.mysql.com/down
꯭ 瞎꯭扯꯭蛋꯭
·
2025-02-19 13:44
Mysql
服务器部署
linux
mysql
mongodb分片
集群
搭建
centos6.5mongodb版本:v3.6.23三台阿里云服务器:10.168.2.138、10.168.4.204、10.168.4.205搭建目标两个分片复制集(ShardedReplicaSet)分片
集群
不会写诗的程序猿
·
2025-02-19 11:59
mongodb
数据库
大数据
mongoDB分片
集群
部署
一、MongoDB背景MongoDB是一款功能完善的分布式文档数据库,是一款非常出名的NoSQL数据库。当前国内使用Mongodb的大型实践越来越多,MongoDB为我司提供了重要的数据库存储服务,支撑着每天近千万级QPS峰值读写,数万亿级数据量存储服务。MongoDB在高性能、动态扩缩容、高可用、易部署、易使用、海量数据存储等方面拥有很大优势。近些年,MongoDB在DB-Engines流行度排
glnullops
·
2025-02-19 11:57
运维
mongodb
数据库
nosql
Centos7 搭建Mongodb 分片
集群
4.0/ PSA(三成员副本集)
MongoDB简介:1、优点和缺点:2、MongoDB适用的业务场景:Centos7搭建Mongodb分片
集群
一、安装MongoDB社区版4.01、配置程序包管理系统(`yum`)2、安装对应版本的MongoDB
乱蹦的小鱼干
·
2025-02-19 10:21
MongoDB
mongodb
数据库
多实例部署mongodb分片
集群
架构(mongodb sharding cluster)
2.ConfigServers(配置服务器)功能:存储
集群
的
信仰圣光么
·
2025-02-19 09:19
mongodb
架构
数据库
探索大数据处理:利用 Apache Spark 解锁数据价值
ApacheSpark作为一个快速、通用的
集群
计算框架,以其出色的性能和丰富的API,成为大数据处理的利器。那么,ApacheSpark究竟如何帮助我们高效处理海量数据?接下来,让我们一起深入探讨。
Echo_Wish
·
2025-02-19 07:59
实战高阶大数据
apache
spark
大数据
rabbitmq3.5.1 原理和
集群
安装
.51cto.com/2382721/1864895http://kaibinyuan.blog.51cto.com/7304008/1610110原因:最近有一个异步需要使用消息队列,或许最终会选择阿里的
rocketmq
「已注销」
·
2025-02-19 06:58
大数据
网络
运维
RabbitMQ,
RocketMQ
,Kafka 消息模型对比分析
消息模型消息队列的演进消息队列模型早期的消息队列是按照”队列”的数据结构来设计的。生产者(Producer)产生消息,进行入队操作,消费者(Consumer)接收消息,就是出队操作,存在于服务端的消息容器就称为消息队列。当然消费者也可能不止一个,存在的多个消费者是竞争的关系,消息被其中的一个消费者消费了,其它的消费者就拿不到消息了。发布订阅模型如果一个人消息想要同时被多个消费者消费,那么上面的队列
Java架构设计
·
2025-02-19 06:57
java
Java程序员
消息模型
开发语言
程序人生
Kubernetes 服务发现背后的秘密武器——CoreDNS
Kubernetes服务发现背后的秘密武器——CoreDNS在Kubernetes
集群
中,CoreDNS是一个关键的基础组件,负责域名解析和服务发现。
weixin_42587823
·
2025-02-19 05:47
dns
kubernetes
服务发现
容器
coredns
Redis
集群
模式的工作原理能说一下么?
面试题Redis
集群
模式的工作原理能说一下么?在
集群
模式下,Redis的key是如何寻址的?分布式寻址都有哪些算法?了解一致性hash算法吗?
小新杂谈社
·
2025-02-19 05:16
缓存
后端面试
redis
数据库
缓存
分布式
二十redis之gossip协议
通过节点之间不断交换信息,一段时间后所有节点都会知道整个
集群
完整的信息。gossip算法,意思是八卦算法,在办公室中只要一个人八卦一下,在有限的时间内,办公室内的所有人都会知道八卦消息。
我爱看明朝
·
2025-02-19 05:46
后端
RocketMQ
源码分析-Rpc通信模块(remoting)二
前言今天继续
RocketMQ
-Rpc通信模块(remoting)的源码分析。
吃水果的猪儿虫
·
2025-02-19 05:13
java-rocketmq
rocketmq
rpc
rocketmq
源码解析之NamesrvController启动②创建mqclient②
说在前面接上次,更多源码解析请关注“天河聊架构”微信公众号源码解析netty连接管理handlerclassNettyConnectManageHandlerextendsChannelDuplexHandler{@Overridepublicvoidconnect(ChannelHandlerContextctx,SocketAddressremoteAddress,SocketAddressl
qq_23283355
·
2025-02-19 05:13
mq
rocketmq
dubbo
springboot
消息队列
RocketMQ
七、
rocketMQ
的网络通信模块
关于
rocketMQ
的netty消息处理,实际上都在一个
rocketmq
-remoting模块中。不管是nameserver还是broker,从netty的handler开始是统一的结构。
vinylon1022
·
2025-02-19 05:43
RocketMQ
java
spring
cloud
alibaba
RocketMQ
性能调优篇-困扰我半年多的
RocketMQ
-timeout-exception-终于被破解了
1、网络超时现象时不时总是接到项目组反馈说生产环境MQ发送超时,客户端相关的日志截图如下:今天的故事将从张图开始。2、问题排查2.1初步分析上图中有两条非常关键日志:invokeSync:waitresponsetimeoutexception网络调用超时reciveresponse,butnotmatchedanyrequest这条日志非常之关键,表示尽管客户端在获取服务端返回结果时超时了,但客
2401_84048290
·
2025-02-19 04:09
程序员
rocketmq
php
开发语言
【Elasticsearch源码解读】代码包结构概述
以下是这些包的主要功能:####action封装了Elasticsearch的各种操作,如索引、搜索、删除等,提供了与
集群
交互的接口。
risc123456
·
2025-02-19 03:58
elasticsearch
一文读懂Ingress-Nginx以及实战教程
Ingress-Nginx简介Ingress-Nginx是Kubernetes的一个入口控制器,它允许您将外部HTTP和HTTPS流量路由到
集群
内的服务。
努力的小T
·
2025-02-19 02:47
Kubernetes
Linux
云计算运维基础
nginx
运维
服务器
linux
kubernetes
云原生
采用分布式部署deepseek
1.环境准备硬件需求:确保您的
集群
环境中有足够的GPU资源,并且所有机器之间可以通过高速网络互联。软件依赖:安装必要的库和工具,如PyTorch、Transformers等。
慧香一格
·
2025-02-19 02:14
AI
学习
分布式
deepseek
Redis 主从复制的原理详解
主从复制是Redis
集群
高可用架构的基础,它不仅提高了系统的可用性,还为读写分离、数据备份等场景提供了支
海里真的有鱼
·
2025-02-19 01:08
redis
数据库
缓存
360智算中心:万卡GPU
集群
落地实践
360内部对于智算中心的核心诉求是性能和稳定性,本文将深入探讨360智算中心在万卡GPU
集群
中的落地实践过程,包括算力基础设施搭建、
集群
优
ZVAyIVqt0UFji
·
2025-02-18 23:47
大规模GPU
集群
的进阶之路
研发团队在负责制定硬件选型策略并设计优化下一代大规模GPU
集群
的软硬件架构时,我们需要关注GPU技术的最新进展、重点研究问题以及潜在的技术突破。一、GPU在重点研究的问题算力提升与
卢旗
·
2025-02-18 23:47
人工智能
智能算力中心万卡GPU
集群
架构深度解析
智能算力中心万卡GPU
集群
架构深度分析 自ChatGPT发布,科技界大模型竞赛如火如荼。
科技互联人生
·
2025-02-18 23:13
科技
数码
人工智能
人工智能
gpu算力
硬件架构
使用 INFINI Gateway 保护 Elasticsearch
集群
之阻断不合理的查询
经过调查,这些案例主要分为两类:一类是由于查询吞吐量超出了
集群
的处理能力,另一类则是在执行某些不合理的查询时触发了OOM。
·
2025-02-18 22:34
数据库
基于eBPF的智能诊断平台:实现云原生系统的自愈型运维体系
引言:从被动运维到预测性自愈的进化当某电商平台通过eBPF实时诊断系统提前48小时预测到MySQL
集群
的锁竞争风暴时,其核心是千万级指标粒度的内核状态分析与AI驱动的根因定位算法的结合。
桂月二二
·
2025-02-18 21:58
云原生
运维
CPP
集群
聊天服务器开发实践(七):Github上传项目
github链接:GitHub-arduino-ctrl/ClusterServer:基于json+muduo+mysql+nginx+redis的
集群
服务器与客户端通信源码步骤如下:1.github新建代码仓库
杨枝甘露小码
·
2025-02-18 18:15
CPP集群聊天服务器开发
服务器
github
CPP
集群
聊天服务器开发实践(一):用户注册与登录
目录1客户端用户注册与登录1.1主要思想1.2网络层1.3业务层1.4数据层1.5测试结果1客户端用户注册与登录1.1主要思想实现网络层、业务层、数据层的解耦,提高系统的可维护性。网络层:主要实现对客户端连接、客户端读写请求的捕获与回调,将其分发到多个线程中执行。业务层:主要实现客户端读写请求回调的具体操作,当前阶段主要包含:登录业务、注册业务、用户异常退出业务数据层:主要实现数据库中表的CUAD
杨枝甘露小码
·
2025-02-18 18:45
CPP集群聊天服务器开发
服务器
c++
数据库
单例模式
C++
集群
聊天服务器项目博客目录
C++
集群
聊天服务器项目博客目录C++
集群
聊天服务器项目总概述-CSDN博客github源码地址:DarlingGYQ/chatserver:基于C++11的可以工作在nginxtcp负载均衡环境中的
集群
聊天服务器和客户端源码环境配置
为了前进而后退,为了走直路而走弯路
·
2025-02-18 18:43
C++
项目
c++
服务器
开发语言
消息队列简述
当前使用较多的消息队列有RabbitMQ、
RocketMQ
、ActiveMQ、Kafka、ZeroMQ、MetaMq等,而部分数据库如Redis、Mysql以及
八二年的栗子
·
2025-02-18 18:39
java
rancher k3s 默认应用服务,内部DNS访问域名是什么
rancherk3s默认应用服务,内部DNS访问域名是什么默认
集群
域名服务域名格式Rancher自身服务的域名特殊情况与注意事项示例场景在Rancher管理的K3s
集群
中,默认的内部DNS访问域名遵循Kubernetes
santer_x
·
2025-02-18 16:56
rancher
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他