E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
集群容错
DeepSeek-V3 Technical Report
DeepSeek-V3技术报告摘要1引言2架构2.1基本架构2.2多token预测3基础设施3.1计算
集群
3.2训练框架3.2.1双管和计算通信重叠3.2.2跨节点全对全通信的高效实现3.2.3以最小的开销节省大量内存
UnknownBody
·
2025-02-09 08:35
LLM
Daily
Technical
Report
人工智能
语言模型
自然语言处理
spark1.6.0分布式安装
1.概述本文是对spark1.6.0分布式
集群
的安装的一个详细说明,旨在帮助相关人员按照本说明能够快速搭建并使用spark
集群
。
问道9527
·
2025-02-09 08:33
spark
spark
分布式
集群
spark安装与环境配置
spark.apache.org/downloads.html考虑到spark之后要结合hadoop一起使用,所以下载和已经安装hadoop版本均兼容的spark(首先安装好hadoop选择伪分布式配置(因为我是单机运行,有
集群
的朋友查看
集群
环境搭建的方法
Handoking
·
2025-02-09 08:03
大数据进阶中
spark
python
安装
Linux: 时间服务器chrony
时间服务器chrony在
集群
中,机器的时间一致性是非常重要的,有些机器无法直接连接外网,进行不了ntp对时,这种情况我们就要搭建一台时间服务器,让时间服务器去与外网对时,然后让其他机器向它对时即可。
zJayLiao
·
2025-02-09 02:22
chrony
Linux
linux
Docker安装Redis
集群
记录
redis
集群
整体的安装效果备注:本机docker容器的宿主机ip为192.168.0.200,下面的配置全部基于当前IP进行配置;1docker镜像下载使用的国内地址vi/etc/docker/daemon.json
aoneword
·
2025-02-09 01:44
redis
docker
docker
容器
运维
南大通用数据迁移之GaussDB_To_GBase8a(四)数据迁移
GaussDB数据导出导出方式对比介绍导出工具导出步骤适用场景和说明使用GDS工具将数据从数据库导出到普通文件系统中注:数据文件导出的服务器上需要安装GDS工具Remote导出模式:将
集群
中的业务数据导出到
集群
之外的主
GBASE数据库
·
2025-02-08 22:52
GBASE南大通用
数据库
GBase
gaussdb
GaussDB用户及权限——默认权限机制
集群
安装后默认情况下,未开启三权分立,数据库系统管理员具有与对象所有者相同的权限。
小嗑数据库
·
2025-02-08 21:43
数据库
gaussdb
GaussDB用户及权限——管理员
管理员初始用户
集群
安装过程中自动生成的账户称为初始用户。初始用户也是系统管理员、安全管理员、审计管理员、监控管理员、运维管理员和安全策略管理员,拥有系统的最高权限,能够执行所有的操作。
小嗑数据库
·
2025-02-08 21:43
数据库
gaussdb
spark on yarn-cluster在生产环境 部署 spark 任务, 同时支持读取外部可配置化文件
有Yarn-Client和Yarn-Cluster两种模式可以运行在Yarn上,通常Yarn-cluster适用于生产环境,而Yarn-Cluster更适用于交互,调试模式提示:前提条件有hadoop
集群
千里风雪
·
2025-02-08 20:40
spark
linux运维
spark
大数据
hadoop
企业级Kubernetes
集群
版离线在线部署
企业级Kubernetes
集群
版本文使用kubeadm部署Kubernetes
集群
,kubeadm是官方社区推出的一个用于快速部署kubernetes
集群
的开源工具。
飞天遁地猪
·
2025-02-08 20:35
kubernetes
容器
云原生
docker
运维
大数据
集群
Spark-on-Yarn+Paddle深度学习模型部署
背景:因数据量较大,想要将模型部署到大数据
集群
上进行计算。
jqtree
·
2025-02-08 19:32
#
大数据开发
大数据
spark
paddle
分享课程:Redis高并发高可用
集群
百万级秒杀实战
1.Redis的高并发高可用
集群
通常涉及以下几个关键技术:主从复制(Replication):复制是确保高可用性的基础,它允许数据集在主节点和多个从节点之间同步。
微刻时光
·
2025-02-08 19:02
微秒速递
redis
数据库
缓存
课程设计
笔记
秒杀
分布式
StarRocks实战——贝壳找房数仓实践
1.2OLAP选型1.2.1离线场景1.2.2实时场景1.2.3StarRocks的引入二、StarRocks在贝壳的分析实践2.1指标分析2.2实时业务2.3可视化分析三、未来规划3.1StarRocks
集群
的稳定性
吵吵叭火
·
2025-02-08 19:00
大数据
#
StarRocks
数据仓库
大数据
小米AI大模型:万卡
集群
背后的雄心与布局
近日,关于小米搭建GPU万卡
集群
,大力投资AI大模型的新闻引发广泛关注,这标志着小米在AI赛道上迈出了关键一步。
·
2025-02-08 19:32
前端
高效运维!K8s 多节点自动安全排空
本文首发:SRE运维手记,作者亦零一有时候,部署一套K8s
集群
相对简单和轻松,但是在
集群
维护过程中,往往需要遵循一些规则和流程,否则可能会出现不可预知的故障,然而,一旦建立了规则和理清了流程,这些维护工作也会变得更加简单和流畅
·
2025-02-08 19:56
android-studio
11. k8s二进制
集群
之容器运行时
对于容器运行时有哪些关键特证常见的容器运行时可分为低级和高级两类下面来看一下k8s是如何与容器运行时进行交互下面以cri-dockerd为例配置容器运行时最后启动cri-docker服务并设置开机自启动总结在Kubernetes(k8s)中,容器运行时(ContainerRuntime)是负责管理和运行容器(如Docker容器)的核心组件。它直接与操作系统内核交互,执行容器的生命周期的操作(创建、
smart_ljh
·
2025-02-08 18:25
k8s二进制搭建
kubernetes
容器
云原生
containerd
运行时
Redis 进阶必备技能
目录Redis进阶必备技能Redis基础数据结构StringListSetHashZsetRedis进阶使用布隆过滤器分布式锁深入原理IO模型通信协议持久化主从同步SentinelRedis
集群
工作原理
魏小言
·
2025-02-08 18:54
架构设计
数据库
redis
rdb
aof
分布式锁
类库与框架、在window(pycharm)搭建pyspark库,连接Linux。
并将其提交到spark
集群
中运行。搭建。。很麻烦,本地需要pycharm专业版,利用shh连接Linux中的ana库。测
哈哈哈哈q
·
2025-02-08 18:23
+spark
spark
大数据
分布式
在kubernetes中部署Nacos
集群
在kubernetes中部署Nacos
集群
1.Nacos介绍1.1什么是Nacos1.2主要功能1.3应用场景2.部署Nacos
集群
实践2.1NFS动态提供Kubernetes后端存储卷2.2Nacos
登高·
·
2025-02-08 17:19
微服务注册中心
kubernetes
容器
云原生
【Nacos
集群
部署说明】
Nacos
集群
部署预备环境准备部署架构图部署部署前部署预备环境准备64bitOSLinux/Unix/Mac,推荐使用Linux系统。64bitJDK1.8+;下载.配置。
登高·
·
2025-02-08 17:48
Linux架构
微服务注册中心
nacos
LVS + KeepAlived 配置HA
集群
的步骤
LVS+KeepAlived配置HA
集群
的步骤(一)
集群
准备准备vmvarelinux虚拟主机4台,假设对外提供的VIP是192.168.174.110主机IP备注LVS1192.168.174.101
千羽星弦
·
2025-02-08 17:13
lvs
服务器
运维
纠删码简要介绍(与纠错码的区别)
纠删码(ErasureCode)本身是一种编码
容错
技术,最早是在通信行业解决部分数据在传输中损耗的问题,它的基本原理是把传输的信号分段,加入一定的校验再让各段间发生一
Sylar_Wu
·
2025-02-08 15:37
Zookeeper的选举过程
Zookeeper在
集群
中采用了基于ZAB协议(ZookeeperAtomicBroadcast)的Leader选举机制,以确保
集群
中的一个节点作为领导者,负责处理写请求,并将数据更新同步到其他跟随者节点
夜深微雨醉初醒
·
2025-02-08 13:17
#
zookeeper
分布式
云原生
安装mysql的MGR
集群
3、MGR
集群
搭建方便,master故障会自动进行切换,不影响业务正常访问。
秋天枫叶35
·
2025-02-08 12:44
安装中间件
mysql
数据库
MGR集群
运维
linux
mysql高可用
集群
MGR组复制的介绍、部署及配置说明
MGR提供了高可用、高扩展、高可靠的MySQL
集群
服务。
lytcreate.
·
2025-02-08 12:41
Mysql
大数据
mysql
数据库
celery rabbitmq内存异常排查过程及内存组成解析
现象celery在用rabbitmq
集群
当broker的时候,经常会出现rabbitmq某个节点内存爆满的问题。
「已注销」
·
2025-02-08 12:11
rabbitmq
rabbitmq
celery
内存异常
镜像队列
broker
kafka
集群
为什么依赖 zookeeper ?
kafka
集群
为什么依赖zookeeper?在Kafka
集群
中,ZooKeeper扮演了关键的角色,负责协调和管理Kafka的分布式系统。
将臣三代
·
2025-02-08 10:55
kafka
zookeeper
分布式
Elasticsearch从入门到精通超详细版本(全)
目录前言1.安装1.1工具postman2.基于Http操作2.1基本增删改查2.2多功能查询2.3索引的映射3.基于java操作3.1索引增删改查3.2文档增删改查3.3批量处理3.4高级查询4.
集群
环境部署
码农研究僧
·
2025-02-08 09:52
100天精通全栈
elasticsearch
数据库
Zookeeper(38)Zookeeper的Follower和Observer的区别是什么?
Zookeeper
集群
由三种角色组成:Leader、Follower和Observer。每种角色在
集群
中的职责和行为各不相同。
辞暮尔尔-烟火年年
·
2025-02-08 09:48
微服务
zookeeper
分布式
云原生
k8s部署go-fastdfs
前置环境:已部署k8s
集群
,ip地址为192.168.10.1~192.168.10.5,总共5台机器。
小梦想的博客
·
2025-02-08 07:35
kubernetes
容器
go-fast
从Paxos到Zookeeper:分布性一致性原理与实践(初识Zookeeper)
(4)顺序保证(5)事件通知2.Zookeeper的核心(核心机制)3.Zookeeper的优势二.Zookeeper的基本概念1.数据节点(znode)2.数据结构3.会话4.Watcher机制5.
集群
节点
洒脱的六边形战士加辣
·
2025-02-08 06:56
zookeeper
分布式
云原生
hive 连接Datagrip失败
在hadoop的core-site.xml文件中修改内容:将root用户名改成自己的用户名,比如我这里的用户名是sxr,将其都替换为sxr如下图所示:修改完记得保存,注意,如果是运行在三台虚拟机组成的
集群
上
都给我吃吧
·
2025-02-08 06:55
hive
hadoop
大数据
分布式
Elasticsearch 解决只能查询10000条数据方案
解决办法主要有以下几种:【方式一】(修改完配置文件,需要重启
集群
中的ES服务)修改Elasticsearch
集群
中的配置文件config/elasticsearch.yml,在配置文件最后增加一行,如下
沿途欣赏i
·
2025-02-08 05:13
Elasticsearch
elasticsearch
python
大数据
中间件:SpringBoot集成Redis
Redis具有高性能、低延迟的特点,并且支持数据持久化、主从复制和
集群
模式,可以满足各种应用场景的需求
豪宇刘
·
2025-02-08 04:42
中间件
spring
boot
redis
三、大数据之Zookeeper完全分布式
集群
搭建
目录Zookeeper简介:(1)
集群
部署规划(2)安装Zookeeper(3)配置zook.cfg文件(4)配置服务器编号(5)配置Zookeeper环境变量(6)配置文件分发(7)
集群
启动(8)zookeeper
尘.埃
·
2025-02-08 03:37
大数据生态框架搭建
zookeeper
大数据
MapReduce的代码编写
Job对象,通过getInstance()函数设置当前main函数所在的类,设置后运行代码可以找到函数的入口;③设置MapReduce的输入输出路径用于输入数据和输出计算的数据结果;注意若要是输出的路径在
集群
中已经存在
hjy1821
·
2025-02-08 02:27
MapReduce
MapReduce代码
WordCount字数统计代码
MapReduce编写
MapReduce使用案例
Redis性能优化18招
Redis性能优化的18招目录前言选择合适的数据结构避免使用过大的key和value[使用RedisPipeline](#使用RedisPipeline)控制连接数量合理使用过期策略使用Redis
集群
充分利用内存优化使用
繁川
·
2025-02-08 01:22
redis
性能优化
数据库
Licode简介及与SRS对比
设计思想:分布式架构:支持横向扩展(多个节点组成
集群
)。房间管理:以“房间(Room)”
Ryan-S
·
2025-02-08 00:14
webrtc
Licode
kafka 控制器是什么?有什么作用?思维导图 代码示例(java 架构)
Kafka控制器(Controller)是Kafka
集群
中的一个特殊节点,它负责协调和管理
集群
内的一系列关键操作。
用心去追梦
·
2025-02-07 23:08
kafka
java
架构
k8s部署rabbitmq
集群
1部署
集群
1.1安装#创建一个中间件的命名空间kubectlcreatenamespacemiddleware#创建ConfigMap,包含RabbitMQ的配置文件内容kubectlapply-frabbitmq-configmap.yaml
warrah
·
2025-02-07 22:06
岁月云——运维
kubernetes
rabbitmq
容器
RocketMQ 底层原理
RocketMQ的底层原理主要涉及以下几个核心方面:架构设计消息存储机制消息发送与消费流程高可用与
容错
机制分布式协调顺序消息与事务消息1.RocketMQ的架构设计RocketMQ的整体架构包含以下几个核心组件
·
2025-02-07 22:49
一文搞懂Kafka的设计与实现
它的设计目标如下:1.易用性:开箱即用,通过一系列的参数配置,用户可以快速部署一个Kafka
集群
。同时支持多种语言的客户端接
AI天才研究院
·
2025-02-07 21:27
AI大模型企业级应用开发实战
Java实战
编程实践
大数据
人工智能
语言模型
Java
Python
架构设计
flink on yarn模式下的,flink中的slot,taskmanage,parallelism,以及yarn中的container,vcore,memory它们之间的关系
第一点yarn
集群
上同时能跑多少任务是有限定的,这个限定就是yarn上的vcore和memory这两个参数。
抛砖者
·
2025-02-07 18:40
container
flink
on
yarn模式
yarn
solt
taskmanage
Databend 产品月报(2025年1月)
本地计算
集群
现在,您可以使用SQL命令管理本地计算
集群
,从而更轻松地在自托管的Databend环境中创建、扩展和提升查询性能。
·
2025-02-07 17:09
数据库
基于keepalived+GTID半同步主从复制的高可用MySQL
集群
文章目录项目架构图项目名称项目环境项目描述ip地址规划项目步骤一.安装好8台全新的centos7.9的系统,关闭firewalld和selinux,配置每台主机的静态ip地址,设置每台主机对应的主机名。1、关闭firewalld2.关闭seLinux3.配置每台主机静态ip地址4.设置每台主机对应的主机名二.部署ansible服务器,配置SSH免密通道(单向),编写主机清单,使用ansible以二
千夜啊
·
2025-02-07 16:54
运维
docker搭建redis
集群
环境系统麒麟Kylin(V10SP3)Redis7.2.4前期准备调整系统参数less-N/etc//sysctl.conf#sysctlsettingsaredefinedthroughfilesin#/usr/lib/sysctl.d/,/run/sysctl.d/,and/etc/sysctl.d/.##Vendorssettingslivein/usr/lib/sysctl.d/.#Too
weixin_44157851
·
2025-02-07 13:07
docker
redis
容器
微服务中服务治理都包含什么
3.服务
容错
功能:处
zhglhy
·
2025-02-07 12:29
微服务
架构
云原生
SpringCloud详细讲解
学习目标微服务框架SpringCloud的核心组件分布式与
集群
SpringCloud优缺点微服务框架微服务框架是将某个应用程序开发划分为多个小型服务独立进行业务开发的一种架构模式。
上官花雨
·
2025-02-07 10:14
spring
cloud
java
微服务
《
集群
、权重、时间戳回眸一识》
人物:王浩田时间:2016年9月11日地点:万达二楼玻璃屋主题:memcached分布式存储开篇之言通过演讲者王浩田在讲述的过程中,我发现有几个名词是之前听过但并未了解的新鲜事物,特写此篇来浅析
集群
、权重
杨晓风-linda
·
2025-02-07 09:08
数据库
【大数据入门核心技术-Flume】(二)Flume安装部署
修改环境变量3、修改并配置flume-env.sh文件4、验证是否安装成功一、准备工作1、基本Hadoop环境安装参考Hadoop安装【大数据入门核心技术-Hadoop】(五)Hadoop3.2.1非高可用
集群
搭建
forest_long
·
2025-02-07 08:33
大数据技术入门到21天通关
big
data
hadoop
大数据
hbase
flume
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他