E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
nginx+tomcat集群
Zookeeper(26)Zookeeper的ZAB协议是什么?
它的设计目标是确保在任何时候,
集群
中的所有节点都能看到相同的事务更新顺序,从而保证数据的一致性。
辞暮尔尔-烟火年年
·
2025-01-25 12:58
微服务
zookeeper
分布式
云原生
【Kafka:概念、架构与应用】
2.2消费者(Consumer)2.3主题(Topic)2.4分区(Partition)2.5消息偏移量(Offset)2.6消费组(ConsumerGroup)Kafka的架构设计3.1Broker与
集群
三日看尽长安花
·
2025-01-25 12:28
系统架构师
kafka
架构
分布式
Kafka:架构与核心机制
1.Kafka的架构1.1组件概述Kafka的架构由多个组件构成,主要包括以下部分:Broker:Kafka
集群
中的服务器,每个Broker存储一部分消息。
J老熊
·
2025-01-25 11:49
kafka
架构
分布式
面试
系统架构
后端
DigitalOcean Kubernetes现已支持VPC natvie
集群
DigitalOceanKubernetes(DOKS)的VPCnatvie
集群
功能现已正式上线!
DO_Community
·
2025-01-25 09:37
kubernetes
利用Kubespray安装生产环境的k8s
集群
-排错篇
利用Kubespray安装生产环境的k8s
集群
-排错Ansible排错Ansible安装后需要加入到PATH,以便能够直接运行。
超级阿飞
·
2025-01-25 08:30
k8s
cluster
kubernetes
docker
容器
不同hive
集群
中基于表的数据一致性比对
前阵子博主遇到一个需求,因对hadoop
集群
进行数据迁移,数据迁移完毕后进行两个hive库的数据一致性的比对,不仅对源表数据进行比对,而且要同时使用两个
集群
加工相同数据,对加工后的数据进行数据一致性比对
AA赵师傅
·
2025-01-25 07:19
hadoop数据管理
hive
数据验证
数据迁移
hadoop
Hadoop、Hive、Hbase
集群
间的数据迁移
一、hadoop
集群
间拷贝数据:迁移之前需要把两个
集群
的所有节点都互通/etc/hosts文件(重要,包括各个数据节点)两个
集群
版本不相同hadoopdistcphftp://192.168.57.73
这个操蛋的人生!!!
·
2025-01-25 07:18
Hive之数据迁移方案(实测)
文章目录Hive的迁移涉及两个技术点:1.仅迁移元数据2.元数据及Hive数据全量迁移2.1全表迁移2.1.1旧
集群
2.1.2新
集群
2.2仅部分分区迁移(主要步骤)2.1.1旧
集群
2.1.2新
集群
2.3beeline
南风知我意丿
·
2025-01-25 06:11
Hive
hive
hadoop
hdfs
16 分布式session和无状态的会话
如果以
集群
的方式部署,用户登录的session存储在该次登录的服务器节点上,如果下次访问服务端的请求落到其他节点上就需要重新生成session,这样用户需要频繁的登录。
40岁的系统架构师
·
2025-01-25 06:09
分布式
系统架构
openresty+lua+kafka 日志采集
根据业务把不同的日志发送到不同主题中数据实时性高性能保证方案一自己写个接收程序转发到kafka方案二采用nginx+lua方案采用方案二,原因是nginx高性能,编写代码少,维护少,满足业务场景实施步骤线上请求到nginx后,使用lua组装json格式日志,异步发送到kafka
集群
根据不同业务日志
CHENYANG123
·
2025-01-25 03:50
大数据
lua
kafka
nginx
redis+spring面试题
redis使用场景缓存热点数据分布式锁存储token存储短信验证码计数器全局唯一数排行榜限流购物车关注粉丝缓存失效缓存穿透缓存空结果布龙过滤器缓存击穿全局锁设置永不过期缓存雪崩设置高可用
集群
设置不同的过期时间本地二级缓存
·
2025-01-25 01:51
javaspringredis
2024 年最新基于 Spring Cloud 的微服务架构分析
如果Eureka以
集群
模式部署,当
集群
中有分片出现故障时,那
2401_83916326
·
2025-01-24 17:02
程序员
架构
spring
cloud
微服务
如何部署 Flask 应用程序到生产环境?
部署方式适用场景说明Gunicorn+Nginx适合中小型项目轻量级,性能稳定uWSGI+Nginx高性能并发、生产环境推荐生产级别,支持异步工作Docker+Kubernetes容器化部署,微服务架构适合大规模微服务
集群
Channing Lewis
·
2025-01-24 15:15
Python
flask
python
后端
CDH日志清理
备注:CDH版本:6.3.1背景CDH
集群
运行了2个多月了,根目录磁盘使用率接近80%了,需要清理CDH日志。一.查看问题CDH的日志文件一般在如下几个目录,可以通过如下代码进行查看。
只是甲
·
2025-01-24 14:13
#
CDH大数据平台
大数据和数据仓库
Cloudera
日志清理
hadoop
Spark运行模式及Spark on Yarn两种运行模式的区别
Spark运行模式1.Standalone模式描述:Standalone模式是Spark的独立
集群
模式,Spark自己管理资源和调度任务。适合小型
集群
或个人开发环境。特点:简单易用,适合开发和测试。
DataCrafter
·
2025-01-24 13:03
Spark
大数据
计算框架
spark
大数据
Kubernetes入门
Kubernetes的工作原理Kubernetes通过将应用打包到容器中,并在
集群
中运行这些容器来实现应用的部署和管理。容器是轻量级的、可移植的、自包含的软
I~Lucky
·
2025-01-24 13:01
kubernetes
容器
云原生
【大数据入门核心技术-Hive】(十六)hive表加载csv格式数据或者json格式数据
一、环境准备hive安装部署参考:【大数据入门核心技术-Hive】(三)Hive3.1.2非高可用
集群
搭建【大数据入门核心技术-Hive】(四)Hive3.1.2高可用
集群
搭建二、hive加载Json格式数据
forest_long
·
2025-01-24 12:27
大数据技术入门到21天通关
大数据
hive
hadoop
开发语言
后端
数据仓库
Kubernetes网络
Kubernetes网络Kubernetes网络模型相关概念链接Kubernetes网络模型Kubernetes网络模型由多个关键部分构建而成:在Kubernetes
集群
中,每个Pod都会被分配一个独一无二的
qichengzong_right
·
2025-01-24 10:43
linux
kubernetes
云原生
linux
云原生
kubernetes
y98.第六章 微服务、服务网格及Envoy实战 --
集群
管理(九)
8.
集群
管理8.0本节话题
集群
管理器与服务发现机制主动健康状态检测与异常点探测负载均衡策略分布式负载均衡负载均衡算法:加权轮询、加权最少连接、环哈希、磁悬浮和随机等;区域感知路由全局负载均衡位置优先级位置权重均衡器子集熔断和连接池
Raymond运维
·
2025-01-24 08:53
云原生-微服务治理企业实战
(已完结)
microservices
envoy
运维
云计算
云原生
TiDB架构特性
TiDBServerPDServerTiKVServerTiSparkTiDBOperatorTiDB核心特性水平扩展高可用TiDB存储和计算能力存储能力-TiKV-LSM计算能力-TiDBServer总结TiDB整体架构 TiDB
集群
主要包括三个核心组件
·
2025-01-24 05:24
#
TiDB
TiDB
TiDB分布式数据库架构与核心原理
本文从整体架构、
集群
设计、
AI天才研究院
·
2025-01-24 04:21
Python实战
深度学习实战
自然语言处理
人工智能
语言模型
编程实践
开发语言
架构设计
大数据学习(七)Python3操作livy(使用pylivy模块)
pylivy是Livy的Python客户端,可以在Spark
集群
上轻松实现远程代码执行。安装$pipinstall-Ulivy请注意,pylivy需要Python3.6或更高版本。
猪笨是念来过倒
·
2025-01-24 04:46
大数据
大数据
python
Kubectl常用命令操作
kubectl命令格式:kubectlcommandtypenamecommand:表示子命令,用于操作kubernetes的
集群
资源对象,如:createdeletedescribegetapplytype
_Eden_
·
2025-01-24 03:11
linux
运维
服务器
Zookeeper(23)Zookeeper的选举机制是什么?
Zookeeper的选举机制是确保在
集群
中始终有一个唯一的Leader。Leader负责处理所有的写请求和协调事务的提交,而Follower负责处理读请求和转发写请求给Leader。
辞暮尔尔-烟火年年
·
2025-01-24 02:06
微服务
zookeeper
分布式
云原生
在K8S中,如果后端NFS存储的IP发送变化如何解决?
地址发生了变化,您需要更新与之相关的PeristentVolume(PV)或PersistentVolumeClaim(PVC)以及StorageClass中关于NFS服务器IP的配置信息,确保K8S
集群
内的
Dusk_橙子
·
2025-01-24 01:58
K8S
kubernetes
tcp/ip
容器
cascading 入门 (一)
它抽象了
集群
拓扑结构和配置来快速开发复杂分布式的应用,而不用考虑背后的MapReduce。
zhumin726
·
2025-01-24 01:28
滚雪球学Redis[4.1讲]:Redis的高可用性与
集群
架构
RedisSentinelSentinel的工作原理Sentinel的配置与使用高可用架构下的故障转移3.RedisClusterCluster模式的架构与原理Cluster的配置与使用分片与槽位的管理
集群
管理中的常见问题与优化小结下期预告前言在上一期内容
bug菌¹
·
2025-01-23 22:34
#
滚雪球学Redis
redis
架构
数据库
GPU
集群
和分布式计算
《GPU
集群
和分布式计算》关键词:GPU
集群
、分布式计算、CUDA、OpenACC、OpenMP、性能优化、故障处理、案例分析摘要:本文详细探讨了GPU
集群
和分布式计算的基本概念、架构、编程模型以及应用场景
AI天才研究院
·
2025-01-23 21:28
计算
AI大模型企业级应用开发实战
大数据AI人工智能
java
python
javascript
kotlin
golang
架构
人工智能
大厂程序员
硅基计算
碳基计算
认知计算
生物计算
深度学习
神经网络
大数据
AIGC
AGI
LLM
系统架构设计
软件哲学
Agent
程序员实现财富自由
360智算中心万卡GPU
集群
架构分析
360智算中心:万卡GPU
集群
落地实践 360智算中心是一个融合了人工智能、异构计算、大数据、高性能网络、AI平台等多种技术的综合计算设施,旨在为各类复杂的AI计算任务提供高效
科技互联人生
·
2025-01-23 21:27
科技
数码
人工智能
硬件架构
系统架构
人工智能
K8S中ingress详解
Ingress介绍Kubernetes
集群
中,服务(Service)是一种抽象,它定义了一种访问Pod的方式,无论这些Pod如何变化,服务都保持不变。
元气满满的热码式
·
2025-01-23 21:27
kubernetes
容器
云原生
Linux 时间同步服务
时间同步:多主机协作工作时,各个主机的时间同步很重要,时间不一致会造成很多重要应用的故障,如:加密协议,日志,
集群
等,利用NTP(NetworkTimeProtocol)协议使网络中的各个计算机时间达到同步
不想起昵称929
·
2025-01-23 20:50
linux
HAProxy
集群
与常见的Web
集群
软件调度器对比
一、Web
集群
调度器1.常见的Web
集群
调度器常用的Web
集群
调度器分为软件和硬件,负载均衡性能(硬件负载均衡器F5>LVS>Haproxy>Nginx)软件调度器(开源)1.LVS:性能最好,搭建复杂
EsDeath_99
·
2025-01-23 18:09
java
服务器
linux
【YashanDB知识库】YCM数据库托管遇到的问题
templateId=171...YCM托管了
集群
,现在显示数据库处于故障状态,按照告警项建议检查实例的状态是正常运行的问题现象:查看dba\_users视图发现yasom用户不存在。
·
2025-01-23 18:55
数据库
虚拟机VMware Workstation Pro安装
集群
+hadoop+spark+scala
参考资料:参考视频教程链接:大数据实验虚拟机安装Hadoop和Spark_哔哩哔哩_bilibiliup主:孤独时代的硕硕namenode安装选择镜像、路径、磁盘(最好不要c盘)、内存和处理器编辑名称与位置可点击此处自定义硬盘进行设置。选择语言、时区、软件、位置和网络
落枫兮
·
2025-01-23 15:16
hadoop
spark
scala
K8s架构与组件
这些对
集群
做出全局决策(比如调度),以及检测和响应
集群
事件的组件集合也称为控制平面。其实K8s官方并没有Master这一说,只是大多数安装工具(kube
稚辉君.MCA_P8_Java
·
2025-01-23 10:10
kubernetes
容器
云原生
网络
Hadoop分布式文件系统-HDFS架构
二、HDFS的特点高容错性:一个HDFS
集群
会包含非常多的结点,HDFS将文件分块存储,并且会保存多个副本到不同的机器节点上以保证数据的安全,而且
Fancs2024
·
2025-01-23 09:37
hadoop
hadoop
hdfs
分布式系统架构:分布式缓存
分布式缓存也是面试常见的问题,通常面试官会问为什么要用缓存,以及用的Redis是哪种模式,用的过程中遇到哪些问题这些1.AP还是CPRedis
集群
就是典型的AP式,它具有高性能、高可用等特点,但它却并不保证强一致性
工业甲酰苯胺
·
2025-01-23 06:42
架构
分布式
缓存
Flink系列-2、Flink架构体系
https://flink.apache.org/学习资料:https://flink-learning.org.cn/目录Flink中的重要角⾊Flink数据流编程模型Libraries支持Flink
集群
搭建
技术武器库
·
2025-01-23 04:55
大数据专栏
flink
架构
jvm
重建大师倾斜高斯泼溅技术(OPGS)重建出来的模型是什么格式?
重建大师是一款专为超大规模实景三维数据生产设计的
集群
并行处理软件,支持卫星影像、航空影像、倾斜影像和激光点云多源数据输入建模,可完成超大规模数据的空三解算、自动三维建模,输出高精度彩色网格模型。
大势智慧
·
2025-01-23 04:19
实景三维
一问一答
重建大师
三维模型
倾斜影像
OPGS
高斯泼溅
Redis四种模式在Spring Boot框架下的配置
在SpringBoot框架下配置Redis的四种模式(单机模式、主从模式、哨兵模式、
集群
模式)可以通过以下方式实现:1.单机模式在application.properties或application.yml
silver687
·
2025-01-23 03:10
spring
boot
Zookeeper(22)Zookeeper的Leader、Follower和Observer角色分别是什么?
集群
中的每个节点都有一个特定的角色:Leader、Follower和Observer。以下是对这些角色的详细介绍和代码示例。
辞暮尔尔-烟火年年
·
2025-01-23 03:40
微服务
zookeeper
分布式
云原生
《Kubernetes部署篇:基于麒麟V10+ARM64架构部署harbor v2.4.0镜像仓库》
更多详细内容请参考:企业级K8s
集群
运维实战一、环境信息K8S版本操作系统CPU架构服务版本1.26.15KylinLinuxAdvancedServerV10ARM64harborv2.4.0二、部署操作
东城绝神
·
2025-01-23 01:21
《Linux运维实战总结》
arm64
harbor
Kafka 迁移 AutoMQ 时 Flink 位点管理的挑战与解决方案
本文重点介绍了当用户需要将生产Kafka
集群
迁移到AutoMQ时,如何处理好Flink的位点来确保整体迁移的平滑过渡。引言在云
AutoMQ
·
2025-01-22 23:06
云计算
云原生
Kafka
消息
计算
大数据
AWS
AutoMQ
阿里云
腾讯云
GCP
搭建k8s
集群
一、准备工作(所有节点)在开始部署之前,我们需要对所有节点进行以下准备工作。1.1、关闭防火墙#关闭防火墙systemctlstopfirewalld#禁止防火墙开机自启systemctldisablefirewalld1.2、关闭SELinux#永久关闭SELinuxsed-i's/enforcing/disabled/'/etc/selinux/config#重启系统使更改生效reboot#临
zhen24
·
2025-01-22 20:49
kubernetes
容器
云原生
深入 Kubernetes 的健康奥秘:探针(Probe)究竟有多强?
探针(Probe)的作用就像
集群
的“健康监护员”,负责检测和管理容器的健康状态。没有它,K8s的稳定性和高可用性可能会大打折扣。本文将从探针的原理讲起,结合实际场景深入解析它
·
2025-01-22 20:40
云计算
Hadoop是什么,怎么部署安装?
HDFS提供了一个高吞吐量的数据访问接口,允许用户在
集群
中存储大量数据。它通过将文件分割成多个块并分布在
集群
的不同节点上来实现高可靠性和可
狮歌~资深攻城狮
·
2025-01-22 15:01
hadoop
大数据
分布式
MySQL高可用性的守护者:主从复制的深度解析与实践指南
对于依赖MySQL作为核心存储引擎的企业来说,如何构建一个稳定、可靠且易于维护的数据库
集群
至关重要。今天,我们将深入探讨MySQL主从复制技术,它是实现高可用性架构的关键组件之一。
墨夶
·
2025-01-22 13:16
数据库学习资料1
mysql
adb
数据库
GPUStack使用
LLMs)https://github.com/gpustack/gpustack,ManageGPUclustersforrunningAImodelsGPUStack是一个用于运行AI模型的开源GPU
集群
管理器
James506
·
2025-01-22 12:15
AI
Server
人工智能
GPU
LLM
BGE
GPU监控
Redis 单机、哨兵、
集群
搭建
1.Redis单机搭建(以6.0.6版本为例)安装gcc套装。yuminstallcppyuminstallbinutilsyuminstallglibcyuminstallglibc-kernheadersyuminstallglibc-commonyuminstallglibc-develyuminstallgccyuminstallmake升级gcc。yum-yinstallcentos-r
·
2025-01-22 11:42
在现有 Docker Desktop 环境下安装与配置独立 Kubernetes环境
在现有DockerDesktop环境下安装与配置独立Kubernetes
集群
环境目标在已安装DockerDesktop自带Kubernetes的情况下,搭建一个独立Kubernetes
集群
环境。
自学AI的鲨鱼儿
·
2025-01-22 08:43
#
环境安装
docker
kubernetes
容器
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他