E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
openstack集群
python分布式
集群
ray_GitHub - Leesire-Python/jd_spider: 两只蠢萌京东的分布式爬虫.
实现scrapy-redis对进行url的去重以及调度,利用redis的高效和易于扩展能够轻松实现高效率下载:当redis存储或者访问速度遇到瓶颈时,可以通过增大redis
集群
数和爬虫
集群
数量改善版本支持现在支持
weixin_39781930
·
2024-09-06 00:17
python分布式集群ray
云计算之云数据库
云数据库:架构在云端数据库
集群
上,通过云服务的方式让关系型数据库的可靠性更高,免去繁琐的维护工作,节约硬件成本,其具备以下特点:云数据库特点:1:管理方便:可以自动备份、弹性扩展。
weixin_34320724
·
2024-09-06 00:17
数据库
字节跳动10万节点HDFS
集群
多机房架构演进之路(1)
如何高效运维如此超大规模的
集群
要回答这些问题需要HDFS从多个方向迭代优化,例如DanceNN的上线、运维平台的建设等,本文不会介绍字节跳动HDFS所有的演进方案,而是聚焦在HDFS多机房架构的演进策略上
2401_84122782
·
2024-09-05 21:23
程序员
hdfs
架构
hadoop
GBase 8c 分布式核心技术—CDC数据同步
作为一款分布式数据库,GBase8c可轻松实现例如两地三中心架构的
集群
异地灾备。GBase8c异地灾备
集群
间的不同节点采用各自对应的高可用部署方式,两地间采用同步或者异步复制的备份方式。
manhuai2022
·
2024-09-05 19:11
GBase
8c
数据库
服务器
java
TiDB备份与恢复简介
本文档介绍如何对Kubernetes上的TiDB
集群
进行数据备份和数据恢复。备份与恢复中所使用的工具有Dumpling、TiDBLightning和BR。
每天读点书学堂
·
2024-09-05 18:31
大数据
数据库架构
数据库
数据库开发
运维
腾讯,干掉 Redis 项目,正式开源、太牛逼啦
集群
架构Tendis使用去中心化
集群
架构,每个数据节点都拥有全部的路由信息,用户可以访问集
六月·飞雪
·
2024-09-05 17:53
架构
redis
开源
数据库
腾讯云数据库(Redis)监控最佳指南
云数据库Redis服务兼容Redis2.8、Redis4.0、Redis5.0版本协议,提供标准和
集群
两大架构版本。
Tencent_Monitor
·
2024-09-05 16:21
前端
数据库
javascript
K8s介绍及离线安装
Kubernetes是Google开源的容器
集群
管理系统,使用Golang开发,其提供应用部署、维护、扩展机制等功能,利用Kubernetes能方便地管理跨机器运行容器化的应用,其主要功能如下:使用Docker
wang5798
·
2024-09-05 16:51
kubernetes
docker
1+X云计算运维与开发(中级)实战案例——Kafka
集群
部署
前言Kafka是一种开源的流处理平台和消息系统,被设计用于构建实时数据管道和流式应用程序,可以处理大规模的实时数据流,并提供高吞吐量、持久性存储和分布式处理能力。在实时数据处理、日志聚合、指标监控、事件驱动架构等场景下,Kafka有着广泛的应用。它的高性能、可扩展性以及丰富的功能使其成为了大数据领域中的重要工具之一。Kafka中发布订阅的对象是topic。用户可以为每类数据创建一个topic,把向
kuuuugua
·
2024-09-05 15:41
1+X云计算运维与开发(中级)
云计算
运维
kafka
ORACLE之RAC
集群
常用命令
ORACLE之RAC
集群
常用命令RAC的守护进程/etc/init.d/init.ohasdRAC的日常管理命令1)节点层2)网络层3)
集群
层4)应用层节点层olsnodes-n-p-i--这个命令用来显示
集群
点列表检查
集群
节点
XiaoHG_CSDN
·
2024-09-05 13:01
oracle
数据库
Spark
Spark是一个快速的、通用的
集群
计算系统,主要用于大规模数据处理。它最早由加州大学伯克利分校的AMPLab开发,并于2010年开源,后来由Apache软件基金会管理。
傲雪凌霜,松柏长青
·
2024-09-05 11:20
后端
大数据
spark
大数据
分布式
Hadoop-MapReduce机制原理
Reduce阶段步骤:7、MapReduce阶段图1、MapReduce概述 HadoopMapReduce是一个分布式计算框架,用于轻松编写分布式应用程序,这些应用程序以可靠,容错的方式并行处理大型硬件
集群
H.S.T不想卷
·
2024-09-05 11:46
大数据
hadoop
mapreduce
大数据
kafka消费者重复消费同一个topic
场景是sparkstreaming消费kafka数据在这里sparkstream和kafka都是单节点的
集群
模式。同时起两个不同的groupid的应用,发现会发生后起来的应用消费不到数据。
小琳ai
·
2024-09-05 10:06
大数据
kafka
重复消费
consumer
k8s访问外部mysql_Kubernetes连接外部数据源
Kubernetes架构下比较核心的问题是数据如何persistance,虽然提供了Persistentvolumn的方式,但是对于像数据库之类的产品在kubernetes
集群
环境中运行和管理还是很有难度的
健玮
·
2024-09-05 08:24
k8s访问外部mysql
负载均衡的详细说明
当一台服务器的性能达到极限时,我们可以使用服务器
集群
来提高网站的整体性能。那么,在服务器
集群
中,需要有一台服务器充当调度者的角色,用户的
submarineas
·
2024-09-05 08:23
django
2、mysql-canal-zk-kafka-es数据同步
方案总体介绍:通过zookeeper管理canal和kafka
集群
,zk本身也做
集群
配置;通过canal作为mysql的从库实时读取binlog,然后将数据以json格式发送到kafka平台,会有一个专门消费
kobe0429
·
2024-09-05 08:01
k8s调度器Scheduler
k8s调度器SchedulerKubernetesScheduler(简称k8sScheduler)是Kubernetes
集群
中的一个核心组件,它负责将Pod调度到合适的Node上运行,以实现
集群
资源的优化分配和负载均衡
条纹布鲁斯
·
2024-09-05 07:51
kubernetes
容器
云原生
大数据生态圈里的一致性算法
Paxos选举算法Paxos是最先解决拜占庭将军问题的算法,利用过半选举的机制,保证了
集群
数据副本的一致性(微服务中服务注册与发
宇宙湾
·
2024-09-05 07:35
学习笔记:服务器的负载均衡
服务器
集群
•处理业务的服务器组成服务器
集群
,对外体现为一台逻辑上的服务器,由FW决定如何分配流量给各个服务器。服务器负载均衡技术的一
TKE_yinian
·
2024-09-05 07:50
centos安装k8s
集群
(kubeadm方式)
目录前言生产环境部署k8s
集群
的两种方式服务器初始化、环境准备使用kubeadm安装k8s(本篇讲解使用kubeadm安装k8s)后记-k8s使用外部etcd
集群
前言环境:centos7.9docker-ce
MssGuo
·
2024-09-05 07:20
kubernetes
centos
kubernetes
Linux运维
Kubernetes学习指南:保姆级实操手册05——配置
集群
HA负载均衡
五、Kubernetes学习指南:保姆级实操手册05——配置
集群
HA负载均衡简介:Keepalived提供VRRP实现,并允许您配置Linux机器使负载均衡,预防单点故障。
小黑_深呼吸
·
2024-09-05 07:17
Kubernetes学习指南
kubernetes
负载均衡
容器
mysql的主从复制延迟问题
mysql的主从复制延迟问题https://blog.csdn.net/qq_41683000/article/details/125436839一主一从,双主双从的mysql
集群
搭建,在单机应用的时候看起来没有问题
wowocpp
·
2024-09-05 00:06
mysql
数据库
k8s——pod详解+harbor镜像拉取(凭据)
k8s——pod详解+harbor镜像拉取(凭据)Pod基础概念在k8s
集群
中pod的使用方式Pod容器的分类pod中的3种容器底层基础容器pause初始化容器(initcontainers)1)概念2
xinheng233
·
2024-09-04 18:30
k8s
k8s
pod
kafka
集群
搭建
Kafka
集群
搭建一、概念说明它是一个分布式消息系统,由linkedin使用scala编写,用作LinkedIn的活动流(ActivityStream)和运营数据处理管道(Pipeline)的基础。
java皮皮虫
·
2024-09-04 16:48
kafka
springboot
后台
kafka
kafka测试
kafka集群
Kafka学习
1、kafka
集群
配置①需要提前配置zookeeper环境②配置环境变量,与Java类似③配置server.properties文件#服务器序号broker.id=numlisteners=PLAINTEXT
nlhkfcdxb
·
2024-09-04 16:48
kafka
学习
分布式
多图详解kafka生产者消息发送过程
:fire:《Kafka运维管控平台LogiKM》:fire::pencil2:更强大的管控能力:pencil2::tennis:更高效的问题定位能力:tennis::sunrise:更便捷的
集群
运维能力
JAVAQXQ
·
2024-09-04 15:13
java
kafka
开发语言
kafka ---- producer与broker配置详解以及ack机制详解
一、producer配置1、bootstrap.serverskafkabroker
集群
的ip列表,格式为:host1:port1,host2:port2,…2、client.id用于追踪消息的源头3、
husterlichf
·
2024-09-04 15:41
#
kafka
kafka
java
分布式
【Kubernetes 】k8s常用单词
下面列出了一些Kubernetes中常见的术语及其英文单词、音标(使用国际音标符号)和解释,以及相应的中文翻译:Pod/pɒd/Kubernetes中最小的可创建、可调度的单元,它代表
集群
中的一个运行实例
划过手的泪滴t
·
2024-09-04 14:36
云计算运维
每日一练
Kubernetes
kubernetes
容器
云原生
【MySQL数据库管理问答题】第14章 使用 MySQL InnoDB
集群
实现高可用性
目录1.结合“体系结构”,请说明你对InnoDB
集群
的整体认知。2.请对组复制的原理和功能做一个完整的描述,并说明组复制有哪些先决条件和限制。
summer.335
·
2024-09-04 14:31
MySQL
MySQL数据库管理问答题
数据库
mysql
Redis:支撑高并发及高可用复杂的缓存架构
这里写目录标题一、企业级Redis
集群
架构二、(nginx+lua)+redis+ehcache的三级缓存架构三、数据库+缓存双写一致性解决方案四、大key:缓存维度拆分解决方案五、如何提高缓存的命中率一
玉成226
·
2024-09-04 12:51
【Redis】
缓存
redis
架构
基础学习之——Kubernetes
它提供了一个高度可扩展的架构,允许用户在
集群
中运行和管理大量的容器。
北欧人写代码
·
2024-09-04 11:44
kubernetes
容器
java.io.InvalidClassException(spark任务运行失败)
背景:客户
集群
内偶尔会出现java.io.InvalidClassException:org.apache.kudu.spark.kudu.KuduRDD;localclassincompatible:
LATASA
·
2024-09-04 09:30
spark
java
大数据
在springboot项目使用redis
目录单例模式
集群
模式springboot框架中已经集成了redis,在1.x.x的版本时默认使用的jedis客户端,现在是2.x.x版本默认使用的lettuce客户端在properties文件配置redis
weixin_44953227
·
2024-09-04 08:55
Java
spring
boot
redis
java
2022-12-28-PV和PVC简介、使用案例,动静态挂载;
PV:是
集群
中由kubernetes管理员配置的一个网络存储,一个
集群
中的
DGFM
·
2024-09-04 07:47
apache2.4 tomcat6
集群
AJP 配置方法
环境:Apache2.4(192.168.1.15:1102)安装路径:E:\Platform\Apache24节点1Tomcat6(192.168.1.15:8080ajp:8010)节点2Tomcat6(192.168.1.15:8081ajp:8011)安装Apache服务,安装成Windows服务。CMD命令行方法:"E:\Platform\Apache24\bin\httpd.exe"-
whqcfp
·
2024-09-04 02:14
JAVA
一文详解 LVS、Nginx 及 HAProxy 工作原理
当前大多数的互联网系统都使用了服务器
集群
技术,
集群
是将相同服务部署在多台服务器上构成一个
集群
整体对外提供服务,这些
集群
可以是Web应用服务器
集群
,也可以是数据库服务器
集群
,还可以是分布式缓存服务器
集群
等等
倾听铃的声
·
2024-09-03 23:00
后端
lvs
nginx
数据库
负载均衡
服务器
谈谈PhxSQL的设计和实现哲学(上)
AhighavailabilityMySQLclusterthatguaranteesdataconsistencybetweenamasterandslaves.摘要微信PhxSQL是一个提供Zookeeper级别强一致和高可用的MySQL
集群
OpenIMup
·
2024-09-03 23:53
阿里云服务器内存型r7、r8a、r8y实例区别参考
这几个实例规格,相比于活动内的经济型e、通用算力型u1实例来说,这些实例规格等性能更强,与计算型和通用型相比,它的内存更大,因此这些内存型实例规格主要适用于数据库、中间件和数据分析与挖掘,Hadoop、Spark
集群
等场景
阿里云最新优惠和活动汇总
·
2024-09-03 22:41
【GaussDB(DWS)】数仓部署架构与物理结构分析
数仓架构与物理结构分析一、部署架构二、物理结构三、测试验证一、部署架构华为数据仓库服务DWS,
集群
版本8.1.3.x
集群
拓扑结构:上述拓扑结构为DWS单AZ高可靠部署架构,为减少硬件故障对系统可用性的影响
若兰幽竹
·
2024-09-03 20:06
GaussDB
DWS
gaussdb
云计算day38
⼀、编排分类单机容器编排:docker-compose容器
集群
编排:dockerswarm、mesos+marathon、kubernetes应⽤编排:ansible(模块,剧本,⻆⾊)⼆、系统管理进化史
巭氼
·
2024-09-03 19:35
云计算
APISIX Ingress 对 Gateway API 的支持和应用
本文介绍了GatewayAPI这个将服务暴露到
集群
之外的全新规范,并且介绍了如何在APISIXIngressController中使用它。
API7.ai 技术团队
·
2024-09-03 17:51
技术布道
API
网关
APISIX
数据中心代理IP的使用指南:提升网络体验的秘密武器
数据中心通常是大型的服务器
集群
,拥有大量的IP地址资源。这些IP地址并不与具体的互联网服务提供商(ISP)绑定,而是由数
天启代理ip
·
2024-09-03 16:47
网络
tcp/ip
网络协议
Nacos与Eureka的区别
Nacos支持服务端主动检测提供者状态:临时实例采用心跳模式,非临时实例采用主动检测模式临时实例心跳不正常会被剔除,非临时实例则不会被剔除Nacos支持服务列表变更的消息推送模式,服务列表更新更及时Nacos
集群
默认采用
小东西的东西
·
2024-09-03 15:37
面试
学习路线
阿里巴巴
android
前端
后端
Java Operator SDK
JavaOperatorSDK生成项目骨架快速入门模式和最佳实践使用示例Operators实现示例OperatorQuarkusSpringBootOperators代表Kubernetes管理
集群
和非
集群
资源
快乐骑行^_^
·
2024-09-03 10:37
日常分享专栏
java
开发语言
Operator
SDK
Spring Boot 整合Redis Sentinel(1主2从3哨兵)
介绍在前面的博客中已经介绍了如何搭建Redis
集群
(最简单的Redis
集群
:1主2从3哨兵)RedisSentinel故障转移Redis主从配置上面的配置虽然可以在服务器上面模拟测试成功,但是在整合到SpringBoot
弓长日含
·
2024-09-03 10:35
Redis
Spring
Boot
聊聊 OceanBase 资源管理
OceanBase是分布式多租户架构数据库,其分布式
集群
从资源角度看可以分成
集群
、Zone、OBServer、资源池和租户等几个层次。
数据最前线
·
2024-09-03 04:56
oceanbase
数据库
学习
基于分布式计算的电商系统设计与实现【系统设计、模型预测、大屏设计、海量数据、Hadoop
集群
】
有需要本项目的代码或文档以及全部资源,或者部署调试可以私信博主==项目展示项目介绍目录摘要Abstract1引言1.1研究背景1.2国内外研究现状1.3研究目的1.4研究意义2关键技术理论介绍2.1Hadoop相关组件介绍2.2分布式
集群
介绍
王小王-123
·
2024-09-03 04:54
hadoop
大数据
分布式
电商系统分析
分布式计算
Mariadb Galera
集群
离线部署(纯离线)
完整的资源位于mysqlgalera
集群
离线部署,所有需要用的配置文件、软件包都在这个压缩包里面,且里面有自己编写的自动化部署脚本,可以直接运行安装,可供学习交流。
Saulstone
·
2024-09-03 03:18
运维
Linux
笔记
mariadb
运维
docker
Mapreduce是什么
HadoopMapReduce是一个软件框架,基于该框架能够容易地编写应用程序,这些应用程序能够运行在由上千个商用机器组成的大
集群
上,并以一种可靠的,具有容错能力的方式并行地处理上TB级别的海量数据集。
whisky丶
·
2024-09-03 01:07
SkyWalking:⼀款用于分布式系统的应用程序性能监视工具
主要功能特性多种监控手段,可以通过语言探针和servicemesh获得监控的数据支持多种语言自动探针,包括Java,.NETCore和Node.JS;轻量高效,无需大数据平台和大量的服务器资源4、模块化,UI、存储、
集群
管理都有多种机制可选
学博成
·
2024-09-02 23:23
技术
skywalking
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他