集群-分布式

大数据系列 | Kafka架构分析及应用

大数据系列|Kafka架构分析及应用1.消息系统介绍2.Kafka原理分析3.Kafka架构分析4.Kafka的安装与配置4.1.Zookeeper集群安装配置4.2.安装Kafka集群4.3.配置kafka
降世神童·2024-09-07 07:42

Python处理大数据，如何提高处理速度

一、利用大数据分析工具Dask：https://dask.org/Dask简介：Dask支持Pandas的DataFrame和NumpyArray的数据结构，并且既可在本地计算机上运行，也可以扩展到在集群上运行
RS&·2024-09-07 07:08

k8s｜组件基本概念

kubernetes是一个可移植的，可扩展的开源平台，是Google开源的容器集群管理系统（谷歌内部:Borg)，用于管理容器化的工作负载和服务，可促进声明式配置和自动化。
yygr·2024-09-07 05:55

Apache Storm：入门了解

前言Storm是一个开源的分布式实时计算系统，它能够处理无边界的数据流，类似于Hadoop对于批量数据处理的作用，但是Storm更侧重于实时数据流的处理。
布说在见·2024-09-07 03:43

3. ceph-mimic版本部署

环境规划2、系统基础环境准备2.1关闭防火墙、SELinux2.2确保所有主机时间同步2.3所有主机ssh免密2.4添加所有主机解析3、配置ceph软件仓库4、安装ceph-deploy工具5、ceph集群初始化
Martin_wjc·2024-09-07 03:11

分布式发号器（2）

目录数据结构最大峰值型最小粒度值型并发机器ID的分配时间同步设计验证性能需求调整时间是否会影响ID产生功能？每4年一次同步润秒会不会影响ID产生功能？数据结构1.最大峰值型：采用秒级有序，秒级时间占用30位，序列号占用20位字段：|`版本`|`类型`|`生成方式`|`秒级时间`|`序列号`|`机器ID`|位数：|*63*|*62*|*60-61*|*40-59*|*10-39*|*0-9*|2.最
lmkbuffon·2024-09-07 03:39

【架构】一款永不重复的高性能分布式发号器，实战nginxpdf

零、基本术语发号器：用于生成唯一流水号（也即俗称的唯一ID）的服务系统，称之为发号器一、技术选型UUID优点：能够保证唯一性缺点：（1）完全的时间数据=>性能比较差、比较长、占用空间大、间接导致数据库性能下降;（2）无序=>导致B+树索引在写的时候会有过多的随机写操作，不会产生有顺序的append操作，而是需要进行insert操作，这将读取整个B+树节点到内存并在插入该条记录后会将整个节点写会磁盘
m0_64867839·2024-09-07 02:39

java分布式开发面试题

正文梳理知识点，是快速提升技术的关键前面讲过，快速提升自己的技术硬实力其实是有方法的。大致就是梳理知识点+夯实基础+进阶深入学习+实战，下面我会一点点跟大家剖析，本文干货满满，大家仔细阅读。梳理知识后，夯实基础乃是刚需：深入进阶学习（28个主流Java知识点“一网打尽”）1、并发编程Java并发编程是整个Java开发体系中最难以理解，但也是最重要的知识点之一，一旦掌握你一定在市场上供不应求。Jav
spring面试题·2024-09-07 02:38

mysql连接oceanbase数据库集群+租户

useUnicode=true&characterEncoding=UTF-8&serverTimezone=UTC//其他参数根据需求设置username:[用户名]@[租户名]#[集群名]password
AE_·2024-09-07 02:36

seata环境搭建以及官方示例的坑

1、seataserver搭建（windows）在建seata服务之前请搭建好nacos服务官方的最新的为2.0.0版的，这个版本暂时有些问题，管理分布式事务时会报错。所以建议使用1.8的。
qq_20546587·2024-09-07 01:32

UI 自动化分布式测试 -Docker Selenium Grid

分布式测试SeleniumGrid对于大型项目或者有大量测试用例的项目，单机的测试环境往往无法快速完成所有测试用例的执行，此时自动化测试执行效率将会成为最大的瓶颈，SeleniumGrid可以通过多机的分布式架构允许测试用例并行运行
程序员与诗人·2024-09-07 01:30

Selenium Server 中 Standalone 模式|实现分布式测试、远程驱动浏览器

实现分布式测试|远程驱动浏览器SeleniumServer介绍主要功能Standalone模式概括Standalone模式分布式测试的应用SeleniumServer介绍SeleniumServer是Selenium
cs_mengxi·2024-09-07 01:58

为什么需要分布式数据库

令人“头都大了”的分库分表中间件10多年前阿里因此原因不得不把淘宝后台系统从OracleRAC切换到数百个MySQL集群构成的分库分表集群，不过那时的淘宝仅仅使用一个分库分表中间件，名为tddl（又名：
KunlunBase 昆仑数据库·2024-09-06 21:08

2024年效果图云渲染平台到底哪家最好？

一、功能对比具体功能列表云渲染平台技术水平基础功能高级功能独有功能痛点炫云☆☆☆☆☆一键渲染、自动下载结果、进度预览；多任务同时渲染；小样0.01元；性价比及速度包含不同模式可自由选择；分布式渲染；一键
水月rusuo·2024-09-06 20:32

如何搭建一个渲染农场

在影视特效、动画制作、建筑设计等领域，渲染农场作为高性能计算集群的应用，扮演着至关重要的角色。它通过将大量的渲染任务分配到多个计算节点上并行处理，极大地提升了渲染效率，缩短了项目周期。
炫云云渲染·2024-09-06 20:01

在Conda环境中高效使用Kubernetes：跨平台容器化实践指南

本文将探讨如何在Conda环境中使用Kubernetes，包括设置Conda环境、容器化应用程序以及在Kubernetes集群中部署和管理这些应用程序。
liuxin33445566·2024-09-06 20:59

redis cluster

文章目录节点CLUSTERMEET命令的实现槽指派传播节点的槽指派信息复制与故障转移故障检测故障转移选举新的主节点节点一个Redis集群通常由多个节点（node）组成，在刚开始的时候，每个节点都是相互独立的
黑夜无路人·2024-09-06 20:27

Kubectl：Kubernetes 的强大命令行工具

它就像是一位全能的指挥官，让用户能够与Kubernetes集群进行高效而直接的交互。无论是管理容器化应用的部署、监控资源的使用情况，还是处理故障排查等任务，kubectl都发挥着不可或缺的作用。
编程点滴·2024-09-06 19:55

数据库分库分表-ShardingSphere学习

ShardingSphere是一个开源的分布式数据库中间件解决方案，旨在提供数据库分片、分布式事务、读写分离、数据治理等多种数据服务，它以模块化的方式设计，使用户可以根据不同的应用场景选择适合的模块来部署
学Java的skyyyyyyyy·2024-09-06 19:24

第04课：基于 Redis 的分布式缓存实现及加固策略

本文将从Redis-Cluster搭建切入，详解集群的创建原理和加固策略。之后，分析集群所存在的几种可靠性问题并给出解决方案，最后，介绍一个集群运维软件的实现方案。
Jin_Kwok·2024-09-06 18:13

027、架构_资源_GTM

系统级GTM：默认的GTM，当创建分片集群时，如果不创建实例级GTM，则会用系统级GTM本章节主要介绍GTM集群的新增、删除、配置、绑定等管理操作。
数哥·2024-09-06 18:41

Git、Gitlab以及分支管理

一、Git概述Git是一种分布式版本控制系统，用于跟踪和管理代码的变更。它是由LinusTorvalds创建的，最初被设计用于Linux内核的开发。
柠檬树723·2024-09-06 17:40

Memcached多维度查询解密：高效缓存策略全解析

Memcached作为主流的分布式内存缓存系统，其对数据的存储和查询方式尤为关键。本文将详细探讨Memcached支持缓存数据的多维度查询方法，以及如何在实际应用中实现高效的缓存策略。
2402_85758936·2024-09-06 16:02

RPC的实现原理架构

RPC的实现极大地简化了分布式系统中的通信，避免了开发人员直接处理底层网络协议和数据序列化。以下是对RPC实现原理和架构的详细讨论。
Flying_Fish_Xuan·2024-09-06 16:30

PolarDB for PostgreSQL 内核解读：HTAP架构介绍

在PolarDB存储计算分离的架构基础上我们研发了基于共享存储的MPP架构步具备了HTAP的能力，对一套TP的数据支持两套执行引擎：单机执行引擎用于处理高并发的OLTPMPP跨机分布式执行引擎用于复杂的
阿里云技术·2024-09-06 16:28

81.MySQL-PXC高可用集群

[OK]当前集群只有一个节点。my
戒掉贪嗔痴(薛双奇)·2024-09-06 15:58

电源架构--集中式电源架构/分布式电源架构

这里写目录标题概述隔离式电源集中式电源架构分布式电源架构：个人理解概述·集中式电源架构（CPA）：效率高，但成本高，PCB占用面积大。
qq_40721100·2024-09-06 15:24

mysql8.0使用PXC实现高可用

使用PXC实现高可用1.概述官方文档:PerconaXtradbCluster8.0DocumentationPXC（PerconaXtraDBCluster）是一个开源的高可用性、高性能的MySQL集群解决方案
帽子运维笔记·2024-09-06 15:24

k8s安装test

k8s集群部署准备工作三台centos7虚拟机（内存每个节点4G）[root@master~]#cat/etc/redhat-releaseCentOSLinuxrelease7.9.2009(Core
qBeautifulBoy·2024-09-06 15:23

Kafka 如何保证数据不丢失？不重复

缺点：这样保证了高可用，但是这会导致集群的吞吐量不是很高，因为数据发送到broker之后，leader要将数据同步到fllower上，如果网
优秀后端工程师·2024-09-06 15:23

推荐开源项目：nacos-sdk-python - 实现Python版的Nacos开放接口

nacos-sdk-pythonnacospythonsdk项目地址:https://gitcode.com/gh_mirrors/na/nacos-sdk-python在软件开发中，服务发现和配置管理是至关重要的环节，而阿里云推出的Nacos作为一个分布式服务治理平台
班歆韦Divine·2024-09-06 15:22

MySQL 高可用--PXC

1.PXC(PerconaXtradbCluster)Percona：基于MySQL数据库已二次开发的数据库产品xtradb：存储引擎Cluster：集群1.1概念：PXC是属于一套比较完美的MySQL
行走的猫儿·2024-09-06 15:52

微服务架构（MSA）

它的核心组件有:服务限流降级、服务注册与发现、分布式配置管理、消息驱动能力、分布式事务、分布式任务调度。Summary：微服务是一个架构设计方
鸣鸣就·2024-09-06 14:17

【Kafka专栏 11】深入理解Kafka的网络线程模型：是谁在幕后“操纵”数据流？

致力于探索技术的边界，分享前沿的实践和洞见文章专栏：夏之以寒-kafka专栏专栏介绍：本专栏旨在以浅显易懂的方式介绍Kafka的基本概念、核心组件和使用场景，一步步构建起消息队列和流处理的知识体系，无论是对分布式系统感兴趣
夏之以寒·2024-09-06 14:16

分布式系统实战：什么是微服务架构？微服务架构与SOA架构的区别

微服务架构自2014年业界提出“微服务（Microservices）”的概念以来，微服务架构就不断演进，并且日趋火爆。越来越多的企业拥抱微服务，期望通过微服务的架构来解决大型项目的管理与运维。那么什么是微服务？微服务架构与传统的SOA架构有什么区别？何时应该采用微服务架构？如何构建微服务？本章就针对上述提到的问题，来简单介绍下微服务架构。什么是微服务架构微服务架构（MicroservicesArc
程序员小英·2024-09-06 13:07

redisson RMap和RMapCache的区别

RMap和RMapCache的区别可以归纳为以下几点：基本功能：RMap：是一个分布式的映射结构，类似于Java中的Map接口，用于存储键值对。
weixin_43833540·2024-09-06 12:31

梧桐数据库（WuTongDB）：存算分离和存算一体架构的分布式数据库技术分析

摘要：随着数据量的不断增长和对数据处理性能的要求越来越高，分布式数据库技术成为了数据存储和处理的重要解决方案。
鲁鲁517·2024-09-06 11:27

标题：**从单体到微服务：轻松搭建高效电商平台**

它从最初的SSM单体架构，升级为集成SpringCloud的分布式系统，旨在为你提供一个全面了解从简单到复杂的电商系统演进过程的绝佳实例。
芮伦硕·2024-09-06 11:25

【Spark高级应用】使用Spark进行高级数据处理与分析

ApacheSpark作为一种高效的分布式计算框架，凭借其高速、易用、通用和灵活的特点，已经成为大数据处理和分析的首选工具。
爱技术的小伙子·2024-09-06 10:47

Spark一些个人总结

一、Spark是什么Spark是一个用来实现快速，通用的集群
易逑实战数据·2024-09-06 09:39

EI会议推荐-第二届大数据与数据挖掘国际会议（BDDM 2024）

.com主办方：武汉纺织大学会议时间：2024年12月13日-12月15日会议地点：湖北武汉02征稿主题：包含（但不限于）以下领域：大数据：大数据分析、人工智能、大数据网络技术、大数据搜索算法和系统、分布式和点对点搜索
shiyuankeyan·2024-09-06 08:36

Kafka-设计原理

ControllerLeader-PartitionRebalance消息发布机制HW与LEO日志分段ControllerKafka核心总控制器Controller：在Kafka集群中会有一个或者多个broker
姜希成·2024-09-06 07:59

Kafka

Kafka是一个高性能的分布式消息队列系统，最初由LinkedIn开发，后来成为Apache软件基金会的一部分。Kafka设计用于处理大规模的数据流，提供高吞吐量、低延迟的消息传递机制。
傲雪凌霜，松柏长青·2024-09-06 07:57

芯擎SEC1000支持摄像头和屏幕的数量根据分辨率和帧率详细计算

1.CPU集群4×Cortex-A76和4×Cortex-A55:Cor
空间机器人·2024-09-06 06:53

2024年Python最新Python爬虫教程-新浪微博分布式爬虫分享(2)

Python编辑器：Pycharm；MongoDB管理工具：MongoBooster；Redis管理工具：RedisStudio）爬虫框架使用Scrapy，使用scrapy_redis和Redis实现分布式
2401_84584682·2024-09-06 05:45

Spark MLlib模型训练—聚类算法 K-means

ApacheSpark提供了K-means聚类算法的高效实现，支持大规模数据的分布式计算。本文将详细介绍K-means聚类算法的原理，并结合Spark
不二人生·2024-09-06 04:14

k8s pod container内存指标说明

一、问题描述我司平台研发的devops平台底层采用k8s实现，k8s自带cadvisor进行集群指标收集，根据官网，我们选用了container_memory_working_set_bytes（容器的工作集使用量
yifeiliu338·2024-09-06 04:43

Java分布式ID生成解决方案

Java分布式ID生成解决方案参考文章：（1）Java分布式ID生成解决方案（2）https://www.cnblogs.com/hxun/p/11451629.html备忘一下。
短期菜鸟·2024-09-06 04:10

Spark的Web界面

Storage-此视图展示了数据如何在RDDs（弹性分布式数据集）之间进行分层存储，以及
静听山水·2024-09-06 04:40

Java 7.1 - 理论 & 算法 & 协议

C：Consistency一致性A：Availability可用性P：Partition分区容错性对于理论计算机科学，CAP定理指出，对于一个分布式系统而言，CAP中的三个只能同时满足两个。
没有韭菜的饺子·2024-09-06 04:39
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他