分布式数据存储第11页

使用redis发布订阅实现websocket分布式消息推送服务

WebSocketConfig@ConfigurationpublicclassWebSocketConfig{privatestaticfinalLoggerlogger=LoggerFactory.getLogger(WebSocketConfig.class);@BeanpublicServerEndpointExporterserverEndpointExporter(){returnne

weixin_43833540·2024-08-30 16:00

揭示灵活分布式云平台的速效降本之道

2023年，Akamai委托ForresterConsulting进行了一项研究，重点关注了商业企业如何通过分布式云架构满足自己的各项需求。本文我们就一起看看这项研究的主要成果。“底线”是

Akamai中国·2024-08-30 15:56

常用并发工具类（并发集合类）

文章目录概述BlockingQueueArrayBlockingQueue数据存储相关属性阻塞特性相关属性主要方法LinkedBlockingQueueLinkedBlockingQueue主要属性LinkedBlockingQueue

Bryant5051·2024-08-30 13:15

PyTorch深度学习实战（26）—— PyTorch与Multi-GPU

当拥有多块GPU时，可以利用分布式计算（DistributedComputation）与并行计算（ParallelComputation）的方式加速网络的训练过程。

shangjg3·2024-08-30 12:10

mysql之写缓冲(change buffer)

：image.png（1）MySQL数据存储包含内存与磁盘两个部分；（2）内存缓冲池(bufferpool)以页为单位，缓存最热的数据页(datapage)与索引页(indexpage)；（3）InnoDB

tracy_668·2024-08-30 08:32

PyTorch深度学习实战（27）—— PyTorch分布式训练

本节将详细介绍如何进行神经网络的分布式训练。

shangjg3·2024-08-30 07:37

Curator框架以及基本API如何操作

为了更好的实现java操作zookeeper服务器，后来出现Curator框架，非常的强大，目前已经是Apache的顶级项目，里面提供了更多丰富的操作，例如session超时重连、主从选举、分布式计数器

JAVA代码搬运工·2024-08-30 06:33

大模型训练和推理

文章目录一、NLP基础1.Tokenizer2.positionencoding3.注意力机制与transformer架构二、大模型训练1.SFT训练2.RLHF训练3.分布式并行训练技术（1）模型并行

李明朔·2024-08-30 01:27

区块链技术的应用场景和优势

通过将设备的身份和数据存储在区块链上，可以确保设备之间的安全通信和数据完整性。版权保护：区块链技术可以用于记录和验证知识产权和数字内容

WA-自动机·2024-08-30 01:24

Linux开发讲课30---基于ARM体系的内核启动解析

Bootloader至少完成以下基本的初始化准备：设置并初始化RAM（必须），引导加载程序应找到并初始化内核将用于系统中易失性数据存储的所有RAM。它以机器相关的方式执行此操作。

嵌入式开发1·2024-08-30 00:48

云计算day13

一、Git概述Git是一种分布式版本控制系统，用于跟踪和管理代码的变更。它是由LinusTorvalds创建的，最初被设计用于Linux内核的开发。

巭氼·2024-08-29 23:42

中间件简介

它们在分布式系统、网络通信和应用集成中起着关键的作用。那么常见的中间件有哪些呢？消息队列中间件：消息队列中间件允许应用程序之间异步地发送和接收消息。

Will_1130·2024-08-29 22:38

虚拟机安装hadoop，hbase（单机伪集群模式）

就像当初做爬虫一样（虽然很简单），在数据爆发的现在，传统的数据库mysql，oracle显然在处理大数据量级的数据时显得力不从心，所以有些特定的业务需要引进能够处理大数据量的数据库，hadoop提供了分布式文件系统

流~星~雨·2024-08-29 21:31

微信小程序开发中的数据缓存和离线存储

一、数据缓存数据缓存是指在小程序中将数据存储在本地，以便下次使用时可以快速访问。小程序中有两种常用的数据缓存方式：本地缓存和全局缓存。

大黄鸭duck.·2024-08-29 21:28

HBase体系架构与环境搭建

它不依赖于业务逻辑来存储有关联的数据，而是以键值对、列族、文档、图形等非关系模型的形式进行数据存储。分类NoSQL数据库通常

无奈ieq·2024-08-29 20:18

HIVE 数据模型

体系结构：元数据/HQL的执行安装：嵌入/远程/本地管理：CLI/web界面/远程服务数据类型：基本/复杂/时间数据模型：数据存储/内部表/分区表/外部表/桶表/视图WEB管理工具：http://tdxy-bigdata

HFDYCYY·2024-08-29 19:47

Apache Kafka 快速学习大纲

Kafka概述定义Kafka传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。

aaaak_·2024-08-29 19:46

大数据实训笔记7：kafka

概述Kafka是一个开源的分布式事件流平台(EventStreamingPlatform)，被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。

Roslin_v·2024-08-29 19:14

云原生应用(7)之Docker容器数据持久化存储机制

一、Docker容器数据持久化存储介绍物理机或虚拟机数据持久化存储由于物理机或虚拟机本身就拥有大容量的磁盘，所以可以直接把数据存储在物理机或虚拟机本地文件系统中，亦或者也可以通过使用额外的存储系统（NFS

技术路上的苦行僧·2024-08-29 18:10

QPS提升10倍怎么设计-JAVA后端经常用到的技术

例如，使用分布式服务器集群，将请求均匀地分配到各个节点上，避免单个服务器负载过高。升级服务器的硬件配置，如提高CPU性能、增加内存容量、使用更快的存储设备等。例如，采用多核处理

九张算数·2024-08-29 17:00

优秀的开源项目

目录热key多线程并行秒级百G级日志工具ES操作工具消息推送平台HTTP客户端业务层的分布式限流组件企业级微服务解决方案热keyhotkey:京东App后台中间件，毫秒级探测热点数据，毫秒级推送至服务器集群内存

点滴~·2024-08-29 16:28

【KELM回归预测】基于麻雀算法优化核极限学习SSA-KELM-Adaboost实现风电回归预测附matlab代码

以下是使用麻雀算法优化核极限学习机（SSA-KELM）和Adaboost算法实现风电回归预测的MATLAB代码示例：matlab复制%导入风电数据load(‘wind_data.mat’);%假设数据存储在

天天酷科研·2024-08-29 16:27

分布式中间件

1.Nacos服务注册和服务发现原理图：1.服务提供方将集群信息注册到Nacos，并定期心跳包提供健康信息，宕机即剔除2.服务消费方定期拉取订阅信息，获取服务实例列表3.服务集群的负载均衡是在消费者一方进行选择负载均衡：四层（传输层，ip+端口），七层（应用层，在四层ip+端口的基础上，添加一些用户级负载均衡规则，例如过滤特定的url访问请求）；nginx同时支持四层和七层负载均衡，硬件负载均衡器

C15751X·2024-08-29 16:54

Hbase离线迁移

假设是hbase集群，那么数据存储在hdfs上。1.关闭2个hbase2.使用distcp将hdfs上的hbase数据迁移到另一个【相同路径】的hdfs上。

我要用代码向我喜欢的女孩表白·2024-08-29 15:22

Python知识点：如何使用HBase与HappyBase进行分布式存储

使用HBase与HappyBase进行分布式存储是处理大规模数据的有效方式。HBase是一个基于Hadoop的开源分布式数据库，可以处理非常大的表。

杰哥在此·2024-08-29 15:51

思二勋：web3.0是打造应对复杂市场敏捷组织的关键

本文内容摘自思二勋所著的《分布式商业生态战略》一书。数字化时代，需要企业具备敏捷应对变化的能力，以敏捷反应应对客户和市场的迅速变化。

学客汇·2024-08-29 14:15

【观点】区块链的未来：分布式商业；企业的未来：分布式商业生态战略

本文内容摘自思二勋所著的《分布式商业生态战略》一书。近两年，商业经济环境的不确定性越来越明显，市场经济受到疫情、技术、政策等多方因素影响越来越难以预测，黑天鹅事件时有发生。

学客汇·2024-08-29 14:14

新书推荐：《分布式商业生态战略：未来数字商业新逻辑与企业数字化转型新策略》

近两年，商业经济环境的不确定性越来越明显，市场经济受到疫情、技术、政策等多方因素影响越来越难以预测，黑天鹅事件时有发生。在国内外经济方面，国际的地缘政治对商业经济产生着重大的影响，例如供应链中断，核心技术的自主创新及国产化，以及美联储的持续加息对市场经济的影响，等等。国内经济也在承压发展，尽管内需总体回暖，但市场活力不足、内生动力不强、市场资源利用率低下等问题不容忽视。而在技术革新商业经济方面，如

学客汇·2024-08-29 14:44

Spark权威指南读书笔记（二）：结构化API

第四章结构化API概述结构化API主要指三种核心分布式集合类型API：Dataset、DataFrame、SQL表和视图DataFrame和Dataset类型DataFrame和Dataset是具有行和列的类似于数据表的集合类型

kaiker·2024-08-29 11:23

Python分布式任务处理库之dramatiq使用详解

Dramatiq是一个用于分布式任务处理的Python库，旨在提供简单、可靠的任务队列解决方案。与其他任务队列库相比，Dramatiq更加轻量级，且易于上手。

Rocky006·2024-08-29 09:41

Kylin的工作原理及使用分享操作指南

ApacheKylin是一个分布式的分析引擎，专为大数据环境中的快速分析和查询而设计。它通过构建OLAP（联机分析处理）立方体，使得对海量数据的实时分析成为可能，极大地提升了数据查询的效率。

vvvae1234·2024-08-29 05:14

Metasploit漏洞利用系列（九）：MSF渗透测试 - DistCC后门漏洞实战

DistCC是一个分布式编译系统，旨在通过网络分发编译任务以加速编译过程。然而，不当的配置或特定版本的漏洞可能为攻击者留下可乘之机，使其能够利用DistCC服务作为跳板，入侵目标系统。

Alfadi联盟萧瑶·2024-08-29 02:55

分布式唯一id的7种方案

背景为什么需要使用分布式唯一id？如果我们的系统是单体的，数据库是单库，那无所谓，怎么搞都行。

木小同·2024-08-29 02:53

Hdfs的机架感知与副本放置策略

1.介绍Apachehadoop机架感知Hadoop分布式文件系统(Hdfs)作为ApacheHadoop生态系统的的核心组件之一,通过机架感知和副本放置策略来优化数据的可靠性,可用和性能.Hdfs的机架感知和副本放置策略是其设计的关键组成部分

sheansavage·2024-08-29 01:42

JMS 原理

为什么需要JMS用RPC中间件技术已广泛应用于分布式系统之间的通信，但是这些技术也显示出了局限性：同步通信：客户发出调用后，必须等待服务对象完成处理并返回结果后才能继续执行客户和服务对象的生命周期紧密耦合

LynnGuo·2024-08-29 00:53

ROS Node

ROS节点是ROS中实现模块化、分布式和可扩展性的关键组件之一。在ROS中，节点是通过ROS核心（ROSMaster）进行通信和协调的。

GYHlf·2024-08-28 23:31

XML-RPC-1概述

XML-RPC是一个远程过程调用（远端程序呼叫）（remoteprocedurecall，RPC)的分布式计算协议，通过XML将调用函数封装，并使用HTTP协议作为传送机制。

weixin_30340775·2024-08-28 22:26

RPC框架之Dubbo

问题1：为什么要把系统拆分成分布式的？为啥要用dubbo？1.为什么要将系统进行拆分？

猫猫桑·2024-08-28 22:56

为什么搜索引擎可以检索到网站？

分布式计算：提高处理速度。缓存机制：快速返回热门查询结果。用户行为分析：优化搜索结

程序员T哥·2024-08-28 22:23

教程：在Spring Boot应用中集成OAuth 2.0认证

在现代的分布式系统中，使用OAuth2.0认证可以有效地保护API端点和用户数据。本文将介绍如何在S

微赚淘客系统开发者@聚娃科技·2024-08-28 22:52

Java高级技术day75：Zookeeper与Dubbo

Zookeeper的介绍1.Zookeeper介绍：顾名思义zookeeper就是动物园管理员，他是用来管hadoop（大象）、Hive(蜜蜂)、pig(小猪)的管理员，ApacheHbase和ApacheSolr的分布式集群都用到了

开源oo柒·2024-08-28 20:54

教你如何搭建本地私有云

以下是一些常见的本地私有云场景：数据存储和备份：企业可以使用本地私有云搭建自己的存储和备份系统，以保护重要数据的安全和可靠性。

坚持就是胜利1986·2024-08-28 19:05

私有化与公有云：哪种部署方式更能满足企业长期规划？

以下是对两者的详细比较及选择建议：私有化音视频SDK优势安全性高：私有化部署允许企业将音视频数据存储在自有或受信任的服务器上，有效避免数据泄露风险，确保数据安全。

HJ_SDK·2024-08-28 18:24

【MySQL】HEAP 表（MEMORY 表）

HEAP表（MEMORY表）1.定义HEAP表是一种将数据存储在内存中的表类型，适用于需要快速访问的临时数据。由于数据存储在内存中，HEAP表的读写速度非常快，但其数据在服务器重启或崩溃后会丢失。

率真的瓜子·2024-08-28 18:52

clickhouse集群部署

单节点设置为了延迟演示分布式环境的复杂性，我们将首先在单个服务器或虚拟机上部署ClickHouse。ClickHouse通常是从deb或rpm包安装，但对于不支持它们的操作系统也有其他方法。

林鸟鸟·2024-08-28 14:29

k8s上的clickhouse集群部署并创建分布式表（附详细参数说明和参考链接）

k8s上的clickhouse集群部署并创建分布式表制作docker镜像创建configmap创建clickhouseservicepod创建clickhouseclientpod创建Service创建分布式表部署总体参考

KirutoCode·2024-08-28 14:56

k8s必知必会

目录1、简述etcd及其特点etcd是CoreOS团队发起的开源项目，是一个管理配置信息和服务发现（servicediscovery）的项目，它的目标是构建一个高可用的分布式键值（key-value）数据库

小卒曹阿瞒·2024-08-28 13:54

Python大数据学习day01——大数据开发概论

目录大数据概念大数据特点大数据应用场景大数据分析业务步骤大数据职业规划大数据学习路线1.大数据解决问题海量数据存储——海量数据运算——海量数据迁移2.大数据特点（大、多、值、快、信）数据体量大种类和来源多源化实现低价值密度速度快数据的质量准确可信

笨小孩124·2024-08-28 12:46

CentOS(7.x、8)上安装EMQX

EMQX是一个高度可扩展的分布式MQTT消息服务器，适用于IoT、M2M和移动应用程序。

功夫熊猫ok88·2024-08-28 11:10

Spring Boot 一个极简且完整的后台框架

先放几张图imageimageimage项目介绍SpringBoot，实现了一个极简单的后台框架image小编提供免费的Java架构学习资料（里面有高可用、高并发、高性能及分布式、Jvm性能调优、Spring

搬砖养女人·2024-08-28 10:33

推荐频道

分布式数据存储