分布式云原生第22页

【Redis篇】详解布隆过滤器（原理 | 操作 | 代码）

文章目录简述布隆过滤器原理存入过程查询过程️‍优缺点⭐优点⭐缺点代码实现（本地）代码实现（分布式）简述布隆过滤器布隆过滤器的由来可以追溯到1970年代，由一个名叫BurtonHowardBloom的美国计算机科学家提出

在下小吉.·2024-02-19 12:29

现阶段适用于单一架构还是分布式架构？

分布式架构：优势：可以提高应用程序的可用性、可扩展性和弹性；各个服务之间通过定义的接口进行通信，彼此独立，互不干扰。劣势：开发和部署比较复杂，需要考虑分布式系统的一些问题，如分布式

小Mie不吃饭·2024-02-19 12:41

基于python的分布式爬虫框架_基于scrapy-redis的通用分布式爬虫框架

spiderman基于scrapy-redis的通用分布式爬虫框架目录demo采集效果爬虫元数据cluster模式standalone模式kafka实时采集监控功能自动建表自动生成爬虫代码，只需编写少量代码即可完成分布式爬虫自动存储元数据

summer_ccs·2024-02-19 11:39

深入解析鸿蒙系统的页面路由（Router）机制

鸿蒙系统以其独特的分布式架构和跨设备的统一体验而备受瞩目。在这个系统中，页面路由（Router）机制是连接应用各页面的关键组成部分。

OpenHarmony_小贾·2024-02-19 11:32

【2019-04-28】Hadoop分布式文件系统

Hadoop自带HDFS(hadoopdistributefilesystem)。HDFS默认数据块128M。HDFS有两类工作节点：一个管理节点namenode、多个工作节点datenode，namenode维护文件系统树以及整颗树内所有的文件和目录。namenode记录每个文件中各个数据块所在的数据节点信息。但不永久保存块的位置信息，这些信息会在系统启动时根据数据节点信息重建。namenode

BigBigFlower·2024-02-19 11:56

Hadoop搭建之 start-yarn.sh 报错

在搭建伪分布式的Hadoop集群环境时，在配置基础环境了并成功开启了HDFS组件后，jps查看已运行的名称节点和数据节点进程，[hadoop@masterhadoop]$jps8994NameNode10396Jps9087DataNode9279SecondaryNameNode

万里长江雪·2024-02-19 11:58

云原生之容器管理工具Portainer

1.简介前面文章我们讲Docker、DockerCompose和DockerSwarm都是在Linux系统上手工命令行去操作，在第一次安装的时候可以命令行，以后运维和CICD流程操作中，如果还要命令行去各个节点操作，操作就麻烦了，工作效率就低了，我们需要有一个集中管理的系统，而且是web界面化的管理系统，而且是开源的，Portainer正是这样的系统。Portainer是一款开源的容器管理工具系统

鬓戈·2024-02-19 11:27

云原生之Docker镜像仓库

1.前言同为虚拟化技术，Docker相对于VMWare有什么特点，或者最吸引我的特点？我认为最主要的是DockerImage技术，它让我们非常方便地把应用程序包和其依赖环境打包成一个Docker镜像文件，而且这个文件相对来说还非常小，一般就是几M到几十M，然后不管是开发环境、测试环境、预发布环境还是各个线上环境，只要环境里安装了DockerEngine就可以行为一致地运行起来，不需要去考虑烦人的目

鬓戈·2024-02-19 11:27

Day 25 25.2 Scrapy框架之分布式爬虫(scrapy_redis)

分布式爬虫(scrapy_redis)分布式爬虫是指将一个大型的爬虫任务分解成多个子任务，由多个爬虫进程或者多台机器同时执行的一种爬虫方式。

Chimengmeng·2024-02-19 11:22

微信发送一条消息经历哪些过程。企业微信以及钉钉的IM架构对比

目前已经写的IM的文章分布式websocket即时通信(IM)系统构建指南【第七期】分布

呆呆呆呆梦·2024-02-19 11:49

云原生之容器编排-Docker Swarm

可以定义和运行多容器应用程序，用一个YAML配置文件来声明式管理服务，在一台安装了Dockerengine的Linux系统上可以很好的工作，但是现实中不可能只有一台Linux系统，一台Linux系统不可能有足够的资源运行所有的云原生应用系统

鬓戈·2024-02-19 11:48

基于scrapy框架的单机爬虫与分布式爬虫

我们知道，对于scrapy框架来说，不仅可以单机构建复杂的爬虫项目，还可以通过简单的修改，将单机版爬虫改为分布式的，大大提高爬取效率。

Jesse_Kyrie·2024-02-19 11:47

【区块链技术开发语言】在ubuntu18 系统环境下命令操作配置以太坊go-ethereum环境

一、概述项目简介：以太坊是一个基于区块链技术的分布式平台，用于构建去中心化应用程序（DApps）。go-ethereum是以太坊官方开发团队维护的Go语言实现的以太坊客户端，也被称为Geth。

源代码杀手·2024-02-19 11:41

读TiDB源码聊设计：浅析HTAP的SQL优化器

1.引子如果让你做一个分布式数据库的优化器，面对以下的SQL，你会想到什么好的方法去执行他们呢？

·2024-02-19 11:23

福利「Flink Forward Asia 2023 」PPT 阅读合集！

来自阿里云智能、蚂蚁金服、字节跳动、芒果TV、快手、美团、华为、美的、Shopee、米哈游、腾讯、同程旅行、汽车之家、网易等全球30+各行业一线厂商的嘉宾，围绕核心技术、行业实践、生产实践、平台建设、流式湖仓、云原生等多个时下热门方向

·2024-02-19 11:20

阿里云计算平台大数据基础工程技术团队直聘！！！

通过软件工程，数据智能化的方法论，围绕数据系统化建设运维智能工具链，打造飞天大数据&AI运维管控平台ABM，解决超大规模分布式集群运维管理问题，提升产品的稳定性

·2024-02-19 11:20

抗D盾是游戏盾吗

游戏盾有哪些功能呢游戏盾包含抗D节点，通过分布式的抗D节点，游

·2024-02-19 11:42

Go 语言体系下的微服务框架选型：Dubbo-go

01Go微服务体系发展与选型随着微服务技术的快速发展，其在各个领域都形成了一系列事实标准，在Kubernetes和容器技术加持下，云原生微服务已经成为了主流解决方案。

阿里云云栖号·2024-02-19 10:38

Go RPC 远程过程调用

在分布式计算，远程过程调用是一个计算机通信协议。该协议允许运行于一台计算机的程序调用另一个地址空间的子程序，而程序员就像调用本地程序一样，无需额外地为这个交互作用编程。

CDFMLR·2024-02-19 10:26

分布式文件系统 SpringBoot+FastDFS+Vue.js【四】

分布式文件系统SpringBoot+FastDFS+Vue.js【四】八、文件的下载和删除功能8.1.FastDFSClient.java8.2.FileServerController.java8.3

良辰美景好时光·2024-02-19 10:21

分布式文件系统 SpringBoot+FastDFS+Vue.js【二】

分布式文件系统SpringBoot+FastDFS+Vue.js【二】六、实现上传功能并展示数据6.1.创建数据库6.2.创建springboot项目fastDFS-java6.3.引入依赖6.3.fastdfs-client

良辰美景好时光·2024-02-19 10:20

分布式文件系统 SpringBoot+FastDFS+Vue.js【三】

分布式文件系统SpringBoot+FastDFS+Vue.js【三】七、创建后台--分角色管理7.1.创建后台数据库表7.2.创建实体类7.2.1.Admin7.2.2.Menu7.2.3.MenuBean7.2.4

良辰美景好时光·2024-02-19 10:20

闲聊从防火墙，到VPC再到服务鉴权的技术发展过程

因为最近我们的分布式项目上，一直在讨论设计，服务之间如何鉴权？鉴权发生在什么样的场景里？同一个租户内的服务之间需不需要鉴权？不通租户之间的服务访问该如何鉴权？

G探险者·2024-02-19 10:48

jsonrpc

远程过程调用是一个分布式计算的客户端-服务器（Client/Server）的例子，它简单而又广受欢迎。远程过程调用总是由

田园园野·2024-02-19 10:48

MapReduce

MapReduce定义mapReduce是一个分布式运算程序的编程框架，是用户开发基于hadoop的数据分析应用的核心框架。

诺冰1314·2024-02-19 10:46

ebpf-go 初体验

但是很多的场景中（尤其是云原生场景），我们出于避免重复造轮子、更快的迭代速度、运行时安全等原因，会选择go语言来进行开发，ebpf-go2这个库就是当前最好的选择。

·2024-02-19 10:26

腾讯云OSS文件上传功能

它具有以下特点和优势：高可靠性：采用分布式存储架构，数据会在多个设备上进行冗余备份，确保数据的高可靠性和持久性。弹性扩展：支持根据业务需求自动扩展存储容量，无需担心存储空间不足的问题。

奋力向前123·2024-02-19 10:37

一篇文章彻底搞懂 TiDB 集群各种容量计算方式

作者丨hey-hoho来自神州数码钛合金战队神州数码钛合金战队是一支致力于为企业提供分布式数据库TiDB整体解决方案的专业技术团队。

·2024-02-19 10:17

当你在浏览器中输入网址后发生了什么?

它作为将域名和IP地址相互映射的一个分布式数据库，能够使人更方便地访问互联网。DNS

·2024-02-19 10:05

Pulsar Standalone服务搭建

PulsarStandalone服务搭建说明简介ApachePulsar是Apache软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体。

aileen5150·2024-02-19 10:04

Apache Pulsar--简单介绍

一句话说：是一个云原生的批流一体的在诸多场景优于Kafka的新一代的消息队列中间件。ApachePulsar有哪些特性？

陈永佳·2024-02-19 10:32

golang工程组件篇:高性能RPC框架gRPC之0Auth2认证与拦截器

Golang是一种快速、高效的编程语言，它在云计算和分布式系统中广泛使用。随着软件工程越来越复杂，RPC（远程过程调用）框架成为了重要的组件之一。

SMILY12138·2024-02-19 10:32

Hive入门，Hive是什么？

它是建立在Hadoop生态系统之上的，利用Hadoop的分布式存储和计算能力来处理和分析数据。

JayGboy·2024-02-19 10:31

sensitive-word-admin v1.3.0 发布如何支持敏感词控台分布式部署？

拓展阅读sensitive-word-adminv1.3.0发布如何支持分布式部署？

·2024-02-19 10:51

Raft协议如何解决分布式系统一致性问题

先要明确的几个概念Raft协议是基于paxosmulti的，属于全新优化精简版本，更加容易实现和理解。zookeeper用的zab协议跟raft基本一样，就是心跳方向是反的，raft是leader向follower发送心跳，zab是follower向leader发送心跳询问leader健康状况。再有一个就是，raft、paxos、zab这些属于强一致性协议，与之相对的还有弱一致性协议，比如DNS的

肥兔子爱豆畜子·2024-02-15 10:56

[AIGC] Kafka 的 Rebalance 机制：保证分区的可靠性和高可用性

在分布式系统中，Kafka是一种流处理平台，具有高吞吐量、低延迟和可扩展性等特点。在Kafka中，消费者组是一组消费者的集合，它们共同消费一个topic的所有分区。

程序员三木·2024-02-15 10:55

DolphinScheduler安装与配置

DolphinScheduler概述ApacheDolphinScheduler是一个分布式、易扩展的可视化DAG工作流任务调度平台。

在下区区俗物·2024-02-15 10:22

如何在极低成本硬件上落地人工智能算法 —— 分布式AI

一、背景分布式AI的发展前景非常广阔，随着5G、6G等高速网络通信技术的普及和边缘计算能力的提升，以及AI算法和硬件的不断优化进步，分布式AI将在多个领域展现出强大的应用潜力和市场价值：1.

初心不忘产学研·2024-02-15 10:20

Spring

Spring是一款非常优秀而且功能强大的框架，可以简化开发、框架整合一、初识Spring1.Spring能做什么用以开发web、微服务以及分布式系统等，光这三块就已经占了JavaEE开发的九成多。

小白在努力~~·2024-02-15 10:15

Jmeter分布式部署测试-----远程连接多台电脑做压力性能测试

原文链接https://www.cnblogs.com/whitewasher/p/6946207.html在使用Jmeter进行接口的性能测试时，由于Jmeter是JAVA应用，对于CPU和内存的消耗比较大，所以，当需要模拟数以万计的并发用户时，使用单台机器模拟所有的并发用户就有些力不从心，甚至会引起JAVA内存溢出错误。为了让jmeter工具提供更大的负载能力，这时可以使用Jmeter提供的分

微笑的AK47·2024-02-15 10:06

Spring Cloud Eureka：服务注册与发现

1.介绍SpringCloudEureka1.1什么是SpringCloudEurekaSpringCloudEureka是SpringCloud生态中的一个服务注册与发现组件，用于构建分布式系统中的服务注册中心

星光闪闪k·2024-02-15 09:41

docker （一）-简介

无论是单个程序还是多个程序组成的复杂服务，或者分布式系统，都可以使用dockerrun或dockercompos

小关暗器·2024-02-15 09:56

ES+Logstash+Kibana(ELK)部署---废弃版，请勿参考

它们分别是：Elasticsearch(ES):一个开源的分布式搜索引擎，用于全文搜索、分析和可视化大量数据。

小关暗器·2024-02-15 09:25

[缓存] - 1.缓存共性问题

1.1高并发一般来说，如果10Wqps，或者20Wqps，可使用分布式缓存来抗。比如redis集群，6主6从：主提供读写，从作为备，从不提供读写服务。

don't_know·2024-02-15 09:20

SpringCloud之Eureka注册中心和负载均衡

SpringCloud之Eureka注册中心和负载均衡微服务技术栈认识微服务单体架构分布式架构微服务微服务拆分及远程调用微服务拆分注意事项Eureka注册中心提供者与消费者原理分析服务调用出现的问题Eureka

Gunalaer·2024-02-15 09:13

Kafka(一)

第1章Kafka概述1.1定义Kafka传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。

xxxxxxxpp·2024-02-15 09:10

分布式缓存上—浅谈缓存的理解

文章目录1.概述1.1概念1.2作用1.3原理2.缓存的分类2.1CDN缓存应用场景优点2.2反向代理缓存应用场景2.3本地应用缓存应用场景缓存介质实现1.通过编程实现2.Ehcahe缓存数据过期策略3.分布式缓存

ZNineSun·2024-02-15 09:39

大数据搜索引擎之ElasticSearch安装篇(资源)

简述如下：Elasticsearch是个开源分布式搜索引擎，特点网上一搜到处是：分布式，零配置，

weixin_34049948·2024-02-15 08:38

浅谈分布式缓存解决方案！

接口高并发的解决思路：加缓存数据静态化集群分布式同步转异步限流、降级适合加缓存的场景：读多写少的数据，不经常需要修改的数据、一致性要求不高（数据只能保持最终一致性，不能保证数据同步一致性）缓存的概念1）

肥肥技术宅·2024-02-15 08:37

（三十七）大数据实战——Solr服务的部署安装

前言Solr是一个基于ApacheLucene的开源搜索平台，它提供了强大的全文搜索、分布式搜索和数据分析功能。Solr可以用于构建高性能的搜索应用程序，支持从海量数据中快速检索和分析信息。

厉害哥哥吖·2024-02-15 08:05

推荐频道

分布式云原生