scrapy分布式

celery异步框架的使用

-翻译过来是芹菜-官网：https://docs.celeryq.dev/en/stable/-吉祥物：芹菜-分布式的异步任务框架-分布式：一个任务，拆成多个任务在不同机器上做-异步任务：后台执行，不阻塞主任务
`越努力越幸运~·2024-02-20 11:56

RabbitMQ与Spring Boot如何集成？

一、RabbitMQRabbitMQ是一个开源的消息队列中间件，它实现了高效可靠的消息传递机制，可以在分布式系统中进行异步通信。
张燕沨·2024-02-20 11:54

Kafka核心逻辑介绍 | 京东云技术团队

1、概念Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica）分布式消息系统（kafka2.8.0版本之后接触了对zk的依赖，使用自己的kRaft
·2024-02-20 11:54

Redis之分布式搭建及使用快速入门

文章目录1、为什么需要用redis集群2、主从复制a、主从复制配置3、可用性保证之哨兵机制(Sentinel)4、redis分布式方案a、客户端Shardingb、代理Proxy之Twemproxyc、
菜鸟编程98K·2024-02-20 10:02

XXL-CONF v1.5.0 发布，分布式配置中心

v1.5.0新特性1、配置中心Agent服务增强：针对非Java应用提供Agent服务获取配置，提供同步、异步两种Http请求方式，原生支持long-polling（Http）的方式获取配置数据、并实时感知配置变更。同时，强化请求权限校验；2、配置同步功能：将会检测对应项目下的全部未同步配置项，使用DB中配置数据覆盖ZK中配置数据并推送更新；在配置中心异常恢复、新配置中心集群初始化等场景中十分有效
许雪里·2024-02-20 10:51

边缘计算：重塑数字世界的未来

四、展望未来一、边缘计算的概念边缘计算是一种分布式计算
GT开发算法工程师·2024-02-20 10:52

python从小白到大师-第一章Python应用（五）应用领域与常见包-爬虫

目录一.爬虫1.1urllib1.2requests1.3scrapy1.4pySpider总结一.爬虫1.1urlliburllib是Python标准库中的一个模块，它提供了一组用于处理URL（统一资源定位符
安城安·2024-02-20 10:14

大数据 - Spark系列《六》- RDD详解

CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据-Spark系列《三》-加载各种数据源创建RDD-CSDN博客大数据-Spark系列《四》-Spark分布式运行原理
王哪跑nn·2024-02-20 10:55

大数据 - Spark系列《七》- 分区器详解

CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据-Spark系列《三》-加载各种数据源创建RDD-CSDN博客大数据-Spark系列《四》-Spark分布式运行原理
王哪跑nn·2024-02-20 10:55

C#&.NET 使用RabbitMQ实现一个分布式事件总线(二)

在上文我们介绍了本地事件总线的一个简单实现，这次我们通过借助RabbitMQ,来完成分布式事件总线的设计。
郭麻花·2024-02-20 10:20

spring cloud 微服务链路追踪系统 Sleuth和zipkin 概述

分布式应用架构虽然满足了应用横向扩展的需求，但是运维和诊断的过程变得越来越复杂，例如会遇到接口诊断困难、应用性能诊断复杂、架构分析复杂等难题，传统的监控工具并无法满足，分布式链路系统由此诞生核心：将一次请求分布式调用
小哇666·2024-02-20 09:08

微服务设计：Spring Cloud 链路追踪概述

SpringCloud链路追踪是指在分布式系统中追踪请求路径的技术。它可以帮助开发者了解请求在各个微服务之间是如何流转的，以及每个微服务处理请求所花费的时间。
surfirst·2024-02-20 09:04

面试redis篇-01开篇

使用场景Redis的数据持久化策略有哪些什么是缓存穿透，怎么解决什么是布隆过滤器什么是缓存击穿，怎么解决什么是缓存雪崩，怎么解决redis双写问题Redis分布式锁如何实现Redis实现分布式锁如何合理的控制锁的有效时长
卡搜偶·2024-02-20 09:57

SpringCloud-基于Feign远程调用

SpringCloud是一个用于构建分布式系统的开发工具包，它提供了一系列的微服务组件，其中之一就是Feign。
Damon小智·2024-02-20 09:56

MySQL系列之数据导入导出

从树型、网络型到关系型，从集中式到分布式，均可胜任不同的业务场景和数据存储要求。在这个云时代（CloudAge），作为“轻、快、高”的代表，MySQL作为RDB的优等生，备受各行各业的青睐。
ZHOU西口·2024-02-20 09:00

Redisson 如何实现分布式锁

针对项目中使用的分布式锁进行简单的示例配置以及源码解析，并列举源码中使用到的一些基础知识点，但是没有对redisson中使用到的netty知识进行解析。
不怕天黑_0819·2024-02-20 09:42

java与javascript异同

Java具有简单性、面向对象、分布式、健壮性、安全性、平台独立与可移植性、多线程、动态性等特点。
Ian1025·2024-02-20 08:20

淘宝的十年「架构变迁」

特别说明：本文以淘宝为例仅仅是为了便于说明演进过程可能遇到的问题，并非是淘宝真正的技术演进路径基本概念在介绍架构之前，为了避免部分读者对架构设计中的一些概念不了解，下面对几个最基础的概念进行介绍：分布式系统中的多
程序员xysam·2024-02-20 08:18

多线程、分布式运行用例

python多线程threading模块多线程实例#-*-coding:utf-8-*-#@Time:2024/2/715:50#@Author:居里夫人吃橘子#@File:class01.py#@Software:PyCharmimportthreadingfromtimeimportsleepdefrun(name):print(name+'该起床了')sleep(2)print(name+'
吃鱿鱼的大叔·2024-02-20 08:45

HarmonyOS开发篇—数据管理（分布式数据服务）

分布式数据服务概述分布式数据服务（DistributedDataService，DDS）为应用程序提供不同设备间数据库数据分布式的能力。通过调用分布式数据接口，应用程序将数据保存到分布式数据库中。
OpenHarmony_小贾·2024-02-20 08:41

Zookeeper

Zookeeper第1章Zookeeper入门Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。
efzy·2024-02-20 08:36

通过 Prometheus 编写 TiDB 巡检脚本（脚本已开源，内附链接）

作者丨caiyfc来自神州数码钛合金战队神州数码钛合金战队是一支致力于为企业提供分布式数据库TiDB整体解决方案的专业技术团队。
TiDB_PingCAP·2024-02-20 07:21

一篇文章彻底搞懂 TiDB 集群各种容量计算方式

作者丨hey-hoho来自神州数码钛合金战队神州数码钛合金战队是一支致力于为企业提供分布式数据库TiDB整体解决方案的专业技术团队。
TiDB_PingCAP·2024-02-20 07:20

“分布式透明化”在杭州银行核心系统上线之思考

杭州银行成功上线以TiDB为底层数据库的新一代核心业务系统，该实践采用应用与基础设施解耦、分布式透明化的设计开发理念，推动银行核心系统的整体升级。
TiDB_PingCAP·2024-02-20 07:20

用300万支电动牙刷发起DDoS攻击？假的！

国外媒体发文称“300万支电动牙刷被黑客用恶意软件感染，以执行分布式拒绝服务（DDoS）攻击。”经Fortinet与媒体确认，这是一起虚假的新闻。
FreeBuf_·2024-02-20 07:20

在微服务框架Demo.MicroServer中添加SkyWalking+SkyApm-dotnet分布式链路追踪系统

分为服务端Oap、管理界面UI、以及嵌入到程序中的探针Agent部分，大概工作流程就是在程序中添加探针采集各种数据发送给服务端保存，然后在UI界面可以看到收集过来的各种监测数据，来完成它的核心使命：性能监控和分布式调用链追踪能力
Peyshine·2024-02-20 07:12

分布式事务

本地事务本地事务是指单个数据库上的事务操作，一个本地事务允许一个数据库连接满足ACID（原子、一致、隔离、持久）刚性事务规范分布式事务分布式事务属于柔性事务，满足CAP和BASE理论CAP：指的是在一个分布式系统中
与遨游于天地·2024-02-20 07:15

Mysql - 数据库集群概论

成熟可能会有数据延迟、主节点单点故障MySQLGroupReplication同步复制，自动故障转移高可用性、读写分离高可用、自动故障恢复要求高网络质量、配置复杂MySQLCluster(NDB)实时分布式数据库电信
yueerba126·2024-02-20 07:42

vivado RAM HDL Coding Guidelines

分布式RAM示例以下部分提供了分布式RAM的VH
cckkppll·2024-02-20 07:33

论文阅读-Hydra: 用于持久内存和RDMA网络的分散文件系统

结合高速RDMA网络，分布式基于PM的存储系统提供了通过紧密耦合PM和RDMA特性来实现存储性能大幅提升的机会。然而，现有的分布式文件系统采用为传统磁盘设计的传统集中式客户端-服务器架构，导致访问延迟
向来痴_·2024-02-20 07:26

300分钟吃透分布式缓存-03讲：设计缓存架构时需要考量哪些因素？

缓存的引入及架构设计缓存组件选择在设计架构缓存时，你首先要选定缓存组件，比如要用Local-Cache，还是Redis、Memcached、Pika等开源缓存组件，如果业务缓存需求比较特殊，你还要考虑是直接定制开发一个新的缓存组件，还是对开源缓存进行二次开发，来满足业务需要。缓存数据结构设计确定好缓存组件后，你还要根据业务访问的特点，进行缓存数据结构的设计。对于直接简单KV读写的业务，你可以将这些
机智阳·2024-02-20 07:55

springcloud面试题

使用SpringBoot开发分布式微服务时，我们面临以下问题（1）与分布式系统相关的复杂性-这种开销包括网络问
陈二狗想吃肉·2024-02-20 07:43

＜分布式锁＞

文章目录概要分布式锁实现1.数据库分布式锁2.redis分布式锁3.redis分布式锁小结概要在很多场景中，我们为了保证数据的最终一致性，需要很多的技术方案来支持，比如分布式事务、分布式锁等。
快乐的木子李·2024-02-20 07:20

Java目录

乐观锁和悲观锁分布式锁hashmap原理Redis及其分布式DDD领域驱动设计IO、多线程Kafka设计模式之？？Elasticsearch
快乐的木子李·2024-02-20 07:20

提前部署游戏业务防护，为何如此重要？

随着游戏行业的壮大，网络游戏的结构框架也已经暴露在网络安全的威胁之下，而这里面拒绝服务DoS攻击和基于DoS的分布式拒绝服务DDoS攻击是最常见的两种攻击方式。
德迅云安全小李·2024-02-20 07:19

微服务day01-认识微服务与Eureka注册中心

微服务≠springcloud，是一种经过良好架构设计的分布式解决方案，微服务架构特征单一职责：微服务拆分力度更小，每一个服务都对应唯一的业务能力，做到单一职责，避免重复业务开发面向服务：微服务对外暴露业务接口自治
黒猫.·2024-02-20 07:49

SpringCloud-Config：分布式配置

10.SpringCloudConfig分布式配置Dalston.RELEASESpringCloudConfig为分布式系统中的外部配置提供服务器和客户端支持。
666-LBJ-666·2024-02-20 07:48

java面试题之redis篇

Redis五种数据类型的应用场景：String类型的应用场景：缓存对象、常规计数、分布式锁、共享session信息等。List类型的应用场景：消息队列（但是有两个问题：1.生产者需要自行实现全
雨会停rain·2024-02-20 07:16

Kafka的介绍

文章目录一、介绍二、消息队列通信的模式三、特性四、使用场景五、核心概念一、介绍kafka是一个分布式的发布订阅消息系统基于Zookeeper协调最初由Linkedin公司开发，于2010年贡献给了Apache
kimi-001·2024-02-20 07:45

Git面试题整理(基本点）

1.简述GitGit是一种分布式版本控制系统，它允许多个开发者在任何时间，从任何地点对代码进行编辑和分享，而不会互相干扰。Git通过跟踪和管理代码的历史版本，帮助团队协作开发复杂的项目。
洒水水儿·2024-02-20 07:33

Python招聘信息爬虫+数据分析+可视化系统+薪资预测+岗位推荐（大数据项目）计算机毕业设计 源码下载

直聘招聘信息爬虫+数据分析+可视化系统+薪资预测+岗位推荐（大数据项目）计算机毕业设计源码下载一、开发技术pycharm、MySQL数据库/sqlite3数据库、Python3.x版本、Flask框架、Scrapy
计算机毕业设计指导·2024-02-20 06:39

分布式事务理论基础

cap理论：一致性(C)：指在分布式系统中，所有节点在同一时刻存储的数值是一样的。举例：访问a节点和访问b节点都能得到一致的响应结果。可用性(A)：指在访问服务器时能很快得到响应，但不保证数据正确性。
自律给你自由·2024-02-20 06:56

分布式事务：2PC、3PC、TCC、zab协议回顾

2PC：两阶段提交协议。事务分为提交和执行两个阶段。阶段一：协调者发送事务的请求到事务的执行方，执行方执行事务并记录undo和redo，但不提交事务。然后返回执行情况。阶段二：协调者发送提交事务请求到各执行方，让各方提交事务或者回滚事务。存在问题：1）协调者是个单点问题。2）如果第二阶段超时了会导致脏数据。3PC:两阶段协议的改进。二阶段一来就开始执行执行事务，如果有人不能执行这样会导致占用资源。
自律给你自由·2024-02-20 06:56

git_note

//git-scm.com本文主要是Git教程|廖雪峰的学习总结常用Git命令清单|阮一峰ProGitgit-cheat-sheetauthor:gyc514893758git简介什么是gitgit是分布式版本控制系统对于一个项目
北辰2023·2024-02-20 06:24

远程过程调用解密：探索RPC协议的深度、挑战与未来方向

RPC抽象了网络通信的细节，使得开发分布式系统更为简便。2.RPC的工作原理RPC的工作原理包括几个关键步骤：接口定义、客户端代理生成、服务端桩（stub）生成、通信、服务执行和返回结果。
程序员Chino的日记·2024-02-20 06:15

【Git】基本概念和使用方式

Git是一个分布式版本控制系统，用于管理和跟踪计算机文件的变化。它最初是由LinusTorvalds开发的，用于管理Linux内核的开发。
穿山甲yyds·2024-02-20 06:13

主动对象模式(Active Object pattern)

该模式通常用于需要多线程服务器的分布式系统中。此外，客户应用，比如窗口系统和网络浏览器，采用主动对象来简化并发和异步的网络操
weixin_30416497·2024-02-20 06:06

如何在微服务中使用 MinIO 进行配置

使用MinIO可以轻松地扩展存储容量，支持高并发、分布式的对象存储，并且拥有各种强大的功能（如访问控制、加密等）。
阿宽...·2024-02-20 06:15

分布式锁的场景及解决方案

分布式锁的使用场景：超卖问题库存一定的商品，在并发请求时即存在超卖问题，例如：大促、秒杀单进程解决方案在同一进程下，只需要通过java内置的锁Synchronized和ReentranLock即可。
李大瑞·2024-02-20 06:43

Zookeeper 集群部署的那些事儿

ZooKeeper是Apache的一个顶级项目，为分布式应用提供高效、高可用的分布式协调服务。ZooKeeper本质上是一个分布式的小文件存储系统。
牧小农·2024-02-20 06:25
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他