scrapy分布式

江西九江“赣链”项目：BSN专网助力产业数字化升级

区块链作为新一代信息技术，以其分布式、不可篡改等技术特性，在保障数据及交易安全的同时大幅降低了信息交换成本，能够为数字经济高效运行提供强有力的支撑。
区块链服务网络（BSN）·2024-02-08 00:06

测试小实训

第一单元1.软件的分类单机版软件:红警分布式软件:b/s架构:客户端为浏览器，如百度、hao123等c/s架构:客户端需安装专门软件，如QQ微信等2、软件测试的定义：通过人工或自动化的方式来验证软件的实际结果与用户需求是否一致的过程
会冒泡的鱼____·2024-02-07 23:09

2、分布式基础之一致性协议、2PC和3PC

分布式系统中，进行数据库事务提交(committransaction)、Leader选举、序列号生成等都会遇到一致性问题。
小manong·2024-02-07 23:20

ElasticSearch基本概念介绍

ElasticSearch：一个基于lucene的搜索服务器，提供一个高可用、分布式多用户能力、开源的全文检索引擎、分布式文档存储引擎、数据分析引擎。可以存储、搜索和实时快速的分析大量数据。
林深见鹿与·2024-02-07 23:31

Elasticsearch基本概念讲解

Elaticsearch，简称为ES，ES是一个开源的高扩展的分布式全文搜索引擎，是整个ElasticStack技术栈的核心。它可以近乎实时的存储、检
四维大脑·2024-02-07 23:31

Elasticsearch的基本概念及架构剖析

一、什么是ElasticSearchElaticsearch，简称为ES，ES是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据;本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据
码上得天下·2024-02-07 23:01

Elasticsearch基本概念和架构

Elasticsearch的核心概念和架构在于其分布式、可扩展的设计，以及基于搜索和分析的功能。
禅与计算机程序设计艺术·2024-02-07 23:59

zookeeper实现分布式锁

zookeeper学习1.Zookeeper简介Zookeeper是一个分布式的，开源的分布式应用协调服务。可用于同步，配置维护，群组，和命名。
风吹过我的心·2024-02-07 22:01

Hadoop系统应用之Zookeeper分布式集群部署

一、Zoopkeeper安装包下载安装【Zookeeper版本型号为3.4.10】1.下载Zookeeper安装包（地址）https://archive.apache.org/dist/zookeeper/zookeeper-3.4.10/2.上传安装包（SecureCRT&FX）通过软件FX将安装包上传到linux系统的/export/software/目录下3.解压Zookeeper安装包执行
-牧心-·2024-02-07 22:31

1.0 Zookeeper 分布式配置服务教程

ZooKeeper是Apache软件基金会的一个软件项目，它为大型分布式计算提供开源的分布式配置服务、同步服务和命名注册。ZooKeeper的架构通过冗余服务实现高可用性。
二当家的素材网·2024-02-07 22:00

Hadoop | 集群配置（一）使用Shell脚本解决完全分布式集群节点之间的文件传输问题 | scp命令 | rsync命令

文章目录参考资料一、前言二、rsync远程同步工具三、使用shell编写分发脚本四、总结参考资料视频链接Linuxscp命令一、前言在Hadoop完全分布式集群环境下，里面的各个节点都是通过SSH免密登陆连接的
「已注销」·2024-02-07 21:20

2021，Java最全的分布式面试题合集附答案，共2w字！

分布式分为分布式缓存（Redis）、分布式锁（Redis或Zookeeper）、分布式服务（Dubbo或SpringCloud）、分布式服务协调（Zookeeper）、分布式消息队列（Kafka、RabbitMq
码农突围·2024-02-07 21:52

RabbitMQ之七生产集群部署

1.1集群方案的原理RabbitMQ这款消息队列中间件产品本身是基于Erlang编写，Erlang语言天生具备分布式特性（通过同步Erlang集群各节点的magiccookie来实现）。因此，
Java及SpringBoot·2024-02-07 21:21

ubuntu下使用pip时报错‘pip’ not found, but there are 18 similar ones

安装pip安装pipsudoaptinstallpython3-pip升级pip版本pip3install--upgradepip之后就可以使用pip了，如安装scrapy包pipinstallscrapy
GUlGA·2024-02-07 20:43

1.redis的基础数据结构

分布式缓存技术的使用redis的魅力数据结构k-vkeykey是二进制安全的，可以用任何二进制序列作为key值。空字符串也是有效key值。
南园故剑00·2024-02-07 20:30

scrapy 初体验并写入csv（学习记录）

3.itemsname=scrapy.Field()相当于设置字典的keykey=caipiaoItem()key['key']=值yieldname4.存储数据的方案：1.数据存储到csv中数据分析2
嚄825·2024-02-07 19:32

【Node.js】(四）MongoDB、接口、会话控制

十一.mongoDB1.简介MongoDB是一个基于分布式文件存储的数据库，官方地址https://www.mongodb.com/数据库（DataBase）是按照数据结构来组织、存储和管理数据的应用程序数据库的主要作用就是管理数据
matmacchiato·2024-02-07 19:59

Kafka整理

常用消息中间件对比Kafka是LinkedIn开源的分布式发布-订阅消息系统，目前归属于Apache定级项目。
瑜骐·2024-02-07 19:08

《向量数据库指南》——Milvus Cloud 「部署」：简化部署一直在路上

“docker-compose能部署分布式吗？”"单机部署为什么还依赖这么多组件？"“大家MilvusCloud集群部署有没有实践过比较好的方案？”
LCHub低代码社区·2024-02-07 17:54

大热的区块链到底牛在哪

大家知道区块链这个词，大多是从比特币开始的，很多小伙伴分不清区块链和比特币的关系，在这里再说一遍哈：区块链不是一个货币，而是一套分布式的记账系统，是比特币背后的底层支撑技术，也就是说，比特币只是区块链的其中一种应用形式
二呱子·2024-02-07 16:26

Spring Cloud-鸿鹄Cloud分布式微服务云系统—架构图（四）

以下是我为公司规划的大型互联网分布式企业微服务云架构：从现在开始，我这边会将近期研发的springcloud微服务云架构的搭建过程
初夏_91fb·2024-02-07 16:25

防火墙是什么？聊聊如何轻松缓解应用漏洞

企业越来越多地使用分布式应用架构构建现代微服务，以适应日益增长的应用使用量并提供更高的性能。与此同时却出现许多热点**，如供应链安全、零日漏洞、数据泄露等。忽视安全防护的企业会面临丢失业务的风险。
hanniuniu13·2024-02-07 15:28

【架构】K8s中部署轻量级日志系统Loki

它的设计初衷是为了解决在大规模分布式系统中，处理海量日志的问题。Loki采用了分布式的架构，并且与Prometheus、Grafana密切集成，可以快速地处理大规模的日志数据。
奔向理想的星辰大海·2024-02-07 15:54

【SpringBoot篇】解决Redis分布式锁的 误删问题 和 原子性问题

文章目录Redis的分布式锁误删问题解决方法代码实现原子性问题Lua脚本⭐利用Java代码调用Lua脚本改造分布式锁代码实现Redis的分布式锁Redis的分布式锁是通过利用Redis的原子操作和特性来实现的
在下小吉.·2024-02-07 14:05

分布式锁4 ：数据库DB实现分布式锁的悲观锁和乐观锁，unique实现方式

一方案1使用悲观锁解决冲突1.1使用悲观锁原理1.1.1使用悲观锁的原理1.悲观锁：在select的时候就会加锁，采用先加锁后处理的模式，虽然保证了数据处理的安全性，但也会阻塞其他线程的写操作。在读取数据时锁住那几行，其他对这几行的更新需要等到悲观锁结束时才能继续。select...forupdate悲观锁适用于写多读少的场景，因为拿不到锁的线程，会将线程挂起，交出CPU资源，可以把CPU给其他线
健康平安的活着·2024-02-07 14:31

云计算运维1

分布式：多台服务器在一起作不同的事。
mpp__mvp·2024-02-07 14:55

Kubernetes 生产环境部署微服务 Spring Cloud

创建私有镜像密钥Secret3.微服务配置3.1.注册中心（eureka-server）3.2.网关（msa-gateway）3.3.流量控制（Sentinel）3.4.调用链监控（Zipkin）3.5.分布式任务调度平台
IoTHub - 物联网开源技术社区·2024-02-07 13:01

整合RabbitMQ实现消息异步发送

消息队列中间件消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削峰等问题。
刚满十八工地搬砖·2024-02-07 12:13

分布式锁简记

分布式锁：跨进程跨物理节点需要一把公共的锁，单机锁并不能应对这种场景。
背帆·2024-02-07 12:09

Elasticsearch 通信模块的分析

Elasticsearch通信模块的分析-知乎Elasticsearch是一个基于Lucene的分布式实时搜索框架，它本身能够接受用户发来的http请求，集群节点之间也会有相关的通信。
大叶子不小·2024-02-07 12:02

Elasticsearch单个索引数据量过大的优化

为了优化和应对大索引的挑战，可以考虑以下策略：1.使用分片和副本分片（Sharding）：ES自动将索引分成多个分片，分布式地存储和处理数据。
围城客·2024-02-07 11:46

Elasticsearch 中的索引的分区(Shards)和副本(Replicas)的使用

Elasticsearch是一个高性能的、分布式的搜索与数据分析引擎，广泛用于全文搜索、结构化搜索、分析以及这三者的组合场景。
围城客·2024-02-07 11:12

Redis缓存学习笔记

举例：缓存session、token、图片地址、分布式锁1.2ListRedis中的List其实就是链表数
2301_79190746·2024-02-07 11:10

MxNet源码解析(1) KVStore，pslite源码解析

因此，今天将我一直以来的学习过程中的心得和收获总结在这里，也为以后对MxNet的继续学习做一个铺垫2.MxNet构成MxNet作为一个深度学习框架，它最大的特点应该是分布式训练的支持了。
Junr_0926·2024-02-07 11:37

dolphinscheduler海豚调度（一）简介&快速体验

1、简介ApacheDolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。
大数据_苡~·2024-02-07 10:26

关于发布部署的简述实践和若干思考

文章目录1背景描述1.所处位置2.概念简述3.分析目标2部署方式简述及实践2.1手动部署2.2自动化部署2.3智能化部署3部署模式简述3.1单机部署3.2分布式部署3.3容器云部署4若干思考4.1整体基于三点进行考虑
安晓狸狸·2024-02-07 10:54

Hadoop分布式计算实验踩坑实录及小结

目录Hadoop分布式计算实验踩坑实录及小结踩坑实录Hadoop学习Hadoop简介HDFSSomeconceptsMapReduce主要配置文件集群搭建来源与引用Hadoop分布式计算实验踩坑实录及小结踩坑实录单机
小童同学_·2024-02-07 10:08

牛逼哄哄的消息队列到底有什么用？

但在大型分布式应用中，系统间的RPC交互繁杂，一个功能背后要调用上百
Java机械师·2024-02-07 10:13

【性能测试】使用Locut性能测试， RPS为啥一直上不去？

优势：Locust具有开源性、分布式、支持高并发，支持webUI的操作方式。劣势：Locust的图表功能较弱，只展示了很少的数据；Locust不支持监控服务端的状态
一只往上爬的蜗牛·2024-02-07 09:18

otter,阿里巴巴分布式数据库同步系统

微信公众号：大数据左右手专注于大数据技术，人工智能和编程语言个人既可码代码也可以码文字。欢迎转发与关注otter官网介绍项目背景otter文档地址https://github.com/alibaba/otter/wikiotter项目地址https://github.com/alibaba/otter阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了杭州和美国
大数据左右手·2024-02-07 09:04

Days 23 ElfBoard 板git版本管理工具

git的结构是分布式的资源库，特点是没有严格的服务器概念，每个单体都可作为资源库。这个特点就让我们人人有自己的git仓库这件事变得容易实现。
chriss854·2024-02-07 09:30

Elasticsearch三节点集群搭建

Elasticsearch三节点集群搭建1、Elasticsearch简介Elasticsearch是一款近实时的分布式搜索、分析引擎，可以动态横向扩展以应对数据的增长。
TSLONG_TSL·2024-02-07 09:18

使用分布式锁启动 cronjob, 保证只有一个服务执行 cronjob

使用分布式锁启动cronjob,保证只有一个服务执行cronjobpackagecronjobimport("context""time""github.com/robfig/cron/v3"goredislib"github.com
不正经写文章的我·2024-02-07 09:17

git文档

2019-10-22Git知识体系版本管理工具介绍svn和git都是版本管理工具,用于团队协同开发.其中svn是集中式管理,git是分布式管理,这两者的区别是:集中式依赖于远程服务器，在没有网络的情况下无法提交所有开发者都共享一个远程服务器分布式直接进行本地存储
欣简书·2024-02-07 09:57

java面试题：分布式和微服务的区别

1分布式和微服务概念不同微服务架构是架构设计方式，是设计层面的东西，一般考虑如何将系统从逻辑上进行拆分，也就是垂直拆分。
不死鸟.亚历山大.狼崽子·2024-02-07 09:10

云计算 - 弹性计算技术全解与实践

传统的计算模型通常局限于单一的、物理的位置和有限的资源，而云计算则通过分布式的资源和服务，为计算能力带来了前所未有的"弹性"。
快乐非自愿·2024-02-07 08:19

【Git教程】（一）基本概念：—— 工作流、分布式版本控制、版本库 ~

Git教程·基本概念1️⃣为什么要用Git2️⃣为什么要用工作流3️⃣分布式版本控制4️⃣版本库5️⃣简单的分支创建与合并总结在本章中，将介绍一个分布式版本控制系统的设计思路，以及它与集中式版本控制系统的不同之处
小山code·2024-02-07 08:11

Spring Cloud Neflix Hystrix入门使用

1.概述Hystrix是Netflix开源的一个针对分布式系统容错处理的组件，Netflix公司的项目里大量用到了Hystrix，Hystrix单词意为：“豪猪”，浑身有刺来保护自己。
NullzzZ·2024-02-07 07:25

架构（十三）动态本地锁

一、引言加锁大家都知道，但是目前提供动态锁的基本都是分布式锁，根据订单或者某个收费款项进行加锁。比如这个1订单要收刷卡费用，那就OREDER_1做为key丢到redis进行分布式加锁。
胖当当技术·2024-02-07 06:53

本体ont初步分析-第35天

什么是本体本体是新一代公有基础链项目&分布式信任协作平台。本体提供新一代高性能基础公有链，包括完整的分布式账本、智能合约体系支持。
追梦者wang·2024-02-07 06:16
上一页 27 28 29 30 31 32 33 34 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他