scrapy分布式

企业级DevOps实战

第1章Zookeeper服务及MQ服务Zookeeper（动物管理员）是一个开源的分布式协调服务，目前由Apache进行维护。
港南四大炮亡·2024-02-14 02:34

Elasticsearch使用场景深入详解

Elasticsearch是一个开源的、分布式的、RESTful风格的搜索和数据分析引擎。它能够解决越来越多的用例，并不仅仅局限于全文搜索。
白猫a~·2024-02-14 02:59

一万字详解 Redis Cluster Gossip 协议

集群模式和Gossip简介对于数据存储领域，当数据量或者请求流量大到一定程度后，就必然会引入分布式。比如Redis，虽然其单机性能十分优秀，但是因为下列原因时，也不得不引入集群。
爱PSUI设计的星星·2024-02-14 02:42

人人需要掌握的大模型技术架构深度剖析

1、工程架构剖析第一、分布式训练大型模型的训练通常需要大量的计算资源，分布式训练成为了实现这一目标的关键技术。分布式训练通常采用以下两种方式进行：数据并行（DataParalleli
musicml·2024-02-14 01:47

Redis分布式锁

1.Redis实现分布式锁思路主要用到的redis函数是setnx()，这个应该是实现分布式锁最主要的函数。
Kuaile_own·2024-02-14 00:11

效果图渲染为啥要用渲染100云渲染？渲染100邀请码1a12

2、渲染效率高渲染100采用先进的分布式渲染技
千野竹之卫·2024-02-14 00:30

与本地渲染相比，云渲染有哪些优势？渲染100邀请码1a12

与本地渲染相比，云渲染有以下几个优势：1、速度快云渲染可以利用分布式计算和并行处理技术，将一个大型渲染任务分割成多个小任务，分配给不同服务器同时执行，从而缩短渲染时间。
千野竹之卫·2024-02-14 00:30

高并发之 API 接口，分布式，防刷限流，如何做？

以下文章部分出自网络，参考链接如下：https://blog.csdn.net/fanrenxiang/article/details/80683378https://blog.csdn.net/top_code/article/details/53242262https://blog.csdn.net/u010889390/article/details/82151903相关概念：应用级限流分布
夜空_2cd3·2024-02-14 00:14

分布式服务 API 的幂等设计方案 & Spring Boot + Redis 拦截器实现实例

分布式服务API的幂等设计方案&SpringBoot+Redis拦截器实现实例什么是幂等？简单讲，幂等性是指相同的参数调用同一个API，执行一次或多次效果一样。
禅与计算机程序设计艺术·2024-02-13 23:00

Flink 1.7.0 安装、配置与使用

本地单机安装ApacheFlink是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink运行时，提供支持流处理和批处理两种类型应用的功能。
编码前线·2024-02-13 22:57

一文彻底搞懂Redis的三种集群模式

所谓的高可用，也叫HA（HighAvailability），是分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计减少系统不能提供服务的时间。如果在实际生产中，如
澡澡洗澡澡·2024-02-13 22:24

分布式事务(Seata)原理 详解篇，建议收藏

首先Seata客户端启动一般分为以下几个流程：自动加载Bean属性和配置信息初始化TM初始化RM初始化分布式事务客户端完成，完成代理数
牧小农·2024-02-13 21:14

java版b2b2c社交电商分布式微服务Spring Cloud微服务架构

微服务架构SpringCloud解决的第一个问题就是：服务与服务之间的解耦。很多公司在业务高速发展的时候，服务组件也会相应的不断增加。服务和服务之间有着复杂的相互调用关系，经常有服务A调用服务B，服务B调用服务C和服务D...，随着服务化组件的不断增多，服务之间的调用关系成指数级别的增长，这样最容易导致的情况就是牵一发而动全身。经常出现由于某个服务更新而没有通知到其它服务，导致上线后惨案频发。这时
ITsupuerlady·2024-02-13 21:10

Scrapy爬虫爬取书籍网站信息（二）

上文中我们了解到了如何在网页中的源代码中查找到相关信息，接下来进行页面爬取工作：1、首先创建一个Scrapy项目，取名为toscrape_book，接下来创建Spider文件以及Spider类，步骤如下
无情Array·2024-02-13 21:03

（三十六）大数据实战——ClickHouse数据库的部署安装实现

分布式架构：支持分布式部署，可以轻松地扩展到
厉害哥哥吖·2024-02-13 20:13

为什么要用Dubbo

就这样为分布式系统的服务治理框架就出现了，Dubbo也就这样产生了。2、Dubbo的整体架构设计有哪些分层?接口服务层（
资深程序员·2024-02-13 20:01

国内DCS系统发展现状

DCS系统大多用于工业控制领域，主要用于控制生产制造系统，所体现的是控制功能分散而管理功能集中，属于分布式控制系统。实现集中管理和生产控制器交互，完成生产任务。
卿名本是诗·2024-02-13 20:56

python scrapy 模拟登录(使用selenium自动登录)

常用1、scrapystartprojectsi放chromedriver.exe到si/si文件夹里2、visettings.pyUSER_AGENT='Mozilla/5.0(Macintosh;IntelMacOSX10
SkTj·2024-02-13 20:31

ELK 日志采集框架（四）：Kafka安装与配置

192.168.51.4JRE1.8如果已安装请忽略kafka2.12-2.1.0IP:192.168.51.4zookeeper3.4.10IP:192.168.51.42介绍Kafka是最初由Linkedin公司开发，是一个分布式
小P聊技术·2024-02-13 19:17

03-03 elasticsearch

入门篇使用场景海量存储：支持分布式存储实时搜索：lucene倒排索引，海量数据下近乎实时搜索a.日志分析，es+logstash+kibanab.Github代码数据分析：支持数据分析及处理基本功能分布式的搜索引擎和数据分析引擎全文检索
nan得糊涂·2024-02-13 19:26

京东平台研发：领域驱动设计（DDD）实践总结

中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ源码解析数据库中间件Sharding-JDBC和MyCAT源码解析作业调度中间件Elastic-Job源码解析分布式事务中
公众号-芋道源码·2024-02-13 18:26

如何爬虫开发工具

在Python中，有许多用于爬虫开发的库，如Requests、BeautifulSoup、Scrapy等。
命令执行·2024-02-13 18:53

springboot集成Sa-Token及Redis的redisson客户端

Sa-Token是一个轻量级Java权限认证框架，主要解决：登录认证、权限认证、单点登录、OAuth2.0、分布式Session会话、微服务网关鉴权等一系列权限相关问题。
enjoy编程·2024-02-13 17:14

读分布式稳定性建设指南文档

最近还是在做一些和稳定性建设相关的事情，找到一份《分布式稳定性建设指南》文档，摘抄了其中的重点，以便后续回顾方便，一直没上传好资源，我之后再试试，原文内容质量非常高，原文：链接：https://pan.baidu.com
小强聊it·2024-02-13 15:40

ClickHouse(06)ClickHouse建表语句DDL详细解析

分布式DDL查询作为子句实现，该子句另外描述。
张飞的猪大数据·2024-02-13 15:32

解密 ARMS 持续剖析：如何用一个全新视角洞察应用的性能瓶颈？

尽管经过过去十几年的发展，分布式系统与之对应的可观测技术快速演进，在一定程度上解决了很多问题，但有一些问题定位起来仍
·2024-02-13 15:18

2020-03-15

web（WorldWideWeb）即全球广域网，也称为万维网，他是一种基于超文本和HTML的，全球性的，动态交互的，跨平台的分布式图形信息系统。
董宇浩·2024-02-13 15:52

Redis的分布式锁及其实现Redisson的全过程

前言分布式锁是控制分布式系统之间同步访问共享资源的一种方式。在分布式系统中，常常需要协调他们的动作。
前程有光·2024-02-13 14:14

分布式事务2pc和3pc

一、两阶段提交（2PC）两阶段提交又称2PC,2PC是一个非常经典的强一致、中心化的原子提交协议。这里所说的中心化是指协议中有两类节点：一个是中心化协调者节点（coordinator）和N个参与者节点（partcipant）。两个阶段：第一阶段：投票阶段和第二阶段：提交/执行阶段。举例订单服务A，需要调用支付服务B去支付，支付成功则处理购物订单为待发货状态，否则就需要将购物订单处理为失败状态。那么
程序员kk·2024-02-13 14:05

MongoDB：开启你的NoSQL之旅（一）

一、MongoDB是什么MongoDB简介MongoDB是一个基于分布式文件存储的数据库，由C++语言编写，旨在为Web应用提供可扩展
地瓜伯伯·2024-02-13 13:44

hadoop 分布式集群安装与原理

对很多人来说，学习大数据都止步于集群搭建，即使是那些工作过很多年的JAVA程序员也不例外，我们分享一套能让您轻松完成集群搭建的方法，包括Hadoop的源码编译、企业级环境安装与配置和常用大数据组件的基本原理，请点击下面连接按笔记顺序进行学习服务器基础环境批量操作多台服务器zookeeper编译hadoop源码高可用（HA）HDFS安装HDFS原理以及常用命令yarn原理以及日常使用
海牛大数据_青牛老师·2024-02-13 12:44

【重识云原生】第六章容器6.1.7.1节——Docker核心技术cgroups综述

主流虚拟化技术之VMareESXi第二章计算第3节——主流虚拟化技术之Xen第二章计算第4节——主流虚拟化技术之KVM第二章计算第5节——商用云主机方案第二章计算第6节——裸金属方案第三章云存储第1节——分布式云存储总述第三章云存储第
江中散人·2024-02-13 12:00

Windows安装DeepSpeed

文章目录问题描述解决方案AssertionError:Unabletopre-compileasync_io参考文献问题描述DeepSpeed是一款微软推出的深度学习优化库，它使分布式训练和推理变得简单高效
XerCis·2024-02-13 12:30

Elasticsearch的使用场景深入详解

Elasticsearch是一个基于Lucene的开源搜索引擎，它提供了一个分布式多用户能力，能够处理PB级别的结构化或非结构化数据。
Y T·2024-02-13 08:30

Elasticsearch—概念、安装和配置

13.jpg前言：Elasticsearch是一款很火热的，很优秀的，基于lucene的开源的分布式的搜索引擎，话不多说，本篇文章主要是Elasticsearch基本概念介绍、安装和配置。
Sunflow007·2024-02-13 08:03

git入门

分布式版本控制系统DVCSgit就是一个典型的分布式版本控制系统分布式版本控制系统可以不用联网就可以工作，因为每个人的电脑上都是完整的版本库，当你修改了某个文件后，你只需要将自己的修改推送给别人就可以了
入 梦皆星河·2024-02-13 07:08

一文讲清楚分布式事务+分布式锁实现及各技能知识要点

1分布式锁1.1问题分析上面抢单过程实现了，但其实还是有问题，会发生超卖问题，如下图：在多线程执行的情况下，上面的抢单流程会发生超卖问题，比如只剩下1个商品，多线程同时判断是否有库存的时候，会同时判断有库存
纵然间·2024-02-13 07:02

自动化运营运维解决方案XXL-JOB需求分析，案例讲解，调度实现，全套解决方案

1.分布式任务调度-XXL-JOB1.1分布式任务调度在实际的开发中，定时执行某任务是非常常见的需求。
纵然间·2024-02-13 07:32

后台服务代码架构：项目实际应用中分布式锁介绍

目录一、锁的介绍1.1悲观锁1.2行锁1.3表锁1.4页锁1.5共享锁1.6排他锁1.7乐观锁二、数据库锁三、缓存锁四、分布式锁4.1分布式锁—zookeeper一、锁的介绍1.1悲观锁顾名思义，很悲观
纵然间·2024-02-13 07:59

Redis分布式锁

Redis分布式锁是一种在分布式系统中协调多个进程对共享资源访问的机制。在Redis中实现分布式锁主要依赖于几个关键的操作原子性。
辞暮尔尔-烟火年年·2024-02-13 07:26

SylixOS 大型实时操作系统

SylixOS内核自主化率达到100%(依据工信部评估报告)，拥有完全自主可控的技术能力，满足国产化需求SylixOS支持对称多处理器（SMP）平台，并且具有实时进程及动态加载机制，满足多部门分布式软件
香蕉不会写代码·2024-02-13 07:20

【Java程序设计】【C00263】基于Springboot的分布式架构网上商城（有论文）

基于Springboot的分布式架构网上商城（有论文）项目简介项目获取开发环境项目技术运行截图项目简介这是一个基于Springboot的网上商城本系统分为管理员功能模块以及系统功能模块。
maker011·2024-02-13 06:42

nodejs学习计划--（八）MongoDB数据库

MongoDB1.简介1.Mongodb是什么MongoDB是一个基于分布式文件存储的数据库，官方地址https://www.mongodb.com/2.数据库是什么数据库（DataBase）是按照数据结构来组织
化作繁星·2024-02-13 06:06

分布式缓存

分布式缓存–基于Redis集群解决单机Redis存在的问题单机的Redis存在四大问题：0.学习目标1.Redis持久化Redis有两种持久化方案：RDB持久化AOF持久化1.1.RDB持久化RDB全称
KYGALYX·2024-02-13 06:26

分布式事务

分布式事务1.分布式事务问题1.1.本地事务本地事务，也就是传统的单机事务。
KYGALYX·2024-02-13 06:55

第四节 zookeeper集群与分布式锁

zookeeper集群2.Zookeeper实战案例2.1创建项目引入依赖2.2获取zk客户端对象2.3常用API2.4客户端向服务端写入数据流程2.5服务器动态上下线、客户端动态监听2.6测试3.Zookeeper分布式锁
做个专注的工程师·2024-02-13 06:16

Spring Boot整合Elasticsearch、Logstash实现MySQL数据同步及全文搜索

Elasticsearch先来了解一下Elasticsearch欢迎来到Elastic—Elasticsearch和Kibana的开发者|ElasticElasticsearch是一个开源的分布式搜索和分析引擎
ikkkp·2024-02-13 06:16

Kubernetes深度实践（三）

先说一下存储的选择，一般的话有一个分布式存储+Localstorage基本就够了。
哦呵呵_3579·2024-02-13 05:07

小猿圈之Hadoop优化

1、mr程序的效率瓶颈功能：分布式离线计算计算机性能：CPU、内存、磁盘、网络I/O操作优化（1）数据倾斜（代码优化）（2）map和reduce数设置不合理（3）map运行时间太长，导致reduce等待过久
小猿圈加加·2024-02-13 05:38

Kafka 入门笔记

课程地址概述定义Kafka是一个分布式的基于发布/订阅模式的消息队列（MQ）发布/订阅：消息的发布者不会将消息直接发送给特定的订阅者，而是将发布的消息分为不同的类别，订阅者只接受感兴趣的消息消息队列消息队列应用场景
Daniel_187·2024-02-13 05:49
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他