Hadoop分布式

记一次 Flink 作业启动缓慢

记一次Flink作业启动缓慢背景应用发现，Hadoop集群的hdfs较之前更加缓慢，且离线ELT任务也以前晚半个多小时才能跑完。
卢说·2024-02-20 18:38

http协议

万维网：WWW（worldwideweb）万维网并非某种特殊的计算机网络，是一个大规模的、联机式的信息贮藏库，使用链接的方法能非常方便地从因特网上的一个站点访问另一个站点（超链技术），具有提供分布式服务的特点
小蜜蜂~嗡嗡嗡~·2024-02-20 18:55

Django下使用celery 异步发送短信验证码

celery1.celery介绍1.1celery应用举例Celery是一个基于python开发的分布式异步消息任务队列，通过它可以轻松的实现任务的异步处理，如果你的业务场景中需要用到异步任务，就可以考虑使用
.@d·2024-02-20 18:18

【Java程序员面试专栏 分布式中间件】Redis 核心面试指引

关于Redis部分的核心知识进行一网打尽，包括Redis的基本概念，基本架构，工作流程，存储机制等，通过一篇文章串联面试重点，并且帮助加强日常基础知识的理解，全局思维导图如下所示基础概念明确redis的特性、应用场景和数据结构什么是Redis，Redis有哪些应用场景Redis是一个开源的、内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。Redis支持多种类型的数据结构，如字符串（s
存在morning·2024-02-20 18:39

视野 | OpenSearch，云厂商的新选择？

|最流行的全文搜索引擎Elasticsearch是一款广泛使用的开源分布式全文搜索引擎，源于ApacheLucene[1]，许可证为Apache2.0。由于出色的搜索引擎、高扩
RadonDB·2024-02-20 17:02

2022-01-13另一个嵌入Mirai 碎片的物联网僵尸网络可以从 10 万台设备执行 DDoS

碎片的物联网僵尸网络可以从10万台设备执行DDoS名为Persirai的Bot-herding软件结合了Mirai僵尸网络代码，可以征用已知150,000个易受Mirai攻击的IP摄像机的重要部分，并使用它们来发起分布式拒绝服务攻击
Eliza_卓云·2024-02-20 17:25

游戏行业洞察：分布式开源爬虫项目在数据采集与分析中的应用案例介绍

我们构建了一个基于开源分布式爬虫技术的自动化平台，实现了高效、准确的数据采集。通过自然语言处理技术，我们确保了数据的质量和一致性，并采用分布式架构大幅提升了处理速度。
思通数科x·2024-02-20 17:21

分布式事务实战方案汇总

分布式事务实战方案汇总1.最终一致性1.1本地事务表+轮询补偿交互流程场景：重构业务新老系统双写库同步项目背景分布式事务设计方案场景Q&A场景：第三方认证核验项目背景分布式事务设计方案场景Q&A1.2本地事务表
大摩羯先生·2024-02-20 17:48

分布式商城项目07-分布式唯一ID实战

在电商业务系统中，对ID生成的系统的可用性要求极高，如果生成系统不稳定，大量依赖ID生成系统，比如订单生成等关键动作都无法完成。一般情况下，我们使用数据库自增主键作为数据ID，但是在大量数据的情况下，尤其是在分库分表之后，这样就会出现ID大量重复，难以满足业务的需求，此时一个能够生成全局唯一ID的系统是非常必要的。概括下来，那业务系统对ID号的要求有哪些呢？全局唯一性：不能出现重复的ID号，既然是
java__1024·2024-02-20 17:17

redis分布式锁实战

分布式锁是什么分布式锁是控制分布式系统或不同系统之间共同访问共享资源的一种锁实现;如果不同的系统或同一个系统的不同主机之间共享了某个资源时，往往通过互斥来防止彼此干扰;Redis分布式锁的底层实现是利用
bijian-bijian·2024-02-20 17:47

分布式id实战

目录常用方式特征潜在问题信息安全高性能UUID雪花算法数据库生成美团Leaf方案Leaf-segment数据库方案Leaf-snowflake方案常用方式uuid雪花算法数据库主键特征全局唯一趋势递增信息安全潜在问题信息安全如果id连续递增,容易被爬虫,批量下载数据如果订单id是连续递增,容易被竞争对手推算出日交易量,这时候需要ID不规则可能泄漏本机mac地址高性能保证在高qps时候,系统也高可用
kk_0910·2024-02-20 17:15

消息中间件：Puslar、Kafka、RabbigMQ、ActiveMQ

以下是提到的几种消息中间件的概述：Pulsar：Pulsar是一个由Apache软件基金会管理的开源分布式发布-订阅消息系统。
MarkHD·2024-02-20 17:08

ElasticSearch（一）

Elaticsearch，简称为ES，ES是一个开源的高扩展的分布式全文搜索引擎，是整个ElasticSta
xxxxxxxpp·2024-02-20 17:32

87-分布式前端微信操作

微信登录和微信支付在上一章我们初步的完成了前端的编写，接下来我们来操作微信的登录和微信的支付微信开放平台（针对开发者和公司）：对应的微信官方文档：https://developers.weixin.qq.com/doc/oplatform/Website_App/WeChat_Login/Wechat_Login.html登录用，对应的AppID和AppSecret需要申请才可操作，需要在管理中心
各个方面都自在·2024-02-20 17:52

分布式商城设计与实现

功能模块介绍本购物系统需要实现商品信息的显示、基本的购物流程、商品的管理等基础功能。下图表示具体的功能及各功能之间的联系：数据库E-R模型购物商城系统的ER模型描述如下图所示：注册登录模块设计此模块的主要目的为实现用户的账号注册与账号登陆功能。注册通过获取用户输入的信息，向后端发送表单，并调用后端productServlet中的register方法，在register方法中，首先将前端传来的表单存
林坰·2024-02-20 16:45

项目简介-分布式基础-环境搭建

分布式基础与环境搭建一、项目简介二、分布式基础概念1、微服务2、集群&分布式&节点3、远程调用4、负载均衡5、常见的负载均衡算法6、服务注册/发现&注册中心7、配置中心8、服务熔断&服务降级9、API网关三
南波塞文·2024-02-20 16:10

应对DDoS攻击：快速恢复网站正常运行的关键步骤

当网站遭受DDoS（分布式拒绝服务）攻击时，可能会导致网站停机、性能下降和用户无法访问等问题，处理DDoS攻击需要采取一系列措施来应对和缓解攻击。
·2024-02-20 16:51

分布式场景怎么Join | 京东云技术团队

考虑到我的领域是在处理分库分表或者其他的分区模式，这让我开始不由得联想我们怎么在分布式场景应用这个Join逻辑，对于两个不同库里面的不同表我们是没有办法直接进行Join操作的。
·2024-02-20 16:14

企业场景中大语言模型的应用实践探索丨Fabarta 技术专栏

从最早的文件系统到现在的分布式图
·2024-02-20 16:42

分布式场景怎么Join | 京东云技术团队

考虑到我的领域是在处理分库分表或者其他的分区模式，这让我开始不由得联想我们怎么在分布式场景应用这个Join逻辑，对于两个不同库里面的不同表我们是没有办法直接进行Join操作的。
·2024-02-20 16:04

LeetCode、435. 无重叠区间【中等，贪心 区间问题】

涵盖技术内容：Java后端、算法、分布式微服务、中间件、前端、运维、ROS等。博主所有博客文件目录索引：博客目录索引(持续更新)视频平台：b站-Coder
长路 ㅤ   ·2024-02-20 16:24

跨界协作：借助gRPC实现Python数据分析能力的共享

在gRPC中，客户端可以像调用本地对象一样直接调用另一台不同的机器上服务端应用的方法，使得您能够更容易地创建分布式应用和服务。
工业甲酰苯胺·2024-02-20 16:53

OSDI 2023: ExoFlow A Universal Workflow System for Exactly-Once DAGs

系统范围：总体分布式系统使用通用机制处理所有在其上运行的应用程序的恢复。这简化了开发，但牺牲了更细粒度、应用程序优化的恢复的可能性。2.性能/恢复权衡优先级以性能为中心：使用这种方法
结构化文摘·2024-02-20 16:48

区块链之光：揭秘Web3时代的创新契机

1.区块链技术的兴起区块链技术作为一种去中心化的分布式账本技术，旨在实现信息的安全、透明和不可篡改。
Roun3·2024-02-20 16:04

JMeter非GUI模式使用

非GUI模式适用场景：1、更省资源，更容易实现多工具集整合；2、当访问的接口服务需要通过代理服务器才能完成的；3、当一台机器产生的压力不够时，采用分布式多机远程执行模式，使得一台主控机可以控制多台压力机
想飛の烏龜·2024-02-20 15:28

Elasticsearch使用场景说明

它提供了一个分布式多租户能力的全文搜索引擎，基于RESTfulweb接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。
车马去闲闲丶·2024-02-20 15:18

大数据Map Reduce (Hadoop) 和 MPP数据库 的区别

原理的角度出发,mapreduce其实就是二分查找的一个逆过程,不过因为计算节点有限,所以map和reduce前都预先有一个分区的步骤.二分查找要求数据是排序好的,所以MapReduce之间会有一个shuffle的过程对Map的结果排序.Reduce的输入是排好序的.MR分而治之的策略和数据库行业中另一种数据库MassivelyParallelProcessor即大规模并行处理数据库(典型代表AW
山哥Samuel·2024-02-20 15:05

HarmonyOS移动应用学习笔记——1.初识HarmonyOS

架构和安全HarmonyOS架构内核层系统服务层框架层应用层HarmonyOS应用服务智能分发HarmonyOS系统安全正确的人正确的设备正确地使用数据1.3HarmonyOS关键特性硬件互助，资源共享分布式软总线分布式设备虚拟化分布式数据管理分布式任务调度一次开发
WMX_0121·2024-02-20 15:10

tcp 中使用的定时器

周期性任务这是定时器最常用的一种场景，比如tcp中的keepalive定时器，起到tcp连接的两端保活的作用，周期性发送数据包，如果对端回复报文，说明对端还活着；如果对端不回复数据包，就会判定对端已经不存在了；再比如分布式系统中
王燕龙(大卫)·2024-02-20 15:33

计算机视觉与图像处理面试题,深度学习图像处理算法工程师面试题

AI开发平台ModelArtsModelArts是面向开发者的一站式AI开发平台，为机器学习与深度学习提供海量数据预处理及半自动化标注、大规模分布式Training、自动化模型生成，及端-边-云模型按需部署能力
ZW9·2024-02-20 15:32

深度学习+计算机语言,深度学习 计算机语言

AI开发平台ModelArtsModelArts是面向开发者的一站式AI开发平台，为机器学习与深度学习提供海量数据预处理及半自动化标注、大规模分布式Training、自动化模型生成，及端-边-云模型按需部署能力
中国计算机学会·2024-02-20 15:32

SpringAMQP开启“可靠性”机制

前言上一篇介绍了如何在《SpringBoot中集成和使用消息队列》，看过这一篇就基本上可以在SpringBoot中使用消息队列了，但是消息队列他归根结底是一个客户端服务器模式的中间件，面对复杂的网络环境和分布式使用环境
不摸鱼的程序员·2024-02-20 15:52

Hadoop 大数据的入门学习

由于所做的银行项目与大数据有关，所以个人学习下hadoop的知识，希望能对大数据有所了解，不喜勿喷，哪里有不对的希望大神指点Hadoop百度百科：Hadoop是一个由Apache基金会所开发的分布式系统基础架构
heybo_zhang·2024-02-20 14:36

想弄明白Kafka到底是什么吗？看完这篇你就知道了！(概念、数据存储、生产者、消费者)

一.Kafka1.1.Kafka概念Kafka是一种高吞吐量、分布式、基于发布/订阅的消息系统，最初由LinkedIn公司开发，使用Scala语言编写，目前是Apache的开源项目。
套马杆的程序员·2024-02-20 13:52

深入浅出 spring-data-elasticsearch 之 ElasticSearch 架构初探（一）

本文目录一、Elasticsearch基本术语1.1文档(Document)、索引(Index)、类型(Type)文档三要素1.2集群(Cluster)、节点(Node)、分片(Shard)分布式三要素二
Julian Wong·2024-02-20 13:04

浅谈秒杀系统设计思路

、618涉及问题高并发：时间短，瞬间用户量超卖：卖出量多于库存数据库超负荷：数据库甚至其他业务挂掉，导致404设计思路1.微服务服务单一职责，以微服务的设计思想设计系统，每个服务职责、功能单一，并采取分布式的部署方式
Lugton·2024-02-20 13:53

分布式秒杀系统的设计

分布式秒杀系统的设计前言不知道你在面试的过程中有没有被问到如何设计一个分布式秒杀系统?
请叫我刘星·2024-02-20 13:59

将Spring Cloud项目改造为Spring-cloud-kubernetes项目

中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ源码解析数据库中间件Sharding-JDBC和MyCAT源码解析作业调度中间件Elastic-Job源码解析分布式事务
公众号-芋道源码·2024-02-20 12:44

Spring Boot Redis 实现分布式锁，真香

之前看很多人手写分布式锁，其实SpringBoot现在已经做的足够好了，开箱即用，支持主流的Redis、Zookeeper中间件，另外还支持JDBC。
Javaesandyou·2024-02-20 12:13

使用Spring Boot整合Redis实现分布式锁

在分布式系统中，控制并发访问是一项关键任务。分布式锁是一种常见的解决方案，用于在多个节点之间协调对共享资源的访问。Redis作为一款高性能的内存数据库，提供了一种简单而有效的方式来实现分布式锁。
#看心情·2024-02-20 12:10

Flink理论—Flink架构设计

Flink架构设计Flink是一个分布式系统，需要有效分配和管理计算资源才能执行流应用程序。
不二人生·2024-02-20 12:59

DevOps - Git 版本管理

文章目录一、概述1.版本控制工具1.1.集中式版本控制工具1.2.分布式版本控制工具1.3.Git与SVN区别2.Git2.1.Git简史2.2.Git工作流程2.3.Git基本概念2.4.Git和代码托管中心
IoTHub - 物联网开源技术社区·2024-02-20 12:54

windows下GitHub中.sh文件下载的问题解决方案

Git是分布式版本控制系统，那么它就没有中央服务器的，每个人的电脑就是一个完整的版本库，这样，工作的时候就不需要联网了，因为版本都是在自己的电脑上。A.首
Anpedestrian·2024-02-20 12:18

面经面经面经

2、项目中你是如何解决你这个分布式session的为啥用到redis有没有其他的解决方案3、聊一下ThreadLocal是怎么用来保存用户的信息的4、为啥要使用zuul来做入口登陆5、JVM的四种垃圾回收机制的过程讲一下
快醒醒鸭今天你编程了吗？·2024-02-20 12:04

PostgreSQL技术内幕（十三）探究MPP数据库分布式查询分发Dispatcher

Dispatcher（分布式查询分发器）是MPP数据库的核心组件，所有的查询任务都要经过其进行分发，起着沟通用户到协调者（Coordinator，即QD）和执行调度的关键作用。
·2024-02-20 12:32

XMall 开源商城 SQL注入漏洞复现(CVE-2024-24112)

0x01产品简介XMall开源电商商城是开发者Exrick的一款基于SOA架构的分布式电商购物商城前后端分离前台商城:Vue全家桶后台管理:Dubbo/SSM/Elasticsearch/Redis/MySQL
OidBoy_G·2024-02-20 11:27

celery异步框架的使用

-翻译过来是芹菜-官网：https://docs.celeryq.dev/en/stable/-吉祥物：芹菜-分布式的异步任务框架-分布式：一个任务，拆成多个任务在不同机器上做-异步任务：后台执行，不阻塞主任务
`越努力越幸运~·2024-02-20 11:56

RabbitMQ与Spring Boot如何集成？

一、RabbitMQRabbitMQ是一个开源的消息队列中间件，它实现了高效可靠的消息传递机制，可以在分布式系统中进行异步通信。
张燕沨·2024-02-20 11:54

Kafka核心逻辑介绍 | 京东云技术团队

1、概念Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica）分布式消息系统（kafka2.8.0版本之后接触了对zk的依赖，使用自己的kRaft
·2024-02-20 11:54

Redis之分布式搭建及使用快速入门

文章目录1、为什么需要用redis集群2、主从复制a、主从复制配置3、可用性保证之哨兵机制(Sentinel)4、redis分布式方案a、客户端Shardingb、代理Proxy之Twemproxyc、
菜鸟编程98K·2024-02-20 10:02
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他