分布式大数据处理系统

redis分布式锁实战

分布式锁是什么分布式锁是控制分布式系统或不同系统之间共同访问共享资源的一种锁实现;如果不同的系统或同一个系统的不同主机之间共享了某个资源时，往往通过互斥来防止彼此干扰;Redis分布式锁的底层实现是利用
bijian-bijian·2024-02-20 17:47

openai公司的chatgpt-3.5参数库内还未增加sora的语料信息

以后我会陆续和大家分享，各种前言的大数据模型技术信息，以及和人工智能，神经网络技术有
yrldjsbk·2024-02-20 17:46

分布式id实战

目录常用方式特征潜在问题信息安全高性能UUID雪花算法数据库生成美团Leaf方案Leaf-segment数据库方案Leaf-snowflake方案常用方式uuid雪花算法数据库主键特征全局唯一趋势递增信息安全潜在问题信息安全如果id连续递增,容易被爬虫,批量下载数据如果订单id是连续递增,容易被竞争对手推算出日交易量,这时候需要ID不规则可能泄漏本机mac地址高性能保证在高qps时候,系统也高可用
kk_0910·2024-02-20 17:15

《定投改变命运》2.5 在趋势之中符合趋势

就未来行业发展来看，人工智能崛起，大数据时代，哪些公司掌握
文倩定投人生·2024-02-20 17:07

消息中间件：Puslar、Kafka、RabbigMQ、ActiveMQ

以下是提到的几种消息中间件的概述：Pulsar：Pulsar是一个由Apache软件基金会管理的开源分布式发布-订阅消息系统。
MarkHD·2024-02-20 17:08

基于腾讯云基础，如何最大限度的提升出海效率？

在出海过程中，大部分企业都会为接收国内外的庞大数据以及资源如何安全管理而苦恼，这其中的成本控制、数据管理与运维、如何达成高效率、安全稳定等一直都是出海企业的痛点之一。
九河云·2024-02-20 17:05

ElasticSearch（一）

Elaticsearch，简称为ES，ES是一个开源的高扩展的分布式全文搜索引擎，是整个ElasticSta
xxxxxxxpp·2024-02-20 17:32

基于人工智能的期权量化交易

基于实时/历史期权行情大数据挖掘,通过自行开发的人工智能多agent强化学习模型及评估系统(基于Python/Linux),对接实时交易接口进行了实盘环境的交易回测和评估。
阿岛格·2024-02-20 17:23

87-分布式前端微信操作

微信登录和微信支付在上一章我们初步的完成了前端的编写，接下来我们来操作微信的登录和微信的支付微信开放平台（针对开发者和公司）：对应的微信官方文档：https://developers.weixin.qq.com/doc/oplatform/Website_App/WeChat_Login/Wechat_Login.html登录用，对应的AppID和AppSecret需要申请才可操作，需要在管理中心
各个方面都自在·2024-02-20 17:52

摆烂的人生

毕竟我还曾经说要当个大数据总监的。。。越来越睡不着了。。。
阿拉斯加小宇·2024-02-20 16:26

分布式商城设计与实现

功能模块介绍本购物系统需要实现商品信息的显示、基本的购物流程、商品的管理等基础功能。下图表示具体的功能及各功能之间的联系：数据库E-R模型购物商城系统的ER模型描述如下图所示：注册登录模块设计此模块的主要目的为实现用户的账号注册与账号登陆功能。注册通过获取用户输入的信息，向后端发送表单，并调用后端productServlet中的register方法，在register方法中，首先将前端传来的表单存
林坰·2024-02-20 16:45

项目简介-分布式基础-环境搭建

分布式基础与环境搭建一、项目简介二、分布式基础概念1、微服务2、集群&分布式&节点3、远程调用4、负载均衡5、常见的负载均衡算法6、服务注册/发现&注册中心7、配置中心8、服务熔断&服务降级9、API网关三
南波塞文·2024-02-20 16:10

应对DDoS攻击：快速恢复网站正常运行的关键步骤

当网站遭受DDoS（分布式拒绝服务）攻击时，可能会导致网站停机、性能下降和用户无法访问等问题，处理DDoS攻击需要采取一系列措施来应对和缓解攻击。
·2024-02-20 16:51

分布式场景怎么Join | 京东云技术团队

考虑到我的领域是在处理分库分表或者其他的分区模式，这让我开始不由得联想我们怎么在分布式场景应用这个Join逻辑，对于两个不同库里面的不同表我们是没有办法直接进行Join操作的。
·2024-02-20 16:14

企业场景中大语言模型的应用实践探索丨Fabarta 技术专栏

从最早的文件系统到现在的分布式图
·2024-02-20 16:42

分布式场景怎么Join | 京东云技术团队

考虑到我的领域是在处理分库分表或者其他的分区模式，这让我开始不由得联想我们怎么在分布式场景应用这个Join逻辑，对于两个不同库里面的不同表我们是没有办法直接进行Join操作的。
·2024-02-20 16:04

LeetCode、435. 无重叠区间【中等，贪心 区间问题】

涵盖技术内容：Java后端、算法、分布式微服务、中间件、前端、运维、ROS等。博主所有博客文件目录索引：博客目录索引(持续更新)视频平台：b站-Coder
长路 ㅤ   ·2024-02-20 16:24

跨界协作：借助gRPC实现Python数据分析能力的共享

在gRPC中，客户端可以像调用本地对象一样直接调用另一台不同的机器上服务端应用的方法，使得您能够更容易地创建分布式应用和服务。
工业甲酰苯胺·2024-02-20 16:53

OSDI 2023: ExoFlow A Universal Workflow System for Exactly-Once DAGs

系统范围：总体分布式系统使用通用机制处理所有在其上运行的应用程序的恢复。这简化了开发，但牺牲了更细粒度、应用程序优化的恢复的可能性。2.性能/恢复权衡优先级以性能为中心：使用这种方法
结构化文摘·2024-02-20 16:48

区块链之光：揭秘Web3时代的创新契机

1.区块链技术的兴起区块链技术作为一种去中心化的分布式账本技术，旨在实现信息的安全、透明和不可篡改。
Roun3·2024-02-20 16:04

JMeter非GUI模式使用

非GUI模式适用场景：1、更省资源，更容易实现多工具集整合；2、当访问的接口服务需要通过代理服务器才能完成的；3、当一台机器产生的压力不够时，采用分布式多机远程执行模式，使得一台主控机可以控制多台压力机
想飛の烏龜·2024-02-20 15:28

Elasticsearch使用场景说明

它提供了一个分布式多租户能力的全文搜索引擎，基于RESTfulweb接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。
车马去闲闲丶·2024-02-20 15:18

大数据Map Reduce (Hadoop) 和 MPP数据库 的区别

原理的角度出发,mapreduce其实就是二分查找的一个逆过程,不过因为计算节点有限,所以map和reduce前都预先有一个分区的步骤.二分查找要求数据是排序好的,所以MapReduce之间会有一个shuffle的过程对Map的结果排序.Reduce的输入是排好序的.MR分而治之的策略和数据库行业中另一种数据库MassivelyParallelProcessor即大规模并行处理数据库(典型代表AW
山哥Samuel·2024-02-20 15:05

HarmonyOS移动应用学习笔记——1.初识HarmonyOS

架构和安全HarmonyOS架构内核层系统服务层框架层应用层HarmonyOS应用服务智能分发HarmonyOS系统安全正确的人正确的设备正确地使用数据1.3HarmonyOS关键特性硬件互助，资源共享分布式软总线分布式设备虚拟化分布式数据管理分布式任务调度一次开发
WMX_0121·2024-02-20 15:10

tcp 中使用的定时器

周期性任务这是定时器最常用的一种场景，比如tcp中的keepalive定时器，起到tcp连接的两端保活的作用，周期性发送数据包，如果对端回复报文，说明对端还活着；如果对端不回复数据包，就会判定对端已经不存在了；再比如分布式系统中
王燕龙(大卫)·2024-02-20 15:33

态势感知是什么？为何需要态势感知？

它以安全大数据为基础，从全局的角度，提高对安全威胁的发现识别、理解分析和处理反应能力。目的在于在大规模网络环境下，对能够引起网络
·2024-02-20 15:52

计算机视觉与图像处理面试题,深度学习图像处理算法工程师面试题

AI开发平台ModelArtsModelArts是面向开发者的一站式AI开发平台，为机器学习与深度学习提供海量数据预处理及半自动化标注、大规模分布式Training、自动化模型生成，及端-边-云模型按需部署能力
ZW9·2024-02-20 15:32

深度学习+计算机语言,深度学习 计算机语言

AI开发平台ModelArtsModelArts是面向开发者的一站式AI开发平台，为机器学习与深度学习提供海量数据预处理及半自动化标注、大规模分布式Training、自动化模型生成，及端-边-云模型按需部署能力
中国计算机学会·2024-02-20 15:32

SpringAMQP开启“可靠性”机制

前言上一篇介绍了如何在《SpringBoot中集成和使用消息队列》，看过这一篇就基本上可以在SpringBoot中使用消息队列了，但是消息队列他归根结底是一个客户端服务器模式的中间件，面对复杂的网络环境和分布式使用环境
不摸鱼的程序员·2024-02-20 15:52

2018中国公有云厂商排名第一：中国电信 482亿元

43家中国公有云厂商2018年收入利润深度分析｜系列报道排名第一：中国电信482亿元在2018上半年中国电信公布的财报显示，IDC收入保持20%的增速，云和大数据收入合计增幅达120%。
阿明观察·2024-02-20 15:40

民安智库开展景区游客满意度调查

广东省景区行业协会发布了2021年度广东省旅游景区游客满意度大数据调查报告显示，游客选择旅游目的地倾向于深圳、广州、珠海等城市，同时休闲度假与城市公园型景区更受游客青睐，其中，广州市长隆旅游度假区、深圳市华侨城旅游度假区
民安汇智·2024-02-20 14:37

Hadoop 大数据的入门学习

由于所做的银行项目与大数据有关，所以个人学习下hadoop的知识，希望能对大数据有所了解，不喜勿喷，哪里有不对的希望大神指点Hadoop百度百科：Hadoop是一个由Apache基金会所开发的分布式系统基础架构
heybo_zhang·2024-02-20 14:36

计算机毕业设计选什么题目好？springboot 高校汉服租赁网站

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
计算机毕业编程指导师·2024-02-20 14:24

基于SpringBoot高校汉服租赁网站的设计与实现

主要内容：毕业设计，SpringBoot、Vue、SSM、HLMT、Jsp、PHP、Python、Nodejs、小程序、安卓app、大数据等设计与开发感兴趣的可以先收藏起来，还有大家在毕设选题，项目以及论文编写等相关问题都可以和博主沟通
一点教程·2024-02-20 14:53

想弄明白Kafka到底是什么吗？看完这篇你就知道了！(概念、数据存储、生产者、消费者)

一.Kafka1.1.Kafka概念Kafka是一种高吞吐量、分布式、基于发布/订阅的消息系统，最初由LinkedIn公司开发，使用Scala语言编写，目前是Apache的开源项目。
套马杆的程序员·2024-02-20 13:52

深入浅出 spring-data-elasticsearch 之 ElasticSearch 架构初探（一）

本文目录一、Elasticsearch基本术语1.1文档(Document)、索引(Index)、类型(Type)文档三要素1.2集群(Cluster)、节点(Node)、分片(Shard)分布式三要素二
Julian Wong·2024-02-20 13:04

网络安全防御中不可或缺的基线分析

网络安全问题日益突显，随着大数据、云计算、物联网、人工智能等技术的飞速发展，我们面临的网络环境变得越来越复杂，应用系统不断增多，API、组件、微服务等也变得越来越庞大。
酒酿小小丸子·2024-02-20 13:06

浅谈秒杀系统设计思路

、618涉及问题高并发：时间短，瞬间用户量超卖：卖出量多于库存数据库超负荷：数据库甚至其他业务挂掉，导致404设计思路1.微服务服务单一职责，以微服务的设计思想设计系统，每个服务职责、功能单一，并采取分布式的部署方式
Lugton·2024-02-20 13:53

《教育正悄悄发生一场革命》｜一场数据驱动的教育革命

由于大数据的应用，大量同类的学习行为被分析和用到教育后，对于金字塔底端的人才的培养和教育资源匮乏情况下的学习，在线教育确实有效，由于合村并校，乡村教育资源异常紧缺，在此情况下，教育技术确实能够大大降低教育的成本
张英俊黑龙江拜泉爱农乡中心学校·2024-02-20 13:20

分布式秒杀系统的设计

分布式秒杀系统的设计前言不知道你在面试的过程中有没有被问到如何设计一个分布式秒杀系统?
请叫我刘星·2024-02-20 13:59

将Spring Cloud项目改造为Spring-cloud-kubernetes项目

中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ源码解析数据库中间件Sharding-JDBC和MyCAT源码解析作业调度中间件Elastic-Job源码解析分布式事务
公众号-芋道源码·2024-02-20 12:44

Spring Boot Redis 实现分布式锁，真香

之前看很多人手写分布式锁，其实SpringBoot现在已经做的足够好了，开箱即用，支持主流的Redis、Zookeeper中间件，另外还支持JDBC。
Javaesandyou·2024-02-20 12:13

使用Spring Boot整合Redis实现分布式锁

在分布式系统中，控制并发访问是一项关键任务。分布式锁是一种常见的解决方案，用于在多个节点之间协调对共享资源的访问。Redis作为一款高性能的内存数据库，提供了一种简单而有效的方式来实现分布式锁。
#看心情·2024-02-20 12:10

【天衍系列 01】深入理解Flink的 FileSource 组件：实现大规模数据文件处理

4.2maven依赖4.3StreamFormat读取文件数据4.4BulkFormat读取文件数据4.5使用小结05数据源比较06总结01基本概念ApacheFlink是一个流式处理框架，被广泛应用于大数据领域的实时数据处理和分析任务中
浅夏的猫·2024-02-20 12:01

Flink理论—Flink架构设计

Flink架构设计Flink是一个分布式系统，需要有效分配和管理计算资源才能执行流应用程序。
不二人生·2024-02-20 12:59

DevOps - Git 版本管理

文章目录一、概述1.版本控制工具1.1.集中式版本控制工具1.2.分布式版本控制工具1.3.Git与SVN区别2.Git2.1.Git简史2.2.Git工作流程2.3.Git基本概念2.4.Git和代码托管中心
IoTHub - 物联网开源技术社区·2024-02-20 12:54

windows下GitHub中.sh文件下载的问题解决方案

Git是分布式版本控制系统，那么它就没有中央服务器的，每个人的电脑就是一个完整的版本库，这样，工作的时候就不需要联网了，因为版本都是在自己的电脑上。A.首
Anpedestrian·2024-02-20 12:18

精彩回顾 | 迅易科技受邀出席腾讯产业集群数字化发展大会

本次展会邀请了涵盖物联网、人工智能、云计算、大数据等200+数字化转型的行业专家及企业齐聚大会，共同探讨大模型时代下数智融合的新需求、新趋势、新路径。
·2024-02-20 12:35

libcurl如何设置HTTP代理？HTTP代理有什么用？

快代理专注为先进的企业大数据采集团
·2024-02-20 12:35

面经面经面经

2、项目中你是如何解决你这个分布式session的为啥用到redis有没有其他的解决方案3、聊一下ThreadLocal是怎么用来保存用户的信息的4、为啥要使用zuul来做入口登陆5、JVM的四种垃圾回收机制的过程讲一下
快醒醒鸭今天你编程了吗？·2024-02-20 12:04
上一页 22 23 24 25 26 27 28 29 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他