大数据量高并发

nosql数据库技术与应用知识点

Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发

皆过客，揽星河·2024-09-16 08:42

MongoDB知识概括

解释：“三高”需求：①Highperformance-对数据库高并发读写的需求。②HugeStorage-对海量数

GeorgeLin98·2024-09-16 06:58

华为云分布式缓存服务DCS 8月新特性发布

分布式缓存服务（DistributedCacheService，简称DCS）是华为云提供的一款兼容Redis的高速内存数据处理引擎，为您提供即开即用、安全可靠、弹性扩容、便捷管理的在线分布式缓存能力，满足用户高并发及数据快速访问的业务诉求

华为云PaaS服务小智·2024-09-16 04:43

Redis:缓存击穿

缓存击穿(热点key)：部分key(被高并发访问且缓存重建业务复杂的)失效,无数请求会直接到数据库，造成巨大压力1.互斥锁：可以保证强一致性线程一：未命中之后，获取互斥锁，再查询数据库重建缓存，写入缓存

我的程序快快跑啊·2024-09-16 03:03

mybatis 二级缓存失效_Mybatis 缓存原理及失效情况解析

将用户经常查询的数据放在缓存(内存)中，用户去查询数据就不用从磁盘上(关系型数据库数据文件)查询，从缓存中查询，从而提高查询效率，解决了高并发系统的性能问题。2、为什么要使用缓存减少和数据库的交互次

weixin_39844942·2024-09-16 00:41

[转载] NoSQL简介

随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展

weixin_30325793·2024-09-15 23:40

高并发内存池（4）——实现CentralCache

1，获取单例对象的指针2，FetchRangeObj函数3，GetOneSpan函数实现4，ReleaseListToSpans函数实现一，CentralCache的简单介绍CentralCache是高并发内存池这个项目的中间层

Niu_brave·2024-09-15 21:58

SpringBoot整合ES搜索引擎实现网站热搜词及热度计算

__c=1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，精通Java编程，高并发设计，Springboot和微服务，熟悉Linux，ESXI虚拟化以及云原生Docker和K8s，

码踏云端·2024-09-15 18:51

【仿RabbitMQ消息队列项目day2】使用muduo库中基于protobuf的应用层协议进行通信

muduo库是⼀个基于非阻塞IO和事件驱动的C++高并发TCP网络编程库。简单来理解，它就是对原生的TCP套接字的封装，是一个比socket编程接口更好用的编程库。

月夜星辉雪·2024-09-15 16:37

为什么Node.js不适合CPU密集型应用？

虽然这种模型在处理高并发I/O密集型任务时非常高效，因为它避免了传统多线程模型中的线程上下文切换开销，但这也意味着它不能充分利用现代多核CPU的计算能力。

weixin_54503231·2024-09-15 16:06

使用 RabbitMQ 实现秒杀订单系统的异步消息处理

使用RabbitMQ实现秒杀订单系统的异步消息处理在秒杀系统中，如何确保高并发环境下的订单处理稳定高效是个很大的挑战。为了解决这个问题，我们通常会引入消息队列，通过异步处理来削峰填谷。

c137范特西·2024-09-15 14:59

Spring Boot 请求处理流程：从负载均衡到多实例并发 - 电子商务网站实例

SpringBoot请求处理流程：从负载均衡到多实例并发-电子商务网站实例SpringBoot请求处理流程：从负载均衡到多实例并发SpringBoot作为一个强大的Java应用开发框架，能够有效地处理高并发请求

烟雨国度·2024-09-15 13:49

Java应用的数据库连接池连接池性能测试

性能测试可以帮助我们评估连接池在高并发条件下的表现，以及识别可能的性能瓶颈。本文将介绍如何对Java应用中的数据库连接池进行性能测试。

微赚淘客机器人开发者联盟@聚娃科技·2024-09-15 08:04

Nginx Hard模式

其特点是能支持高并发请求处理，并且占用较少的内存资源，提供稳定的、丰富的模块库，有很高的配置灵活性。目前，几乎所有的web项目，都配有Nginx。

西木风落·2024-09-15 07:57

Java高并发编程详解系列-深入理解Thread构造

上篇分享中主要是对线程的基本概念和基本操作做了一个分享，同时提出了两种常用的创建多线程的方法，当然在后期的分享中也会提及到更多的创建线程的方式，到后期的分享的时候再说。这次主要是深入的理解一下Thread的构造函数，通过构造函数对于Thread有一个更加深入的了解。这里首先提供一个JDK1.6的ThreadAPI截图线程命名规范从源码分析可以看到在Thread类中默认提供了线程的命名方式，这个

nihui123·2024-09-15 02:26

Java高并发编程详解系列-Balking设计模式

导语在实际操作中当某个线程因为发现其他线程正在进行相同的工作而放弃即将开始的任务，这种情况就被称为是Balking模式，Balking英文的意思是犹豫。在多个线程监控某个共享变量，A线程监控到共享变量发生变化后立即触发某个动作，但是这个这个时候发现了B线程也对该变量开始了行动，这个时候A变量就放弃了准备工作。下面就来详细的讲解一下关于Balking模式什么是Balking模式在餐厅吃饭的时

nihui123·2024-09-15 02:56

Java高并发编程详解系列-Future设计模式

导语假设，在一个使用场景中有一个任务需要执行比较长的时间，通常需要等待任务执行结束之后或者是中途出错之后才能返回结果。在这个期间调用者只能等待，对于这个结果Future设计模式提供了一种凭据式的解决方案。在日常生活中，这种方案也是存在的。例如去洗衣店洗衣服，当你把衣服放到洗衣店，等他洗完需要一段时间，这个时候洗衣店就会给你一凭证，你可以通过这个凭证到时候去取洗好的衣服。这个例子就是生活中的Fu

nihui123·2024-09-15 02:56

论文分享系列（二）——论微服务架构及其应用

前端Web服务由负载均衡与服务器集群结合，实现高并发的前台界面；平台保障服务以Eureka为中心

马斯洛金字塔下的小灵猴儿·2024-09-14 22:25

HBase（一）——HBase介绍

格式一致2、使用方便：SQL语言通用，可用于复杂查询3、复杂操作：支持SQL，可用于一个表以及多个表之间非常复杂的查询缺点：1、读写性能比较差，尤其是海量数据的高效率读写2、固定的表结构，灵活度稍欠3、高并发读写需求

weixin_30595035·2024-09-14 22:22

实现多级缓存的六种策略方法

保证多级缓存数据一致性是一个复杂的任务，尤其是在分布式和高并发环境中。以下是一些常见的方法和策略，可以帮助实现多级缓存的数据一致性1.缓存失效策略1.1主动失效在更新数据库时，主动使相关缓存失效。

Kixuan214·2024-09-14 17:50

Reactive 编程-Vert.x

与传统的阻塞式编程不同，Reactive编程能够更好地处理高并发和异步操作，特别适合实时系统、流处理以及需要快速响应的场景。

Flying_Fish_Xuan·2024-09-14 12:48

K8S - Emptydir - 取代ELK 使用fluentd 构建logging saidcar

由于k8s的无状态service通常部署在多个POD中，实现多实例面向高并发。

nvd11·2024-09-14 10:38

Redis总结（八）redis单线程还是多线程问题

redis为什么可以支持高并发和它内部的工作模式有不可分割的关系：绝大部分请求是纯粹的内存操作（非常快速）采用单线程,避免了不必要的上下文切换和竞争条件非阻塞IO-IO多路复用Redis客户端对服务端的每次调用都经历了发送命令

卢小记·2024-09-14 04:37

高并发下的分布式缓存 | Write-Through缓存模式

缓存系列文章链接如下：高并发下的分布式缓存|缓存系统稳定性设计高并发下的分布式缓存|设计和实现LRU缓存高并发下的分布式缓存|设计和实现LFU缓存高并发下的分布式缓存|Cache-Aside缓存模式高并发下的分布式缓存

非科班大厂码农（同名公众号）·2024-09-13 19:59

PostgreSQL 性能优化全方位指南：深度提升数据库效率

在现代互联网应用中，数据库性能优化是系统优化中至关重要的一环，尤其对于数据密集型和高并发的应用而言，PostgreSQL（以下简称PG）凭借其丰富的特性和强大的功能，成为很多企业的首选。

Koishi_TvT·2024-09-13 16:14

Redis-1 缓存穿透、缓存击穿、缓存雪崩

大量针对该数据的高并发请求可能会导致数据

七折困·2024-09-13 09:26

从底层原理上理解ClickHouse 中的稀疏索引

这种索引的核心思想是通过减少需要扫描的数据范围来加速查询，特别适用于大数据量场景。1.基本概念：数据存储与索引在理解稀疏索引之前，首先需要理解ClickHouse的列式存储

goTsHgo·2024-09-13 02:09

ECharts地图-自定义26(大数据量散点图、地图飞线效果)

代码视频讲解：ECharts地图-自定义26_哔哩哔哩_bilibiliECharts地图-自定义26

图表制作解说·2024-09-12 20:03

消息总线RabbitMQ

它可以用于大型软件系统各个模块之间的高效通信，支持高并发，支持可扩展。

Crystalqy·2024-09-12 17:15

Redis 多线程模型详解

近年来，Redis开始引入部分多线程机制，以提高并发性能，特别是在处理网络I/O和数据持久化时。

CopyLower·2024-09-12 16:08

关于大型网站技术演进的思考

但是现实情况是像淘宝、京东这样的大型动态网站在承担高并发的情况下任然能保证快速的响应，这其中有什么样的技术手段可以达到动态网站支撑高并发

weixin_30270889·2024-09-12 12:40

Redis总结：缓存雪崩、缓存击穿、缓存穿透与缓存预热、缓存降级

如果缓在某一个时刻出现大规模的key失效，那么就会导致大量的请求打在了数据库上面，导致数据库压力巨大，如果在高并发的情况下，可能瞬间就会导致数据库宕机。

南方葵籽·2024-09-12 02:06

【架构师之路】四、系统架构

高并发，大流量Google日均PV数35亿，日均IP访问数3亿微信在线用户数10亿天猫双十一活动一天交易额3000亿高可用系统7*24小时不间断服务。大型互联网站的宕机事件通常会成为新闻焦点。

蜗牛互联网·2024-09-11 10:44

锁之synchronized 与volatile lock的异同

尽管synchronized使用简单且可靠，但在高并发场景下可能会带

追梦的鱼儿·2024-09-11 05:07

java-redis-击穿

Java与Redis之缓存击穿问题解决方案1.背景：缓存的基本概念在高并发系统中，缓存是一个非常重要的优化手段。

Flying_Fish_Xuan·2024-09-11 00:30

PHP使用rabbitMQ

在PHP中使用RabbitMQ通常是为了处理异步任务、队列、消息推送等场景，特别是在高并发、分布式系统中，RabbitMQ提供了可靠的消息队列服务。

每天瞎忙的农民工·2024-09-10 23:53

千万级规模高性能、高并发的网络架构经验分享

主题：INTO100沙龙时间：2015年11月21日下午地点：梦想加联合办公空间分享人：卫向军（毕业于北京邮电大学，现任微博平台架构师，先后在微软、金山云、新浪微博从事技术研发工作，专注于系统架构设计、音视频通讯系统、分布式文件系统和数据挖掘等领域。）架构以及我理解中架构的本质在开始谈我对架构本质的理解之前，先谈谈对今天技术沙龙主题的个人见解，千万级规模的网站感觉数量级是非常大的，对这个数量级我们

搬砖养女人·2024-09-10 20:35

《Nginx 负载均衡详解》

一、引言在当今互联网时代，随着业务的不断发展和用户量的持续增长，单一服务器往往难以满足高并发的访问需求。为了提高系统的可用性、可靠性和性能，负载均衡技术应运而生。

陈在天box·2024-09-10 20:02

hutool获取大数据量的excel内容及sheet名称问题

读取大数据量的excel时代码如下privatestaticRowHandlercreateRowHandler(){returnnewRowHandler(){@Overridepublicvoidhandle

liu_qixiang·2024-09-10 18:54

Redisson与Redis分布式锁

但是，这种基本的实现可能会遇到各种问题，如锁无法自动释放导致的死锁问题，或者在高并发情况下的锁安全性问题。为了

Lill_bin·2024-09-10 17:40

面试真题：消费者积压问题的答案

对这个问题，笔者给出如下的建议方案消费者积压问题概述：定义与影响：消费者处理速度跟不上生产者发送速度消息队列长度不断增长，系统性能下降常见问题场景：高并发场景下，消费者处理能力不足消费者处理逻辑复杂或存在瓶颈监控与诊断这里我们需要监控的指标是队列长度

执于代码·2024-09-10 04:48

秒杀系统如何保证库存不超卖

在秒杀系统中，库存超卖是一个关键问题，需要通过多种技术手段来保证高并发情况下库存的正确性。以下是几种常见的解决库存超卖的技术方案及其具体实现方法。

半桶水专家·2024-09-09 21:46

Java面试题--JVM大厂篇之高并发Java应用的秘密武器：深入剖析GC优化实战案例

在高并发的现代应用中，垃圾回收器（GC）是Java性能优化的重要环节。尤其在CMS（ConcurrentMark-Sweep）GC曾经担任主角的日子里，适当的调优和优化措施至关重要。

青云交·2024-09-09 17:23

揭秘Nginx架构-10000并发连接背后的秘密

在当今移动互联网时代,网站的高并发、高性能成为了决胜关键。作为一款出色的开源Web服务器,Nginx以其非凡的高并发处理能力成为了架构师的利器。

w风雨无阻w·2024-09-09 16:42

大数据量查询：流式查询与游标查询

不识愁滋味.·2024-09-09 14:01

TiDB数据库

TiDB是由PingCAP开发的开源分布式SQL数据库，设计初衷是为了解决传统单机关系型数据库在处理大规模数据和高并发事务时的扩展性和性能问题。

傲雪凌霜，松柏长青·2024-09-09 12:43

chapter01 Java语言概述知识点Note

mybatisLinuxnacosHadoopFlinkJAVAEE消息队列rabbitMQdocker数据库redisspringbootspringcloudsshstruts+spring+hibernate过时技术栈很少用JAVA虚拟机jvm分布式微服务高并发常见

月下绯烟·2024-09-08 18:42

java高并发程序设计-锁的优化

如何提高锁的性能减少锁持有时间即对类似如下的方法publicsynchronizedvoidsync(){a();//其实只有b需要同步处理b();c();}改进为publicvoidsync(){a();synchronized(this){b();}c();}从而减少锁的持有时间减少锁粒度如ConcurrentHashMap内部分成若干个小的HashMap，每个HashMap加不同的锁读写分离

fantasyYan2·2024-09-08 18:11

系统架构设计师——架构评估（一）

提升性能提升性能是软件系统中至关重要的方面，尤其是在高负载和高并发的场景下。以下是提升性能的策略，包括资源需求、资源管理和资源仲裁：资源需求减少处理事件时对资源的占用：通过优化算法和数据结

吴代庄·2024-09-08 12:58

高并发问题排查方案

我们的测试环境突然就不能承受一万并发量了起因是我们的测试人员,在测试某个接口的时候,做了一万并发的压测,第一次发送一万并发还都会正常响应,第二次发的时候就会部分请求错误了.具体的错误是服务端拒绝连接,这就说明了并不是接口内部错误,而是资源不足这个时候身为开发的我,就需要排查问题了.第一步.我排查了下请求的速度以及请允许的超时时间一个请求响应大概在100毫秒内,这说明是个轻量级请求,完成能承受万级并

王建文go·2024-09-08 11:26

推荐频道