大数据量

Redis核心技术与实战【学习笔记】 - 24.Redis 数据分片方案选择：Codis 和 Redis Cluster

简述Redis的切片集群使用多个实例保存数据，能很好的应对大数据量的场景。在《4.Redis切片集群》中，介绍了Redis官方提供的切片集群方法RedisCluster。
陈建111·2024-02-06 08:43

看这一篇就够了，如何写一手好SQL？

MySQL性能最大数据量抛开数据量和并发数，谈性能都是耍流氓。MySQL没有限制单表最大记录数，它取决于操作系统对文件大小的限制。看这一篇就够了，如何写一手好SQL？
AnyL8023·2024-02-06 01:42

软件评测师写作专栏之负载压力测试的基础知识27

A、负载测试B、压力测试C、大数据量测试D、疲劳强度测试【昊洋详解】：本题考察负载压力测试各个类别的区别。常见的负载压力测试类型有以下四种：1）、负载测试：通过逐步增加系统负载，测试系统性能的变
昊洋_写作的匠心·2024-02-05 19:05

从MySQL到TiDB：兼容性全解析

MySQL在高并发和大数据量场景下，单个实例的扩展性有限。
超越不平凡·2024-02-04 00:25

2019最火爆的项目平台----项目学院

4）数据透明：通过大数据量化筛选，一键筛选到适合自己的投资项目5)推广项目：自己正在从事项目包括未开盘项目，可以选择上传项目，把自已的项目连同自己的联系
happy艺汇·2024-02-03 13:59

POI读写大数据量excel，解决超过几万行而导致内存溢出的问题

1.Excel2003与Excel2007两个版本的最大行数和列数不同，2003版最大行数是65536行，最大列数是256列，2007版及以后的版本最大行数是1048576行，最大列数是16384列。excel2003是以二进制的方式存储，这种格式不易被其他软件读取使用；而excel2007采用了基于XML的ooxml开放文档标准，ooxml使用XML和ZIP技术结合进行文件存储，XML是一个基于
Swordfall·2024-02-03 12:35

《Towards Robust Monocular Depth Estimation：Mixing Datasets for Zero-shot Cross-dataset Transfer》论文笔记

具体来讲文章的策略可以归纳为：1）使用多个深度数据集（各自拥有不同的scale和shift属性）加入进行训练，增大数据量与实现场景的互补；2）提出了一种scale-shiftinvariable的loss
m_buddy·2024-02-02 20:58

redis存10万条数据_Redis遇到（大数据量）百亿级Key存储需求及解决方案介绍

1.需求背景是什么？2.存储何种数据？3.数据特点是什么？4.存在哪些技术挑战？5.解决方案有哪些？6.md5散列桶的方法需要注意的问题？7.测试结果是什么？解决方案：1需求背景该应用场景为DMP缓存存储需求，DMP需要管理非常多的第三方id数据，其中包括各媒体cookie与自身cookie(以下统称supperid)的mapping关系，还包括了supperid的人口标签、移动端id(主要是id
weixin_39757169·2024-02-02 12:26

redis百万级数据量预热方案

注意点：1、因为数据量大，不要直接将所有数据查询出来然后遍历存储，因为大数据量数据全部缓存在服务器内存中会导致内存溢出报错；解
伟大的小冰·2024-02-02 12:53

多线程事务如何回滚？

背景介绍1，最近有一个大数据量插入的操作入库的业务场景，需要先做一些其他修改操作，然后在执行插入操作，由于插入数据可能会很多，用到多线程去拆分数据并行处理来提高响应时间，如果有一个线程执行失败，则全部回滚
码出天空·2024-02-01 07:07

关于MongoDB大数据量下远程备份本地恢复操作

背景需要将远程服务的MongoDB数据拷贝到本地环境数据量很大，单表数据在100亿，占用硬盘存储空间270G左右没有远程服务器的操作权限，但是可以连接远程mongo备份操作使用mongodump远程服务和本地环境的MongoDB环境一致，或者本地环境的为高版本./mongodump--uri="mongodb://user:passWord@host:port/database?ssl=false
夜白宋·2024-02-01 07:07

数据结构 - 堆的应用场景

目录1、优先级队列的使用场景1)、定时任务轮训问题2)、合并有序小文件2、求TopK值问题【使用一个堆解决】3、求中位数、百分位数【使用一个大顶堆一个小顶堆解决】4、大数据量日志统计搜索排行榜【散列表+
it_lihongmin·2024-01-31 22:07

python交互界面实例_Python数据可视化：使用pyqtgraph库轻松绘制股票K线图

pyqtgraph是Python平台上一种功能强大的2D/3D绘图库，相对于matplotlib库，由于其在内部实现方式上，使用了高速计算的numpy信号处理库以及Qt的GraphicsView框架，因此它在大数据量的处理及快速显示方面有着天然的优势
weixin_39805180·2024-01-31 22:28

性能测试+Jmeter介绍

性能测试的目的性能测试分类一般性能测试负载测试压力测试大数据量测试配置测试稳定性测试性能测试术语虚拟用户并发及并发用户数响应时间每秒事务数吞吐量、吞吐率点击率性能计数器资源利用率性能测试流程测试计划阶段测试设计阶段测试开发阶段测试执行阶段测试结果阶段测试报告阶段常见的性能问题资源泄露资源瓶颈
蓝白汤姆·2024-01-31 10:50

Hive基于MR/Tez/本地模式的对比

1138526字段：3个实验目的对比HiveonMR与HiveonTez以及Hive本地模式在不同语句下的执行效率对比实验结论省去看实验过程的麻烦本地模式肉眼可见，效果极佳，但是对硬件和内存有一定要求，无法处理大数据量
九筒-·2024-01-31 08:42

其他发现：开源数据可视化分析工具DataEase介绍文档

3、秒级响应：集成ApacheDoris，超大数据量
首席摸鱼师·2024-01-31 06:41

Zookeeper实现分布式队列

Zookeeper不适合大数据量存储，官方并不推荐作为队列使用，但由于实现简单，集群搭建较为便利，因此在一些吞吐量不高的小型系统中
山鸟与鱼！·2024-01-31 05:33

An Event-Triggered Programmable Prefetcher for Irregular Workloads (2018 asplos)

AnEvent-TriggeredProgrammablePrefetcherforIrregularWorkloads(2018asplos)主要解决的问题：大数据量应用程序（例如graph,database
shuiliusheng·2024-01-30 20:10

大数据量物联网平台开发笔记（持续更新）

今年我们公司在母公司的支持下要开发一套物联网平台，以后卖出去的设备自动连接到这个平台上，再推送到第三方。预计目标是中期十万设备，长期百万设备的级别。TPS预计是设备数量除以10，1万/s。开发之前觉得没什么难度，后面倒是遇到很多问题。特别是压测以后。1.作为平台要考虑到第三方接入时可能不稳定的问题，如果使用mqtt或者http通信，要考虑到失败的问题，首先一直等待或者重试肯定是不合理的。比较合理的
从心归零·2024-01-30 07:53

MySQL之 XtraBackup 备份

MySQL系列连载之XtraBackup备份原理（1）导读在日常的linux运维工作中，大数据量备份与还原，始终是个难点。
寰宇001·2024-01-30 06:51

雪花算法（PHP）

简介现在的服务基本是分布式、微服务形式的，而且大数据量也导致分库分表的产生，对于水平分表就需要保证表中id的全局唯一性。
陈卿诺语·2024-01-30 03:36

记一次百万数据量查询sql 优化

记一次百万数据量查询sql优化问题描述问题分析过程总结简单了解用到的pgsql的索引结构pgsql的with扩展对于更大数据量的数据还有没有其他更好的方案问题描述数据库用的是pgsql。
没有伞努力跑的小孩纸·2024-01-30 00:50

StarRocks在千亿级日增数据场景下替换Greenplum的实践

原Greenplum集群在进行10亿*1亿的关联查询时达到极限，无法支撑更大数据量级的关联查询。
StarRocks_labs·2024-01-29 18:53

美团外卖搜索基于Elasticsearch的优化实践

然而在高并发、高可用、大数据量的C端场景，目前可参考的资料并不多。因此，我们希望通过分享在外卖搜索场景下的优化实践，能为大家提供Elasticsearch优化思路上的一些借鉴。
架构未来·2024-01-29 17:07

Mysql大数据量分页优化

前言之前有看过到mysql大数据量分页情况下性能会很差，但是没有探究过它的原因，今天讲一讲mysql大数据量下偏移量很大，性能很差的问题，并附上解决方式。
我想问问天·2024-01-29 17:04

5大主流方案对比：MySQL千亿级数据线上平滑扩容实战

1.五个方案1.1停机方案1.2停写方案1.3日志方案1.4双写方案（中小型数据）1.5平滑2N方案（大数据量）2.平滑2N扩容方案实践2.1实现应用服务级别的动态扩容2.2实现数据库的秒级平滑2N扩容
seaskyccl·2024-01-29 10:10

Vue2+echarts 实现图表的简单绘制

Echarts具有高度可定制性和交互性，支持动态数据更新和大数据量展示。Echarts提供了丰富的API和文档，可以方便地与其他前端框架整合。E
ZLY_2004·2024-01-29 09:54

超大分页优化

在数据库系统中进行大数据量的分页查询时，传统的分页方法（如使用LIMIT和OFFSET）可能会导致性能问题。随着OFFSET的增长，查询性能往往会线性下降。
辞暮尔尔-烟火年年·2024-01-28 12:22

大模型｜基础——长短时记忆网络

文章目录LSTM遗忘门输入门整合信息特点实现神经单元的内部计算门控控制——可以动态选择信息在大数据量的情况下，可有效缓解梯度LSTM遗忘门遗忘门，是否进行遗忘。
晓源Galois·2024-01-28 09:51

Hive之set参数大全-18

以下是有关该参数的一些解释：用途：该参数用于控制动态分区裁剪的优化，限制用于评估分区数据大小的最大数据量。默认值：默认情况下
OnePandas·2024-01-28 07:33

ART高速同步采集分析系统

要求测试系统在秒级时间内，对试验产生的大数据量进行准确无误的记录。那么相应的采集设备也要求有高采样频率、高精度，同时配备大容量的存储器来应对瞬间突增的数据量。
阿尔泰1999·2024-01-28 01:30

mysql优化案例

该网站使用MySQL作为数据库管理系统，但在高并发、大数据量的场景下，数据库的性能无法满足业务需求。为了解决这些问题，该网站进行了一
调试大师·2024-01-27 10:44

Jmeter实现造10个账户、单元数据

Jmeter实现造10个账户、单元数据，之后大数据量批量造数据以此类推。
艳Yansky·2024-01-27 01:29

大厂咋做多系统数据同步方案的？

当前互联网业务系统大多MySQL数据存储与处理方案：随信息时代爆炸，大数据量场景下慢慢凸显短板，如：需对大量数据全文检索，对大量数据组合查询，分库分表后的数据聚合查询自然想到如何使用其他更适合处理该类问题的数据组件
JavaEdge.·2024-01-26 21:59

本地缓存的优缺点

访问速度快，但无法进行大数据存储本地缓存相对于分布式缓存的好处是，由于数据不需要跨网络传输，故性能更好，但是由于占用了应用进程的内存空间，如Java进程的JVM内存空间，故不能进行大数据量的数据存储。
sangsong7th·2024-01-26 17:03

大数据量分页优化，应对PageHelper

大部分时间开发的分页代码都是使用pagehelper.PageInfo分页插件来实现，简单方便PageHelper.startPage(1,10)遇到百万数据量SQL，在进行分页查询时会出现性能问题，分页越深越慢我们要知道PageHelper的分页原理是什么pageHelper在执行时，会先计算count数量，在通过sql拼接limit实现分页功能，所以每次点下一页时，都会重新执行两遍SQL语句，
李九三·2024-01-26 14:56

effective python

用辅助函数替代复制语句3、切割：a[:5]a[5:]4、反向输出image.png5、列表推导：[x*2forxinaa][x*2forxinaaifx>2]map/filter6三级列表image.png7、大数据量用生成器来替代列表推导
SkTj·2024-01-26 02:23

主流NoSQL数据库系统的对比

预计阅读时间：8分钟SQL数据库是一种非常有用的数据库，但随着数据规模的不断增长以及数据模型的日益复杂，关系型数据库已经出现很多不适应的场景，NoSQL凭借易扩展、大数据量和高性能以及灵活的数据模型成功的在数据库领域站稳了脚跟
东晨雨·2024-01-25 17:35

EasyExcel入门使用

EasyExcel的主要特点如下：1、高性能：EasyExcel采用了异步导入导出的方式，并且底层使用NIO技术实现，使得其在导入导出大数据量时的性能非常高效。
彭于晏689·2024-01-25 16:44

从零实现RPC框架之 5.序列化

序列化：序列化以及编解码属于七层网络中的表示层序列化和反序列化的选型却是系统设计或重构一个重要的环节，在分布式、大数据量系统设计里面更为显著。
Seajunnn·2024-01-25 09:48

ElasticSearch

一、搜索引擎介绍在互联网项目中，涉及到检索的业务需求很多，我们可以通过对数据库的模糊查询实现检索功能，但是针对大数据量的操作，基于数据库的检索就显得力不从心了。
__追梦人·2024-01-25 07:29

Mysql数据库逻辑备份-mysqldump参数

对MySQL数据进行备份，常见的方式如以下三种，可能有很多人对备份时数据一致性并不清楚1mysqldump常用语句汇总2.几点备份小技巧虽然mysqldump不太适用于大数据量的备份，但因其具有灵活方便
执笔画情ora·2024-01-24 17:39

ElasticSearch基础入门，白话es

小数据量下，Mysql是完全可以胜任的，可以完成搜索，此时可以不用es；但是在大数据量（百万千万甚至上亿）的前提下，会有以下几个问题：性能低：使用模糊查询，左边有通配符，不会走索引，会全表扫描，性能低功能弱
Xu_jesse·2024-01-23 21:03

MySQL 简介

我们通常使用关系型数据库管理系统（RDBMS）来存储和管理大数据量。所谓的关系型数据库，是建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据。什么是数据库？数据库（D
阿甘在奔跑·2024-01-23 14:48

联邦学习：密码学 + 机器学习 + 分布式 实现隐私计算，破解医学界数据孤岛的长期难题

联邦学习：密码学+机器学习+分布式提出背景：数据不出本地，又能合力干大事联邦学习的问题联邦学习架构分布式机器学习：解决大数据量处理的问题横向联邦学习：解决跨多个数据源学习的问题纵向联邦学习：解决数据分散在多个参与者但部分特征重叠的问题联邦
Debroon·2024-01-23 11:31

mysql创建大数据量的测试数据

目录创建表设置参数log_bin_trust_function_creators创建函数创建随机字符串函数创建随机数函数创建存储过程调动存储过程场景：领导让创建一个千万级别的数据进行一个压力测试#############创建部门表##################################createtabledept(idintUNSIGNEDPRIMARYkeyAUTO_INCREME
喜羊羊love红太狼·2024-01-22 01:07

双十一发生Redis缓存雪崩、穿透、击穿了，你该如何挽救

各种干货技术文章，技术资料前言在今天的互联网里，高并发、大数据量、大流量已经成为了代言词，那么我们的系统也承受着巨大的压力，首当其冲的解决方案就是redis。
IT老哥·2024-01-21 19:15

面试官再问高并发，求你把这篇发给他！

原因很简单：随着流量变大，会遇到各种各样的技术问题，比如接口响应超时、CPUload升高、GC频繁、死锁、大数据量存储等等，这些问题能推动我们在技术深度上不断精进。
JavaP8工程师·2024-01-21 09:17

Java实现百万级数据从Excel导入到数据库

作者简介：大家好，我是小徐☁️博客首页：CSDN主页小徐很努力每日一句：好学而不勤非真好学者前言在一个后台管理功能中，Exce导入数据是不可缺少的，但是当处理大数据量的Excel文件导入时候就可能带来一些列的问题
小徐很努力·2024-01-21 09:06

竞赛保研 机器学习股票大数据量化分析与预测系统 - python 竞赛保研

文章目录0前言1课题背景2实现效果UI界面设计web预测界面RSRS选股界面3软件架构4工具介绍Flask框架MySQL数据库LSTM5最后0前言优质竞赛项目系列，今天要分享的是机器学习股票大数据量化分析与预测系统该项目较为新颖
iuerfee·2024-01-21 04:44
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他