数据量

分布式锁的实现（秒杀为背景）

必然是不行的，首先若是一张订单表，其表的容量是有上限的，且订单的数据量巨大，若是采用多库多表进行存储，那么每个表自增ID都是从1开始，会造成订单ID的重复，且自增ID规律性强，容易被猜测，具有安全隐患。
..Serendipity·2025-02-24 06:50

《数据仓库与数据挖掘》自测

A.数据量大B.异构数据整合C.事务处理D.支持决策分析2.OLAP的核心功能是：A.事务处理B.多维数据分析C.数据清洗D.数据转换3.以下哪个不是元数据的分类？
破坏神在行动·2025-02-24 05:48

银行数据类系统建设

数据仓库建设数据仓库的概念数据仓库是大批量数据的存储系统，在如今PB级数据量的大数据时代，传统数据库由于数据量的限制，无法存储如此庞大的数据量，因此对于需求海量数据的机构大都会将数据存储在数据仓库中，用以取数和分析
奔跑的白鸥·2025-02-24 04:09

多档买卖盘逐笔委托逐笔成交进行大数据分析以及模型结果20250221

这对交易大师分析主力习性大有裨益，对人工智能进行机器学习也非常合适，数据量大且精确。
level2Tick·2025-02-24 02:58

a股股票高频行情数据逐笔分析历史数据下载20250221

这对交易大师分析主力习性非常有帮助，对人工智能的学习也极具意义，数据量大且精准。
hightick·2025-02-24 02:57

分库分表全解析：从原理到实战，破解亿级数据存储难题

随着业务规模的增长，单库单表逐渐暴露出性能瓶颈：数据量过大：单表存储超过1亿条数据时，查询效率显著下降。并发压力高：单一数据库的QPS（每秒查询数）难以支撑高并发场景。
没什么技术·2025-02-24 01:20

【ETL】从理论到实践的数据处理流程及其工具的应用

在大数据时代，随着企业数据量的快速增长，ETL不仅要满足传统数据仓库的需求，还要应对实时数
絆人心·2025-02-23 19:10

图像处理：模拟色差的生成

但在实际生产环境中，瓷砖色差检测的数据量较少，无法直接获取足够的数据来训练和优化深度学习模型。于是就考虑通过人为生成色差数据的方式来扩充数据集，进行色差的模拟。1.什么是色差？
何以为皇·2025-02-23 18:33

编程小白冲Kaggle每日打卡（14）--kaggle学堂：＜机器学习简介＞你的第一个机器学习模型

你如何将如此庞大的数据量缩减到你能理解的程度？我们将从使用直觉选择几个变量开始。后续课程将向您展示自动
AZmax01·2025-02-23 17:26

通俗理解Test time Scaling Law、RL Scaling Law和预训练Scaling Law

数据量（砖头的“数量”）：喂给模型的文本越多，
老A的AI实验室·2025-02-23 16:12

多线程处理大数据量数据

数据量还蛮大的，大约50-60万数据（一条一条执行），其中还涉及到与其他接口的交互，因此这些数据跑下来要耗时很久，因此设计了一个方案，使用多线程的方式进行处理。
码代码的小仙女·2025-02-23 14:31

Python的那些事第三十篇：并行计算库在大数据分析中的应用Dask

Dask：并行计算库在大数据分析中的应用摘要随着数据量的爆炸性增长，传统的数据分析工具（如Pandas和NumPy）在处理大规模数据集时面临内存限制和计算效率低下的问题。
暮雨哀尘·2025-02-23 13:53

深入浅出机器学习：概念、算法与实践

目录引言机器学习的基本概念什么是机器学习机器学习的基本要素机器学习的主要类型监督学习（SupervisedLearning）无监督学习（UnsupervisedLearning）强化学习（ReinforcementLearning）机器学习的一般流程总结引言在当今数字化时代，数据量呈爆炸式增长
倔强的小石头_·2025-02-23 11:43

【分布式理论13】分布式存储：数据存储难题与解决之道

、RAID磁盘阵列的解决方案1.RAID概述2.RAID使用的技术3.RAID的代表性等级三、分布式存储的新思路1.分布式存储背景与特点2.分布式存储的组成要素一、数据存储面临的问题在单机系统时代，当数据量不断增加
roman_日积跬步-终至千里·2025-02-23 04:19

python垃圾回收

背景:Python程序在运行的时候,需要在内存中开辟出一块空间,用于存放运行时产生的临时变量,计算完成后,再将结果输出到永久性存储器中.如果数据量过大,内存空间管理不善就很容易出现OOM（outofmemory
小Pawn爷·2025-02-22 18:23

数据飞轮：激活数据中台的数据驱动引擎

随着人工智能和大数据技术的发展，企业拥有了收集和处理前所未有的数据量的能力。然而
Earth explosion·2025-02-22 15:58

Spring Boot 中间件性能调优

作者：禅与计算机程序设计艺术1.简介随着互联网web应用日益复杂化、数据量的爆炸性增长以及硬件性能的不断提升，网站的响应速度在不断提高，用户体验也得到了提升。
AI天才研究院·2025-02-22 13:14

MySQL中ddl操作或创建索引防止锁表的一些建议或解决方案

MySQL需要确保数据的一致性和完整性，这意味着在执行DDL操作时需要获取锁【建议】（1）建议在生产环境中进行任何重大DDL更改，都要在测试环境充分测试验证（2）在生产环境中对数据量较大的表进行DDL操作
拄杖忙学轻声码·2025-02-22 06:23

达梦数据库针对慢SQL，收集统计信息&清除执行计划缓存

在页面上查询特别慢，但拿到数据库终端执行特别快2、一条SQL在某种检索条件下查询特别慢，但拿到数据库终端执行特别快此时，可以尝试按照下述步骤进行恢复：目录一、分析SQL语句中涉及到的物理表，依次收集统计信息1、单表数据量小的表
泛冬以南·2025-02-22 02:38

利用 Django 与 Redis 打造高性能缓存系统

随着用户数量的增加和数据量的增长，网站的响应速度很容易成为瓶颈。缓存是一种有效的性能优化手段，它可以减少对数据库的频繁访问，从而显著提高系统的响应速度。
lozhyf·2025-02-21 19:12

Python爬虫：分布式爬虫架构与Scrapy-Redis实现

一、引言随着互联网数据量的持续增长，许多爬虫任务需要处理海量的网页数据。单台机器的资源有限，在面对大规模爬取任务时，可能会出现爬取速度慢、内存不足等
挖掘机技术我最强·2025-02-21 17:26

从MySQL迁移到PostgreSQL的完整指南

随着企业数据量的增长和对性能要求的提高，许多公司开始考虑从MySQL迁移到PostgreSQL。
m0_74824076·2025-02-21 15:32

小红书架构演进与关键技术解析

随着用户量的不断增加，系统面临着高并发、大数据量等挑战。同时，小红书还需要支持快速的业务创新和迭
ITPUB-微风·2025-02-21 09:16

Mysql-EXPLAIN分析sql语句-项目中慢SQL优化思路和示例

1.概述项目越来越大，业务越来越多，数据量也持续上升。这时候数据库处理的压力也在逐渐增大，所以需要对慢sql进行处理和优化。以下是项目中利用EXPLAIN分析sql语句-优化慢SQL优化思路和示例。
axiao321123·2025-02-21 08:03

图像检测分析难题？三维天地引入YOLO目标检测技术带来全新解决方案！

然而,传统的图像处理方法面临着诸多挑战,如庞大的数据量、复杂的特征提取、漫长的模型训练周期以及复杂的公式计算等。这些问题不仅限制了检测的效率,还对结果的准确性产生了负面影响。
资讯分享周·2025-02-21 08:02

Python 迭代器和生成器的妙用

这种特性使得迭代器在处理数据集合时非常有用，特别是当数据量大或者数据产生是动态的情况下。1
Python_魔力猿·2025-02-21 05:48

python迭代器与生成器实际用途_Python 迭代器与生成器实例详解

#下面这种直接调用函数的方法如果数据量大的时候会对网络IO要求比较高，可以采用迭代器的方法?
轮回道人·2025-02-21 05:47

淘宝/天猫店铺订单数据导出、销售报表设计与数据分析指南

一、订单数据导出（一）手动导出订单数据淘宝和天猫平台提供了手动导出订单的功能，适用于数据量较小或临时性需求的场景。商
不会玩技术的技术girl·2025-02-20 17:20

python读取zip包内文件_Python模块学习：zipfile zip文件操作

有些数据(如文本，office文档)如果直接传输的话，将会增加通信的数据量，使下载时间变长。
weixin_40001634·2025-02-20 14:18

LLM与知识图谱融合:智能运维知识库构建

海量的设备、复杂的网络环境、日益增长的数据量，使得传统的运维方式难以满足需求。为了提高运维效率和质量，智能运维应运而生。
AI天才研究院·2025-02-20 11:45

探索Vearch：高效的深度学习向量相似度搜索系统

然而，随着数据量的增
scaFHIO·2025-02-20 06:08

SaaS的多租户数据隔离有哪几种？

1、物理数据库隔离2、单数据库表空间隔离3、单表内租户id字段隔离三种方案的对比图如下：隔离方案成本安全优点缺点物理数据库隔离高高数据隔离级别高，而且也可以针对租户开发个性化需求，而且也可以支持更大的数据量
衫恋冰·2025-02-20 05:02

Sharding-JDBC 实现分库分表

一、引言随着互联网业务的快速发展，数据量不断增长，传统的单一数据库架构已经难以满足高并发、大数据量的存储和查询需求。分库分表技术成为了解决这些问题的重要手段。
一叶飘零_sweeeet·2025-02-20 04:53

海量日志接入 Serverless 应用降本70%以上

概述随着互联网业务的快速发展，日志数据量日益庞大，传统的日志处理方式面临着成本高、扩展性差等问题。
·2025-02-19 20:47

一种轻量分表方案-MyBatis拦截器分表实践

随着数据量的迅速增长，慢SQL频发，数据库性能下降，系统稳定性受到严重影响。本篇文章，将分享如何使用MyBatis拦截器低成本的提升数据库稳定性。
·2025-02-19 20:15

【elasticsearch】reindex 断点续传

在进行大规模reindex时，由于数据量庞大或者网络/硬件故障，可能会发生中断。为了确保数据的完整性并支持中断后的续传，Elasticsearch提供了一些方法来实现断点续传。
infiniteWei·2025-02-19 19:39

504 Gateway Time-out

问题描述做Excel导入的功能，由于Excel的数据比较多，需要做处理然后入库，数据量大概200万，所以毫无悬念的导入Excel接口调用超过了一分钟，并且报错：504gatewaytimeout。
naruto227·2025-02-19 18:28

Hive 分区详解

在Hive中处理数据时，当处理的一张表的数据量过大的时候，每次查询都是遍历整张表，显然对于计算机来说，是负担比较重的。
mm_ren·2025-02-19 15:36

mongoDB分片集群部署

当前国内使用Mongodb的大型实践越来越多，MongoDB为我司提供了重要的数据库存储服务，支撑着每天近千万级QPS峰值读写，数万亿级数据量存储服务。
glnullops·2025-02-19 11:57

华大MCU HC32F005端口GPIO控制失效问题

1.问题来源：RS485通信时，且数据量大、持续运行一段时间后，发现RS485使能引脚没有得到释放，导致总线锁死，无法通信，影响到整个总线的设备。
黄大刀·2025-02-19 09:44

java实现数据上传到接口,Java 导入数据到Excel并提供文件下载接口

而对比两个包，jxl更适用与数据量大的情况，而poi在数据量不高(大约5000以内)时，效率较高，但占用内存大，更容易内存溢出。测试数据privateintid;privateStringn
梨漾·2025-02-19 06:58

浅聊读写分离

鹤立鸡群有一些不好，当然这也是给自己找借口和理由，趁着周末整理下最近的感悟；另外公司用的ElasticSearch，最近我也在探索，微服务方面暂时搁浅，待到搬出宿舍的时候在开始一波666的操作；另外随着数据量增加自己还需要去接触波大数据东西
不全·2025-02-19 02:20

什么是Scaling Laws（缩放定律）；DeepSeek的Scaling Laws

ScalingLaws（缩放定律）ScalingLaws（缩放定律）在人工智能尤其是深度学习领域具有重要意义，以下是相关介绍及示例：定义与内涵ScalingLaws主要描述了深度学习模型在规模（如模型参数数量、训练数据量
ZhangJiQun&MXP·2025-02-18 23:14

大模型应用层的创业挑战

大模型应用层的创业挑战关键词：大模型、应用层、创业、挑战、算法、架构、数据、资源、合作、盈利模型1.背景介绍随着计算能力和数据量的指数级增长，大模型（LargeModels）已经成为人工智能领域的关键驱动因素
AGI大模型与大数据研究院·2025-02-18 22:34

DeepSeek的训练与优化流程

DeepSeek的训练与优化流程一、数据工程体系1.多模态数据融合处理动态数据湖架构：实时摄入互联网文本、科学论文、专利文献、传感器数据等20+数据源日均处理原始数据量达1.2PB，支持200+文件格式自动解析智能清洗流水线
程序猿000001号·2025-02-18 17:01

Elasticsearch详解

Elasticsearch是什么Elasticsearch是使用Lucene为基础建立的开源可用全文搜索引擎，它可以快速地储存、搜索和分析海量数据Elasticsearch的特点和传统的关系数据库对比关系型数据库查询性能，数据量超过百万级千万级之后下降厉害
久梦歌行·2025-02-18 08:27

记一次生产事故：MongoDB数据分布不均的解决方案

造成此次生产事故的首要原因就是片键选择上的问题，由于片键选择失误，在数据量级不大的时候数据看起来还是很健康的，但随着数据量的暴涨，问题就慢慢浮出了水面，我们使用的组合片键并不是无规律的，片键内容是线性增长的
悲伤荷包蛋hb·2025-02-18 02:33

什么是GaussDB

应用场景交易型应用大并发、大数据量
如清风一般·2025-02-17 22:11

第二章：12.4 学习曲线

学习曲线的基本概念学习曲线是展示机器学习模型性能如何随着训练数据量增加而变化的图表。它们可以帮助我们理解模型在不同数据量下的表现，以及模型是否过拟合或欠拟合。
望云山190·2025-02-17 22:05

《传统教培机构的痛点：数字化转型如何破局？》

据统计，全球每天产生的数据量高达数万亿字节，这些数据涵盖了人们生活的方方面面，从购物习惯到社交行为，从健康状况到学习偏好，都被数字化记录下来。
·2025-02-17 20:58
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他