亿级数据量技术探索

zero-copy

当需要通过IO（网卡/硬盘）处理大数据量时，CPU搬运数据的压力会增大，所以要引入DMA。DMA在
甜甜起司猫_·2024-02-12 01:21

深度学习、机器学习和神经网络之间的区别

而在数据量较少时，传统机器学
第欧根尼的酒桶·2024-02-11 20:12

LoRA：语言模型微调的计算资源优化策略

编者按：随着数据量和计算能力的增加，大模型的参数量也在不断增加，同时进行大模型微调的成本也变得越来越高。全参数微调需要大量的计算资源和时间，且在进行切换下游任务时代价高昂。
·2024-02-11 20:51

你分库分表的姿势对么？——详谈水平分库分表

随着业务的发展，我们表中的数据量会变的越来越大，字段也可能随着业务复杂度的升高而逐渐增多，我们为了解决单表的查询性能问题，一般会进行分表操作。
vivo互联网技术·2024-02-11 18:21

Weblogic下启用Gzip压缩

在Weblogic服务器下启用Gzip压缩可以帮助减少网络传输的数据量，提升网站性能。以下是在Weblogic下启用Gzip压缩的步骤：打开Weblogic的管理控制台。
·2024-02-11 18:12

Element UI DatePicker 监听年月切换并获取变更

但是考虑到数据量可能有点大，因此最好只查询当前月的数据就好。因此需要监听年月切换并获取变更。查看DatePicker日期选择器相关api没有月份切换的相关事件，只有选择值切换了才会触发change事
·2024-02-11 18:53

又双叒叕 更新了！+团队介绍

开源IoTOS团队介绍：多套主流ToC/ToB物联网卡系统主力开发；从事Java开发，拥有大数据量物联网卡运营综合业务系统开发经验、大量数据运营同步、数据安全链路加密通信数据攻防。
·2024-02-11 18:21

【数据库】对大数据量数据集，PostgreSQL分组统计数量，限定每组最多数量

一、背景介绍在处理大数据量数据集时，我们经常需要进行分组统计。例如，我们需要统计每个城市的人口数量、每个年龄段的人数等。
·2024-02-11 17:41

同道决策｜莫祖泉：做强数据量化，让企业螺旋式上升

南宋理学及弘儒大师朱熹在《观书有感：其一》中写道：“半亩方塘一鉴开，天光云影共徘徊。问渠那得清如许？为有活水源头来。”1、企业要把数据工作做好，就不能被错综复杂的业务关系及流程制度搞成一锅粥，必须从源头抓起，一步步梳理，才能有源源不断的利润活水流进来。2、譬如，企业评价内部某经营单元的经营绩效好不好，既要用绝对标准，也要用相对标准。若只用其中一个标准评价，极有可能得出不科学的结论。3、当然，不管是
同道决策莫祖泉·2024-02-11 15:22

rust入门学习---所有权

所有权解决的问题跟踪代码的哪些部分正在使用heap的哪些数据最小化heap上的重复数据量清理heap上未使用的数据以避免空间不足可以在编译时捕获许多常见的内存
一只天蝎·2024-02-11 14:29

魔鬼藏在细节之中，看看移动UI的数据统计页面，够漂亮。

3.滚动功能：如果数据量很大，考虑使用滚动功能，使用户能够浏览更多数据，同时保持页面的整洁和易读。4.比较和趋势分析
大千UI工场·2024-02-11 14:51

MySQL数据库新手入门最佳教程_MySQL新手入门教程详解

我们还发现，Excel虽然好用，但一旦数据量大了起来，比如处理二三十万条或以上数据量的时候，就会出现卡顿，甚至死机的现象。夸张点说，有可能别人都已经下班了，你的结果还没计算出来。
fjgmgh·2024-02-11 14:08

解决ngx-echarts中点击区域过小的问题

，由于柱状图的数值相差很大，所以有的柱状数据非常小，根本没办法进行点击，ngx-echart也没有提供点击柱状图阴影的方法，最近找到了一个方法，可以增大点击区域，记录一下吧~案例image如上图所示，数据量很小的时候
mm_tang·2024-02-11 11:48

I/O Zero Copy是什么？看完这篇你绝对会了

前文我们介绍了JavaI/O的底层原理，想必大家都知道类似Netty、KafKa等大数据量高吞吐框架都会提到一个概念ZeroCopy（零拷贝），这是什么技术呢，今天我们来学习下。
老司机de程序人生·2024-02-11 09:28

Hadoop（三）通过C#/python实现Hadoop MapReduce

但是HDFS存的数据量非常大时，对汇总程序所在的服务器将产生巨大压力，并且网络IO也十分消耗资源。
dotNET跨平台·2024-02-11 08:17

MySQL进阶查询篇(3)-查询性能优化的常见技巧

在实际开发中，由于数据量的增长和查询需求的复杂化，MySQL数据库的查询性能优化显得尤为重要。本文将介绍MySQL数据库查询性能优化的常见技巧，帮助开发人员提高数据库查询效率。
俞兆鹏·2024-02-11 08:45

记一次接口性能优化实践总结：优化接口性能的八个建议

对于优化而言，可以从八个方面进行优化1.数据量大的时候，批量操作数据入库2.耗时操作异步处理3.优化业务逻辑4.恰当的使用缓存5.数据压缩传输内容6.考虑使用mq与文件等其他方式，异步后，再落地DB对于入库而言
lz众里寻他千百度·2024-02-11 05:19

深入探索Redis：如何有效遍历海量数据集

随着数据量的增长，如何高效地遍历Redis中的海量数据成为了一个值得探讨的问题。在本篇博客中，我们将深入探讨几种有效的数据遍历策略。
一休哥助手·2024-02-11 02:13

MySQL优化

概述在应用的的开发过程中，由于初期数据量小，开发人员写SQL语句时更重视功能上的实现，但是当应用系统正式上线后，随着生产数据量的急剧增长，很多SQL语句开始逐渐显露出性能问题，对生产的影响也越来越大，此时这些有问题的
GLATY·2024-02-11 01:02

MapReduce的uber运行模式

背景在有些情况下，运行于Hadoop集群上的一些mapreduce作业本身的数据量并不是很大，如果此时的任务分片很多，那么为每个map任务或者reduce任务频繁创建Container，势必会增加Hadoop
盗梦者_56f2·2024-02-11 01:42

PolarChain价值解析：开启计算资源“自消纳”新篇章

在数据领域，数据同样以中心化的形式流动，但随着数据量不断增长，特别5G登上舞台
区块链午餐·2024-02-11 00:41

案例：三台主机实现 级联复制

之前聊到的几种主从结构都只有两层，但级联复制架构中会有三层，关系如下：也就是在级联复制架构中，存在两层从库，这实际上属于一主多从架构的升级版，毕竟如果一个主节点存在多个从节点时，多个从节点都会同时去主节点拉取新数据，如果数据量较大
Toasten·2024-02-10 23:42

性能测试流程-性能测试2

性能测试报告总结1、性能测试需求分析熟悉被测系统熟悉系统的业务功能以及数据流向熟悉系统的技术架构明确性能测试范围从业务角度，挑选核心业务进行测试以及生产环境访问量多的业务从技术角度，挑选逻辑复杂度高、数据量大
Yasar.l·2024-02-10 22:24

Android:Volley框架使用

当应用数据量小、网络请求频繁，可以使用Volley框架。
偶是不器·2024-02-10 20:43

读书笔记 | 168个西班牙人的胜利

欧洲人获得航海技术探索新大陆的进程中，西班牙人皮萨罗与印加帝国皇帝阿塔瓦尔帕于1532年在秘鲁高
念去去去去·2024-02-10 19:01

特征工程:数据平衡

例如：在垃圾邮件分类时，垃圾邮件数据会有较少的样本量，从而导致两种类型的邮件数据量差别很大；在欺诈监测数据集中，往往包含的欺诈样本并没有那么多。处理这类数据集的分类的时候，需要对数据集的
林浩杨·2024-02-10 18:02

Elasticsearch中的动态DSL解决方案

目录问题背景解决方案编写es的mapper动态dsl编写使用mapper获取动态dsl远程调用restfulapi查询问题背景在大数据量的业务系统中，一般都会引入Elasticsearch来作为搜索引擎
林犀居士·2024-02-10 15:10

Mybatis Plus 大数据游标分页

随着业务的发展，许多应用面临处理大数据量的挑战。传统的分页方式在处理大数据量时可能带来性能问题，而MyBatisPlus提供的游标分页是一种解决方案，可以显著提高性能，更有效地处理大量数据。
月轩居士·2024-02-10 14:27

大数据时代的“小数据”系列1 cox-stuart趋势检验

其次参数检验的方法受限于数据量，有时候我们得到的数据很少，不适合做回归等参数方法。比如当我们开发的APP上线新功能，我们需要在短时
k_wzzc·2024-02-10 13:03

全量赋值 和 增量复制 的举例讲解

优点：操作简单，适用于数据量不大，同步
严定洲·2024-02-10 12:43

从股票历史数据量化回测看交易

从股票量化回测数据看交易从数据看市场交易特征一般的量化思路都是从历史数据入手，因为纵使你有很好的交易模型，也需要验证才能有把握。而验证交易模型的最快方式就是从历史数据入手，因为实盘验证以天为最小单位，耗时成本极高。可能大家会觉得历史数据已是过去式，与未来可能并无关联，但是历史并非简单的重复，但确是惊人的相似。因为就算大环境可能千差万别，由于市场机制的约束，交易在不自知中反复印拓了自己，这就是规律。
自画象·2024-02-10 10:25

实时计算框架 Flink 在教育行业的应用实践

例如，在TB级别数据量的数据库中，通过SQL语句或相关API直接对原始数据进行大规模关联、聚合操作，是无法做到在极短的时间内通过接口反馈到前端进行展示的。
Java架构师CAT·2024-02-10 09:20

电网调度精准智能路上，软件机器人辅助解决调度数据上报与融合中的棘手难题

随着电网输电设备的大批量投入，针对设备的实时状态和准实时状态在线监测的广度和深度不断加强,需要存储和处理的实时状态监测数据量不
博为小帮邓博文·2024-02-10 08:19

机器学习python中用pd.read_excel（）读取数据，数据类型是object类型，即非numeric数据类型，此时有两种方法查找非法字符

python中用pd.read_excel（）读取数据，数据类型是object类型，原因可能是包含空格或者非法字符，即非numeric数据类型，此时有两种方法查找空格方法1：用excel表格查询，这种适合数据量少的文件
井冈山上的游击天才·2024-02-10 08:32

Go 实现基于内存的 LRU 缓存

所以对于自己实现一个Cache可能并没有那么熟悉，但是在很多场景下，我们使用一些网络缓存会遇到一些瓶颈，比如说传输数据量比较大，或者传输非常频繁，都可能会导致一些性能瓶颈，尤其是在网络I/O上。
2301_79485928·2024-02-10 06:47

物联网数据隐私保护技术

然而，随着数据量的剧增，数据隐私保护成为了一个不能忽视的重要议题。
科联学妹·2024-02-10 06:09

横扫Spark之 - 9个常见的行动算子

countByKey()7.saveAS...()8.foreach()9.foreachPartition()***1.collect()  收集RDD每个分区的数据以数组封装之后发给Driver  如果RDD数据量比较大
阿年、嗯啊·2024-02-10 06:04

dns性能测试

它的特点是数据来源广泛，数据量大，覆盖范围广泛。DNS.Benchmark：一款非常受欢迎的Windows平台DNS测速工具，由美
Stestack·2024-02-10 04:26

Redis---渐进式哈希

随着Redis的操作越来越多，dict中保存的数据量也会动态变化，当数据量增加或者减少到一定的程度，为了让负载因子维持在一个合
xidianhuihui·2024-02-10 03:37

Redis系列--渐进式哈希

随着Redis的操作越来越多，dict中保存的数据量也会动态变化，当数据量增加或者减少到一定的程度，为了让负载因子维持在一个合
奇涛技术栈·2024-02-10 03:06

Redis scan渐进式遍历

redis查看key的通配符是keysfield*但是这个是全redis扫描，如果数据量比较多，而且在redis线程单线程的读写情况写，会造成性能降低可以通过scan的方式，分页查询语法：SCANcursor
Ye7073·2024-02-10 03:05

HTAP 能够取代 OLAP 吗？

在互联网浪潮出现之前，企业的数据量普遍不大，特别是核心的业务数据，通常一个单机的数据库就可以保存。那时候的存储并不需要复杂的架构，所有的线上请求OLTP和后台分析OLAP都跑在同一个数据库实例上
北漂一号·2024-02-10 02:26

深度学习的进展

随着算法和模型的改进、计算能力的提升以及数据量的增长，深度学习的应用范围不断扩大，对各行各业产生
Joseph DeRoss（周曦）·2024-02-10 02:10

优雅实现Springboot+ Mybatis动态数据源

数据量超过500万行就要考虑分库分表和读写分离，那么我们在正向操作和逆向操作的时候，就需要动态的切换到相应的数据库，进行相关的操作。1.2解决思路现在
蹦跶的蜗牛·2024-02-10 02:07

面试官：数据量很大，分页查询很慢，怎么优化？

当需要从数据库查询的表有上万条记录的时候，一次性查询所有结果会变得很慢，特别是随着数据量的增加特别明显，这时需要使用分页查询。对于数据库分页查询，也有很多种方法和优化的点。
Tinner丶·2024-02-10 01:13

Databend 性能调优-基础篇

尤其是大数据领域，比如OLAP数据库通常服务于海量数据即席查询分析的场景，一些看似不起眼的底层调优却能在数据量级上进行优化叠加，从而达到优化系统整体分析查询的性能目的，可谓星星之火可以燎原。
Databend·2024-02-09 23:27

大数据思考：面对海量数据时，选择哪种模式才是更适合自己的？

虽然我们总是希望数据量越大越好，但近年来组织已经开始从追求大数据转向选择小而
Akamai中国·2024-02-09 18:47

【架构】Excel导入数据使用双异步后，从 191s 优化到 2s

一、一般我会这样做：通过POI读取需要导入的Excel；以文件名为表名、列头为列名、并将数据拼接成sql；通过JDBC或mybatis插入数据库；操作起来，如果文件比较多，数据量都很大的时候，会非常慢。
奔向理想的星辰大海·2024-02-09 16:57

DMA直接内存访问，STM32实现高速数据传输使用配置

1、DMA运用场景随着智能化、信息化的不断推进，嵌入式设备的数据处理量也呈现指数级增加，因此对于巨大的数据量处理的情况时，必须采取其它的方式去替CPU减负，以保证嵌入式设备性能。
牛马大师兄·2024-02-09 12:58

深入挖掘AI应用场景的存储架构

以下是一种可能的研究路径：理解AI应用需求数据类型与规模：AI应用通常涉及大量数据处理，包括结构化、非结构化和半结构化数据，且数据量呈现指数级增长，因此首先需了解不同AI场景下的数据特点和规模。
古猫先生·2024-02-09 11:20
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他