亿级数据量技术探索

php 快速入门（六）

GET方法提交的数据GET方法它是通过把参数数据加在提交表单的action属性所指的URL中，值和表单内每个字段一一对应，然后在URL中可以看到，但是有如下缺点1.安全性不好，在URL中可以看得到2.传送数据量较小
王依硕·2024-03-28 17:50

AI原生安全 亚信安全首个“人工智能安全实用手册”开放阅览

企业组织基于并利用大模型技术探索和开发AI应用的无限可能，迎接生产与业务模式的全面的革新。我们更应关心AI安全原生。
亚信安全官方账号·2024-03-25 14:03

Python的With...As 语句：优雅管理资源的技术探索【第116篇—With...As 语句】

Python的With…As语句：优雅管理资源的技术探索在Python编程中，with...as语句是一项强大而优雅的功能，用于管理资源，如文件、网络连接、数据库连接等。
一键难忘·2024-03-16 11:45

redis的优缺点和为什么要用redis做缓存

Hash、Set、Zset五种数据类型，满足多场景需求支持主从复制，实现读写分离，分担读的压力支持哨兵机制，实现自动故障转移缺点数据存储在内存，主机断电则数据丢失存储容量受到物理内存的限制，只能用于小数据量的高性能操作在线扩容比较困难
菜鸡的我想成为高手·2024-03-15 11:40

挑战杯 机器学习股票大数据量化分析与预测系统 - python 挑战杯

文章目录0前言1课题背景2实现效果UI界面设计web预测界面RSRS选股界面3软件架构4工具介绍Flask框架MySQL数据库LSTM5最后0前言优质竞赛项目系列，今天要分享的是机器学习股票大数据量化分析与预测系统该项目较为新颖
laafeer·2024-03-14 18:16

Spark的数据结构——RDD

Alistofpartitions:在大数据领域，大数据都是分割成若干个部分，放到多个服务器上，这样就能做到多线程的处理数据，这对处理大数据量是非常重要的。分区意味着，可以使用多个线程了处理。
bluedraam_pp·2024-03-14 08:32

数据库备份方法

本文使用的数据库为MYSQL一、数据量不大时，可以搭建主从环境二、mysqldump（30G以内）全备、导出多个数据库、导出某张表、只导出表结构、只需要导出储存过程、触发器、事件、数据：在mysql5.5
品儒·2024-03-13 04:38

高性能Mysql——创建高性能索引详解

尤其是当表中的数据量越来越大时，索引对性能的影响愈发重要。在数据量较小且负载较低时，不恰当的索引对性能的影响可能还不明显，但当数据量逐渐增大时，性能则会急剧下降。
读书人钟同学·2024-03-13 00:17

Oracle数据库

当年人们把数据存放在文件柜中，可现在随着社会的发展，数据量急剧增长，现在人们就借
guwei666666·2024-03-12 03:47

Redis 大key和热key问题及处理

Redis是一个基于内存存储数据运行并支持持久化、使用key/value形式存储的高性能的nosql数据库，适合用于存储频繁访问，数据量较小的场景下。
lvyuanj·2024-03-10 12:10

解决org.apache.http.TruncatedChunkException: Truncated chunk

报错原因我碰到报错原因主要是因为接口返回的数据量过大，在高并发下，会有丢包的情况，导致这个问题。之前我找方法是把Nginx缓存关掉，我试了一下没有太大的作用。
lingFei_y·2024-03-10 01:56

向爬虫而生---Redis 探究篇6＜Redis的Bigkey问题介绍＞

当一个key的数据量过大时，会占用宝贵的内存资源，拖慢Redis的响应速度。此外，存储和恢复这些BigKey也会变得困难和耗时，增加了维护的复杂性。
晦涩男董先生·2024-03-08 10:04

为什么MySQL中多表联查效率低，连接查询实现的原理是什么？

MySQL中多表联查效率低的原因主要涉及到以下几个方面：数据量大:当多个表通过连接查询时，如果这些表的数据量很大，那么查询就需要处理更多的数据，这自然会降低查询效率。
舒一笑·2024-03-07 01:52

如何在十几秒内高效实现几十万条数据的快速插入

本文主要讲述通过MyBatis、JDBC等做大数据量数据插入的案例和结果。
zy_zeros·2024-03-06 09:02

MySQL查询数据不一致

在您提供的两个查询中，您发现了查询结果的数据量不一致，一个查询结果为404条，另一个查询结果为410条。为了优化这两个查询并确保结果的一致性，您可以尝试以下几点：1.
知识的宝藏·2024-03-04 14:36

【金三银四】Mysgl优化了解？什么情况下会导致SQL索引失效？如何写出高效SQL与优化慢SQL

这是因为随着数据量的增加，数据库在执行增删改查操作时需要处理更多的数据。当涉及到MySQL数据库优化时，可以从以下几个方
鄒彬·2024-03-04 04:52

FreeRTOS队列

入队是将数据拷贝到队列，数据量大时需要的时间就多。入队，出队可以设置阻塞时间。0是不阻塞，portMAX_DELAY是一直阻塞。读队列
sscb0521·2024-03-04 01:49

Spark-sql Adaptive Execution动态调整分区数量，调整输出文件数

有时间为了解决小文件问题，我们把spark.sql.shuffle.partitions这个参数调整的很小，但是随着时间的推移，数据量越来越大，当初设置的参数就不合适了，那有没有一个可以自我伸缩的参数呢
不想起的昵称·2024-03-02 15:03

计算机网络中的bit、Byte、Kb、KB、数据率、数据量概念解析

是数据处理的基本单位，简写为B；1Byte=8bit或1B=8b数据率：bit/s或b/s、Kb/s、Mb/s、Gb/s等1Kb/s=10^3b/s1Mb/s=10^6b/s1Gb/s=10^9b/s数据量
hellosc01·2024-03-02 10:26

mysql使用Xtrabackup备份与恢复

在实际生产环境中增量备份是非常实用的，如果数据大于50G或100G，存储空间足够的情况下，可以每天进行完整备份，如果每天产生的数据量较大，需要定制数据备份策略。
GaoJamie·2024-02-29 23:05

扩增子质控流程多，专属名词来揭晓

，Rawreads（或rawdata）已不陌生，但在扩增子测序的质控数据中还有Rawtags、Cleantags、Effectivetags等一串的专属名词，这些名词代表什么，分析要关注哪些数据，测序数据量要选择多少可以满足需求呢
ee00dc6faab7·2024-02-26 16:53

代码随想录算法训练营第六天|242.有效的字母异位词、349.两个数组的交集、202.快乐数、1.两数之和

h(key)就是#includeconstintN=题目数据量*2+3;consti
y_wang09·2024-02-26 00:38

MySQL1000万条数据分页查询优化

原来他们数据量已经有好几百万了。你可能会问不就几百万数据吗，分页只查询10条怎
一颗向上的草莓·2024-02-25 17:29

互联网加竞赛 机器学习股票大数据量化分析与预测系统 - python 互联网加竞赛

文章目录0前言1课题背景2实现效果UI界面设计web预测界面RSRS选股界面3软件架构4工具介绍Flask框架MySQL数据库LSTM5最后0前言优质竞赛项目系列，今天要分享的是机器学习股票大数据量化分析与预测系统该项目较为新颖
Mr.D学长·2024-02-25 10:49

【云学院干货】数据仓库服务：在冗余海量数据中找到正确决策

传统数据仓库在大数据时代处于劣势，用户需要自己搭建软硬件，运维维护的成本非常大，投入高周期长，而且如果数据量大，扩容的工作非常难以实现。业务数据上云，在公有云上托管成为必然趋势。
舒意从生·2024-02-24 07:21

【业务功能篇135】多线程+countDownLatch执行大数据量定时任务

对于业务中存在一些功能需求，业务逻辑复杂且数据量大，过程处理也就比较繁琐，如果直接在单线程同步执行，效率就比较低了，所以我们需要利用多线程，开启多个线程去把任务分线程异步执行，这些效率就有显著提升多线程
studyday1·2024-02-23 04:21

大数据计算技术秘史（上篇）

而在数据量爆炸性增长后，情况就变得不一样了。单机系统无法存储如此之多的数据，先是过渡到了分库分表这类伪分布式技
·2024-02-22 20:33

MySql中几种批量更新/新增/删除的方法

UPDATEmytableSETmyfield='value'WHEREother_field='other_value';这种方法并没有什么任何错误，并且代码简单易懂，MySQL批量更新大数据是困难的事情，特别是当数据量特别大
@航空母舰·2024-02-20 22:26

分库分表浅析

什么是分库分表为什么要分库分表怎样分库分表分库分表后如何处理事务问题什么是分库分表分库分表是一种技术方案，为了解决单机数据块随着时间增长，数据量越来越大引起的数据库性能逐渐下滑。
大&迈·2024-02-20 22:40

基于SSM的学生选课系统设计

同时随着在校大学生人数的不断增加，教务系统的数据量也在不断的上涨。针对学生选课信息管理这一环节，本学生选课系统在学生选课信息管理以及学生信息查询两个大
qq405425197·2024-02-20 21:50

同道决策｜莫祖泉：数据量化管理责任到位，才知道尽责任的乐趣

回到我们的企业经营实践中，若数据量化工作做得好，每个人都清楚地知道靶心在哪，知道该如何瞄准射击，经营业绩一定能够持续改善！相反，经营业绩极容易潮起潮落，很难保持较高水平，更难实现不断向上突破！
同道决策莫祖泉·2024-02-20 21:05

批量将txt转换成Excel格式

1.利用现有工具（适用于数据量少的情况）可以在线直接转换：https://anyconv.com/txt-to-xlsx-converter/亲测是可以使用的，但是要一个个下载。
RS&·2024-02-20 20:40

hive中控制map和reduce数量的简单实现方法

0、先说结论：由于mapreduce中没有办法直接控制map数量，所以只能曲线救国，通过设置每个map中处理的数据量进行设置；reduce是可以直接设置的。
数仓大山哥·2024-02-20 20:02

百度百家号旋转验证码识别研究

2.2图像矫正接下来对采集的数据进行人工校正2.3数据清洗（1）对数据进行进行旋转，达到增加数据量的目的。（2）对数据进行灰度化处理，将三维图片降为二维。（
Dxy1239310216·2024-02-20 20:29

Hive拉链表设计、实现、总结

环境介绍  拉链表可以用来记录数据的声明周期，适合那种数据量大但新增和修改频率不是很高的场景。比如总共100万条数据，每天
阿年、嗯啊·2024-02-20 20:28

清华架构师整理分布式系统文档：从实现原理到系统实现，收藏吧

而这些技术有一个共同的特点，就是全网都在大谈分布式，其实主要就是因为数据量的爆发增长，我们的网站等应用承担了他本不应该承受的压力，这个时候，中国古人的训诫就
java架构师联盟·2024-02-20 20:40

微帧为央视大年初二《2024春节戏曲晚会》提供AI画质增强服务

继央视联合微帧在亚运会实时直播画质增强方向进行了深度技术探索之后，央视再次携手微帧，在春
·2024-02-20 20:08

python快手数据采集_抖音、快手数据采集，短视频监测大屏

先看下面三张图：三张图，不同的时间段，对应的日采集数据量分别在10万，30万，110万，不断刷新自己创下的单日采集数据量记录，可能有人会好奇，为什么最后两天采集到的数据量有暴增的趋势，偷偷告诉你们，这两天是新
weixin_39946767·2024-02-20 19:21

[highcharts] 07_在highcharts渲染完成后结束loading

该业务场景的数据处理非常复杂，且存在某些个特定id的情况下，数据量极大，导致页面上的highcharts卡顿(具体表现是：点了切换之后，有一段时间没反应，之后highcharts重新渲染数据)
·2024-02-20 19:05

Vue练习3：组件开发3（页面切换）

预览———————————————————————————————————————————组件文档Pager组件属性属性名含义类型必填默认值current当前页码（总数据量/单页容量）Number否1total
博丽七七·2024-02-20 16:11

如何确定分库还是 分表？

分库分表分库分表使用的场景不一样：分表因为数据量比较大，导致事务执行缓慢；分库是因为单库的性能无法满足要求。分片策略1、垂直拆分水平拆分3范围分片（range）垂直水平拆分4如何解决数据查询问题？
归来少年Plus·2024-02-20 13:00

基于Python的IT设备管理系统

基于Python的IT设备管理系统近年来，越来越多的企事业单位把业务迁移到Web上完成，随之而来的是数据量的爆炸式增长。
崇赛·2024-02-20 12:05

23

3.而人工智能不同，一方面，它确实越来越准；另一方面，它的每一个建议，背后的数据量都大到了人
陈陈陈皮·2024-02-20 11:19

一年暴增1600万程序员，GitHub 2021年度报告发布：中国755万开发者排全球第二

全球7300万开发者，中国第二2021年的GitHub报告比往年的数据量更大，包括400万的代码仓库和1.2万受访开发者。报告显示，Gi
代码不难写·2024-02-20 10:04

Redis优化建议

当redis中key数据量小时到无所谓，数据量大就很糟糕了。所以我们应该避免去使用这个命令。可以去使用SCAN,来代替。3、在存到Redis之前先把你的数据
alterem·2024-02-20 10:19

TCP流量控制+拥塞控制

接收方会告知发送方其当前能够接收的数据量（即接收窗口大小），发送方根据这个信息调整自己的发送速率。流量控制：流量控制主要关注的是发送方和接收方之间
顺漆自然·2024-02-20 10:57

边缘计算的优势：低延迟与高带宽

随着数字化时代的快速发展，数据量呈爆炸式增长，传统的云计算模式已经难以满足实时、高效的数据处理需求。
准备钟·2024-02-20 10:23

排序算法---桶排序

通常会根据输入数据的特点来确定桶的个数，例如数据的分布情况、数据量等。将待排序的数据依次放入对应的桶中。可以使用映射函数将待排序数据映射到桶中，或者直
快乐至上·2024-02-20 09:39

作业帮 x TiDB丨多元化海量数据业务的支撑

随着公司产品和业务场景越来越丰富，数据量越来越大，业务方对数据库的使用需求也越来越多元化。本文介绍了作业帮对TiDB的探索历程，以及逐渐落地多个业务场景的使用实践。
TiDB_PingCAP·2024-02-20 07:46

Sharding-JDBC分库分表（一）

分表分库是什么小明是一家初创电商平台的开发人员，他负责卖家模块的功能开发，其中涉及了店铺、商品的相关业务，设计如下数据库：通过以下SQL能够获取到商品相关的店铺信息、地理区域信息：形成类似以下列表展示：随着公司业务快速发展，数据库中的数据量猛增
当时明月plus·2024-02-20 07:42
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他