大数据量断连

MySQL导入导出优化

1.关闭自动提交事务在进行大数据量导入时，可以关闭MySQL的自动提交事务功能，以减少日志写入和锁的争用。
信息化战略·2023-10-30 14:52

一文教你玩转 Apache Doris 分区分桶新功能｜新版本揭秘

过去的单机数据库在大数据量下往往面临存储和IO的限制，而分布式数据库则通过数据划分的规则，将数据打散分布至不同的机器或节点上，形成分布式存储，因此突破了单机存储空间和IO的瓶颈、使库表数据量可以无限拓展
hf200012·2023-10-30 06:58

消息中间件介绍、典型使用场景、以及使用原则

一般做大数据吞吐的管道我们现在的用途就是负责在各个idc之间通信3、量大对数据不是百分之百保证的，会有数据丢失，不是百分百送达（amq和rmq等有重发机制，而kafka没有）；在吞吐量有提升，在这方面就得有牺牲，所以kafka适合大数据量流转
小雁子学Python·2023-10-30 00:30

ARMv8 Cortex-a 编程向导手册学习_5.AArch64 下的浮点与 NEON

ARMv7与ARMv8都支持NEON指令集，这些指令集可以显著的加速大数据量的重复操作，这对于多媒体编码很重要。AArch64下，NEON使用32个1
TI是路，通向智驾的坑·2023-10-29 23:52

csv文件转码

最近项目使用到大数据量(100M~1G)的csv数据，在导入数据库的时候遇到文件乱码的情况，原因是csv导出格式为GBK，数据库编码格式为utf-8，可在linux/mac下用命令行转换iconv-fgbk-tUTF
尼洛1994·2023-10-29 12:36

Netty实战-实现自己的通讯框架

Netty的NIO通信框架，提供高性能的异步通信能力；提供消息的编解码框架，可以实现POJO的序列化和反序列化；消息内容的防篡改机制；提供基于IP地址的白名单接入认证机制；链路的有效性校验机制；链路的断连重连机制
Firechou·2023-10-29 07:09

2021-05-10 07丨链表（下）：如何轻松写出正确的链表代码？

理解指针或引用的含义把变量复制给指针，实际上是让指针指向变量的内存地址；相当于java的应用；技巧二：警惕指针丢失和内存泄漏删除链表节点，如c语言，需要主动释放内存；技巧三：利用哨兵简化实现难度合理利用哨兵可以减少判断，大数据量下可以提高性能
hhcccchh·2023-10-29 02:51

一个简单高效低内存的.NET操作Excel开源框架 - MiniExcel

前言日常工作中经常与数据打交道的同学肯定会难以避免对Excel的一些数据操作如导入、导出等，但是当对一些大数据量操作Excel时经常会遇到一个常见的问题内存溢出。
时光追逐者·2023-10-28 18:19

工具类——Java导出EXCEL2（设置样式、加载并填充图片、加载指定模板、大数据量设置窗口大小与刷新频率）

文章目录一、POI设置样式二、POI导出图片1.解释XSSFClientAnchor三、加载指定模板导出四、Workbook、XSSFWorkbook与SXSSFWorkbook1.大数据量导出1）根据数据量选择
陈年_H·2023-10-28 11:54

Redis学习笔记

Nosql，泛指非关系型数据库：特点：易拓展：数据之间无关系；大数据量，高性能：
XiaoqiTAT·2023-10-28 10:39

java函数式编程

大数据量下处理集合效率高代码可读性高减少嵌套Lambda表达式04.Lambda表达式入门P5-00:11Lambda是JDK8中的语法糖，它可以对某些匿名内部类的写法进行简化。它是函数式编
Liguangyang01·2023-10-28 06:24

消息中间件介绍、典型使用场景、以及使用原则

一般做大数据吞吐的管道我们现在的用途就是负责在各个idc之间通信3、量大对数据不是百分之百保证的，会有数据丢失，不是百分百送达（amq和rmq等有重发机制，而kafka没有）；在吞吐量有提升，在这方面就得有牺牲，所以kafka适合大数据量流转
Java阿七·2023-10-27 17:18

Mysql索引优化

MySQL在300万条记录左右性能开始逐渐下降，虽然官方文档说500~800w记录，所以大数据量建立索引是非常有必要的。
轨之迹空·2023-10-27 09:48

NoSQL数据库优缺点

大数据量，高性能，快速读写NoSQL数据库都具有非常高的读写性能，尤其在大数据量下，同样表现优秀。这得益于它的无关系性，数据库的结构简单。
一个不会写代码的小黑·2023-10-27 05:58

让我头疼一下午的Excel合并单元格

但是，凡事都有例外，截止今天，excel导出我遇到的主要是两大类问题1、大数据量的excel数据，比如几十万条甚至更多的数据导出2、因为excel中内容的问题，导致导出后的excel不能直接打开，报错“
Jackie_Zheng·2023-10-27 05:49

2021-04-14笔试1

请列举你了解的操作系统window、unix，linux，苹果3.请简要说明一下数组和链表的区别1）数组便于查询和修改，但是不方便新增和删除2）链表适合新增和删除，但是不适合查询，根据业务情况使用合适的数据结构和算法是在大数据量和高并发时必须要考虑的问题
嘿_叫我小王·2023-10-27 04:23

【现场问题】批量新建工作流的问题

批量建工作流的优势和劣势关于批量建工作流的优势缺点关于批量建工作流的优势不需要手动，直接一键建立，同时节点的批量建立也成功了缺点1、机器识别，一次性成形，没有办法手动的去干涉这东西2、大数据量的表需要单独处理的
吃素的哈士奇·2023-10-26 23:40

大数据之LibrA数据库常见术语（七）

OLAPOnlineAnalyticalProcessing，联机分析处理，是数据仓库系统最主要的应用，专门设计用于支持复杂的分析操作，侧重对决策人员和高层管理人员的决策支持，可以根据分析人员的要求快速、灵活地进行大数据量的复杂查询处理
红烧小肥杨·2023-10-26 19:52

mianshiyan资料汇总(整理后)

的堆栈内存分配js垃圾回收机制，v8的垃圾回收机制，v8引擎为啥快前端路由hash和history的区别前端攻击反爬虫加密跨域cookiesessionjwt相关Js闭包实际的用途原型链防抖与节流的区别大数据量的解决方案
飘然离去·2023-10-26 16:31

ElasticSearch数据实时性原理分析与持久化

问题复现现在有这么一种业务场景，需要将海量的数据通过Hive进行数据清洗并统计，最后落库到ES中，因为需要支持大数据量的分词，模糊搜索，所以考虑用ES而不直接放到Mysql中，前端需要直接对数据进行交互
国服冰·2023-10-26 12:17

由一次线上故障来理解下 TCP 三握、四挥 & Java 堆栈分析到源码的探秘

本文导读：生产故障场景介绍TCP建连三次握手过程TCP断连四次挥手过程结合Java堆栈剖析源码再从堆栈中找到"罪魁祸首"问题优化方案总结1、生产故障场景介绍业务简介：该服务主要是提供对外的代理接口，大部分接口都会调用第三方接口
Java爱好者社区·2023-10-26 06:38

Java POI多选下拉框

给自己打个广告，最近弄了个Excel的工具，支持下拉框，级联下拉框，隐藏Sheet，多线程大数据量导出，生产者消费者模式读取，代码大部分都有注释，有兴趣的朋友可以看看，觉得不错可以帮我弄个star什么的解决方案自定义
Anntly·2023-10-26 04:13

为了进阿里需要做哪些准备（个人项目篇）

目录个人项目一、一站到底1、如何设计排行榜2、如何解决重复答题3、一个题目被多个人抢答4、如何管理昵称重复5、如何管理出题定时任务6：如何解决客户端断连二、秒杀项目技术选型1、如何解决超卖？
程序员应该如何思维·2023-10-26 03:24

还不懂什么是Redis？一文详解Redis，入门学习看这一篇就够了，看完你就会了

在我们日常的开发中，无不都是使用数据库来进行数据的存储，由于一般的系统任务中通常不会存在高并发的情况，所以这样看起来并没有什么问题，可是一旦涉及大数据量的需求，比如一些商品抢购的情景，或者是主页访问量瞬间较大的时候
Java糖糖·2023-10-25 21:10

交换机基础知识部分

背板带宽是交换机处理器或接口卡和数据总线所能吞吐的最大数据量背板带宽标志了交换机总的数据交换能力当交换机所有端口容量乘以端口数量之和的2倍小于背板带宽时，能实现全双工无阻赛交换，证明交换机具有发挥最大数据交换性能的条件
千鸟月读·2023-10-25 18:28

云数据库及RDS数据库介绍

3.阿里云RDS数据库云数据库RDSMySQL版基于阿里巴巴的MySQL源码分支，经过双十一高并发、大数据量的考验，拥有优
huaqianzkh·2023-10-25 09:00

Hadoop核心机制详细解析

在现实的实例中，通过Hadoop，可以轻易的将多台普通的或低性能的服务器组合成分布式的运算-存储集群，提供大数据量的存储和处理能力。
Amao_come_on·2023-10-25 09:18

【Element-ui】el-table大数据量渲染卡顿问题

1、场景描述在项目开发中，遇到在表格中一次性加载完的需求，且加载数量不少，有几百几千条，并且每条都可能有自己的下拉框，输入框来做编辑功能，此时普通的el-table肯定会导致浏览器卡死，那么怎么办呢？2、解决方案当然很多童鞋肯定会想到利用插件，其实我本人是不咋喜欢插件的，能自己写就自己写，毕竟插件可能也有bug或者啥的，万一出现了，作者不去改咋办，所以我总结了下面几个解决方法提示：本篇博客基本都用
林大大哟·2023-10-25 02:37

RabbitMQ和kafka的区别

kafka：用于处于活跃的流式数据，大数据量的数据处理上。
南有乔木_779f·2023-10-25 02:52

Java-TCP通信（实现多发多收、群聊功能），BS通信源码

欢迎点赞+收藏+留言只要你跑得快，风声自然会盖过闲言碎语一、TCP通信TCP是一种面向连接、安全、可靠、的传输数据的协议传输前，采用“三次握手”方式，点对点通信，是可靠的在连接中可进行大数据量的传输TCP
Redemption8·2023-10-25 01:48

MySQL 索引

索引结构大部分存储引擎都支持B+树索引红黑树在大数据量情况下，层级较深，检索速度慢。
yfdddong·2023-10-24 22:19

SQL优化

SQL优化1）select子句中避免使用*，尽量应该根据业务需求按字段进行查询2）尽量多使用commit如对大数据量的分段批量提交释放了资源，减轻了服务器压力3）在写sql语句的话，尽量保持每次查询的sql
老贺~·2023-10-24 20:42

【Redis】持久化：RDB和AOF机制详解

通常的解决方案是从后端数据库恢复这些数据，但后端数据库有性能瓶颈，如果是大数据量的恢复，1、会对数据库带来巨大的压
小颜-·2023-10-24 07:33

解决：Win11蓝牙鼠标经常断连问题（亲测有效）

解决：Win11蓝牙鼠标经常断连问题问题描述解决方法具体步骤打开蓝牙设置打开设备管理器找到蓝牙设备问题描述蓝牙鼠标连接后，经常会断连，要关闭蓝牙，重新打开蓝牙后才能再次连接。
FriendshipT·2023-10-24 07:27

Regression Model 得分与数据的特征

现在比较boston数据的运行结果可以看出，线性回归模型y如果d取得高的得分需要：1.大数据量2.高维度polynormial(degree=2)(13:105)3.GridSearchCV4.scaler
DT数据说·2023-10-23 18:26

11 | NoSQL：在高并发场景下，数据库和NoSQL如何做到互补？

2.增加它在存储上的扩展能力，从而应对大数据量的存储需求。之前学习的读写分离和分库分表就是从这两方面出发，改造传统的关系型数据库的，但是仍有一些问题无法解决。比如，在微博项目中，关系的数据量大到
浥羽醉悠扬·2023-10-23 12:23

Android | 判断连接的网络是否可用以及是否连接网络

一、查看当前手机的网络状态，需要获取ConnectionManagerConnectionManager方式/***判断当前是否有网络连接,但是如果该连接的网络无法上网，也会返回true*@parammContext*@return*/publicstaticbooleanisNetConnection(ContextmContext){if(mContext!=null){Connectivit
maiduoduo·2023-10-23 11:30

解决服务器长时间跑代码出现自动断连的问题（推荐使用screen）

目录一、前言二、使用方法1、安装screen2、创建新的会话3、跑代码4、验证（选做）5、关闭会话三、注意一、前言在好不容易跑通了代码的前提下愉快的跑了15个小时结果刚刚出现了自动断开连接服务器的情况出现尽管程序还在进行中导师推荐了使用nohup和screen两种方法解决此问题但是我查询了nohup的用法发现好像大多数是需要root权限但是在服务器上跑学生没有root权限又不想周末打扰老师所以直接
ac不知深·2023-10-23 06:51

铅笔手书白居易《潜别离》

深笼夜锁独栖鸟，利剑春断连理枝。河水虽浊有清日，乌头虽黑有白时。惟有潜离与暗别，彼此甘心无后期。图片发自App
张晓芳_7f22·2023-10-22 22:28

【2024秋招】2023-9-14 最右后端开发线下一面

下面我会详细地描述滑动窗口的概念：窗口的大小：滑动窗口的大小（以字节为单位）表示发送方在等待确认之前可以发送的最大数据量。
xxx_520s·2023-10-22 16:22

性能测试详细测试方案

随着业务系统在生产状态下日趋稳定、成熟，系统的性能问题也逐步成为了我们关注的焦点：每天大数据量的“冲击”，系统能稳定在什么样的性能水平，面临行业公司业务增加时，系统能否经受住“考验”，这些问题需要通过一个完整的性能测试来给出答案
小敢敢不憨a·2023-10-22 01:03

java大数据量导出csv文件并压缩

java大数据量导出csv文件并压缩java使用POI大数据量导出excel一般会存在以下几个问题：一次从数据库查询出这么大数据，查询缓慢查询数据量过大时会内存溢出解决方案：分页查询数据，比如一次查询5w
易佰菜鸟·2023-10-21 20:44

数据产品经理

数据分析利器—Excel相信每个人都会用一些Excel的简单功能，可是，作为一名数据产品经理，仅仅掌握这些功能是不能满足大数据量分析需求的。首先你要掌
世界很大又很小·2023-10-21 17:03

简单优化mysql数据库

1、选取最适用的字段属性MySQL可以很好的支持大数据量的存取，但是一般说来，数据库中的表越小，在它上面执行的查询也就会越快。
初幕·2023-10-21 12:29

python雪花算法生成id_自增ID算法snowflake(雪花)

自增ID的方法虽然比较适合大数据量的场景，当时由于自增ID是按照顺序增加的，数据记录都是可以根据ID号进行推测出来，对于一些数据敏感的场景，不建议采用最近在一篇文章中看到P2P网站处理
weixin_39647412·2023-10-21 02:21

大数据量时Mysql的优化要点

转http://www.open-open.com/lib/view/open1430901016179.html如今随着互联网的发展，数据的量级也是撑指数的增长，从GB到TB到PB。对数据的各种操作也是愈加的困难，传统的关系性数据库已经无法满足快速查询与插入数据的需求。这个时候NoSQL的出现暂时解决了这一危机。它通过降低数据的安全性，减少对事务的支持，减少对复杂查询的支持，来获取性能上的提升。
yanzinice·2023-10-20 20:10

深入探索Sharding JDBC：分库分表的利器

随着互联网应用的不断发展和用户量的不断增加，传统的数据库在应对高并发和大数据量的场景下面临着巨大的挑战。为了解决这一问题，分库分表成为了一个非常流行的方案。
冲浪中台·2023-10-20 19:48

javascript 基于deepdiff 大数据量时的 数据的历史记录操作 撤销 重做

最近做的项目中,遇到了需要记录某个数据对象的历史变更记录,需要实现数据变更的撤销和重做比如数据a初始为a={}历史记录1a={b:0}历史记录2a={b:0,c:[]}历史记录3a={b:1,c:[1,2]}最简单的思路就是用一个数据记录所有的历史记录根据一个历史记录索引取出历史记录重新赋值给a这种方式在数据量比较小的时候,可以考虑使用,但是一旦数据量比较大,很容易就把浏览器内存撑爆另外数据的变动
非常帅气的昵称吧·2023-10-20 10:42

教程 | 使用 Apache SeaTunnel 同步本地文件到阿里云 OSS

一直以来，大数据量一直是爆炸性增长，每天几十TB的数据增量已经非常常见，但云存储相对来说还是不便宜的。
SeaTunnel·2023-10-20 07:03

优化技巧

尤其是做管理后台的时候，经常会有一些超大数据量的table，或者一个含有n多数据的图表，这种数据量很大的东西使用起来最明显的感受就是卡。
宋小菜_菜菜·2023-10-20 07:45
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他