E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
亿级数据量技术探索
缓存组件Caffeine的使用
caffeine是一个高性能的缓存组件,在需要缓存数据,但
数据量
不算太大,不想引入redis的时候,caffeine就是一个不错的选择。可以把caffeine理解为一个简单的redis。
月月大王
·
2024-02-05 08:32
Java
#
工具类
缓存
基于Python的招聘网站爬虫及可视化的设计与实现
互联网的广泛应用使网络的
数据量
呈指数增长,让人们得到了更新、更完整的海量信息的同时,也使得人们在提取自己最想要的信息,过滤掉对自己无用的信息时变得不那么容易,对于应聘者也是如此。
叫我:松哥
·
2024-02-05 05:21
Python系统
python
爬虫
信息可视化
mysql临时表简述
概述业务中经常会对一些表进行聚合组装信息,然后筛选,有些表比较
数据量
大的时候,会对拖慢查询;常用的mybatis的分页查询,在查询时会先count一下所有数据,然后再limit分页,即使分页也会有深度分页问题
好大的月亮
·
2024-02-05 05:48
Mysql
mysql
数据库
TiDB单次事务
数据量
大会报错
我将mysql的user表用mysqldump导出来,然后插入TiDB,多次调用insertintouserselect*fromuser;再几十万行的时候就报错了,报事务过大。mysql>insertintouserselect*fromuser;QueryOK,262144rowsaffected(25.93sec)Records:262144Duplicates:0Warnings:0mys
wgz7747147820
·
2024-02-05 01:50
tidb
tidb
机器学习——分级聚类法介绍及其Python实现
1.2聚类到底是什么1.3聚类与分类区别1.4相似性与距离聚类1.5相似性的测度特征相似度测度与聚类准则2.1特征相似度测度2.2聚类准则分级聚类法聚类分析概念1.1为什么聚类之所以要聚类,是因为当今的
数据量
剧增
AI小小白
·
2024-02-04 22:29
聚类算法
人工智能
机器学习
聚类
算法
高效解决MySQL千万级大表数据清理难题的策略
高效解决MySQL千万级大表数据清理难题的策略随着时间的推移和业务的发展,大型数据库中的
数据量
可能会迅速增长,这对数据库的性能和存储资源带来了挑战。因此,定期进行数据清理是关键的步骤。
爱编程的鱼
·
2024-02-04 21:08
Android
SDK
上手指南
MySQL
mysql
android
数据库
计算机网络_1.5 计算机网络的性能指标
1.5计算机网络的性能指标一、总览二、常用的八个计算机网络性能指标1、速率(1)
数据量
(2)速率(3)
数据量
与速率中K、M、G、T的数值辨析(4)【练习1】计算发送数据块的所需时间2、带宽(1)带宽在模拟信号系统和计算机网络中的不同意义
冰岛看极光_92655
·
2024-02-04 20:57
计算机网络
计算机网络
软件系统架构黄金法则16:海量结构化数据的扩展架构法则
随着
数据量
的不断增长,如何高效地存储、处理和分析这些数据已经成为了一个重要的挑战。特别是对于那些需要处理海量结构化数据的企业和组织来说,如何设计和实现一个高效的数据扩展架构已经成为了一个关键问题。
禅与计算机程序设计艺术
·
2024-02-04 19:21
计算
大数据
人工智能
语言模型
AI
LLM
Java
Python
架构设计
Agent
RPA
Cannot convert value of type ‘java.lang.String‘ to required type ‘java.sql.Driver‘ for property
提示:这里填写问题的分析:例如:Handler发送消息有两种方式,分别是Handler.obtainMessage()和Handler.sendMessage(),其中obtainMessage方式当
数据量
过大时
worker618
·
2024-02-04 18:27
报错处理
#
Error
java
Jellyfish进行Kmer评估基因组大小
我们对一个新物种进行基因组denovo测序时,一般需要先对该物种进行基因组survey,估计基因组大小、杂合率、重复序列比例、GC含量和倍性等信息,这些结果会直接影响我们后续测序的
数据量
及估计组装难度。
吕强强学生信
·
2024-02-04 18:45
Mybatis优化:使用batch模式实现批量插入/更新
SqlSessionFactoryBuilderSqlSessionFactorySqlSessionMybatis开启Batch模式Batch模式效率高的原因参考文档Mybatis中有两种批量插入的方式:动态SQL使用foreach标签进行批量插入使用Mybatis的batch模式进行批量插入相比之下,
数据量
较大的场景中后者效率更高
敲代码的哈士奇
·
2024-02-04 17:31
数据库
mybatis
Redis核心技术与实战【学习笔记】 - 19.Pika:基于SSD实现大容量“Redis”
但是这样做的话,如果要保存的数据总量很大,但是每个实例保存的
数据量
较小的话,就会导致集群的实例规模增加,这会让集群的运维管理变的复杂,增加开销。
陈建111
·
2024-02-04 16:16
Redis核心技术学习
redis
pika
基于Redis6.0 tracking客户端缓存实现本地缓存
自己搭建了个小博客,本文与这篇文章同步:基于Redis6.0tracking客户端缓存实现本地缓存1.需求背景有一种业务场景:数据变更频率低、
数据量
不大,实时性要求低,但是查询频率很高。
水瓶座的鬼才
·
2024-02-04 16:27
springboot
java
缓存
java
spring
boot
4 种分布式 Session 的解决方案
35620501/article/details/95047642cookie和session的区别和联系cookie是本地客户端用来存储少量数据信息的,保存在客户端,用户能够很容易的获取,安全性不高,存储的
数据量
小
码农小光
·
2024-02-04 14:42
#阿里P8整理出SQL笔记:收获不止SOL优化抓住SQL的本质
当系统
数据量
、并发访问量上去后,不良SQL就会拖垮整个系统,我们
吃井不忘挖水人呢
·
2024-02-04 13:46
vue中一次性加载万条数据优化方案
item}}------{{key}}exportdefault{data(){return{//处理后的数据list:[],//请求的数据data:[],//数据总条数total:10000,//每次加载
数据量
Zeng
·
2024-02-04 13:08
vue.js
javascript
ecmascript
基于Flink的实时数仓建设
实时计算初期二.实时数仓建设三.Lambda架构的实时数仓四.Kappa架构的实时数仓五.流批结合的实时数仓一、实时计算初期虽然实时计算在最近几年才火起来,但是在早期也有部分公司有实时计算的需求,但是
数据量
比较少
园陌
·
2024-02-04 12:48
Elasticsearch的使用场景深入详解
Elasticsearch的使用场景深入详解在当今数据驱动的时代,随着
数据量
的爆炸式增长,对于快速、高效的数据检索和分析的需求越来越迫切。
Dxy1239310216
·
2024-02-04 12:35
Elasticsearch
elasticsearch
大数据
搜索引擎
2019-04-12课堂笔记
b.能处理高并发访问3.集群特点a.
数据量
大、用户多b.7*24小时持续服务c.高并发d.用户分布广泛,网络情况复杂二、基础优化1.最小化原则:(1)安装软件包最小化(2)权限最小化(3)目录文件权限最小化
1340010b7af0
·
2024-02-04 09:44
磁盘的结构
每个扇区的
数据量
相同(如1KB)。由上图可以看出,靠最内侧的磁道上的扇区面积最小,由于每个扇区的
数据量
相同,因此其数据密度最大。
HRADPX
·
2024-02-04 09:33
2018-07-18
回忆几个月前的业内专业预测,全国范围内最终通过备案的P2P平台
数据量
不会超过800家——当
kenan806
·
2024-02-04 07:21
【大数据面试题】001 Flink 的 Checkpoint 原理
Checkpoint机制触发Checkpoint通过设置时间或
数据量
阈值来触发Checkpoint生成Barrier屏障,写入快照Flink触发Checkpoint后,会从数据源Source算子开始分发
Jiweilai1
·
2024-02-04 07:13
一天一道面试题
大数据
flink
在sql优化的过程中,有没有面试说出后比较新颖的案例,而不是老一套的八股文?
列左右,某个事件有order_id属性,现在有个需求,要取行为事件同一个order_id最新的那条数据平常的做法:开窗,按order_idpartitionby,按时间orderby排序取序号为1如果
数据量
大的时候
大数据左右手
·
2024-02-04 07:42
面试
大数据
sql
面试
Prompt Tuning 和 Delta Tuning 针对预训练语言模型进行微调
PromptTuning和DeltaTuning是两种针对预训练语言模型进行微调的方法,它们旨在提高微调的效率和减少所需的训练
数据量
。下面分别介绍这两种方法以及它们之间的区别。
人生万事须自为,跬步江山即寥廓。
·
2024-02-04 06:30
机器学习人工智能
人工智能
机器学习
深度学习
雪花算法及Java实现
一、全局唯一ID介绍1、背景现如今越来越多的公司都在用分布式、微服务,那么对应的就会针对不同的服务进行数据库拆分,然后当
数据量
上来的时候也会进行分表,那么随之而来的就是分表以后id的问题。
雪顶猫的鳄
·
2024-02-04 06:37
java
算法
java
开发语言
2018-9-10晨间日记
3.去图书馆还了书还借了几本书改进:统计好还有哪些
数据量
不够还有完成阅读计划习惯养成:1.就把骑车当成锻炼吧。2.英语也完成啦!不完成就要被扣钱啦周目标·完成进度进度条还没有
张小路24
·
2024-02-04 06:28
巧用RoaringBitMap处理海量数据内存diff问题
背景目前,在商品圈选投场景,每个标签id都会根据规则/指标绑定一定
数据量
的商品集,在圈选规则条件变动或者定时任务触发时会进行商品集的刷新,新增符合规则的商品,删除不符合规则的商品。
得物技术
·
2024-02-04 04:05
得物技术
hbase
java
大数据
用BitMap结构实现快速取差集
在
数据量
较小时直接进行集合运算取差集即可,但是但基线数据和来源
数据量
达百万甚至千万时则计算缓慢,出现延时,因此需要找到其它方式方法。基线数据的定义:基线数据是一组带时分的时序数据,时
super.aladdin
·
2024-02-04 04:05
java
java
后端产品经理笔记-数据传输和写入
前言在后端
数据量
大起来之后,大部分的工作都是在‘玩数据’。就像一捧沙子,左手换到右手,右手指缝间分流而出,再由另一双手接住。
产品参赵
·
2024-02-04 02:55
TiDB架构设计和实践:高性能分布式数据库解决方案
正文:###1.引言随着互联网规模的不断扩大和
数据量
的快速增长,传统的关系型数据库在面对大规模数据处理和高并发请求时面临着挑战。为了解决这些问题,新一代的分布式数据库应运而生。
007php007
·
2024-02-04 00:57
服务器
运维
后端
tidb
分布式
数据库
系统架构
postman
java
从MySQL到TiDB:兼容性全解析
MySQL在高并发和大
数据量
场景下,单个实例的扩展性有限。
超越不平凡
·
2024-02-04 00:25
tidb
分布式数据库
TiDB与MySQL的差异
微信小程序 -分页加载-onReachBottom上拉触底加载
data:{limit:11,//显示
数据量
list:'',page:1,//当前页load:true,loading:false,//加载动画的显示},onReachBottom:function()
端木安玉
·
2024-02-03 23:28
Echarts 问题解决 —— 图表数据过多导致浏览器卡顿
图表数据过多导致浏览器卡顿场景再现:使用Vue+Echarts实现数据可视化点击
数据量
大的组件时,Echarts渲染比较快但切换其他组件统计图时,会非常卡原因分析:切换其他组件时,Echarts在当前页面被销毁
小前端
·
2024-02-03 23:29
echarts
信息可视化
前端
BOSS 直聘:日增10亿数据的历史库,如何通过OceanBase节省70%存储成本?
本文谈到的BOSS直聘的业务场景主要是通过数据库对招聘过程中的聊天记录信息进行存储,
数据量
极大,且每天都有5亿到10亿的增量数据。
OceanBase数据库官方博客
·
2024-02-03 23:17
oceanbase
Ubuntu-Docker下的MySQL服务搭建与外联(持续更新)
部署背景:手边频繁变换的linux操作环境导致需要不停的配置基本的MySQL等开发/
技术探索
环境,docker自身强大的可移植性很好的解决了这个问题!
lifejump
·
2024-02-03 22:01
linux基础服务环境搭建
docker
容器
运维
ubuntu
mysql
mybatis&Mysql分页查询,以及SQL_CALC_FOUND_ROWS与count(*) 性能对比
物理分页只返回部分数据占用内存小,能够获取数据库最新的状态,实施性比较强,一般适用于
数据量
比较大,数据更新比较频繁的场景。逻辑分页:一次性把全部的数据取出来,通过程序进行筛选数据。
zzhongcy
·
2024-02-03 19:41
Java
SpringBoot
Mybatis
&
ORM
mybatis
mysql
数据库
C++面试-数据库
如果要提供提交、回滚、崩溃恢复能力的事务安全(ACID兼容)能力,并要求实现并发控制,InnoDB是一个好的选择如果数据表主要用来插入和查询记录,则MyISAM引擎能提供较高的处理效率如果只是临时存放数据,
数据量
不大
zad287
·
2024-02-03 19:37
c++
面试
数据库
tensorRt加速tensorflow模型推理(inception V3为例)
随着各公司在各自领域
数据量
的积累,以及深度学习的强拟合特点,各个公司都会训练出属于自己的模型,那么问题就来了,你有模型,我也有模型,那还比什么?对,就是速度,谁的速度快,谁就厉害。
鱼香土豆丝
·
2024-02-03 18:56
软件系统架构黄金法则17:图形数据存储架构法则
1.背景介绍随着互联网的快速发展,
数据量
呈现出爆炸式增长,尤其是图形数据。图形数据在社交网络、推荐系统、生物信息学等领域具有广泛的应用。为了更好地存储和处理这些数据,图形数据存储架构应运而生。
禅与计算机程序设计艺术
·
2024-02-03 15:47
AI大模型应用开发实战案例详解
大数据
人工智能
语言模型
AI
LLM
Java
Python
架构设计
Agent
RPA
深度解读NVMe计算存储协议-1
但是,随着
数据量
的不断增长
古猫先生
·
2024-02-03 15:49
SSD
机器学习
人工智能
服务器
算法
Sharding-JDBC之RangeShardingAlgorithm(范围分片算法)
配置4.2、yml配置五、范围分片算法六、实现6.1、实体层6.2、持久层6.3、服务层6.4、测试类6.4.1、保存订单数据6.4.2、根据时间范围查询订单一、简介 在我之前的文章里,实际工作中,
数据量
都不是很好去预估
嘉禾嘉宁papa
·
2024-02-03 14:47
ShardingJDBC
Sharding-JDBC
范围分片算法
按月分表
SqlSever查询某个表的列名称、说明、备注、注释,类型等信息
背景:在工程项目中,有时需要对数据查询进行展示,常规的表格展示虽然能解决大部分问题;但在
数据量
比较大的情况就如果一次完整的展示信息,势必会造成数据加载中增加耗时,影响数据的展示效果;常规的解决方案都是在数据加载中采取分页的模式
A_nanda
·
2024-02-03 14:35
sql
数据库
2019最火爆的项目平台----项目学院
4)数据透明:通过大
数据量
化筛选,一键筛选到适合自己的投资项目5)推广项目:自己正在从事项目包括未开盘项目,可以选择上传项目,把自已的项目连同自己的联系
happy艺汇
·
2024-02-03 13:59
hadoop使用公平调度器
数据量
不大,做离线一个晚上就能轻松调度完,那时候使用的hadoop自带的调度器,容量调度器。但默认配置没有改,就会发生什么!root主leaf下面只有default。
向他一样rap
·
2024-02-03 13:22
kylin
hadoop
hadoop
大数据
分布式
Redis持久化方式
RDB持久化适合用于数据不太频繁且
数据量
不大的场景。AOF持久化:将每个写命令追加到文件末尾,以记录每个写操作对应的参数和结果。当Redis重启时,会通过重新执行A
MartinYangHJ
·
2024-02-03 13:17
Redis
redis
数据库
缓存
POI读写大
数据量
excel,解决超过几万行而导致内存溢出的问题
1.Excel2003与Excel2007两个版本的最大行数和列数不同,2003版最大行数是65536行,最大列数是256列,2007版及以后的版本最大行数是1048576行,最大列数是16384列。excel2003是以二进制的方式存储,这种格式不易被其他软件读取使用;而excel2007采用了基于XML的ooxml开放文档标准,ooxml使用XML和ZIP技术结合进行文件存储,XML是一个基于
Swordfall
·
2024-02-03 12:35
【openpyxl】openpyxl获取合并单元格的值和其他操作
前言: 因为涉及业务
数据量
比较大,想到了自动化处理,所以自己写了一些表格的操作方法批量处理数据。
抬眼已是半生
·
2024-02-03 12:35
笔记
python
开发语言
mongodb数据库索引介绍与优化选择
到了2000年随着互联网的发展,
数据量
呈现爆发式增长。海量数据的诞生,传统的关系型数据库在应对大规模,
c+猿辅导
·
2024-02-03 08:23
数据库学习从入门到精通
数据库
mongodb
nosql
数据毒化:保护数据安全的预防策略
近年来,生成并输入AI系统的
数据量
迅速增加。攻击者正趁着
数据量
的大幅增加,利用这一趋势污染训练数据集的输入,导致模型输出不正确或带有恶意结果。
运维有小邓@
·
2024-02-03 08:06
阿里云
Jetpack:ViewModel
有的时候一个Activity里面嵌套了多个fragment,但是这些fragment里面用的是同一个数据,为了同步这些数据,我们需要用接口来传参,很麻烦(2)屏幕旋转,会销毁重建,如果数据类型比较简单,同时
数据量
也不大
勇敢地追
·
2024-02-03 07:00
上一页
4
5
6
7
8
9
10
11
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他