E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
海量数据
算法通关村第十五关—
海量数据
场景下的热门算法题(白银)
海量数据
场景下的热门算法题一、从40个亿中产生一个不存在的整数 题目要求:给定一个输入文件,包含40亿个非负整数,请设计一个算法,产生一个不存在该文件中的整数,假设你有1GB的内存来完成这项任务。
孤舟一叶~
·
2024-01-15 03:17
算法通关村
算法
数据结构
java
1075:药房管理 ------ 信息学奥赛高级题库
计算机可以很好地辅助医院管理医生信息、病人信息、药品信息等
海量数据
,使工作人员能够从这些机械的工作中解放出来,将更多精力投入真正的医疗过程中,从而极大地提高了医院整体的工作效率。
小小鲁创客
·
2024-01-14 23:58
C++信息学奥赛高级题库
算法
c++
python
小小鲁创客
信息学奥赛
2023年第十四届中国数据库技术大会(DTCC2023):核心内容与学习收获(附大会核心PPT下载)
重点围绕HTAP与多模数据库应用、图数据技术、
海量数据
架构下的应用实践、云原生数据库、异构环境下的数据管理工具创新等内容展开分享和探讨。一、大会核心内容1、数据库技术的发展与趋势DTCC
百家峰会
·
2024-01-14 12:28
数据库
大数据
DTCC
数据库
学习
大数据
面试常见的场景设计题
介绍常见的场景设计题思路,答案不唯一,自由发挥文章目录什么是
海量数据
?1.海量日志数据,统计出某日访问[xx]次数最多的那个IP?
每天一个秃顶小技巧
·
2024-01-14 12:33
面试
职场和发展
开发语言
后端
统一OLAP查询平台之语义层
同时,面对
海量数据
分析如何提高查询性能?这些问题都可以通过统一OLAP查询平台来解决。一、数据从需求到加工过程中痛点从下图1-1看出数据开发的一般过程:由业务方提出各种指标的分析需求。
XianMing的博客
·
2024-01-14 11:27
olap
数据仓库
语义分析
【金猿产品展】OceanBase 原生分布式数据库——从根本上解决
海量数据
管理的问题...
OceanBase产品本项目由OceanBase投递并参与“数据猿年度金猿策划活动——2021大数据产业创新服务产品榜单及奖项”评选。数据智能产业创新服务媒体——聚焦数智·改变商业一款完全自研的原生分布式关系数据库软件,在普通硬件上实现金融级高可用,首创“三地五中心”城市级故障自动无损容灾新标准,具备卓越的水平扩展能力,全球首家通过TPC-C标准测试的分布式数据库,单集群规模超过1500节点。产品
数据猿
·
2024-01-14 07:46
数据库
分布式
大数据
java
人工智能
分布式文件系统fastDFS-设计原理
fastDFS-设计原理FastDFS是一个开源的轻量级分布式文件系统,由跟踪服务器(trackerserver)、存储服务器(storageserver)和客户端(client)三个部分组成,主要解决了
海量数据
存储问题
青哥DevOps
·
2024-01-14 06:10
图解智慧:数据可视化如何助你高效洞悉信息?
在信息爆炸的时代,数据扮演着越来越重要的角色,而数据可视化则成为解读和理解
海量数据
的得力工具。那么,数据可视化是如何帮助我们高效了解数据的呢?下面我就以可视化从业者的角度来简单聊聊这个话题。
希艾席蒂恩
·
2024-01-14 05:12
软件推荐
数据可视化
信息可视化
数据分析
数据挖掘
数据可视化
数据看板
Kafka基本介绍
1-公共性:各个程序都可以与之对接2-FIFO特性:先进先出3-具备高效的并发能力:能够承载
海量数据
4-具备一定的容错能力:比如支持重新读取消息
小希 fighting
·
2024-01-14 04:01
kafka
分布式
mysql模拟序列号生成_mysql 序列号生成办法
为什么要通过第三方生成主键:
海量数据
一般要应用分库,分表策略,如用户表分成32张,每张数据量就小了,查询速度就会加快。
weixin_39651735
·
2024-01-14 01:53
mysql模拟序列号生成
ElasticSearch简介
他可以快速的存储、搜索和分析
海量数据
。SpringBoot通过整合SpringDataElasticSearch为我们提供了非常便捷的检索功能支持。
勿念及时雨
·
2024-01-13 23:20
如何解决
海量数据
的问题
近年来,高并发、分布式以及大数据成了后端开发者绕不开的话题,招聘软件上几呼都写着有高并发、大数据等项目经历优先时。很多人实际项目往往都是CRUD,也没机会接触到这些场景啊。但是,有位伟人曾经说过:没有条件,要创造条件。既然工作中接触不到高并发和大数据,我们可以弯道超车——平时在学习的时候多关注类似的场景。本文讲述了解决大数据问题的常用手段,以及一些经典的大数据场景和解决方式。看完以后,相信咱们下次
旷野历程
·
2024-01-13 22:50
DB
海量数据
大数据
分布式搜索引擎--认识
elasticsearch的作用elasticsearch是一款非常强大的开源搜索引擎,具备非常多强大功能,可以帮助我们从
海量数据
中快速找到需要的内容。
Winter.169
·
2024-01-13 20:24
微服务
服务器
linux
数据库
大数据
image.pnghadoop主要解决
海量数据
的存储和
海量数据
的分析计算问题。
哈斯勒
·
2024-01-13 19:30
数据洞察力,驱动企业财务变革
从
海量数据
中提取有意义的见解也并不是一件易事,尤其是当数据质量和来源并不理想的时候,反而会导致更糟糕的决策。因此,数据作为企业资产需要财务部门利用技术工具和资源积极管理、充分利用。
intcube
·
2024-01-13 18:11
大数据
人工智能
全面预算管理
财务预算管理
财务变更
JUST技术:JUST高效时空索引揭秘及使用指南
传统的时空数据库管理
海量数据
时会出现性能严重下降的情况,如带有PostGIS插件的PostgresSQL。HBase等具有高可扩展性的分布式数据库又不能直接管理时空数据。
JUST极客
·
2024-01-13 10:27
redis — redis cluster集群模式下如何实现批量可重入锁?
该集群主要支持搞并发和
海量数据
处理等优势,当Redis在集群模式下运行时,它处理数据存储的方式与作为单个实例运行时不同。这是因为它应该准备好跨多个节点分发数据,从而实现水平可扩展性。
RachelHwang
·
2024-01-13 09:46
redis
redis
哈希算法
java
后端
缓存
spring
boot
还在为MySQL数据同步Elasticsearch发愁?快来试试Canal!
SpringBoot2.x实践案例(代码仓库)前言最近有一个新需求,需要实现附近或同城以及
海量数据
搜索功能,项目使用MySQL作为业务数据库,如果使用MySQL来实现上述需求,会发现存在效率低以及不支持按距离排序等问题
人人都在发奋
·
2024-01-13 08:28
后端笔记
mysql
elasticsearch
spring
boot
canal
4 种 MySQL 同步 ES 方案,yyds!
不BB,上文章目录:1.前言在实际项目开发中,我们经常将MySQL作为业务数据库,ES作为查询数据库,用来实现读写分离,缓解MySQL数据库的查询压力,应对
海量数据
的复杂查询。
架构师小秘圈
·
2024-01-13 08:26
mysql
数据库
elasticsearch
mybatis
sql
Spark-RDD详解
弹性分布式数据集合是Spark中的一种数据类型,管理spark的内存数据[1,2,3,4]spark中还有dataframe,dataset类型拓展:开发中可以通过类的形式自定以数据类型同时还提供各种计算方法弹性可以对
海量数据
根据需求分成多份
中长跑路上crush
·
2024-01-13 07:09
Spark阶段
spark
大数据
分布式
盘点大数据在游戏行业中的应用
基于玩家所产生的
海量数据
,我们怎样去获取玩家的具体画像
weixin_34378767
·
2024-01-13 06:45
大数据
人工智能
后端
企业数据中台整体介绍及建设方案:文件全文51页,附下载
数据中台是指通过数据技术,对
海量数据
进行采集、计算、存储、加工,同时统一标准和口径。数据中台把数据统一之后,会形成标准数据,再进行存储,形成大数据资产层,进而为客户提供高效服务。
方案365
·
2024-01-13 04:46
数据中台
大数据
数据治理
数据中台
大数据
数据治理
Flink
GoogleFileSystemBigTableMapReduceHDFSHBaseHadoopHadoop基于硬盘,可以处理
海量数据
;Spark基于内存,性能提高百倍,微批(500ms);Flink基于
三半俊秀
·
2024-01-13 01:53
如何进行大数据系统测试
大数据系统常见的架构形式有如下几种:Hadoop架构:HadoopDistributedFileSystem(HDFS):这是一种分布式文件系统,设计用于存储
海量数据
并允许跨多台机器进行高效访问。
Feng.Lee
·
2024-01-12 21:41
系统测试
项目管理
测试工具
大数据
五险一金的工作有哪些?什么工作有五险一金?
基于第三方电商平台
海量数据
挖掘与分析,“高省”APP通过内容制作、分享等方式,为消费者打通吃喝玩乐购全场景全业态,让消费者省心省钱省时省力,为平台和品牌方导流创造收入,拓展了商家新的销售渠道。
优惠券高省
·
2024-01-12 21:04
初识NoSql
大数据飞速的发展,然而,大数据在推动技术变革的同时,企业对
海量数据
的存储、并发访问、扩展等要求越来越高。
努力的小陈、
·
2024-01-12 20:17
NoSql
nosql
数据库
redis
手把手教你搭建一个Elasticsearch集群
(1)高可用性Elasticsearch作为一个搜索引擎,我们对它的基本要求就是存储
海量数据
并且可以在非常短的时间内查询到我们想要的信息。
Sql强
·
2024-01-12 19:54
hbase回顾
Hbase是分布式的存储
海量数据
的NoSql数据库2、场景:实时场景3、Hbase数据模型:Table:数据存储的形式列簇:Hbase的表结构,一般在创建表的时候指定rowkey:数据的主键,数据在hbase
cc708754edc4
·
2024-01-12 10:33
如何高效实现 MySQL 与 elasticsearch 的数据同步
原数据库的同步问题由于传统的mysql数据库并不擅长
海量数据
的检索,当数据量到达一定规模时(估算单表两千万左右),查询和插入的耗时会明显增加
273abf195ee7
·
2024-01-12 10:13
冰河开始对Dubbo下手了!
写在前面对冰河有一定了解的读者都知道,冰河经历了一个高并发电商系统用户从零到上亿的整个研发过程,后期也由此衍生出电商系统(商城+秒杀)和基于
海量数据
的实时精准商品推荐平台。
冰河团队
·
2024-01-12 08:52
【金猿案例展】智谱AI——基于全闪分布式并行文件存储打造高速大模型训练平台...
《中国人工智能大模型地图研究报告》显示,截至2023年5月底,国内10亿级参数规模以上基础大模型至少已经发布79个,大模型所需数据丰富,而
海量数据
需要强悍的储存
数据猿
·
2024-01-12 08:01
人工智能
分布式
LightGBM原理和调参
背景知识LightGBM(LightGradientBoostingMachine)是一个实现GBDT算法的框架,具有支持高效率的并行训练、更快的训练速度、更低的内存消耗、更好的准确率、支持分布式可以处理
海量数据
等优点
沉住气CD
·
2024-01-12 05:46
机器学习常用算法
python
机器学习
算法
人工智能
数据挖掘
MySql
海量数据
存储与优化
一、Mysql架构原理和存储机制1.体系结构2.查询缓存3.存储引擎存储引擎的分类innodb:支持事务,具有支持回滚,提交,崩溃恢复等功能,事务安全myisam:不支持事务和外键,查询速度高Memory:利用内存创建表,访问速度非常快,因为数据在内存,而且默认使用Hash索引,但是一旦关闭,数据就会丢失Archive:归档类型引擎,仅能支持insert和select语句Csv:以CSV文件进行数
softshow1026
·
2024-01-12 02:44
mysql
数据库
升腾威讯怎么恢复集群_如何做到 10T 集群数据安全备份、1GB/s 快速恢复?
如果你业务产生
海量数据
,并极度重视数据安全、备份恢复的效率,那么TiDB
李德邻
·
2024-01-12 01:51
升腾威讯怎么恢复集群
TDengine 签约西电电力
在这个过程中,电力物联网领域产生的数据采集量呈现爆炸式增长,应对
海量数据
处理需求成为推动行业改革的重要任务。近日,TDengine与西电电力达成签约合作,助力其智慧能源系统的优化发展。TD
涛思数据(TDengine)
·
2024-01-11 15:12
新闻
tdengine
大数据
时序数据库
【GBASE】南大通用GBase 8a MPP Cluster技术特点
GBase8aMPPCluster具有多样化的平台选择、与时俱进的逻辑架构、
海量数据
高效存储、
海量数据
高速加载、
海量数据
高性能分析、弹性服务器资源伸缩、完善的系统资源管理、多级别的高可用、跨数据中心的数据容灾
Linux有意思吗
·
2024-01-11 14:53
GBASE
数据库
GBase
dba
南大通用
GBase 8a MPP Cluster 数据库技术特点
GBase8aMPPCluster具有多样化的平台选择、与时俱进的逻辑架构、
海量数据
高效存储、
海量数据
高速加载、
海量数据
高性能分析、弹性服务器资源伸缩、完善的系统资源管理、多级别的高可用、跨数据中心的数据容灾
生命之源;
·
2024-01-11 14:50
gbase
GBase
8a
数据库
服务器
java
GBASE南大通用分析型MPP数据库GBase8a的安全特性(1)
GBase南大通用自主研发的GBase8aMPPCluster产品(简称GBase8a)是大数据时代成熟的分析型MPP数据库,具有多样化的平台选择、与时俱进的逻辑架构、
海量数据
高效存储、
海量数据
高速加载
GBASE数据库
·
2024-01-11 14:17
数据库
GBASE南大通用
GBASE
海量数据
处理数据结构之Hash与布隆过滤器
前言随着网络和大数据时代的到来,我们如何从海量的数据中找到我们需要的数据就成为计算机技术中不可获取的一门技术,特别是近年来抖音,快手等热门短视频的兴起,我们如何设计算法来从大量的视频中获取当前最热门的视频信息呢,这就是我们今天即将谈到的Hash和布隆过滤器。以下是Hash和布隆过滤器的一些常见应用:使用word文档时,如何判断某个单词是否拼写正确?网络爬虫程序时,怎么让它不去爬相同的url页面(将
abcd552191868
·
2024-01-11 12:11
哈希算法
布隆过滤器
分布式哈希算法
海量数据查询下
平衡二叉树
GBASE南大通用分析型MPP数据库GBase8a的安全特性(2)
GBase南大通用自主研发的GBase8aMPPCluster产品(简称GBase8a)是大数据时代成熟的分析型MPP数据库,具有多样化的平台选择、与时俱进的逻辑架构、
海量数据
高效存储、
海量数据
高速加载
GBASE数据库
·
2024-01-11 11:06
数据库
GBASE南大通用
GBASE
SeaTunnel 学习笔记
seatunnel.apache.org/文档地址:https://interestinglab.github.io/seatunnel-docs/#/1.1SeaTunnel是什么SeaTunnel是一个简单易用,高性能,能够应对
海量数据
的数据处理产品
十二同学啊
·
2024-01-11 08:39
数据离线同步框架
学习
大数据
AI与5G、IDC等成为数字经济的重要基础设施
通过机器学习和深度学习算法,AI可以自动处理
海量数据
,分析出有价值的信息和模式,为企业提供精准的决策支持。例如,在金融领域,AI可
广州硅基
·
2024-01-11 05:21
人工智能
【大数据架构】日志采集方案对比
整体架构日志采集端FlumeFlume的设计宗旨是向Hadoop集群批量导入基于事件的
海量数据
。系统中最核心的角色是agent,Flume采集系统就是由一个个agent所连接起来形成。
话数Science
·
2024-01-11 04:03
大数据
面试
大数据
面试
架构
大模型学习之书生·浦语大模型4——基于Xtuner大模型微调实战
基于Xtuner大模型微调实战Fintune简介
海量数据
训练的basemodel指令微调InstructedLLM增量预训练微调增量数据不需要问题,只需要答案,只需要陈述类的数据指令跟随微调指定角色指定问题给对应的
uncle_ll
·
2024-01-11 00:01
#
书生·浦语大模型
学习
LLM
AIGC
Xtuner
SpringCloud微服务技术栈(黑马)学习笔记DAY5
初识elasticsearchelasticsearch是一款非常强大的开源搜索引擎,可以帮助我们从
海量数据
中快速找到需要的内容。
小王要努力)
·
2024-01-10 12:47
微服务学习笔记
java
elasticsearch
微服务
spring
JVM入门
性能优化,重构,保证平台性能和稳定性根据业务场景和需求,决定技术方向,技术选型能够独立架构与设计
海量数据
下的高并发分布式解决方案核心功能的架构与代码编写分析系统瓶颈,解决各种疑难杂症,性能调优等为什么要学习
编程之心
·
2024-01-10 10:23
尚硅谷
java
数据挖掘在制造业中的预测与优化应用
一、引言数据挖掘是一种从大量数据中提取有价值信息的过程,它通过统计学、机器学习和人工智能等方法,发现并分析隐藏在
海量数据
背后的模式、趋势和关联性
白鹅�
·
2024-01-10 07:12
数据挖掘
人工智能
iPaaS
数环通
深入理解奥运会大数据架构方案
背景某网作为某电视台在互联网上的大型门户入口,某一年成为某奥运会中国大陆地区的特权转播商,独家全程直播了某奥运会全部的赛事,积累了庞大稳定的用户群,这些用户在使用各类服务过程中产生了大量数据,对这些
海量数据
进行分析与挖掘
TPEngineer
·
2024-01-10 01:58
sqoop
数据仓库
大数据
《Hadoop大数据技术原理与运用》知识点总结
答:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合具有
海量数据
规模、快速数据流转、多样数据类型一级价值密度四大特征。
呆小黎
·
2024-01-09 22:47
大数据
hadoop
数据库
分布式
第一章 大数据Hadoop学习笔记(一)
1Byte=8bit1K=1024Byte1MB=1024K1G=1024M1T=1024G1P=1024T二、大数据主要解决
海量数据
的采集、存储和分析计算问题。
Thanks.
·
2024-01-09 22:17
hadoop
学习
大数据
上一页
6
7
8
9
10
11
12
13
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他