大数据存储

2020-12-03《Presto分布式SQL查询引擎——kkb笔记复习》

Hadoop提供了大数据存储与计算的一整套解
爱学大树锯·2023-09-20 08:54

快速搭建：对象存储平台MinIO

适用于大数据存储和用于构建私有云的场景。作为一个对象存储服务，它基于ApacheLicense开源协议，兼容AmazonS3云存储接口。适合存储非结构化数据，如图片，音频，视频，日志等。
玩转测试开发·2023-09-13 04:16

2021-01-27

short16位(2字节)，最大数据存储量是65536，数据范围是-32768~32767之间。
海夕_c048·2023-09-06 08:51

Apache Flink 课外阅读

ApacheFlinkFlink概述首先大数据存储和分析引擎Hadoop自2006年诞生。谈及Hadoop大家自然不会对MapReduce感到陌生，它将计算分为两个阶段，分别为Map和Reduce。
麦田里的守望者··2023-09-03 07:30

腾讯T4讲解：大数据日知录架构与算法（内含书籍，需要自取）

本书从架构与算法角度全面梳理了大数据存储与处理的相关技术。今天把这本书的大纲目录整理出来，希望大家会喜欢。
Python大数据工程师·2023-09-03 00:37

nodejs中如何使用Redis

Redis介绍：Redis是一个开源的内存数据结构存储器，一般可以用于数据库、缓存、消息代理等，我们常在项目中用redis解决高并发、高可用、高可扩展、大数据存储等问题；它本质上是一个NoSql（非关系型数据库
new code Boy·2023-09-01 17:28

Apache Beam实战指南 | 手把手教你玩转大数据存储HdfsIO

关于ApacheBeam实战指南系列文章随着大数据2.0时代悄然到来，大数据从简单的批处理扩展到了实时处理、流处理、交互式查询和机器学习应用。近年来涌现出诸多大数据应用组件，如HBase、Hive、Kafka、Spark、Flink等。开发者经常要用到不同的技术、框架、API、开发语言和SDK来应对复杂应用的开发，这大大增加了选择合适工具和框架的难度，开发者想要将所有的大数据组件熟练运用几乎是一项
yoku酱·2023-09-01 04:40

爱奇艺数据湖实战 - 基于数据湖的日志平台架构演进

数据湖技术近几年快速发展，其采用了统一大数据存储底座和存算分离的架构，提供了一种适合于日志这种大量写入、少量查询场景的解决方案。因此，Ve
爱奇艺技术产品团队·2023-08-29 03:27

在云原生时代，构建高效的大数据存储与分析平台

文章目录1.**选择适当的数据存储技术：**2.**采用分布式架构：**3.**数据分区和索引：**4.**采用列式存储：**5.**数据压缩和编码：**6.**使用缓存技术：**7.**数据分片和复制：**8.**自动化运维和监控：**9.**数据安全和权限控制：**10.**实时处理和流式分析：**11.**数据质量和清洗：**12.**持续优化和改进：**个人主页：程序员小侯CSDN新晋作者
程序员 小侯·2023-08-28 23:41

什么是数据湖？全面解读数据湖与数据仓库的区别

从数据仓库（DataWarehouse），到如今如火如荼的数据湖（DataLake），都被机构广泛应用于大数据存储，但从结构和处理方式上都有很大的区别。
麦聪聊数据·2023-08-28 22:05

【MCU】SD NAND芯片之国产新选择

文章目录前言传统SD卡和可贴片SD卡传统SD卡可贴片SD卡实际使用总结前言随着目前时代的快速发展，即使是使用MCU的项目上也经常有大数据存储的需求。
墨染 锦年·2023-08-28 21:41

大数据框架-Hadoop

这些数据集合通常需要使用先进的计算和分析技术才能够处理和分析，因此大数据技术包括了大数据存储、大数据处理和大数据分析等方面的技术和工具。
学习才能变得强大·2023-08-28 06:02

下一代存储解决方案：湖仓一体

文章首发地址湖仓一体是将数据湖和数据仓库相结合的一种数据架构，它可以同时满足大数据存储和传统数据仓库的需求。
Walter Sun·2023-08-27 17:12

Hbase-技术文档-spring-boot整合使用hbase--简单操作增删改查--提供封装高可用的模版类

HBase是一个分布式、可扩展的大数据存储系统，它基于Google的Bigtable模型，并使用了Hadoop分布式文件系统作为底层存储。HBase客户端库是用于与HBase数据库进行交互的工具库，
一单成·2023-08-27 12:47

HBase--技术文档--基本概念--《快速扫盲》

官网ApacheHBase–ApacheHBase™Home阿里云hbase云数据库HBase_大数据存储_订单风控_数据库-阿里云云数据库HBase-阿里云帮助中心基本概念HBase是一种分布式、可扩展
一单成·2023-08-25 04:00

哪些人适合参加大数据培训班？

大数据存储、大数据分析、人工智能等开发人才需求旺盛。
泰迪智能科技·2023-08-22 21:04

大数据技术与九大应用领域

大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用（大数据检索、大数据可视化、大数据应用、大数据安全等）。
change_8b6a·2023-08-20 09:14

大数据存储技术选型

大数据存储技术包括以下几种主要技术：分布式文件系统（DistributedFileSystems）：代表技术：HadoopDistributedFileSystem(HDFS)、GoogleFileSystem
冷酷无情小帅哥·2023-08-19 03:41

数字化来了，该如何选择大数据存储？主流架构MPP与Hadoop的对比

关注：工众号；数元斋随着云计算、大数据产业的不断发展，传统使用单机数据库进行数据存储的模式已经不能满足业界日益增长需求，海量数据处理成为一个关键问题。目前主流的海量数据处理架构分为两种:1基于传统数据库及数据仓库所衍生出的MPP(MassivelyParallelProcessing)架构;2基于Hadoop并行计算框架的分布式架构。传统关系型数据库随着数据量增长性能急剧下降，业界提出一种横向扩展
少晗·2023-08-19 02:34

【报名】开源大数据技术线上Meetup

本次Meetup由白玉兰开源与示说网联合主办，众多社区大力支持，特邀约大数据领域的前沿技术专家，就大数据存储的关键技术、挑战和当前应用展开交流讨论，阵容强大、内容全面。
第四范式开发者社区·2023-08-16 17:07

Redis那些事-简介与安装

NoSql是非关系型数据库，全称Notonlysql，NoSql为了解决高并发、高可用、高可扩展，大数据存储等一系列问题而产生的数据库解决方案，而Redis就是其中一种。
Dane_404·2023-08-13 21:44

数据结构与算法（大数据存储）------bitmap位图详解

概述王者有一段时间没玩了，待再次上线的时候，TM（天美）发来了一封邮件，亲爱的召唤师，欢迎回归王者荣耀，你已有88日没有登录过游戏，这是为你精心准备的回归大礼包，礼包是一些体验卡和砖石等。but作为一名程序猿，让楼主更在意的是88这个数字的统计方式。我们知道王者荣耀用户数很多，假设有一亿用户，如何来记录用户的登录信息，如何来查询活跃用户（如一周内登录三次以上的），最常规的做法就是建一张用户登录信息
All_In_gzx_cc·2023-08-13 15:03

java面试题全覆盖

short：16位，int：32位，最大数据存储容量是2的32次方减1，数据范围是负的2的31次方到正的2的31次方减1。
小钟不想敲代码·2023-08-10 03:14

Hadoop分布式文件系统——HDFS原理简介

特点是分布式以及大数据存储。具有高容
Brave_man_O·2023-08-05 13:08

ES复杂语句查询group by 探讨

项目背景现在公司内部使用es作为大数据存储分析库，当数据量过大的时候，通过代码可能查询时间过长或者程序宕机时不能及时查询数据进行反馈。
海的辽阔·2023-08-04 10:33

Kudu-基本架构、模式设计、Docker部署

文章目录简介介绍Kudu出现的背景Kudu使用场景OLTP与OLAP行式存储与列式存储与其他存储对比KuduVS关系型数据库KuduVS常见大数据存储对比总结Kudu基本架构架构Kudu中的相关概念和机制主键热点问题分区架构补充
迷雾总会解·2023-08-04 04:54

短视频矩阵源码/系统搭建/源码

大数据存储和处理能力：短视频矩阵系统需要处理大量的视频数据，因此需要具备大数据存储和处理的能力。人工智能技术应用能力：短视频矩阵系统需要具备人工智能技术，如视频分析、内容识别和推荐等。
云罗团团yx898978·2023-07-29 17:11

拿下40w字节跳动offer！这份C/C++项目包...炸了。

包含：一、大数据存储云盘系统（QT）项目技术内容：云盘架构设计与实现网盘注册/登录模块项目正则表达式应用文件数据上传模块common文件设
简说Linux·2023-07-29 10:16

大数据处理架构详解：Lambda架构、Kappa架构、流批一体、Dataflow模型、实时数仓

本专栏目录结构和参考文献请见大数据理论体系姊妹篇《分布式数据模型详解：OldSQL=＞NoSQL=＞NewSQL》《分布式计算模型详解：MapReduce、数据流、P2P、RPC、Agent》《大数据存储架构详解
Shockang·2023-07-28 15:34

利用读时建模等数据分析能力，实现网络安全态势感知的落地

摘要：本文提出一种基于鸿鹄数据平台的网络安全态势感知系统，系统借助鸿鹄数据平台读时建模、时序处理、数据搜索等高效灵活的超大数据存储和分析处理能力，支持海量大数据存储、分类、统计到数据分析、关联、预测、判断的网络安全态势感知能力需求
炎凰数据·2023-07-27 06:40

如何利用大数据进行价值兑现才是正经事(虎嗅网)

大数据是个产业，广义上指的是在这个信息过载时代围绕着海量信息产生、传播、收集、处理、创造价值的整个产品链条；狭义上一般指大数据存储与处理、数据挖掘的相关产业。
玻璃球LLL·2023-07-27 00:28

Hadoop (一) Hadoop学习

Hadoop软件Hadoop是Apache软件基金会开源的一款开源Java软件，用户编写简单的编程模型实现跨机器对海量数据分布式计算处理的框架Hadoop的核心组件有HadoopHDFS：分布式文件系统大数据存储
C0oOder·2023-07-25 07:52

Hadoop大数据平台入门——HDFS和MapReduce

所以今天来学习一下大数据存储和处理。随着数据的不断变大，数据的处理就出现了瓶颈：存储容量，读写速率，计算效率等等。
yoku酱·2023-07-23 14:39

如何在大背景下降本增效，构建超大规模存储架构？

无论是离线大数据存储，还是在线KV类存储，都服务了越来越多的数据应用场景。
字节跳动云原生计算·2023-07-22 04:39

Hadoop学习-3-HDFS简介及Python操作HDFS

HDFS(分布式文件系统)HDFS简介分布式文件系统解决大数据存储的问题，横跨多台计算机上的存储系统是一种能够在普通硬件上运行的分布式文件系统，高容错，适用于具有大数据集的应用程序提供统一的访问接口一次写入
数说兴趣·2023-07-21 12:35

为什么要搭建数据仓库

1.整合数据首先，搭建数据仓库可以帮助企业整合所有数据源，包括关系型数据库、大数据存储、半结构化和无结构化数据，以一个统一的视角来管理各种数据。通过这种
qingyunliushuiyu·2023-07-21 01:36

期末复习-大数据技术原理与应用

大数据的发展进程大数据的4V概念大数据的计算模式云计算HadoopHadoop的生态系统Hadoop安装和使用大数据存储和管理分布式文件系统DFSHDFS数据块计算集群中元数据需要的内存HBaseshell
coffee_mao·2023-07-21 00:27

开源项目介绍 ｜Apache Ozone-分布式大数据通用存储

2021腾讯犀牛鸟开源人才培养计划开源项目介绍滑至文末报名参与开源人才培养计划提交项目ProposalApacheOzone项目介绍标签：大数据存储技术栈：Java标签：大数据存储技术栈：JavaApacheOzone
tencent__open·2023-07-20 23:52

安徽华云安荣获合肥市大数据企业认定

据悉，合肥市大数据企业是合肥市为扶持和鼓励大数据企业发展，积极推进大数据融合创新发展所设定的，是指从事大数据存储、采集管理、分析挖掘、呈现应用、传统产业大数据融合，具备核心自主知识产权，并以此为基础开展经营活动的企业
唐天下文化·2023-07-19 17:32

物联网大数据存储利器IoTDB介绍

非物联网场景下的大数据应用通常是从业务库比如关系数据库同步数据到数仓，然后进行离线分析处理和展示。而在实时场景中，实时数据通常借助中间件消息系统如Kafka等转储，然后通过实时处理引擎如Spark，Flink等处理和展示。目前的技术之所以能够胜任上述场景，一是传统的关系数据库系统足够强大，能够支撑高并发读写操作，二是网络、硬件等基础设施足够实惠且软件系统集群化足够便利，然而在物联网场景下，上述便利
咬定青松·2023-07-18 10:55

Iceberg 初见

Iceberg是一个开源的大数据存储和计算平台，它的设计目标是为了解决传统数据仓库在处理大规模数据时的性能问题。本文将介绍Iceberg的基本概念、架构和特点，并讨论它在大数据领域的应用场景。
GP0000968523·2023-07-18 01:25

关于项目初期，数据量小的内容推荐的实现方法

但是，对于小公司或者说是小项目，在想法还未真正落地就设计大数据存储，推荐算法和一系列大型架构的方案，显然是不符合业
北桥苏·2023-07-18 00:30

《大数据存储与管理》课程作业（MongoDB）

课程名称：大数据存储与管理专业班级：大数据技术2103班学生姓名：学号：任课教师：高山完成时间：2023.4.231应用场景假设我是胡润百富榜的后台数据库管理人员，负责增删查改富豪信息，对富豪信息做一些统计
小关不摆烂·2023-07-17 18:51

大数据存储架构详解：数据仓库、数据集市、数据湖、数据网格、湖仓一体

前言本文隶属于专栏《大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见大数据理论体系思维导图数据仓库数据仓库是一个面向主题的（SubjectOriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（TimeVariant）的数据集合。数据仓库的主要目标是提供一致、可靠、易于访问的数据
Shockang·2023-07-16 17:44

大数据：赋能人类新型的燃料（超详细）

1.3大数据的三大特点二、大数据的价值2.1大数据的意义2.2大数据的价值三、大数据的应用3.1财经行业3.2能源与公共服务3.3科学研究3.4营销推广3.5医疗保健四、大数据技术4.1大数据采集4.2大数据存储
叶秋∵·2023-07-15 07:58

数据价值挖掘利器！阿里云实时数仓AnalyticDB PG版新一代计算引擎Odyssey技术解析

作为大数据存储、在线分析的重要基础系统，分析型数据库（OLAP）为数据价值的在线化提供重要的技术平台。
阿里云数据库·2023-07-14 14:43

分布式数据库HBase，它到底是怎么组成的？

Hadoop中的HDFS解决了数据存储的问题，而HBase就是在HDFS上构建，因此Hbase既能解决大数据存储的问题，又能解决数据实时查询的问题。是什么HBase是一个高可靠、高性能
熊小哥~·2023-07-14 08:49

人工智能前景展望

主要包含大数据采集，大数据存储和大数据分析三个方向。其代表性岗位分别是：pytho
爱睡觉的树·2023-07-14 08:40

再见以前说再见 大数据存储复习

创建一个数据库，数据库在HDFS上的默认存储路径是：/user/hive/warehouse/*.db.创建数据库：createdatabaseifnotexistsschool;.过滤显示查询的数据库：showdatabaseslike‘db_hive*’;.显示数据库信息：descdatabaseschool;.显示数据库详细信息，extendeddescdatabaseextendedsch
亖嘁·2023-06-23 02:43

大牛书单 | 大数据存储方向好书分享

导语：读书是一生的功课，技术人通过读书实现自我提升，学习优秀知识沉淀。TEG书知道本期特邀腾讯云数仓数据湖产品负责人堵俊平、腾讯云数据库负责人林晓斌、腾讯TEG云架构平台部数据块中心高级工程师王银虎，腾讯TEG计费平台部账户中心专家工程师潘安群为大家带来大数据方向好书推荐。来看看技术大牛在读什么，收藏优质内容，愿本期书单助您更专业。堵俊平，腾讯云数仓数据湖产品负责人，T4专家工程师，腾讯开源联盟（
dbLenis·2023-06-22 03:41
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他