大数据存储

Hadoop架构

HDFS顺应时代出现，在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，
henan程序媛·2024-09-16 00:14

浅析大数据Hadoop之YARN架构

YARN提供了资源管理和资源调度等机制1.1原HadoopMapReduce框架对于业界的大数据存储及分布式处理系统来说，Hadoop是耳熟能详的卓越开源分布式文件存储及处理框架，对于Hadoop框架的介绍在此不再累述
haotian1685·2024-09-09 22:26

【大数据Big DATA】大数据解决方案，提供完整的大数据采集，大数据存储，大数据处理，具体业务应用解决方案

二、数据存储大数据存储解决
_晓夏_·2024-09-07 13:22

大数据存储系统（4）--- 图存储系统（Graph Database）

一、图数据模型（1）图的概念G=(V，E)：V为顶点的集合，E为边的集合。有向图：边有方向无向图：边没有方向；可以用有向图表达无向图：每条无向边->2条有向边。（2）图数据存储系统存储图顶点和边，提供顶点和边的查询。二、Neo4j（1）概念Nativegraphdatabase：采用自定义的结构在本地硬盘存储图，而不是存在数据库关系型表中。开源Java实现。（2）Neo4j存储顶点：称为node边
JepsonWong·2024-08-22 02:05

大数据存储

区别：hdsf更多的与其他的计算框架如Mapreduce进行配合使用，也就是大数据存储+大数据计算。而我送负责的底层存储系统更多的是面上中、小文件，如视频、图片、文件等，显然如果直接用hd
龙哥vw·2024-08-22 02:32

【大数据存储与处理】

目录1.任务说明1.1任务描述1.2架构设计1.3数据流动图1.4运行环境2.数据生成2.1生成数据属性说明2.2数据生成代码3.数据存储3.1数据存入Hbase3.1.1hbase存储设计3.1.2数据存入hbase代码4.数据处理4.1Maven环境依赖4.2数据处理代码5.可视化展示1.任务说明1.1任务描述用户画像可以了解用户对哪些类型的短视频感兴趣，推荐用户喜欢的短视频，吸引更多的用户使
花落随风轻飘舞·2024-02-08 23:20

Mongodb GridFS——适合大小超过16MB的文件

一、概述GridFS是基于mongodb存储引擎是实现的“分布式文件系统”，底层基于mongodb存储机制，和其他本地文件系统相比，它具备大数据存储的多个优点。
0X码上链·2024-02-08 15:48

＜网络安全＞《19 安全态势感知与管理平台》

它集中收集并存储客户I环境的资产、运行状态、漏洞、安全配置、日志、流量等安全相关数据，内置大数据存储和多种智能分析引擎，融合多种情境数据和外部安全情报，有效发现网络内部的违规资产、行为、策略和威胁，以及网络外部的攻击和威胁
Ealser·2024-02-08 11:30

基于新型存储的大数据存储管理

基于新型存储的大数据存储管理金培权1,21.中国科学技术大学计算机科学与技术学院，安徽合肥2300272.中国科学院电磁空间信息重点实验室，安徽合肥230027摘要：如何高效地存储大数据并支持实时大数据处理与分析是大数据技术发展面临的首要问题
唐名威·2024-02-07 21:21

【Elasticsearch】从入门到精通

目前java常见的针对大数据存储的方案并不多，常见的就是mysql的分库分表、es存储这里偏向es存储方案，es不同的版本之间其实差异还挺大的，本篇博文版本Elasticsearch7.14.0Springboot
暮色里de白雪檐·2024-02-05 11:47

一文读懂十大数据存储加密技术

数据作为新的生产要素，其蕴含的价值日益凸显，而安全问题却愈发突出。密码技术，是实现数据安全最经济、最有效、最可靠的手段，对数据进行加密，并结合有效的密钥保护手段，可在开放环境中实现对数据的强访问控制，从而让数据共享更安全、更有价值。随着《密码法》等“一法三规一条例”的落实，各行业对数据加密技术、产品和服务的重视程度不断提升。本文聚焦十种数据存储加密技术，希望能够帮助读者快速了解数据存储加密技术的全
炼石网络·2024-02-03 11:47

去中心化云服务OORT牵手希捷科技 传统巨头助力加密基础设施

1月31日，去中心化云服务平台OORT与全球大数据存储基础设施解决方案领导者希捷科技(NASDAQ:STX)达成战略合作，作为OORT超级节点加入OORT网络，此次合作旨在加强OORT对全球计算和存储资源的整合
加速财经·2024-02-02 15:14

大数据存储与管理

大数据存储与管理本节主要讲述大数据存储与管理技术的概念和原理，包括Hadoop分布式文件系统(HDFS)和分布式数据库（Hbase）;体系结构：一、分布式文件系统HDFS1.HDFS体系结构2.HDFS
Kris林·2024-01-31 07:25

大数据存储与处理技术之Spark

1、Spark简介•Spark最初由美国加州伯克利大学（UCBerkeley）的AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序•2013年Spark加入Apache孵化器项目后发展迅猛，如今已成为Apache软件基金会最重要的分布式计算系统开源项目之一•Spark在2014年打破了Hadoop保持的基准排序纪录•Spark用十分之一的计
小嘤嘤怪学·2024-01-31 05:28

如何利用数据压缩提高高性能存储的效率？

在当前信息爆炸的时代，大数据存储和管理成为了各大企业和组织面临的重要挑战之一。高性能存储系统的效率对于数据处理和应用的性能至关重要。而数据压缩技术的应用可以在一定程度上提高高性能存储的效率。
莱卡云·2024-01-29 04:13

【机器学习笔记】1 机器学习概念

深度学习实现机器学习的一种技术机器学习的范围机器学习可以解决给定数据的预测问题，包括✓数据清洗/特征选择✓确定算法模型/参数优化✓结果预测）不能解决：x大数据存储/并行计算x做一个机器人机器学习的发展史总的来说
RIKI_1·2024-01-28 10:25

本地缓存的优缺点

访问速度快，但无法进行大数据存储本地缓存相对于分布式缓存的好处是，由于数据不需要跨网络传输，故性能更好，但是由于占用了应用进程的内存空间，如Java进程的JVM内存空间，故不能进行大数据量的数据存储。
sangsong7th·2024-01-26 17:03

Hbase笔记

HBase-1.hbase介绍ApacheHBase™是Hadoop数据库，是一个分布式，可扩展的大数据存储。当您需要对大数据进行随机，实时读/写访问时，请使用ApacheHBase™。
MFRain·2024-01-21 20:24

现如今大数据交易的主要类型

尽管现在大数据存储和挖掘技术已经逐步成熟，但数据孤岛的大量存在，仍是掣肘大数据流通和变现的主要原因之一。
发源地大数据交易平台·2024-01-21 11:59

Kylin基础教程（一）

一、Kylin介绍1.1现状Hadoop于2006年初步实现，改变了企业级的大数据存储（基于HDFS）和批处理（主要基于MR）问题，10几年过去了，数据量随着互联网的发展井喷式增长，如何高速、低延迟的分析数据成为后续面临的挑战
GOD_WAR·2024-01-20 03:43

Spark基础学习--基础介绍

首先我们回顾一下MapReduce的架构：MR基于HDFS实现大数据存储，基于Yarn做资源调度，且MR是基于进程处理数据的总结一下MR的缺点：1.MR是基于进程进行数据处理，进程相对
Yan_bigdata·2024-01-19 06:37

GPU：大数据时代的强力引擎

无论是图像识别、语音文字处理、机器翻译（MT），还是自动驾驶、虚拟现实（VR）和增强现实（AR）等行业应用，GPU在大数据存储、清洗、预处理以及大规模并行计算等方面正崭露头角，发挥着关
Imagination官方博客·2024-01-19 00:56

数据库系统原理总结之——数据管理技术的发展

第八章数据管理技术的发展第八章数据管理技术的发展一、数据库技术发展★★二、数据仓库★★★三、数据挖掘的功能★★★四、大数据的定义★★五、大数据存储★六、NoSQL系统支持的数据存储模型★★★★七、MapReduce
润小仙女·2024-01-19 00:45

天津大数据分析培训班 常见的大数据培训课程

大数据存储与计算平台：掌握大数据存
qq_38453958·2024-01-15 13:46

Redis面试系列-01

redis是一个高性能的key-value数据库，它是完全开源免费的，而且redis是一个NOSQL类型数据库，是为了解决高并发、高扩展，大数据存储等一系列的问题而产生的数据库解决方案，是一个非关系型的数据库
梦睡了·2024-01-14 00:07

使用Sqoop将数据从Hadoop导出到关系型数据库

Sqoop可以轻松地将大数据存储中的数据导出到常见的关系型数据库，如MySQL、Oracle、SQLServer等。
晓之以理的喵~~·2024-01-13 06:23

浅谈CAP+ACID+BASE理论

1.背景在大数据存储系统或者各类分布式系统，为了增加系统高可用性，往往会将同一数据存储多份副本。
～千溪杂谈(随风而逝)～·2024-01-11 16:25

「MCU」SD NAND芯片之国产新选择优秀

文章目录前言传统SD卡和可贴片SD卡传统SD卡可贴片SD卡实际使用总结前言随着目前时代的快速发展，即使是使用MCU的项目上也经常有大数据存储的需求。
ST小智·2024-01-09 08:55

TSDB时序数据库时序数据压缩解压技术浅析

对于通量愈加庞大的物联网时序大数据存储，尽管标准压缩方法还能发挥其价值，但某些场景对时序数据压缩解压技术效率、性能提出了新的需求。本文介绍了现有的时序数据压缩解压技术，分类介绍了不同算
阿里云云栖号·2024-01-06 04:44

TSDB 时序数据库时序数据压缩解压技术浅析

对于通量愈加庞大的物联网时序大数据存储，尽管标准压缩方法还能发挥其价值，但某些场景对时序数据压缩解压技术效率、性能提出了新的需求。本文介绍了现有的时序数据压缩解压技术，分类介绍了不同算
阿里云技术·2024-01-06 04:12

Redis的应用详解

一、NoSQL1、概述为了解决高并发、高可扩展、高可用、大数据存储问题而产生的数据库解决方案，就是NoSql数据库。
耳冉鹅·2024-01-02 18:42

HBase内容分享（四）：深度学习HBase

在这个新的数据格局下，分布式NoSQL数据库逐渐崭露头角，成为了解决大数据存储和处理难
之乎者也··2024-01-01 05:23

Flink 内容分享(十八)：基于Flink＋Iceberg构建企业数据湖实战

经典业务场景应用ApacheIceberg的准备工作创建和使用CatalogIcebergDDL命令IcebergSQL查询IcebergSQL写入使用DataStream读取使用DataStream写入前言随着大数据存储和处理需求的多样化
之乎者也··2023-12-31 11:21

解锁大数据世界的钥匙——Hadoop HDFS安装与使用指南

目录1、前言2、HadoopHDFS简介3、HadoopHDFS安装与配置4、HadoopHDFS使用5、结语1、前言大数据存储与处理是当今数据科学领域中最重要的任务之一。
凛鼕将至·2023-12-31 07:25

【大数据存储与处理】开卷考试总复习笔记

文章目录实验部分一、HBase的基本操作1.HBaseShell入门2.HBase创建数据库表3.HBase数据操作4.HBase删除数据库表5.HBasePython基本编程before二、HBase过滤器操作1.创建表和插入数据2.行键过滤器3.列族与列过滤器4.值过滤器5.其他过滤器6.pythonhbase过滤器编程。7.hadoop批量数据导入before三、MongoDB数据库操作0.
friklogff·2023-12-27 20:31

灵蜂BeeDI ETL

在为大数据存储和处理提供便利的同时，它对企业的数据访问、数据整合和数据质量管理都提出了更高的要求。为此，国产数据集成软件厂商北京灵蜂软件有限公司日前宣布，推出最新版本的企业级数据集
weixin_49476464·2023-12-26 23:38

Hadoop大数据实战系列文章之HDFS文件系统

本章内容：1)HDFS文件系统的特点，以及不适用的场景2)HDFS文件系统重点知识点：体系架构和数据读写流程3)关于操作HDFS文件系统的一些基本用户命令1.HDFS特点：HDFS专为解决大数据存储问题而产生的
测试帮日记·2023-12-26 21:39

3.2.1.0 发布！时间转换函数+BI 集成+视图正式上线！

近日，TDengine3.2.1.0成功发布，该版本带来了一些重大功能优化，这些优化将进一步提升TDengine的性能和功能，为用户提供更高效、安全和易用的工业大数据存储和分析解决方案。
涛思数据（TDengine）·2023-12-24 00:24

Milvus实战：构建Q&A系统及推荐系统

与传统数据库或大数据存储不同的是，这种场景下则需要选择向量数据库，是专门用来存储和查询向量的数据库，其存储的向量来自于对文本、语音、图像、视频等的向量化数据，向量数据库不仅能够完成基本的CRUD（添加、
Dreammmming Time·2023-12-22 04:32

【大数据存储与处理】第四次作业

一.简答题（共8题）1.(简答题)此题为mongodb操作题，使用在线平台或分享的虚拟机平台软件，写出命令，并把结果截图一起提交。对testdb数据库items集合进行聚合分组，然后在统计卖出的平均数量（“quantity”）。正确答案：db.items.aggregate([{KaTeXparseerror:Expected'}',got'EOF'atendofinput:group:{_id:
friklogff·2023-12-21 12:49

【大数据存储与处理】第三次作业

一.单选题（共15题）(单选题)以下哪个不是MongoDB数据库在分片时需要的节点？A.ConfigServerB.ConfigRouterC.ShardD.Mongos正确答案:B:ConfigRouter;(单选题)MongoDB的索引的数据结构为？A.双链表结构B.单链表结构C.有向无环图D.Btree结构正确答案:D:Btree结构;(单选题)MongoDB的redo日志为？A.syste
friklogff·2023-12-21 12:49

【大数据存储与处理】实验一 HBase 的基本操作

一、实验目的：1.掌握Hbase创建数据库表及删除数据库表2.掌握Hbase对数据库表数据的增、删、改、查。二、实验内容：1、题目0：进入hbaseshell2、题目1：Hbase创建数据库表创建数据库表的命令：create'表名','列族名1','列族名2','列族名N'3、题目二：HBase数据库表数据的增、删、改、查Hbase增加数据的语法格式如下：通过命令put‘表名’,‘rowKey’,
friklogff·2023-12-21 12:48

【大数据存储与处理】第二次作业

第二次作业一.多选题（共5题）(多选题)Rowkey设计的原则，下列哪些选项的描述是正确的？A.可以使用汉字B.本身是无序的C.尽量保证越短越好D.可以使用字符串正确答案:ACD(多选题)下面对HBase的描述哪些是正确的？A.是一种NoSQL数据库B.不是开源的C.是面向列的D.是分布式的正确答案:ACD(多选题)下面哪些概念是HBase框架中使用的？A.EXT3B.HDFSC.Zookeepe
friklogff·2023-12-21 12:18

【大数据存储与处理】实验二 HBase 过滤器操作

实验二HBase过滤器操作【实验目的】：1.掌握使用HBase过滤器进行全表扫描。【实验内容与要求】：在HBase中，Get和Scan操作都可以使用过滤器来设置输出的范围，类似于SQL里面的Where查询条件。使用show_filter命令可以查看当前HBase支持的过滤器类型。使用过滤器的语法格式如下所示：scan'表名'，{Filter=>”过滤器(比较运算符,’比较器’)”}Filter=>
friklogff·2023-12-21 12:07

大数据存储管理与分析【写在2014】

年初给自己定的目标：大数据存储管理与分析：在存储方案设计、模型设计、分析模型的思考。主流技术的追踪与思考。书籍的持续耕读。今天我觉得上面这个定义还是过于宽泛，且不利于自己成为T型的人才。
言值很靓·2023-12-21 09:10

大数据存储技术（4）—— NoSQL数据库

目录前言一、键值数据库Redis（一）Redis简介（二）Redis数据类型（三）Redis持久化二、列存储数据库HBase（一）简介（二）HBase数据表（三）Hbase物理存储三、文档数据库MongoDB（一）MongoDB简介（二）MongoDB基本概念四、图数据库Neo4j（一）Neo4j与知识图谱（二）Neo4j的核心概念前言NoSQL（NotOnlySQL），意即“不仅仅是SQL”。N
Francek Chen·2023-12-21 08:46

【大数据存储与处理】实验三 MongoDB 数据库操作

实验三MongoDB数据库操作【实验目的】：1.掌握MongoDB数据库的基本概念2.掌握MongoDB创建数据库3.掌握MongoDB删除数据库【实验内容与要求】：MongoDB是一个开源文档数据库，提供高性能，高可用性和自动扩展，旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB中的记录是一个文档，它是由字段和值(key=>value)对组成的数据结构。MongoDB文档与JS
friklogff·2023-12-21 06:55

【大数据存储与处理】实验五 Python 操作 MongoDB

实验五Python操作MongoDB【实验目的】：1.完成python操作mongodb。2.掌握pymongo安装配置过程。【实验内容与要求】：安装pymongo方法一：cd/home/hadoop/myshare/pymongo-3.10.1.tar.gztarzxvfpymongo-3.10.1.tar.gzmvpymongo-3.10.1/home/app/pymongocd/home/a
friklogff·2023-12-21 06:55

【大数据存储与处理】实验六 MongoDB 聚合函数 MapReduce

实验六MongoDB聚合函数MapReduce【实验目的】：1.掌握mongodb的mapreduce聚合函数。【实验内容与要求】：MongoDB有两种聚合函数：aggregate与mapreducemapreduce函数提供的是mapreduce（编程模型）的聚合操作，下面我们来看一下：第一部分：先导入数据建立集合sang_books，输入以下数据：{"_id":1,"name":"鲁迅","b
friklogff·2023-12-21 06:55

【大数据存储与处理】实验四 MongoDB 文档操作

实验四MongoDB文档操作【实验目的】：1.掌握MongoDBCRUD基本操作；2.掌握MongoDB插入文档3.掌握MongoDB更新文档4.掌握MongoDB删除文档5.掌握MongoDB删除集合。【实验内容与要求】：MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。文档的数据结构和JSON基本一样。所有存储在集合中的数据都是BSON
friklogff·2023-12-21 06:48
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他