大数据存储

《从0开始学大数据》之性能优化介绍

背景我们知道，现在最主流的大数据技术几乎都是开源的产品，不管是Hadoop这样的大数据存储与计算产品，还是Hive、SparkSQL这样的大数据仓库，又或者Storm、Flink这样的大数据流计算产品，
我叫CJJ·2023-02-04 17:50

大数据存储技术路线

大数据特征（4V+1O）数据量大（volume）：第一个特征是数据量大，包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。类型繁多（Variety）：第二个特征是种类和来源多样化。包括结构化、半结构化和非结构化数据，具体表现为网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。价值密度低（V
小明今晚加班·2023-01-30 18:53

湖仓一体（Lakehouse）是什么？

本专栏目录结构和参考文献请见大数据理论体系WHAT湖仓一体（Lakehouse）是一种新的大数据存储架构，结合了数据仓库和数据湖的最佳功能。关于数据仓库请参考我的这篇博客——数据仓库是什么？
Shockang·2023-01-30 07:56

HDFS简介

大数据也是如此，这些年来，各种计算框架、各种算法、各种应用场景不断推陈出新，让人眼花缭乱，但是大数据存储的王者依然是HDF
f192469fc2d5·2023-01-29 23:06

工业数据采集：从OPC读写设备实时数据

只要有了数据，我们就可以可以做数据可视化展示，工业大数据存储，数据挖掘，等等。0.简介0.jpg对于自动化程度低的工厂，我们可以通过外接传感器完成数据的自动收集。
gaoshine·2023-01-28 00:12

元数据性能大比拼：HDFS vs S3 vs JuiceFS

目前主流的大数据存储方案中，HDFS是使用最为广泛的方案，已经过十几年的沉淀和积累；以AmazonS3为代表的对
·2023-01-27 16:58

杂碎集（更新中）

Java整理版本差别java8并发Java之美大数据目前大数据存储查询方案大概可以分为：HBase系、Dremel系、预聚合系、Lucene系ELK倒排索引不是由记录来确定属性值，而是由属性值来确定记录的位置
逆水处行舟·2023-01-26 03:09

大数据管理与分析技术课堂笔记（一）——大数据存储策略：虚拟化存储+分布式存储（块存储+分布式文件存储+对象存储+表存储）

3.4大数据存储策略3.4.1虚拟化存储虚拟化技术：通过映射或抽象的方法屏蔽物理设备复杂性，增加一个管理层面，激活一种资源并使之更易于透明控制。
叔远·2023-01-22 19:10

大数据技术原理与应用——大数据存储与管理

大数据技术原理与应用——大数据存储与管理1.分布式文件系统（1）计算机集群结构集群的概念集群是指将多台服务器整合在一起，每台服务器都实现相同的业务，做相同的事情。
linjiayina·2023-01-22 19:07

大数据挖掘与大数据开发学徒班

大数据存储、大数据分析、人工智能等开发人才需求旺盛。大数据课程按照企业实际岗位需求进行编排设计，所有内容皆以企业实际项目作为贯穿，课程主要源为近10年来的实际企业服务项目，内容贴近实际、更具针对性。
泰迪智能科技·2023-01-16 20:25

【机器学习】分布式机器学习原理及实战(Pyspark)

自2003年Google公布了3篇大数据奠基性论文，为大数据存储及分布式处理的核心问题提供了思路：非结构化文件分布式存储（GFS）、分布式计算（MapReduce）及结构化数据存储（BigT
风度78·2023-01-11 19:15

HBase学习笔记

HBase一、概述HBase是一个依据Hadoop的数据库，它可靠、分布式适合结构化大数据存储，是用来存储大数据集的存储系统，建立在Hadoop的HDFS的基础之上。
LvJinYang·2023-01-11 15:12

如何用机器学习方法进行数据建模？（文末福利）

本书系统地介绍大数据涵盖的内容，包括数据与大数据概述、大数据感知与获取、大数据存储与管理、大数据分析、大数据处理、大数据治理、大数据安全与隐私等。
AI科技大本营·2023-01-06 11:32

数据可视化基础

目录一、视觉感知1.低级和高级视觉2.格式塔原则3.颜色理论二、数据准备1.数据类型：2.数据采集与预处理3.大数据存储与管理4.数据库5.大数据计算框架6.数据挖掘7.数据类型可以分为4大类：三、数据可视化基本框架
刘新源870·2022-12-31 07:40

极客数据分析实战训练营

拉勾教育数据分析实战训练营目录：第一阶段数据分析师思维逻辑第二阶段拒绝工具人、表哥表姐、SQLBoy标签第三阶段掌握BI商业智能，数据可视化高人一等第四阶段核心-1V1职业规划与指导第五阶段大数据存储与查询利器
itshare688·2022-12-28 20:24

Java面试题大全

short：16位，int：32位，最大数据存储容量是2的32次方减1，数据范围是负的2的31次方到正的2的31次方减1。
Spring-wpr·2022-12-26 09:52

java面试题大全必备神器

short：16位，int：32位，最大数据存储容量是2的32次方减1，数据范围是负的2的31次方到正的2的31次方减1。
coderyeah·2022-12-26 09:52

最全面java面试题集

short：16位，int：32位，最大数据存储容量是2的32次方减1，数据范围是负的2的31次方到正的2的31次方减1。
月明千古间·2022-12-26 09:20

大数据领域机器学习或推荐系统数据集大全

数据集汇总一、免费大数据存储库的网站1、深度学习数据集收集网站http://deeplearning.net/datasets/**收集大量的各深度学习相关的数据集，但并不是所有开源的数据集都能在上面找到相关信息
不愿做秃头男孩·2022-12-24 18:22

【大数据存储技术】「#3」将数据从Hive导入到MySQL

文章目录准备工作安装Hive、MySQL和SqoopHive预操作启动MySQL、hadoop、hive创建临时表inner_user_log和inner_user_info使用Sqoop将数据从Hive导入MySQL启动hadoop集群、MySQL服务将前面生成的临时表数据从Hive导入到MySQL中查看MySQL中user_log或user_info表中的数据准备工作安装Hive、MySQL和
小手の冰凉·2022-12-20 08:34

【大数据处理技术】第二篇 大数据存储与管理（暂停更新）

文章目录第3章分布式文件系统HDFS3.1分布式文件系统3.1.1计算机集群结构3.1.2分布式文件系统的结构3.1.3分布式文件系统的设计需求3.2HDFS3.2.1HDFS简介及相关概念3.2.2HDFS体系结构3.2.3HDFS存储原理3.2.4HDFS数据读写过程3.2.5HDFS编程实践第4章分布式数据库HBase4.1HBase概述4.1.1HBase简介4.2HBase数据模型4.2
小手の冰凉·2022-12-20 08:03

【大数据存储技术】第7章 MongoDB 的原理和使用

文章目录第7章MongoDB的原理和使用7.1概述7.2MongoDB技术原理7.2.1文档和集合7.2.2分片机制和集群架构7.2.3CouchDB简介7.3安装配置MongoDB7.3.1单机环境部署7.3.2MOngoDB配置文件7.4基本命令行操作7.4.1Shell环境7.4.2数据库和集合操作7.4.3基本增删改查操作7.4.4聚合和管道7.4.5索引操作7.4.6Gridfs的原理和
小手の冰凉·2022-12-20 08:33

COS数据湖存储引领大数据存储和自动驾驶存储发展趋势

COS数据湖存储引领大数据存储和自动驾驶存储发展趋势数据是企业的核心资产，随着数据规模的快速增长，企业对存储功能和性能的要求也在不断增加。
·2022-12-15 12:10

大数据存储基石——HDFS

简介HDFS产生背景随着数据量越来越大，在一个本地文件系统里边已经存不下所有的数据，需要将数据分配到更多的操作系统和文件管理系统，但是不方便管理和维护，所以需要一个系统来统一管理这些存储了所有数据的机器，这个系统也就是分布式文件管理系统，HDFS只是分布式文件管理系统的一种。![image.png](https://img-blog.csdnimg.cn/img_convert/827e11ae5
小光芒·2022-12-11 14:36

人工智能风险分析技术研究进展

人工智能风险分析技术研究进展陈群1,2,陈肇强1,2,侯博议1,2,王丽娟1,2,罗雨晨1,2,李战怀1,21西北工业大学计算机学院，陕西西安7101292西北工业大学大数据存储与管理工业和信息化部重点实验室
唐名威·2022-12-10 21:09

数据库分库分表及MySQL主从复制

一、为什么要分库分表解决大数据存储时数据访问性能，具体来说就是解决超大容量问题和性能问题。
Ysming88·2022-12-08 08:53

大数据平台及挖掘调研

一、大数据平台百度数智平台基于百度大数据多年研发及实战经验，为物联网行业客户打造大数据平台，提供例如大数据存储、大数据分析、大数据挖掘等行业落地方案，在数据智能方面推动工业制造业、智慧城市、智慧能源、智慧车辆
kong_qingyun123·2022-12-07 20:43

轨迹云全新发布 ：外业车辆、人员、设备轨迹高效管理

而要实现轨迹的管理应用，需要具备定位、大数据存储、空间检索、轨迹纠偏算法、道路数据体系，导航路线计算等多方面能力的才能实现，而这对于开发者而言却是很难达到的。
腾讯位置服务·2022-12-06 19:12

大数据存储与管理

一、分布式文件系统1.分布式文件系统定义：分布式文件系统(DistributedFileSystem,DFS)是指文件系统管理的物理存储资源不仅存储在本地节点上，还可以通过网络连接存储在非本地节点上。分布式文件系统相较于本地存储的优势：低成本易扩展：横向扩展强可靠高可用用户无需关心数据是存储在哪个节点上，可以如同使用本地文件系统一样存储和管理分布式文件系统里的数据。评价一个分布式文件系统，通常基于
hellooo77·2022-12-04 12:39

【大数据】flink 读取文件数据写入ElasticSearch

前言es是大数据存储的必备中间件之一，通过flink可以读取来自日志文件，kafka等外部数据源的数据，然后写入到es中，本篇将通过实例演示下完整的操作过程；一、前置准备1、提前搭建并开启es服务（本文使用
逆风飞翔的小叔·2022-11-28 13:35

一文读懂十大数据存储加密技术

数据作为新的生产要素，其蕴含的价值日益凸显，而安全问题却愈发突出。密码技术，是实现数据安全最经济、最有效、最可靠的手段，对数据进行加密，并结合有效的密钥保护手段，可在开放环境中实现对数据的强访问控制，从而让数据共享更安全、更有价值。随着《密码法》等“一法三规一条例”的落实，各行业对数据加密技术、产品和服务的重视程度不断提升。本文聚焦十种数据存储加密技术，希望能够帮助读者快速了解数据存储加密技术的全
炼石网络·2022-11-28 04:13

大数据开发：数据仓库分层设计

关于大数据存储，这是实现大数据计算的前提，只有稳固的大数据存储，才能为后续的数据处理环节，提供稳定的系统支持。而大数据存储，涉及到数据仓库技术。
加米谷大数据张老师·2022-11-24 23:17

大数据技术原理与应用 第二篇 大数据存储与管理（一） 笔记

目录第三章分布式文件系统HDFS一、分布式文件系统1.1计算机集群基本架构1.2分布式文件系统结构二、HDFS2.1HDFS特点2.2HDFS的体系结构2.3HDFS的存储原理第四章、分布式数据库HBase一、HBase和Hadoop1.1HBase与Hadoop生态的关系1.2Hbase和HDFS二、Hbase特点2.1HBase与传统关系数据库2.2HBase数据模型2.3Hbase视图三、H
月望曦·2022-11-23 14:28

大数据技术原理与应用 第二篇 大数据存储与管理（二） 笔记

目录第三章、NoSQL数据库一、NoSQL数据库特点1.1NoSQL数据库与传统关系数据库1.2混合架构二、NoSQL的四大类型三、NoSQL的三大基石3.1CAP3.2BASE3.3对于HBase数据库来讲第四章、云数据库一、云数据库的特点二、UMP架构2.1UMP概述2.2UMP系统架构2.3UMP系统功能第三章、NoSQL数据库传统关系型数据库：以完善的关系代数理论作为基础，可以支持结构化数
月望曦·2022-11-23 14:28

2021数博会即将开幕 东芝存储展台抢先看

同时,携手中科曙光/新华三/宝德/华鲲振宇/融科联创/长江计算多家行业合作伙伴联合展出大数据存储解决方案。数博会是首个专注于大数据领域的综合博览会。今年大会主题是“数据创造价值创新驱动未来
科技新芯·2022-11-22 16:08

UIT创新科携手Intel 在中国市场共促增长

近日UIT创新科(创新科存储技术有限公司，简称：UIT创新科)和Intel签署了战略增长互助协议，融合彼此产品和渠道优势，大幅提升其创新型产品在大数据存储与计算市场的占有率。
weixin_34107955·2022-11-22 15:22

AcWingday2(高精度)

高精度1.大数据存储数组：012345678数据：987654321这样把高位存在后面是因为在进行运算的时候可能会产生进位，所以放在后面方便，要是放在前面的话产生进位存储的时候需要把后面的都往后移麻烦。
honglili_ya·2022-11-22 02:55

分布式机器学习原理及实战(Pyspark)

自2003年Google公布了3篇大数据奠基性论文，为大数据存储及分布式处理的核心问题提供了思路：非结构化文件分布式存储（GFS）、分布式计算（MapReduce）及结构化数据存储（BigT
算法进阶·2022-11-20 18:42

云计算和大数据的区别与关系

云计算和大数据的关系：云计算是基础，没有云计算，无法实现大数据存储与计算。大数据是应用，没有大数据，云计算就缺少了目标与价值。两者都需要人工智能的参与，人工智能是互联网信息系统有序化后的一种商业智能
普通网友·2022-11-20 16:09

元数据性能大比拼：HDFS vs S3 vs JuiceFS

目前主流的大数据存储方案中，HDFS是使用最为广泛的方案，已经过十几年的沉淀和积累；以AmazonS3为代表的对
Juicedata·2022-11-17 10:36

元数据性能大比拼：HDFS vs S3 vs JuiceFS

目前主流的大数据存储方案中，HDFS是使用最为广泛的方案，已经过十几年的沉淀和积累；以AmazonS3为代表的对
Juicedata·2022-11-17 10:05

大数据学习

大数据学习概述云计算高性能计算大数据存储云存储大数据分析聚类分析、分类分析大数据采集大数据预处理大数据数据库设计SparkSQL数据仓库HiveHadoop基础大数据批处理大数据实时处理概述全球移动数据流量年增长率维持在
Loren_Wang·2022-11-15 23:26

【大数据存储技术】实验2：MongoDB数据库的部署和操作

目录1.实现MongoDB单实例的部署1.1安装MongoDB（Ubuntu版本：22.04LTS）1.1.1查看Ubuntu版本1.1.2使用Ubuntu命令安装1.2启动MongoDB，验证状态1.3测试MongoDB1.4启动MongoDBShell2.使用Shell命令访问MongoDB数据库2.1数据库操作2.1.1数据库：查看、使用和删除数据库2.1.2集合：查看、创建和删除集合2.1
小手の冰凉·2022-11-09 09:33

【大数据存储技术】第8章 其他NoSQL数据库

文章目录第8章其他NoSQL数据库8.1图数据库简介8.2Neo4j8.2.1Neo4j简介8.2.2Neo4j的安装与实践8.3Redis和内存数据库8.3.1内存数据库8.3.2Redis8.3.3Redis安装与实践8.4搜索引擎系统8.4.1搜索引擎系统8.4.2常见搜索引擎8.5小结&思考题第8章其他NoSQL数据库概述NoSQL并非是一个严谨的概念，包含很多能够进行数据管理和查询的系统
小手の冰凉·2022-11-09 09:33

【大数据存储技术】实验1 Hbase数据库的部署和操作

1.HBase数据库的部署与配置（伪分布）（1）安装Hbase下载网址：ApacheHBase–ApacheHBaseDownloads（Hadoop版本3.3.4，下载最新hbase2.5.0）注：可以给hbase加一下权限（可选）（2）配置环境变量在后面添加：ExportPATH=$PATH:【自己的hbase解压地址/bin】注意最后还要source~/.bashrc使用hbaseversi
小手の冰凉·2022-11-09 09:03

【大数据存储技术】实验4（新建文件夹）

实验4实验项目：Redis数据库的部署和操作实验目的：熟练掌握Redis数据库的安装和部署方法，Redis不同数据类型的操作和键的操作，Java访问Redis数据库的方法。实验仪器：装有Linux操作系统的PC机。实验内容步骤：1.实现Redis数据库的安装和部署2.使用Shell命令访问Redis数据库（1）不同数据类型的操作：字符串类型，散列类型，列表类型，集合类型，有序集合类型（2）键的操作
小手の冰凉·2022-11-09 09:03

【大数据存储技术】在线测试：第四章 HBase基础

参考链接：Hbase总结（六）hbase37个笔试题_mr_chenping的技术博客_51CTO博客Nosql分布式数据库复习题带答案-百度文库NoSQL复习题-百度文库
小手の冰凉·2022-11-09 09:33

BAT大厂的架构大数据你有了解么？解析大数据技术及算法

不仅对大数据相关技术及算法做了系统性的分析和描述，梳理了大数据的技术分类，如基础架构支持、大数据采集、大数据存储、大数据处理、大数据展示及交互，还融合了大数据行业的最新技术进展和大型互联网公司的大数据架构实践
娜布其 20224016017·2022-11-08 20:11

C/C++六大企业级实战项目-助你在2021春招脱颖而出拿到Offer，这样它不香吗？

一、大数据存储云盘系统（QT）项目技术内容：云盘架构设
简说Linux·2022-11-07 08:27

【数据库05】玩转SQL的高阶特性

立志坚持写10年博客，专注于java后端☕专栏简介：相当硬核，黑皮书《数据库系统概念》读书笔记，讲解：1.数据库系统的基本概念(数据库设计过程、关系型数据库理论、数据库应用的设计与开发…)2.大数据分析(大数据存储系统
半旧518·2022-11-03 22:17
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他