大数据存储

redis大数据存储优化

一.问题出发点需要储存15亿级dives_id+500位标签数据的标签系统数据，并实现200毫秒内的高并发查询200毫秒不是还需要给其他处理留出时间，所以需要将查询时间压缩到30毫秒甚至更少，并且要承受住高并发处理。二.数据库选择已redis为基础进行优化分析redis基础，redis属于内存储存，所以使用成本很大，但是查询效率十分高，单机就可以支持10万qps的并发量处理，当然需要增加redis
ly麋鹿迷路·2019-08-26 10:16

Hadoop ——入门和集群环境搭建

然后帮助企业做出判断和决策.处理流程:1:获取数据2:处理数据3:展示结果1、Hadoop介绍Hadoop是一个分布式系基础框架,它允许使用简单的编程模型跨大型计算机的大型数据集进行分布式处理.它主要解决两个问题大数据存储问题
qqxhb·2019-08-19 19:13

25款大数据入门与实战电子书+视频教程（全程干货）

本资源由菜鸟窝大数据教研团队整理的，共有1.3GB学习资源（电子书）含Hadoop大数据与挖掘实战、Hbase实战、Spark大数据处理技术、Spark高级数据分析、大数据存储MongoDB实战、大数据架构师指南
Bella人工智能爱好者·2019-08-06 14:45

HDFS分布式文件系统

大数据存储是大数据处理与分析的基础。高效、安全地存储与读写数据是提高大数据处理效率的关键。
渊飞·2019-08-01 09:26

Kudu 概述

Kudu的定位：是FastAnalyticsonFastData，是一个既支持随机读写、又支持OLAP分析的大数据存储引擎。
Seniscz·2019-07-23 22:00

Hive和Hbase各自的应用场景

HDFS运行在通用硬件（指的是不需要价格昂贵的服务器）上的分布式文件系统，是大数据存储的组件；MapReduce是Hadoop的计算引擎。
FOCUS_ON_AI·2019-07-10 09:37

数据湖正在成为新的数据仓库

编译：诚历，阿里巴巴计算平台事业部EMR技术专家，ApacheSentryPMC，ApacheCommonsCommitter，目前从事开源大数据存储和优化方面的工作。
阿里云云栖社区·2019-07-09 00:00

基于HBase的大数据存储的应用场景分析

因此HBase被广泛使用在大数据存储的解决方案中。为何使用HBaseHBase的优点：列可以动态增加，并且列为空就不存储数据，节省存储空间。
QYUooYUQ·2019-07-08 10:01

ALLUXIO学习笔记1-概述

1.ALLUXIO的应用场景由于Alluxio的设计以内存为中心，并且是数据访问的中心，所以Alluxio在大数据生态圈里占有独特地位，它居于大数据存储（如：AmazonS3，ApacheHDFS和OpenStackSwift
代码足迹·2019-07-04 21:14

ALLUXIO学习笔记1-概述

1.ALLUXIO的应用场景由于Alluxio的设计以内存为中心，并且是数据访问的中心，所以Alluxio在大数据生态圈里占有独特地位，它居于大数据存储（如：AmazonS3，ApacheHDFS和OpenStackSwift
代码足迹·2019-07-04 21:14

大数据处理关键技术主要有五种，具体指的是什么？

大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用（大数据检索、大数据可视化、大数据应用、大数据安全等）。
GitChat头条·2019-06-27 13:41

大数据处理关键技术主要有五种，具体指的是什么？

大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用（大数据检索、大数据可视化、大数据应用、大数据安全
chizang4812·2019-06-26 22:00

基于HBase的工业大数据存储实战

随着工业4.0时代的到来，工业互联网和企业的智能化、信息化都将不断推进，传统的工业实时数据库和关系数据库已经难以完全胜任工业大数据的存储，以HBase为代表的NoSQL数据库正在蓬勃发展，其完全分布式特征、高性能、多副本和灵活的动态扩展等特点，使得HBase在工业大数据的存储上拥有强大的优势，打破了流程工业生产中的"数据壁垒"效应的瓶颈,可以促进工业生产水平和生产管理水平的提高。本期格物汇，就来给
getech·2019-06-26 10:36

大数据开发涉及到的关键技术有哪些？

大数据关键技术涵盖数据存储、处理、应用等多方面的技术，根据大数据的处理过程，可将其分为大数据采集、大数据预处理、大数据存储及管理、大数据处理、大数据分析及挖掘、大数据展示等。
QYUooYUQ·2019-06-25 21:55

CentOS7 linux系统多种方式安装ClickHouse数据库

年开源，clickhouse的定位是快速的数据分析，对于处理海量数据的情况性能非常好，在网上也有很多测试的案例，在大数据的情况下性能远超过其他数据库，并且不依赖于hadoop的生态系统，都是独立使用，在大数据存储业务上还是可以考虑的
Rich七哥·2019-06-19 09:00

大数据入门基础教程系列

这套《大数据技术与应用教程》对大数据处理过程中涉及的各种关键技术做了详细的介绍，包括大数据思维、大数据采集、大数据处理、大数据存储、大数据挖掘、大数据应用等各个环节，帮助初学者规划了一条完整的学习路线。
Java入门基础教程·2019-06-18 21:58

redis保存数据的几种类型

什么是NoSql为了解决高并发、高可扩展、高可用、大数据存储问题而产生的数据库解决方案，就是NoSql数据库。
万分之一齐齐·2019-06-14 10:12

大数据系列——Hbase学习笔记

1.Hbase简介Hadoop-Database根据'bigtable'论文实现的分布式可扩展的大数据存储技术随机访问实时读写海量数据存储数'十亿行百万列'的数据高可靠性、高性能、面向列、可伸缩的分布式存储系统
EVAO_大个子·2019-06-14 00:00

大牛书单 | 大数据存储方向好书分享

导语：读书是一生的功课，技术人通过读书实现自我提升，学习优秀知识沉淀。TEG书知道本期特邀腾讯云数仓数据湖产品负责人堵俊平、腾讯云数据库负责人林晓斌、腾讯TEG云架构平台部数据块中心高级工程师王银虎，腾讯TEG计费平台部账户中心专家工程师潘安群为大家带来大数据方向好书推荐。来看看技术大牛在读什么，收藏优质内容，愿本期书单助您更专业。堵俊平，腾讯云数仓数据湖产品负责人，T4专家工程师，腾讯开源联盟（
腾讯技术·2019-06-06 15:38

大数据存储的两个实战场景

因此HBase被广泛使用在大数据存储的解决方案中。为何使用HBaseHBase的优点：-列可以动态增加，并且列为空就不存储数据，节省存储空间。
IT资讯科技·2019-05-24 21:51

Sqlite3数据库常用API说明

2、受自身机制影响，Sqlite不适用于处理大数据与大数据存储。2、Sqlite只提供了表级锁，没有提供实际的锁机制，所以很难适用于高并发处理。在Sqlite提供
DynastyDoubleH·2019-05-22 11:19

大数据核心技术

简单来说，从大数据的生命周期来看，无外乎四个方面：大数据采集、大数据预处理、大数据存储、大数据分析，共同组成了大数据生命周期里最核心的技术，下面分开来说：一、大数
ZOU JM·2019-05-18 21:00

PostgreSQL Practice & Tips - 1 - 数据类型

Why回顾了下自己所在项目中的数据存储技术，在关系数据库方面使用了MySQL、PostgreSQL这两种流行的产品，以及其他提供SQL接口的大数据存储服务例如GoogleBigQuery与AWSRedshift
张羽辰·2019-05-17 11:33

大数据开发入门：基于HBase的大数据存储在京东的应用场景

文章由加米谷大数据请添加链接描述整理全文比较长干货多，请耐心阅读加米谷一、为何使用HBase(1)HBase的优点：列可以动态增加，并且列为空就不存储数据，节省存储空间HBase自动切分数据，使得数据存储自动具有水平scalabilityHBase可以提供高并发读写操作的支持(2)HBase的缺点：不能支持条件查询，只支持按照Rowkey来查询HBase并不适合传统的事物处理程序或关联分析，不支持
wx5cad8518bc429·2019-05-06 14:32

2019年关于大数据存储技术的六大预测

走过的2018年可以说是存储行业变数最多的一年，而迎来的2019年则是距离十年变革终点最近的一年，我们一直在说存储技术领域正在发生颠覆性变化。但其实大多数颠覆性变化没能经不起时间的检验。但据分析机构MSysTechnologiesLLC称，随着人工智能，机器人技术和即将推出的5G网络等技术发展，大多数技术专家会将2010-2020年这十年视为技术领域的变革期。现在，我们来看一下2019年基于存储，
大数据Arry·2019-04-27 20:32

大数据时代，主要需要什么类型的人才？

1、大数据系统研发工程师：负责大数据系统的研发，包括大规模非结构化数据业务模型构建、大数据存储、数据库构设、优化数据库构架、解决数据库中心设计等，同时，还要负责数
数据工程师大牛·2019-04-20 19:33

邀您参加 | BigData & Alluxio 交流会-成都站

活动流程13:00活动签到14:00开源大数据存储系统Alluxio的新特性介绍
腾讯云+社区·2019-04-19 15:00

邀您参加 | BigData & Alluxio 交流会-成都站

活动流程13:00活动签到14:00开源大数据存储系统Alluxio的新特性介绍
腾讯云加社区·2019-04-19 00:00

MongoDB分片集群(sharded cluster)搭建过程

1.分片集群概述MongoDB分片集群，英文名称为：ShardedCluster旨在通过横向扩展，来提高数据吞吐性能、增大数据存储量。
duanbeibei·2019-04-16 18:04

大数据系统的基础，大数据存储和计算技术

在存储方面，2000年左右谷歌等提出的文件系统(GFS)、以及随后的Hadoop的分布式文件系统HDFS(HadoopDistributedFileSystem)奠定了大数据存储技术的基础。
duozhishidai·2019-04-07 15:10

分布式文件系统HDFS

1.简介大数据时代必须解决海量数据的高效存储问题,为此,谷歌开发了分布式文件系统(GoogleFileSystem,GFS),通过网络实现文件在多台机器上的分布式存储,较好地满足了大数据存储的要求.Hadoop
Co_zy·2019-03-31 09:26

分布式文件系统HDFS

1.简介大数据时代必须解决海量数据的高效存储问题,为此,谷歌开发了分布式文件系统(GoogleFileSystem,GFS),通过网络实现文件在多台机器上的分布式存储,较好地满足了大数据存储的要求.Hadoop
Co_zy·2019-03-31 09:26

一文了解 Hadoop 运行机制

大数据技术栈在当下已经是比较成熟的了，Hadoop作为大数据存储的基石，其重要程度不言而喻，作为一个想从java后端转向大数据开发的程序员来说，打好Hadoop基础，就相当于夯实建造房屋的地基，本文以上图结构为基本
大数据江湖·2019-03-30 19:00

哈希分片总结

目前主流的大数据存储于计算系统通常采用横向扩展的方式支持系统的可扩展性，即通过增加机器数量来获得水平扩展能力。与此对应，对于待存储处理的海量数
许佳佳233·2019-03-23 16:09

哈希分片总结

目前主流的大数据存储于计算系统通常采用横向扩展的方式支持系统的可扩展性，即通过增加机器数量来获得水平扩展能力。与此对应，对于待存储处理的海量数
许佳佳233·2019-03-23 16:09

Hadoop精华问答 | Hadoop 和Spark有什么区别？

从其定义就可以发现，它解決了两大问题：大数据存储、大
CSDN云计算·2019-03-22 10:24

Dynamometer：HDFS性能扩展测试工具

文章目录前言HDFS扩展性测试的适用场景Dynamometer：以最少的硬件资源模拟最逼真的HDFS集群效果Dynamometer的内部实现细节引用前言现在稍微具有一定规模的涉及到大数据存储的公司，或多或少都会使用到
Android路上的人·2019-03-13 23:53

Dynamometer：HDFS性能扩展测试工具

文章目录前言HDFS扩展性测试的适用场景Dynamometer：以最少的硬件资源模拟最逼真的HDFS集群效果Dynamometer的内部实现细节引用前言现在稍微具有一定规模的涉及到大数据存储的公司，或多或少都会使用到
Android路上的人·2019-03-13 23:53

SpringBoot集成ElasticSearch框架详解--项目搭建及实战必备手册

一：ElasticSearch介绍ES是对Lucene进行了封装，开源的、高度可拓展的、可用于大数据存储的全文搜索、分析引擎。ES主要特点:分布式、高可用、异步写入。
王泽LoveTina·2019-03-06 20:39

【大数据技术】Apache Beam实战指南 | 手把手教你玩转大数据存储HdfsIO

关于ApacheBeam实战指南系列文章随着大数据2.0时代悄然到来，大数据从简单的批处理扩展到了实时处理、流处理、交互式查询和机器学习应用。近年来涌现出诸多大数据应用组件，如HBase、Hive、Kafka、Spark、Flink等。开发者经常要用到不同的技术、框架、API、开发语言和SDK来应对复杂应用的开发，这大大增加了选择合适工具和框架的难度，开发者想要将所有的大数据组件熟练运用几乎是一项
小迪和夫人·2019-02-19 16:13

大数据处理关键技术主要有五种，具体指的是什么？

大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用（大数据检索、大数据可视化、大数据应用、大数据安全等）。
congcangnuo6739·2019-01-24 17:41

说框架设计思路

其旨在打造一个集应用开发、大数据存储、处理、分布式计算、自动化部署的无节点微服务集中开发与运行平台，以响应业务的快速变更，满足系统对大数据，大并发与开发效率的需求；平台设计以数据为核，以groovy脚本为基础
CTO老王·2019-01-23 13:00

Apache Beam实战指南 | 玩转大数据存储HDFSIO

u003eApacheBeam实战指南系列文章\u003c/strong\u003e的第三篇内容，将对Beam框架中的HDFSIO和MySQLIO源码进行剖析，并结合应用示例和代码解读带你进一步了解如何结合Beam玩转大数据存储重要组件
昵称4·2019-01-17 09:17

【数道云科技】大数据处理的核心技术有哪些？

想要通过大数据技术获取更多有价值的东西，需要掌握大数据技术的核心技术：大数据采集、大数据存储及管理、大数据分析及挖掘、数据可视化。在大数据领域，比较熟悉的几种技术：Apac
zzzsunsha·2019-01-11 15:53

Redis

1.2NoSQLNoSQL的全称是NotOnlySql，泛指非关系型数据库，NoSQL数据库是为了解决高并发、高可用、高可扩展、大数据存储问题产生的数据库解决方案，是关系型数据库的一个
GGarrett·2019-01-08 15:38

Hadoop环境中管理大数据存储！这几个技巧！你知道吗？

目前大数据行业也越来越火爆，从而导致国内大数据人才也极度缺乏，下面介绍一下关于Hadoop环境中管理大数据存储技巧。1、分布式存储传统化集中式存储存在已有一段时间。但大数据并非真的适合集中式存储架构。
Hjiangxue·2019-01-04 16:13

Hadoop环境中管理大数据存储！这几个技巧！你知道吗？

目前大数据行业也越来越火爆，从而导致国内大数据人才也极度缺乏，下面介绍一下关于Hadoop环境中管理大数据存储技巧。1、分布式存储传统化集中式存储存在已有一段时间。但大数据并非真的适合集中式存储架构。
Hjiangxue·2019-01-04 16:09

大数据可视化设计

大数据建设划分为四个阶段：1、大数据存储，2、大数据处理，3、大数据分析，4、大数据可视化目前大多项目主要集中在大数据可视化，这块与传统的BI商务智能仪表盘很类似。大数据推动了BI仪表盘的发展。
ywm041004·2018-12-23 23:44

从 RAID 到 Hadoop Hdfs 『大数据存储的进化史』

我们都知道现在大数据存储用的基本都是HadoopHdfs，但在Hadoop诞生之前，我们都是如何存储大量数据的呢？这次我们不聊技术架构什么的，而是从技术演化的角度来看看HadoopHdfs。
zzzzMing·2018-12-18 21:00

sqoop学习之路

此博客介绍sqoop的版本为1.4.6，主要涉及安装和使用：sqoop作用hadoop大数据存储平台：hdfs、hive、h
夜古诚·2018-12-18 18:38
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他