大数据存储

马哥Hadoop系列链接汇总

马哥教育Hadoop博客系列Hadoop系列之一：大数据存储及处理平台产生的背景Hadoop系列之二：大数据、大数据处理模型及MapReduceHadoop系列之三：函数式编程语言和MapReduceHadoop
萧萧木·2018-12-06 12:13

大数据采集的几点问题的思考

一般大数据处理流程的共识是：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用（大数据检索、大数据可视化、大数据应用、大数据安全等）。其中，数据采集是第一步。
texture_texture·2018-12-04 21:52

大数据----【HDFS】

分布式文件系统解决的问题就是大数据存储。
CoderBoom·2018-11-15 23:57

大数据----【HDFS】

分布式文件系统解决的问题就是大数据存储。
CoderBoom·2018-11-15 23:57

Sqoop的安装和一些语句

2.当大数据存储和hadoop生态系统的MapReduce、hive、HBASE、Pig分析器出现时，它们就需要一种工具来与关系型数据库服务器进行交互，以导入和导出驻留在其中的大数据。
哪有天生的学霸，一切都是厚积薄发·2018-11-04 23:44

Apache CarbonData 1.5.0 发布，华为大数据存储方案

CarbonData1.5.0发布了，该版本更贴近于统一分析。我们希望能够从更多的引擎/库中读取CarbonData文件，以支持各种用例。在这方面，我们增加了支持从C++库读取CarbonData文件的支持。此外，可以使用JavaSDK、Spark文件格式接口、Spark、Presto等读取CarbonData文件。此外CarbonData添加了多个优化以减少存储大小，以便可以利用较小的IO进行查
·2018-10-25 22:00

一文学会目前最火热的大数据技术

欢迎大家前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~本文由michelmu发表于云+社区专栏Elasticsearch是当前主流的分布式大数据存储和搜索引擎，可以为用户提供强大的全文本检索能力，广泛应用于日志检索
腾讯云加社区·2018-10-23 00:00

Spark SQL介绍和DataFrame概念以及其API的应用示范（详细全面）

、ORC文件(ORC文件格式是一种Hive的文件存储格式，可以提高Hive表的读、写以及处理数据的性能)、Hive表、Parquest文件(新型列式存储格式，具有降低查询成本、高效压缩等优点，广泛用于大数据存储
大鱼-瓶邪·2018-10-19 17:38

大数据存储之HDFS

大数据存储知识地图Hadoop分布式文件系统分布式文件系统:它是一种通过网络实现文件在多台主机上进行分布式存储的文件系统。
liushilin呀·2018-10-08 17:29

Hbase 二级索引

目前HBase主要应用在结构化和半结构化的大数据存储上，其在插入和读取上都具有极高的性能表现，这与它的数据组织方式有着密切的关系，在逻辑上，HBase的表数据按RowKey进行字典排序，RowKey实际上是数据表的一级索引
似梦似意境·2018-09-18 19:20

阿里如何实现秒级百万TPS？搜索离线大数据平台架构解读

阿里妹导读：搜索离线数据处理是一个典型的海量数据批次/实时计算结合的场景，阿里搜索中台团队立足内部技术结合开源大数据存储和计算系统，针对自身业务和技术特点构建了搜索离线平台，提供复杂业务场景下单日批次处理千亿级数据
·2018-09-17 20:00

大数据 存储相关

大数据存储特征1.一次写入，较少修改2.价值不确定：虽然量多，但是价值密度低3.容量大，增长速度快4.需要保存时间长对象存储技术块存储直接访问，开销最小，效率最高，但成本也最高且扩展困难，面向ISCSI
dawsonenjoy·2018-09-16 23:50

day1-机器学习和数学分析

能够使用机器帮助人类的实现某些特定功能下围棋：深蓝等无人驾驶汽车实现模仿人类如何学习有特征值（语言、颜色、形状）有监督无监督增强学习内涵与外延给定数据的预测数据清洗、特征选择确定算法模型、参数优化结果预测不能解决大数据存储
喵鸢·2018-08-20 10:27

FastDFS分布式文件系统

解决了大数据存储和读写负载均衡等问题,适合存储4KB~500MB之间的小文件。 应用：图片网站、短视频网站、文档、app下载站等,。
ScratKong·2018-08-13 00:00

Redis基础

redis数据类型（重点）redis持久化redis主从复制redis集群（重点）redis集群的连接redis集群的jedis连接（重点）redis介绍什么是NoSql为了解决高并发、高可扩展、高可用、大数据存储问题而产生的数据库解决方案
大数据专家·2018-08-03 10:25

centos7下使用rpm包安装clickhouse

年开源，clickhouse的定位是快速的数据分析，对于处理海量数据的情况性能非常好，在网上也有很多测试的案例，在大数据的情况下性能远超过其他数据库，并且不依赖于hadoop的生态系统，都是独立使用，在大数据存储业务上还是可以考虑的
小得盈满·2018-07-20 18:00

国内大数据企业排名-2018版

2、华为华为云服务整合了高性能的计算和存储能力，为大数据的挖掘和分析提供专业稳定的IT基础设施平台，近来华为大数据存储实现了统一管理40PB文件系统3、百度百度的优势体现在海量的数据、沉淀十多年的用户行为数据
秒懂数字经济·2018-07-20 13:18

大数据存储平台之异构存储实践深度解读

经常做数据处理的伙伴们肯定会有这样一种体会：最近一周内的数据会被经常使用到，而比如最近几周的数据使用率会有下降，每周仅仅被访问几次;在比如3月以前的数据使用率会大幅下滑，存储的数据可能一个月才被访问几次。这就产生了一种热和冷数据，对需要频繁访问的数据我们称之为“热”数据，反之我们称之为”冷”数据，而处于中间的数据我们称之为”温”数据。如果你想了解大数据的学习路线，想学习大数据知识以及需要免费的学习
假的鱼·2018-06-21 20:17

大数据学什么，学习路线是怎样的？

大数据存储阶段：hbase、hive、sqoop。大数据架构设计阶段：Flume分布式、Zookeeper、Kafka。大数据实时计算阶段：Mahout、Spa
假的鱼·2018-05-31 20:37

DITO：开启全球溯源防伪新时代

DITOSYSTEM官网：www.ditochain.org白皮书：www.ditochain.org/DITO.pdfDITOSYSTEM是全球第一家区块链落地应用，区块链防伪溯源应用，它是目前唯一的适合较大数据存储的底层区块链
RcardoMS·2018-05-25 10:23

HBase理论详解

HBase官方解释：ApacheHBase™是Hadoop数据库，这是一个分布式，可扩展的大数据存储。当您需要随机，实时读取/写入您的大数据时使用ApacheHBase™。
SunnyRivers·2018-05-20 14:48

基于 Alluxio 的 HDFS 多集群统一入口的实现

本文作者郭业俊，同济大学自动化专业硕士毕业，现担任苏宁易购大数据存储平台负责人。
Hadoop技术博文·2018-05-15 00:00

Redis笔记本

1Redis介绍1.1什么是NoSql为了解决高并发、高可扩展、高可用、大数据存储问题而产生的数据库解决方案，就是NoSql数据库。
bug发现与制造·2018-05-04 09:12

2018-04-23

对于我们新手入门学习hadoop大数据存储的朋友来说，首先了解一下云计算和云计算技术是有必要的。
JACKbayue·2018-04-23 22:46

Sqoop快速入门

由RDBMS生成的这种大数据存储在关系数据库结构中的关系数据库服务器中。
Ancony_·2018-04-20 00:53

redis基础

1、Redis介绍1.1、什么是NoSql  为了解决高并发、可扩展用大数据存储问题而产生的库方案，就是NoSql数据库。  
812374156·2018-04-18 23:03

Kylin基本原理

一、Kylin介绍1.1现状Hadoop于2006年初步实现，改变了企业级的大数据存储（基于HDFS）和批处理（主要基于MR）问题，10几年过去了，数据量随着互联网的发展井喷式增长，如何高速、低延迟的分析数据成为后续面临的挑战
_BD攻城师_·2018-04-18 09:53

Kylin基本原理

一、Kylin介绍1.1现状Hadoop于2006年初步实现，改变了企业级的大数据存储（基于HDFS）和批处理（主要基于MR）问题，10几年过去了，数据量随着互联网的发展井喷式增长，如何高速、低延迟的分析数据成为后续面临的挑战
_BD攻城师_·2018-04-18 09:53

大数据存储系统I/O性能优化技术研究进展

大数据存储系统I/O性能优化技术研究进展肖利民，霍志胜北京航空航天大学计算机学院，北京100191摘要：大数据存储系统的I/O性能是影响大数据应用整体性能的关键因素之一，总结了当前在存储系统架构、元数据
唐名威·2018-04-04 14:53

和你聊聊如何搭建redis分片集群

摘要：我发现，凡是涉及到大数据存储，好像都得有个横向扩容方案，不管是在应用层实现，还是在数据存储本身实现。
熊奕诚·2018-04-03 17:56

hbase单节点的安装与启动

ApacheHBase简介:ApacheHBase™是Hadoop数据库，这是一个分布式，可扩展的大数据存储。当您需要随机，实时读取/写入您的大数据时使用ApacheHBase™。
社会波·2018-03-23 15:46

阿里云部署 Redis

阿里云部署RedisRedis也叫NoSql，为了解决高并发、高可用、高可扩展、大数据存储等一系类的问题而产生的数据解决方案。
Demo_Liu·2018-03-19 19:51

Mysql千万级大表优化

Mysql的单张表的最大数据存储量尚没有定论，一般情况下mysql单表记录超过千万以后性能会变得很差。因此，总结一些相关的Mysql千万级大表的优化策略。
0giant·2018-03-16 12:00

大数据存储平台调优之Hadoop优化

大数据存储平台调优之Hadoop优化在上节搭建完集群、完成Linux系统配置(优化)后以及建好HDFS上的目录后，我们接下来需要对Hadoop集群做一些优化的工作。
代立冬·2018-03-15 23:54

大数据存储平台之异构存储实践

经常做数据处理的伙伴们肯定会有这样一种体会：最近一周内的数据会被经常使用到，而比如最近几周的数据使用率会有下降，每周仅仅被访问几次；在比如3月以前的数据使用率会大幅下滑，存储的数据可能一个月才被访问几次。这就产生了一种热和冷数据，对需要频繁访问的数据我们称之为“热”数据，反之我们称之为”冷”数据，而处于中间的数据我们称之为”温”数据。在数据被视为公司资产的时代，每个公司基本都会保存最近数年的数据，
代立冬·2018-03-13 10:11

业务安全系统浅谈（二）

背后的逻辑是这样的，‘业务安全’系统为了能够识别用户的“非法”行为：-需要不断收集用户在平台上产生的各类行为数据，数据流向“实时计算平台”和“大数据存储平台”-基于数据，对业务安全关注的各个‘指标’/特征值
Geoffrey_fx·2018-03-08 00:41

六、大数据技术之hadoop（2）

43152843GFS:Googlefilesystem（谷歌公司的文件系统），谷歌分布式文件系统，HDFS（HadoopDistributedFileSystem）是基于GFS的开源实现，举例，百度云盘大数据存储面临两个问题
free_ygh·2018-02-28 23:24

bigtable设计浅析和疑问

作为一种了解大数据存储和访问的指引了解大数据处理的逻辑。简述其基本构架图示如下：chubby：可以理解为控制中心。及所有访问机械如客户端接入根表：bigtable数据检索区。
baidu_41680168·2018-02-15 22:17

Redis入门篇（安装与启动）（一）

1、什么是NoSqlNoSql，全名：NotOnlySql，是一种非关系型数据库，它不能替代关系弄数据库，只是关系型数据库的一个补充，是可以解决高并发、高可用、高扩展、大数据存储等一系列问题而产生的数据库解决方案
garagong·2018-02-09 12:32

26个最经典的工业互联网+人工智能案例（含附件）

INDICS平台架构图INDICS平台在IaaS层自建数据中心，在DaaS层提供丰富的大数据存储和分析产品与服务，在PaaS层提供工业服务引擎、面向软件定义制
笔名辉哥·2018-02-05 18:41

开源大数据周刊-第42期

摘要：阿里云E-MapReduce动态阿里云HBase支持PB级别的分布式数据库即将开始公测资讯云时代的大数据存储-云HBase纵观数据库发展的几十年，从网状数据库、层次数据库到RDBMS数据库，在最近几年的
aliyun32183·2018-01-31 16:13

大数据挖掘方案

概述spark是实时大数据分析、挖掘的流行方案，hadoop是大数据存储和运行的流行方案，本demo主要表述用spark+hadoop如何做大数据挖掘的通用方案，包含了，包括了环境资源整合、spark和
findhappy117·2018-01-31 09:48

“大数据 大前途”——华为大数据认证启航行动之誉天·广州站

数据急剧膨胀带来的大数据存储、大数据治理、非机构化数据处理以及大数据挖掘等技术挑战正在呼唤更多的大数据专门人才。
誉天education·2018-01-25 09:41

Sqoop导入数据到HDFS中（大数据存储系统）

环境准备:h15机器，mysql使用h15的，不用h17的mysql配置hive的环境变量和hadoop的环境变量注意：(1)一定要配置HADOOP_HOME和HIVE_HOME(2)和flume相似，要将sqoop放在active的namenode节点上错误1：Error:Couldnotfindorloadmainclassorg.apache.sqoop.Sqoop解决：hadoop和sqo
三万_chenbing·2018-01-16 11:31

java面试必问面试题

（3）short：16位，最大数据存储量是65536，数据范围是-32768~32767之间。（4）char：16位，存储Unicode码，用单引号赋值。
两只橙·2017-12-23 19:19

TiDB

转载自：TiDB：世界级开源NewSQL分布式关系型数据库数据库技术发展演进在08年以前基本上是以单机型数据库为主，比如大家耳熟能详的Oracle，MySQL，遇到的比如大数据存储、高并发等问题。
hjw199089·2017-12-05 13:01

扣丁学堂剖析大数据时代这些技术你都了解吗

大数据关键技术涵盖从数据存储、处理、应用等多方面的技术，根据大数据的处理过程，可将其分为大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘等环节。本文针对大数据的关键技术进行梳理，以飨读者。
扣丁学堂·2017-11-22 17:20

腾讯云机器学习平台技术负责人：揭秘深度学习平台DI-X背后的秘密

据了解，DI-X将基于腾讯云的大数据存储与处理能力，为其用户提供一站式的机器学习和深度学习服务。马化腾曾表示：“人工智能、物联网，甚至未来的无人驾驶、机器人等等，它的后台
阿杜_ardo·2017-11-21 22:21

阿里云搭建亿级PV所使用的产品

阿里云帮我们屏蔽了大量的技术难度，如：大数据存储与计算、分布式数据库、日志采集……。
hua_jing·2017-11-05 10:44

Redis个人总结及代码实现

为了解决高并发,高可扩展,高可用,大数据存储问题而产生的数据库解决方案,就是NoSQL数据库NoSQL,泛指非关系型的数据库,NoSQL即Not-OnlySQL,它可以作为关系型数据库的良好补充;但是它不能替代关系型数据库
长胖的wo一定特美·2017-11-02 22:21
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他