【Hadoop生态圈】

05-Hadoop生态圈之HBase-1.4.8配置

所有的配置先在主节点完成,然后通过scp传输.1.下载安装包链接：http://mirrors.cnnic.cn/apache/hbase/选择stable目录，下载bin文件：在Linux上解压，博客中解压在/home/hadoop目录下：进入解压目录：2.修改配置修改JDK路径、启用HBase自带zookeepervimconf/hbase-env.shJDK路径按照安装路径配置：启用自带zo
GYT0313·2019-02-06 19:55

04-Hadoop生态圈之Hadoop-2.7.3配置

前言无论一开始安装后的主机名和普通用户有那些,现在三台机器都要保证拥有hadoop普通用户(名字可以随便改).这里博主所有的普通用户都为:hadoop,密码都为:123456创建hadoop用户,并修改密码:useraddhadooppasswdhadoop三台主机的主机名分别为:masterslave1slave21.免密登陆(自身和节点与节点之间)和IP隐射映射是为了后面主节点与从节点之间的联
GYT0313·2019-01-22 22:35

大数据时代的结构化存储--HBase

迄今，相信大家肯定听说过HBase，但是对于HBase的了解可能仅仅是它是Hadoop生态圈重要的一员，是一个大数据相关的数据库技术。
隐峯·2019-01-19 20:00

Hadoop 大数据生态

狭义指Hadoop框架,大数据必备框架,Apache下开源的分布式系统基础框架,主要解决海量数据的存储和分析计算问题广义指Hadoop生态圈,包含大量用于大数据储存,管理,传输,分析计算的框架Hadoop
RayfunC·2019-01-16 19:34

hadoop 核心概念及入门

对海量数据进行分布式处理,HADOOP的核心组件有:HDFS（分布式文件系统）、YARN（运算资源调度系统）、MAPREDUCE（分布式运算编程框架），广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP
leone_smith·2019-01-11 09:19

大数据权限授权管理框架：Apache Sentry和Ranger

文章目录前言Sentry和Ranger的概述SentrySentry的架构模型Sentry与Hadoop生态圈组件的集成RangerRanger的架构模型Ranger的策略配置对于用户的ACL控制表的行过滤及列处理
Android路上的人·2019-01-05 12:14

大数据：Hive - ORC 文件存储格式

一、ORCFile文件结构ORC的全称是(OptimizedRowColumnar)，ORC文件格式是一种Hadoop生态圈中的列式存储格式，它的产生早在2013年初，最初产生自ApacheHive，用于降低
guicaizhou·2018-12-06 11:15

大数据学习方法及主要内容

目前来说,大数据的学习核心就是hadoop生态圈(虽然目前最流行的是Spark生态圈)及相关的技术。
29DCH·2018-12-04 14:49

大数据学习方法及主要内容

目前来说,大数据的学习核心就是hadoop生态圈(虽然目前最流行的是Spark生态圈)及相关的技术。
29DCH·2018-12-04 14:49

大数据基础Hadoop 2.x入门

分而治之每个数据集进行逻辑业务处理map合并统计数据结果reduceHDFS储存海量数据分布式存储安全性高副本数据YARN分布式资源管理框架管理整个集群的资源（内存、CPU核数）分配调度集群资源Common工具hadoop
weixin_34235135·2018-12-02 17:00

平台搭建---hadoop生态的用户权限控制问题

在程序中指定Spark和Hadoop的用户SparkSQL利用HDFS的权限控制表的读权限大数据安全：Ranger与Sentry使用区别ApacheRanger：统一授权管理框ApacheRanger剖析：Hadoop
diggerTT·2018-12-01 17:39

Hadoop生态圈组件图

1.HadoopCommon是Hadoop体系最底层的一个模块，为Hadoop各个子模块提供各种工具，比如系统配置工具Configuration、远程调用RPC、序列化机制和日志操作等等，是其他模块的基础。2.HDFS是Hadoop分布式文件系统缩写，它是Hadoop的基石。HDFS是一个具备高度容错性的文件系统，适合部署在廉价的机器上，它能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。3
刺激乐天派·2018-11-30 18:13

hadoop

Hadoop生态圈HDFS：分布式文件系统YARN：分布式资源调度系统MAPREDUCE：分布式计算框架HIVE：数据仓库工具HBASE：分布式海量数据库ZOOKEEPER：分布式协调服务基础组件MAHOUT
H.U.C.小黑·2018-11-23 09:52

1-hadoop之数据仓库hive(一) hive概述

二、Hive在Hadoop生态圈地位三、hive的发展我所使用过的hive的版本是1.2.1，也是最主流的版本当今的一些市场应用及前景大数据企业做数据仓库首选的解决方案数据仓库应用开发、数据分析、数据挖掘最常用的工具之一大数据技术最简单直接的入口
Aupa~Atleti·2018-11-21 15:18

Hadoop生态圈组件

1、HDFS（hadoop分布式文件系统）是hadoop体系中数据存储管理的基础。他是一个高度容错的系统，能检测和应对硬件故障。client：切分文件，访问HDFS，与那么弄得交互，获取文件位置信息，与DataNode交互，读取和写入数据。namenode：主节点，管理HDFS的名称空间和数据块映射信息，配置副本策略，处理客户端请求。DataNode：slave节点，存储实际的数据，汇报存储信息给
S_Running_snail·2018-11-17 21:22

创建ORC结果表

原文链接：https://yq.aliyun.com/articles/669130本页目录创建ORC结果表DDL定义WITH参数创建ORC结果表ORC(OptimizedRowColumnar)是Hadoop
weixin_34064653·2018-11-14 13:40

Hive的安装和使用

1.Hive1.1在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据，同时可以查询hadoop中的数据。本质上讲，hive是一个SQL解析引擎。
chenyuanshengboke·2018-11-11 13:00

快速步入hadoop世界

概述：1.了解HADOOP产生背景及HADOOP生态圈2.体会HADOOP和大数据、云计算等概念之间的关系3.了解HADOOP的相关应用案例4.了解分布式系统的概念首次接触大数据框架，总体是让学生建立起大数据和分布式的感性认识和宏观概念
Z_Data·2018-11-06 20:26

关于oozie

oozie的workflowjobs是由actions组成的有向无环图(DAG)3.oozie的coordinatejobs是由时间(频率)和数据可用性的重复的workflowjobs.4.oozie与hadoop
哪有天生的学霸，一切都是厚积薄发·2018-11-05 08:29

Centos7下的Hadoop伪分布式安装搭建

Hadoop生态圈是大数据行业内比较常用的离线数据处理技术，而Hadoop的安装模式又分三种、分别是单机模式、伪分布式和集群模式。伪分布式主要是用于开发人员测试，集群模式才是生产环境上配置的。
逝唁·2018-10-31 16:21

数据库和数据仓库你应该知道的

问题导读：什么是数据仓库数据仓库与数据库的区别数据仓库的适用场景Hive作为Hadoop生态圈重要的一员已经被我们所熟知，它作为一个基于Hadoop的数据仓库工具，用来做离线的数据分析工作。
叁金·2018-10-29 22:00

hadoop01--大数据概念,hadoop的认识以及伪分布式的搭建

文章目录一.大数据的概念二.Hadoop认识三.Hadoop生态圈四.搭建Hadoop伪分布式环境准备1.安装jdk2.关闭防火墙3.修改seLinux4.修改主机名称5.IP绑定hostname安装Hadoop
forever428·2018-10-25 18:04

【Hadoop】--HDFS介绍

它专门存储超大数据文件，为整个Hadoop生态圈提供了基础的存储服务HDFS是一个主/从（Master/Slave）体系架构，由于分布式存储的性质，集群拥有两类节点NameNode和DataNode。
_majiashu·2018-10-23 10:53

小白也能懂的hadoop生态圈，很黄很暴力！

大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。
Can Liu·2018-10-22 21:59

Hadoop生态圈总结——大数据

Hadoop的发展史：生态圈图解：MapReduce:分布式数据处理模型和执行环境、运行于大型商用机集群。ZooKeeper:一个分布式、高可用的协调服务。ZooKeeper提供分布式锁之类的基本服务用于构建分布式应用。HDFS:分布式文件系统,运行于大型商用机集群。Hadoop体系最底层的一个模块。为Hadoop各子项目提供各种工具,如:配置文件和日志操作等。HBase:一个分布式、按列存储的数
hu_beliefs·2018-10-15 14:57

大数据生态圈到底是一个什么概念？

大数据这个概念本身就太大而且太宽，如果一定要严格定义是非常困难的一件事，不过Hadoop生态圈或者由其延伸的泛生态系统，基本上都是为了处理大量数据诞生的——一般而言，这种数据依赖单机很难完成。
Linux云计算数据自学·2018-10-11 09:13

大数据生态圈到底有哪些，该如何学习

也是刚开始接触大数据，学习了一些大数据的框架，但是对于大数据生态圈的界限和分类一直不是很清楚今天就对于这个大数据生态圈来做一个总结：1.从生态圈来说Hadoop生态圈Spark生态圈StormHadoop
ysjh0014·2018-09-24 15:40

黑猴子的家：Hadoop 是什么？？

3、广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈4、Hadoop：适合大数据的分布式存储和计算平台5、Hadoop不是指具体一个框架或者组件，它是Apache软件基金会下用Java
黑猴子的家·2018-09-20 16:44

了解Hadoop生态圈的主要部分（初学笔记）

1、图示生态架构2、从低往上学HDFS直译分布式文件系统，相当于windows机器上的视频、图片、文档等都是存到硬盘上，硬盘再需要做一些格式化。在Hadoop上需要存储大数据，而且是存储在各个不同的机器上的。所以HDFS也就是一个分布式系统（分布式意思就是一个集群里面有很多台机器）。HDFS作为一个最基本的文件系统就是存储大数据用的。Hbase（Key-Val）列存取数据库，可以理解为一个数据库，
43946·2018-09-11 16:35

Hadoop 入门总结

目录大纲（HADOOP）21.HADOOP快速入门3什么是HADOOP3HADOOP产生背景3HADOOP在大数据、云计算中的位置和关系3国内外HADOOP应用案例介绍4国内HADOOP的就业情况分析5HADOOP
lspshun·2018-09-08 17:38

Hadoop简介

根据用户的自定义业务逻辑，对海量数据进行分布式处理HADOOP的核心组件有HDFS（分布式文件系统）YARN（运算资源调度系统）MAPREDUCE（分布式运算编程框架）广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP
LJJ1338·2018-08-29 13:08

hadoop生态圈(HBase、HDFS、 Pig、Hive、Sqoop)——小白入门笔记

Hadoop生态圈上图为学习视频中一张Hadoop生态圈截图HDFS：分布式文件系统，底层数据存储Hbase：分布式列式数据库，适用实时数据分析，属于NoSql数据库Hive：数据库仓库工具，适用于离线数据分析
cainiao22222·2018-08-22 11:30

Spark修炼之道（进阶篇）——Spark入门到精通：第二节 Hadoop、Spark生成圈简介

作者：周志湖网名：摇摆少年梦微信号：zhouzhihubeyond本节主要内容Hadoop生态圈Spark生态圈1.Hadoop生态圈原文地址：http://os.51cto.com/art/201508
痞子锐·2018-08-13 08:11

Hadoop生态圈之Spark

入门使用1、spark-shell进入spark模式，scala2、简单示例//载入本地txt文件varxmfile=sc.textFile("file://Users/liuxunming/Desktop/TODO.txt")//计算总行数，res3:Long=511xmfile.count()//取第一行，res4:String=做了什么xmfile.first()//取包含一的总行数，res
xun-ming·2018-07-31 08:09

【转载】Hadoop生态圈介绍

Technorati标记:hadoop,生态圈,ecosystem,yarn,spark,入门1.hadoop生态概况Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。具有可靠、高效、可伸缩的特点。Hadoop的核心是YARN,HDFS和Mapreduce。下图是hadoop生态系统，集成
木木与呆呆·2018-07-30 15:18

【转载】Hadoop生态圈介绍

Technorati标记:hadoop,生态圈,ecosystem,yarn,spark,入门1.hadoop生态概况Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。具有可靠、高效、可伸缩的特点。Hadoop的核心是YARN,HDFS和Mapreduce。下图是hadoop生态系统，集成
木木与呆呆·2018-07-30 15:00

大数据学习框架及指南

Hadoop生态圈一，采集，数据从哪里来？主要包括flume等；一，存储，海量的数据怎样有效的存储？主要包括hdfs、Kafka；二，计算，海量的数据怎样快速计算？
开开_王子·2018-07-28 14:40

大数据入门（一）

大数据入门hadoopHDFSYARNSPARKhadoophadoop生态圈包括以下各个组成部分：HDFS：用于分布式文件存储,切分成块，多副本存于多台机器。
miner_zhu·2018-07-19 11:19

10年老兵带你走上MySQL王者之路--免费视频直播课邀你来看

直播老师简介：张甦·数据库专家，10年互联网线上处理及培训经验，专注于MySQL数据库，对MongoDB、Redis等NoSQL数据库以及Hadoop生态圈相关技术有深入研究。麾下学员遍布各大企业。
51CTO博客·2018-07-16 15:32

YupDB 数据库系统

Hadoop生态圈是专门为大数据处理而诞生的，每个工具都有自己的特性，各有各的用处，相互间又有重合。
_xingzhe_·2018-07-12 13:42

学习笔记-Zookeeper

分布式锁服务：一个松散耦合的分布式系统中粗粒度锁以及可靠性存储（低容量）的系统属于Hadoop生态圈中的一个，名字服务器，分布式同步，组服务特点：数据模型：命名空间只有绝对路径，没有相对路径以／为间隔的路径名序列组成每个节点自身的信息数据数据长度开始时间结束时间具有文件
Jameslvt·2018-07-05 14:34

Parquet与ORC：高性能列式存储格式

2016年07月09日20:37:22阅读数：18081背景随着大数据时代的到来，越来越多的数据流向了Hadoop生态圈，同时对于能够快速的从TB甚至PB级别的数据中获取有价值的数据对于一个产品和公司来说更加重要
cjlion·2018-07-02 14:42

基于Hadoop生态圈的数据仓库实践（一）

而Hadoop生态圈就是为了能够廉价处理大量数据的目的应运而生的。下面看看大数据是怎么定义的。大数据的定义虽然数据仓库技术
华南虎1989·2018-06-29 22:50

spark2.2.0集群配置

（3）YarnHadoop生态圈里面的一个资源调度框架，Spark是可以基于Yarn来计算的，最流行。
LiryZlian·2018-06-23 01:50

什么是hadoop和大数据

通常我们说的Hadoop是指一个更广泛的概念--Hadoop生态圈。二、Hadoop生态圈Hadoop生态圈是指以Hadoop为基础发展出来的一系列技术。
会飞的小猪仔·2018-06-21 00:18

在CDH5.14.2 中启用kudu的配置与验证

CDH5.14.2中启用kudu的配置标签（空格分隔）：大数据平台构建一：系统平台介绍二：安装kudu的集成一：系统平台介绍1.1.关于kudu的介绍Kudu是Cloudera开源的新型列式存储系统，是ApacheHadoop
flyfish225·2018-06-11 13:52

性能优化：MySQL 性能提升之降龙十八掌

近10年互联网线上处理及培训经验，专注于MySQL数据库，对MongoDB、Redis等NoSQL数据库以及Hadoop生态圈相关技术有深入研究，具备非常丰富的理论与实战经验。
Enmotech·2018-06-10 23:00

hadoop大数据工程师、数据开发工程师、数据仓库工程师 面试题目分享

仅限于工作年限1-3年一、HIVE岗1.orderby,distributeby，sortby的区别点击打开链接2.内部表、外部表的区别及使用场景点击打开链接3.讲一下hadoop生态圈的组件，说一下你对
SunWuKong_Hadoop·2018-06-08 11:07

大数据：Hive - ORC 文件存储格式

一、ORCFile文件结构ORC的全称是(OptimizedRowColumnar)，ORC文件格式是一种Hadoop生态圈中的列式存储格式，它的产生早在2013年初，最初产生自ApacheHive，用于降低
shangzhi_quan·2018-06-04 10:58

Flume 概述 & 架构 & 组件介绍

前置Sqoop的作用：RDBMSHadoop(关系型数据库与Hadoop生态圈中的存储框架，结合Sqoop做导入导出操作)在生产环境上，数据库中的文件是一部分，除此之外的文件与日志才是大头、对我们而言是十分重要的
疯狂呼呼呼·2018-06-03 20:29
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他