【Hadoop生态圈】

Hadoop生态圈完全分布式集群环境搭建

一：事前准备工作：1.最少4台服务器，当然也可以为虚拟机2.hadoop、hbase、spark、jdk、zookeeper的安装包（需要版本都是相互兼容的，这个可以从官网看到）3.系统为centos7如果是新学者可以看我另一篇关于单节点大数据环境部署和安装的文章二：Linux系统配置更改linux名称hostnamectlset-hostnamehost1（host1代表需要修改的主机名称）修改
贝特爱·2020-08-15 07:41

一、hadoop生态圈搭建（资源）

hadoop生态圈搭建所需要的资源，基于自己搭建的时候找资源需要去各种网站找，因此在本人搭建完之后把这些资源集中到了一起，然后发布上来供大家选择使用。
凉城的夜·2020-08-15 05:16

Hive

1.Hive1.1在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据(数据管理功能)，同时可以查询hadoop中的数据。本质上讲，hive是一个SQL解析引擎。
weixin_30700099·2020-08-14 20:09

fastDFS 作为微服务文件管理中心举例

目前选择成熟的文件管理框架有两个，一个是fastdfs,一个是hdfs，我对两个框架的选择是基于需不需对文件数据进行2次挖掘考虑的，(hdfs可以做并行化计算，属于hadoop生态圈的)，基于我们目前项目考虑
深夜奶爸·2020-08-14 20:19

Hadoop——day1

HadoopDistributeFileSystem，分布式文件系统)：解决海量数据存储YARN(作业调度和集群资源管理的框架)：解决资源任务调度MAPREDUCE(分布式运算编程框架)：解决海量数据计算狭义上仅指该软件平台广义上指Hadoop
fan2312·2020-08-14 17:30

scala总结笔记

Scalascala是一门编程语言，使用java编写，scala程序会编写成字节码文件.class在jvm上运行语言特点：面向对象+函数式编程Scala特点1、优雅，速度快2、表达能力强3、Spark开发语言4、融合hadoop
活出别致的高傲·2020-08-13 18:23

基于Hadoop生态圈的数据仓库实践 —— 概述（一）

一、什么是数据仓库一种被广泛接受的数据仓库定义是BillInmon在1991年出版的《BuildingtheDataWarehouse》一书中所提出的——数据仓库是一个面向主题的、集成的、随时间变化的、非易失的数据集合，用于支持决策。它主要的目标是分析和处理数据，和传统的操作型事务处理有很大区别。1.操作型系统和分析型系统操作型系统完成组织的核心业务，例如下订单、更新库存、记录支付信息等等。这些系
wzy0623·2020-08-12 00:27

Hive学习（一）大数据基础知识介绍

HadoopApache基金会所开发的分布式系统基础框架用于解决海量数据的存储和分析问题Hadoop生态圈：Hive、HBase、HDFS、Zookeeper...优势：高可靠性：底层维护多个数据副本高
新新许愿树·2020-08-11 05:55

Hadoop集群的搭建

是多线程1.Hadoop是什么1）Hadoop是一个由Apache基金会所开发分布式系统基础架构2）主要解决，海量数据的存储和海量数据的分析计算问题3）广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop
williamccc·2020-08-11 02:36

大数据Hadoop生态圈：Pig和Hive

前言Pig最早是雅虎公司的一个基于Hadoop的并行处理架构，后来Yahoo将Pig捐献给Apache的一个项目，由Apache来负责维护，Pig是一个基于Hadoop的大规模数据分析平台。Pig为复杂的海量数据并行计算提供了一个简易的操作和编程接口，这一点和FaceBook开源的Hive一样简洁，清晰，易上手！一、Pig概述Pig包括两部分1：用于描述数据流的语言，称为PigLatin（拉丁猪，
weixin_30675247·2020-08-10 23:55

基于Hadoop生态圈的数据仓库实践 —— ETL（三）

三、使用Oozie定期自动执行ETL1.Oozie简介（1）Oozie是什么Oozie是一个管理Hadoop作业、可伸缩、可扩展、可靠的工作流调度系统，其工作流作业是由一系列动作构成的有向无环图（DAGs），协调器作业是按时间频率周期性触发的Oozie工作流作业。Oozie支持的作业类型有Javamap-reduce、Streamingmap-reduce、Pig、Hive、Sqoop和Distc
wzy0623·2020-08-10 04:44

kafka与flume集成小案例

聚合和传输的流式架构适合多个生产者适合下游消费者不多的情况(如果存在多个sink,就需要多个channel，多个memchannel会占用大量的内存)适合数据安全性不高的操作(flume没有备份机制，数据安全性较低)flume可以简单的和hadoop
123.56.119.133:8090·2020-08-09 23:06

基于Hadoop生态圈的数据仓库实践 —— ETL（二）

二、使用Hive转换、装载数据1.Hive简介（1）Hive是什么Hive是一个数据仓库软件，使用SQL读、写、管理分布式存储上的大数据集。它建立在Hadoop之上，具有以下功能和特点：通过SQL方便地访问数据，适合执行ETL、报表、数据分析等数据仓库任务。提供一种机制，给各种各样的数据格式加上结构。直接访问HDFS的文件，或者访问如HBase的其它数据存储。可以通过MapReduce、Spark
wzy0623·2020-08-09 18:05

大数据实训01--Hadoop生态基本介绍

Hadoop官网有一个Hadoop生态圈，都是用动物命名的知识前提分布式存储，分布式技术分布式文件系统master-slave（每一台服务器为一个结点，一主多从）主从架构master（主结点）-----
SYC20171868·2020-08-09 01:11

Parquet与ORC：高性能列式存储格式

随着大数据时代的到来，越来越多的数据流向了Hadoop生态圈，同时对于能够快速的从TB甚至PB级别的数据中获取有价值的数据对于一个产品和公司来说更加重要，在Hadoop生态圈的快速发展过程中，涌现了一批开源的数据分析引擎
残阙的歌·2020-08-06 10:06

大数据修炼之路（一）----Hadoop 生态圈架构

Hadoop生态圈好比家里的厨房，厨房里有锅、碗、瓢、盆、勺等各种做饭用具，这些用具类似Hadoop生态圈里的各种软件，比如HDFS、Hive、Pig、Sp
不写代码的咸鱼·2020-08-05 08:14

Hadoop 生态系统

1.概述最近收到一些同学和朋友的邮件，说能不能整理一下Hadoop生态圈的相关内容，然后分享一些，我觉得这是一个不错的提议，于是，花了一些业余时间整理了Hadoop的生态系统，并将其进行了归纳总结，进而将其以表格的形式进行了罗列
weixin_34096182·2020-08-04 20:55

Kettle连接HiveServer2配置和常见问题解决

Kettle版本：pdi-ce-8.2.0.0-342.zipHive版本：apache-hive-2.3.0-bin.tar.gzHadoop版本：hadoop-2.7.3.tar.gzKettle关于Hadoop
lebboop-L·2020-08-04 12:01

Hadoop学习笔记

作者：伍栋梁编辑：陈人和1.hadoop安装与介绍1.1hadoop生态圈介绍分布式系统—Google三架马车（GFS,mapreduce,Bigtable）。
l7H9JA4·2020-08-01 13:31

Hadoop到底是什么？

3）广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP生态圈Hadoop的优势是什么1）高可靠性：因为Hadoop假设计算元素和存储会出现故障，因为它维护多个工作数据副本，在出现故障时可以对失败的节点重新分布处理
GCH6969·2020-08-01 10:13

Hive（数据仓库）与数据库的区别

1.存储数据位置众所周知，Hive是Hadoop生态圈中不可缺少的一部分。Hive的元数据存储在自带的derby数据库中，可它实际的数据存储在HDFS上。可数据库的数据存储在块设备上或者本地文件系统中
NoBugPro·2020-07-31 23:39

分布式存储系统Kudu与HBase的简要分析与对比

Hadoop生态圈中的技术繁多，HDFS作为底层数据存储的地位一直很牢固。
weixin_34259559·2020-07-30 03:07

大数据1-Hadoop概述

概述特点4V数据量大高速多样低密度价值Hadoop是什么是Apache基金会所开发的分布式系统基础框架主要解决，海量数据的存储和海量数据的分析计算问题广义上讲，Hadoop通常指更广泛的概念-----Hadoop
Var.can·2020-07-29 22:29

Kudu vs HBase

Hadoop生态圈中的技术繁多，HDFS作为底层数据存储的地位一直很牢固。
yijian2595·2020-07-29 13:28

HDFS--梳理各个模块的功能与关系

概述·1.HDFS是hadoop的一个组件全称：HadoopDistributedFileSystem，专门存储超大数据文件，为整个Hadoop生态圈提供了基础的存储服务。
湖面独成双·2020-07-28 22:10

Sqoop2中Connectors开发方法

Sqoop是Hadoop生态圈中的ETL抽取工具，可以从关系型数据库抽取数据至HDFS、HBase、Hive中，其内在机制利用了MapReduce进行多节点并行抽取，可以有效地提升抽取速度。
RacingHeart·2020-07-28 14:30

hadoop overview

Hadoop生态圈貌似翻开任何一本介绍hadoop的书籍这都是必须的，好吧，就是这些：写道Theprojectincludesthesesubprojects:HadoopCommon:ThecommonutilitiesthatsupporttheotherHadoopsubprojects.HadoopDistributedFileSystem
yooodooo·2020-07-28 13:30

HBase非关系型数据库

1.HBase非关系型数据库1)对比和数据模型1.HBase-HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库2.在Hadoop生态圈中，它是其中一部分且利用
qq_43198449·2020-07-28 09:08

通俗易懂的大数据讲义(一)

第一篇内容是到Hadoop生态圈为止了，别的东东下次有时间再说吧。第一章大数据的定义一些定义Gartner大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化
sterefine·2020-07-28 07:59

Apache Ranger初识

1、Apacheranger简介Apacheranger是一个Hadoop集群权限框架，提供操作、监控、管理复杂的数据权限，它提供一个集中的管理机制，管理基于yarn的Hadoop生态圈的所有数据权限。
fjssharpsword·2020-07-27 22:25

Apache Ranger剖析：Hadoop生态圈的安全管家

前言2016年，Hadoop迎来了自己十周岁生日。过去的十年，Hadoop雄霸武林盟主之位，号令天下，引领大数据技术生态不断发展壮大，一时间百家争鸣，百花齐放。然而，兄弟多了不好管，为了抢占企业级市场，各家都迭代出自己的一套访问控制体系，不管是老牌系统(比如HDFS、HBase)，还是生态新贵(比如Kafka、Alluxio)，ACL(AccessControlList)支持都是Roadmap里被
天外有菌·2020-07-27 17:32

Hadoop生态圈（十一）：Storm

目录1Storm概述1.1离线计算是什么？1.2流式计算是什么？1.3Storm是什么？1.4Storm与Hadoop的区别1.5Storm应用场景及行业案例1.5.1运用场景1.5.2典型案列2Storm基础知识2.1Storm编程模型2.2Storm核心组件2.3实时流计算常见框架图3Storm集群搭建3.1环境准备3.2Storm集群搭建3.3启动集群3.4Storm命令行操作4常用API4
jiezou12138·2020-07-16 01:17

学者贵于行，报名参加线上大数据技术峰会的4个理由

这是个技术人的好时代，仅数据库领域热门DB就有300+，围绕着Hadoop生态圈的大数据处理技术更是繁花似锦。
weixin_33909059·2020-07-15 15:30

Hadoop-理论知识（大数据概况及Hadoop生态系统使用Java进行HDFS文件操作）

五、HadoopvsRDBMS六、Hadoop生态圈七、Zookeeper八、Hadoop架构九、HDFS特点十、HDFSCLI(命令行)十一、hdfsdfsadmin十二、HDFS角色十三、HDFS架构十四
sempc·2020-07-15 07:12

Hadoop生态圈及组件简介

一、生态圈概况Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。下图是hadoop生态系统，集成spark生态圈。在未来一段时间内，hadoop将于spark共存，hadoop与spark。都能部署在y
深海少女心·2020-07-15 07:12

细谈Hadoop生态圈

Hadoop生态系统Hadoop在过去的几年里已经变得很成熟了。下面的图1-2显示了Hadoop生态系统堆栈。ApachePhoenix是HBase的SQL包装，它需要基本的HBase理解，在某种程度上，还需要理解它原生的调用行为。了解其他Hadoop生态系统组件以及HBase，将有助于更好地理解大数据领域，并利用Phoenix及其最佳可用特性。在本章中，我们将概述这些组件及其在生态系统中的位置。
木野归郎·2020-07-15 06:26

hadoop生态圈的详解

学习和使用hadoop有一年了，这里主要分享一下对hadoop整体上的理解，分门别类的介绍一下相关组件，最后提供了建议的学习路线，希望对hadoop的初学者有参考作用。1.Hadoop核心件组有哪些?广义hadoop指什么?核心组件有：Hdfs、Yarn、MapReduce;广义上指一个生态圈，泛指大数据技术相关的开源组件或产品，如hdfs、yarn、hbase、hive、spark、pig、zo
weixin_34198797·2020-07-15 05:13

Hadoop生态圈一览

根据Hadoop官网的相关介绍和实际使用中的软件集，将Hadoop生态圈的主要软件工具简单介绍下，拓展对整个Hadoop生态圈的了解。
Msro·2020-07-15 05:13

Hadoop之YARN的安装与测试

在之前几篇文章中介绍了Hadoop生态圈中的HDFS基础，HDFS集群搭建，JAVA的基本API等操作，此文介绍一下，分布式调度系统的重要组成部分Yarn的安装与使用。
landy8530·2020-07-15 00:23

Hadoop集群的搭建及Hadoop生态圈

目前是动态IP，所以需要配置IP地址为静态IP/etc/sysconfig/network-scriptsll|grepifcfg-ens33可查看此文件的权限，只能在root下更改viifcfg-ens33:BOOTPROTO=dhcp改为BOOTPROTO=staticONBOOT=yes添加四行代码：IPADDR=192.168.220.138NETMASK=255.255.255.0GAT
sxhBK6303·2020-07-14 23:43

Spark-Hadoop、Hive、Spark 之间是什么关系？

原文链接本文来自知乎：XiaoyuMa，大数据工程师大数据本身是个很宽泛的概念，Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。
Ritter_Liu·2020-07-14 21:02

Hadoop架构及各组件介绍

一般hadoop指的是hadoop生态圈。一、先通过一张图了解一下hadoop生态系统整体框架结构。二、理解hadoop生态系统之前，我们先来认识几个概念：1.什么是分布式？
会写程序员的代码·2020-07-14 20:43

Windows环境搭建Hadoop源码阅读环境(爬坑)--不念过去,无畏将来

Windows环境搭建Hadoop源码阅读环境(爬坑)–不念过去,无畏将来1.脱坑后的感受每天早早的下班后,也是无趣.于是乎就想阅读下hadoop的源码,毕竟自己每天也要和Hadoop生态圈的这些东西打交道
小1天·2020-07-14 18:26

Hadoop生态圈中的组件和构成

是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。Hadoop的核心是HDFS，Mapreduce和YARN，但是也有其他组件。1，HDFS（hadoop分布式文件系统）HDFS是hadoop分布式文件系统hdfs是hadoop体系中数据存储管理的基础。它是一个高度容错的系统，能检测和应对硬件故障。client：切分文件，访问HDFS，与那么弄得交互，获取文件位置信息，与
maxlove1111·2020-07-14 15:32

Hadoop及其生态圈（详细）

Hadoop生态圈1、概述2、HDFS3、MapReduce4、YARN5、HBase6、ZooKeeper7、Hive8、Pig9、Sqoop10、Flume11、Oozie12、MahoutHadoop
这条gai最靓的华哥·2020-07-14 11:43

Hadoop生态圈之Kudu（一）

ApacheKuduApacheKudu是由Cloudera开源的存储引擎，可以同时提供低延迟的随机读写和高效的数据分析能力。它是一个融合HDFS和HBase的功能的新组件，具备介于两者之间的新存储组件。Kudu支持水平扩展，并且与ClouderaImpala和ApacheSpark等当前流行的大数据查询和分析工具结合紧密。Kudu应用场景适用于那些既有随机访问，也有批量数据扫描的复合场景高计算量
chipeize·2020-07-14 08:18

Hadoop生态圈之Hue（一）

ApacheHueHUE=HadoopUserExperienceHue是一个开源的ApacheHadoopUI系统，由ClouderaDesktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于PythonWeb框架Django实现的。通过使用Hue，可以在浏览器端的Web控制台上与Hadoop集群进行交互，来分析处理数据，例如操作HDFS上的数据，运
chipeize·2020-07-14 08:18

Hadoop生态圈之Oozie（一）

ApacheOozieOozie是一个用来管理Hadoop生态圈job的工作流调度系统。由Cloudera公司贡献给Apache。
chipeize·2020-07-14 08:18

hadoop生态圈各个组件

Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。Hadoop的核心是HDFS和Mapreduce，HDFS还包括YARN。1，HDFS（hadoop分布式文件系统）是hadoop体系中数据存储管理的基础。他是一个高度容错的系统，能检测和应对硬件故障。client：切分文件，访问HDFS，与那么弄得交互，获取文件位置信息，与DataNode交互，读取和写入数据
La victoria·2020-07-14 03:10

Hadoop生态系统

是一个开源分布式系统架构分布式文件系统HDFS——解决大数据存储分布式计算框架MapReduce——解决大数据计算分布式资源管理系统YARN处理海量数据的架构首选非常快得完成大数据计算任务已发展成为一个Hadoop
weixin_48678554·2020-07-14 03:04
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他