【Hadoop生态圈】

Hadoop系列002-从Hadoop框架讨论大数据生态

3）广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP生态圈2、Hadoop发展历史我这里给大家推荐下我自己创建的大数据资料分享群834325294，这是大数据学习交流的地方，不管你是小白还是大牛
大数据首席数据师·2019-11-07 03:21

初识Hadoop

目录##Hadoop背景介绍Hadoop生态圈以及各组成部分的简介Hadoop案例感性认识1、Hadoop背景介绍###Hadoop是什么####1、Hadoop是apache旗下的一套开源软件平台2、
Singer_Au·2019-11-07 03:13

谁在听不懂大数据算我输——大数据核心技术spark

我总结出四点：1、Spark分布式的计算框架2、类似Hadoop生态圈中的MapReduce（分布式计算框架）3、计算思想和MR（MapReduce简称）非常的相似，都是分而治之的思想
A尚学堂Nancy老师·2019-11-04 00:10

【资料合集】在线大数据技术峰会：讲义PDF+活动视频！

这是个技术人的好时代，仅数据库领域热门DB就有300+，围绕着Hadoop生态圈的大数据处理技术更是繁花似锦。
不懂代码的猿·2019-11-03 02:49

大数据入门及集群搭建（3个节点做示范）

大数据入门及集群搭建（3个节点做示范）1.大数据1.1什么是大数据1.2大数据的四个特性1.3大数据价值应用2.Hadoop2.1.什么是hadoop2.2.hadoop的核心组件2.3hadoop的发行版2.4hadoop
IT小鸟鸟·2019-10-31 10:12

关于大数据的一些基本常识整理

1.Hadoop生态Hadoop生态圈介绍Hadoop百度百科MapReduce百度百科Yarn百度百科Hive百度百科HBase百度百科Hadoop可视化分析利器之HueFlume百度百科Sqoop百度百科
司小幽·2019-10-30 23:38

大数据开发中Spark架构运行详解及其优势详解？

类似于大数据开发中Hadoop生态圈的MapReduce，计算思想和MR非常相似，两者都是分而治之的思想，但使用率要比MR高很多。
尚学先生·2019-10-30 19:25

Hadoop组成架构

Hadoop是apache用来“处理海量数据存储和海量数据分析”的分布式系统基础架构，更广义的是指hadoop生态圈。
吴磊的·2019-10-18 16:00

大数据系列（五）之 Flume 数据传输

它也是Hadoop生态圈中的关键组件之一。Flume通过可扩展，插件化，组合式，高可用，高容错的设计模式，为用户提供
古小龙·2019-10-11 15:51

Ozone集群搭建以及基本使用

文章目录前言Ozone的背景介绍Ozone集群环境搭建前期执行步骤集群启动依赖配置项的设置小文件的对象存储测试引用前言笔者在近两年时间里一直在写Hadoop生态圈内的下一代对象存储系统Ozone的文章，
Android路上的人·2019-10-02 10:59

Hive vs HBase （配合使用才是最佳方案）

前言Hive和HBase是Hadoop生态圈两个非常重要的技术，但对于初学者很容易进行混淆，因此这里做一个简单的总结，希望能帮助大家缕出一条比较清晰的思路一句话概括Hive是数据仓库，用来分析HDFS上的数据
SunnyRivers·2019-09-27 09:57

Hadoop生态圈学习笔记

目录第一章大数据发展趋势第二章HDFS技术原理第三章MapReduce分布式离线批处理第四章YARN资源管理器第五章ZooKeeper集群分布式协调服务第六章HBase分布式NoSQL数据库第七章Hive数据仓库第八章Kafka第九章Flume第十章Loader第十一章Streaming第十二章Spark第十三章Flink第一章大数据发展趋势一、大数据概念1.定义：自己定义2.历史：2002年，d
霈行千里·2019-09-23 20:00

Hadoop生态圈之Sqoop（一）

ApacheSqoop介绍ApacheSqoop是在Hadoop生态体系和RDBMS体系之间传送数据的一种工具Sqoop工作机制是将导入或导出命令翻译成mapreduce程序来实现。在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。Hadoop生态系统包括：HDFS、Hive、Hbase等RDBMS体系包括：Mysql、Oracle、DB2等Sqoop
chipeize·2019-09-16 09:45

分布式存储系统Kudu与HBase的简要分析与对比

Hadoop生态圈中的技术繁多，HDFS作为底层数据存储的地位一直很牢固。而HBase作为GoogleBi
hellozhxy·2019-09-12 18:29

hadoop，hive，spark的关系是什么

于是我就对这两个东西之间的关系去查了一些资料，在这里汇总下参考链接https://blog.csdn.net/qq_36617639/article/details/80324982大数据本身是个很宽泛的概念，Hadoop
王怀宇·2019-09-10 15:00

Flink 整合hbase

在hadoop生态圈的角色是实时、分布式、高维数据的数据存储。一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库。在HBase中上面的表格只是一行数据。
apprentices·2019-09-09 14:27

hadoop

根据用户的自定义业务逻辑，对海量数据进行分布式处理HADOOP的核心组件有HDFS（分布式文件系统）YARN（运算资源调度系统）MAPREDUCE（分布式运算编程框架）广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP
wornxiao·2019-09-08 22:19

2.从Hadoop框架讨论大数据生态

框架讨论大数据生态1.1Hadoop是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构.主要解决,海量数据的存储和海量数据的分析计算问题.广义上来说,Hadoop通常是指一个更广泛的概念——Hadoop
嗨,包·2019-08-31 18:33

好程序员大数据学习路线分享MapReduce全流程总结

MapReduce是一个基于yarn的分布式、离线、并行的计算框架，主要职责是处理海量数据集，是Hadoop生态圈中一个非常重要的一个工具，所以MapReduce是大数据学习的一个很关键的知识点，需要大家好好掌握
wx5d42865f47214·2019-08-29 15:55

大数据入门必看：Hive、Hadoop、Storm诠释(小结)

大数据本身是个很宽泛的概念，Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房
千锋IT·2019-08-09 16:17

Ambari环境搭建（离线搭建）

但是这里的Hadoop是一个广义概念，并不仅仅指的是Hadoop（HDFS、MapReduce），而是指Hadoop生态圈（包括Spark、Hive、Hbase，Sqoop，Zookeeper、Flume
小鸡·2019-07-22 00:00

Hadoop现在怎么样了？

提到HDFS、MapReduce、Yarn，提到HBase、Hive、TEZ等Hadoop生态圈中的一个又一个开源组件。但是最近好像有点不一样了。
叁金·2019-07-18 23:00

想转行大数据，开始学习 Hadoop？

这里给大家普及一下学习路线：hadoop生态圈——Strom——Spark——算法。
大数据森林·2019-07-14 23:00

大数据Hadoop生态圈介绍

大数据Hadoop生态圈-组件介绍Hadoop是目前应用最为广泛的分布式大数据处理框架，其具备可靠、高效、可伸缩等特点。Hadoop的核心组件是HDFS、MapReduce。
kiss火葱花·2019-07-12 14:47

离线计算系统之Hadoop入门

目录1.HADOOP背景介绍1.1什么是HADOOP1.2HADOOP产生背景1.3HADOOP在大数据、云计算中的位置和关系1.4国内外HADOOP应用案例介绍1.5HADOOP生态圈以及各组成部分的简介
Jeremy_Lee123·2019-07-06 11:20

数据分析(7)-如何使用Python与Hadoop生态系统进行交互(译)

我们都知道hadoop主要使用java实现的，那么如何使用python与hadoop生态圈进行交互呢，我看到一篇很好的文章，结合google翻译和自己的认识分享给大家。
九点前吃饭·2019-06-30 23:14

啃掉Hadoop系列笔记(01)-Hadoop框架的大数据生态

3）广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP生态圈二、Hadoop发展历史1）Lucene--DougCutting开创的开源软件，用java书写代码，实现与Google类似的全文搜索功能
传奇的博客·2019-06-23 18:00

菜鸟进阶(hadoop生态圈的简单知识点串联)

hadoop生态圈1、common2、hdfs—分布式存储（多台节点协同工作）2.1角色—NNDNSNN2.2工作机制、读写机制----block块（1.x64M2.x128M）为了数据的安全—备份机制为了增强传输效率
傷 訫·2019-06-18 21:02

大数据之Hadoop生态圈中的MapReduce学习

大数据之MapReduce学习（简易见解）前言继我们上篇讲了HDFS的客户端操作之后，我们今天来分享一下Hadoop生态圈中第二个重要组成部分——MapReduce。
夜、那么美จุ๊บ·2019-06-14 21:37

Spark每日半小时（16）——数据读取与保存概览

一部分原因是Spark本身是基于Hadoop生态圈而构建，特别是Spark可以通过Hadoopmr所使用的InputFormat和OutputFor
DK_ing·2019-06-12 22:12

Spark每日半小时（16）——数据读取与保存概览

一部分原因是Spark本身是基于Hadoop生态圈而构建，特别是Spark可以通过Hadoopmr所使用的InputFormat和OutputFor
DK_ing·2019-06-12 22:12

大数据组件

Hadoop生态圈各常用组件介绍Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
年少而无为·2019-06-03 09:44

ClickHouse简记

初识ClickHouse第一次接触ClickHouse是在朋友圈，很凑巧的是当时正在寻找一款不依赖Hadoop生态圈的分析引擎数据库，同类数据库也看了不少，比如刚刚研究的InfoBright，性能上的确不错
_陆春阳_·2019-05-26 04:25

HDFS-3.1.1 分布式文件系统 实验示例

HDFS为Hadoop生态圈中的其它组
Iggi_128·2019-05-22 21:43

Hadoop生态圈

一、简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。二、HDFSHadoopDistributedFileSystem，简称HDFS，是个分布式文件系统，是hadoop的一个核心部分。HDFS有这高容错性(fault-tolerent)
～静～·2019-05-22 10:10

HADOOP生态圈以及各组成部分的简介

HADOOP生态圈以及各组成部分的简介1各组件简介重点组件：HDFS：分布式文件系统MAPREDUCE：分布式运算程序开发框架HIVE：基于大数据技术（文件系统+运算框架）的SQL数据仓库工具HBASE
wzl·2019-05-20 15:45

大数据学习笔记之大数据概述

二、大数据生态圈目前大数据主要有两大生态圈：》Hadoop生态圈》Spark生态圈三、大数据产生的背景由于信息时代的到来，每天都产生了大量的数据，想要靠人工去分析和挖掘这些数据
ako881010·2019-05-19 17:00

大数据和Hadoop生态圈

你可能听别人说过，我们生活在“大数据”的环境中。技术驱动着当今世界的发展，计算能力飞速增长，电子设备越来越普遍，因特网越来越容易接入，与此同时，比以往任何时候都多的数据正在被传输和收集。你可能听别人说过，我们生活在“大数据”的环境中。技术驱动着当今世界的发展，计算能力飞速增长，电子设备越来越普遍，因特网越来越容易接入，与此同时，比以往任何时候都多的数据正在被传输和收集。企业正在以惊人的速度产生数据
机器学习和人工智能·2019-05-15 21:07

Hadoop生态圈各种组件介绍

好多初入学习大数据的人不是很清楚，今天分享一个图，并介绍一下大致的组件，其他还有一些组件是没有包含在其中的，但是大部分这个图片是有了的。一、简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。二、HDFSHadoopDistributedF
MrZhangBaby·2019-05-06 11:14

大数据任务调度框架oozie项目分享

，，作业调度系统的技术选型考虑到基于java语言的Azkaban/oozie以及基于python的airflow，三者其实都可以进行很好的二次开发，基于产品开发面向用户，考虑到oozie能够更好的融入hadoop
会飞的牛奶·2019-05-01 15:35

linux内核高级优化脚本

linux内核高级优化脚本可以用于hadoop生态圈环境的组件安装linux内核调优具体的每一步的解释请参考03搭建cdh备注：使用与centos6和centos7两个系统版本执行[root@lb01scripts
马吉辉·2019-04-22 14:26

Hive与HBase集成进行数据分析

（一）Hive概述（二）Hive在Hadoop生态圈中的位置（三）Hive架构设计（四）Hive的优点及应用场景（五）Hive的下载和安装部署1.Hive下载Apache版本的Hive。
努力的凹凸曼·2019-04-13 16:39

Hadoop生态圈（四）：Yarn

目录1Yarn1.1Yarn概述1.2Yarn基本结构1.3Yarn工作机制1.4资源调度器2hadoop企业优化2.1MapReduce跑的慢的原因2.2MapReduce优化方法2.2.1数据输入2.2.2Map阶段2.2.3Reduce阶段2.2.4数据倾斜问题3常见错误及解决方案1Yarn1.1Yarn概述Yarn是一个资源调度平台，负责为运算程序调度服务器运算资源，相当于一个分布式的操作
jiezou12138·2019-04-11 23:05

hadoop生态圈（一）：hadoop集群的搭建

目录1hadoop概述1.1hadoop是什么1.2hadoop的组成1.2.1hdfs架构概述1.2.2YARN概述1.2.3MapReduce架构概述1.3大数据生态体系1.4推荐系统架构图2Hadoop集群搭建2.1虚拟机环境准备2.2安装jdk和hadoop2.3集群配置3集群启动3.1集群单点启动3.2SSH无密登陆设置3.3集群一键启动/停止方式4测试4.1启动集群4.2集群基本测试4
jiezou12138·2019-04-08 20:38

用最形象的比喻带你看懂大数据的技术生态圈

大数据本身是个很宽泛的概念，Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。
dftgcdf45645466·2019-04-07 10:21

cdh系列大纲（目录 先看）

根据此系统进行相应的优化构思：1、搭建cdh前硬件资源的选型//这里就要针对hadoop生态圈去选择什么样的硬件cpu硬盘厂家等2、搭建cdh版本控制，各个版本的相应的信息3、搭建cdh生产环境前的Linux
马吉辉·2019-03-20 18:44

Hive笔记（一）

1.定义：在Hadoop上的数据仓库基础架构2.兼容性：Hadoop生态圈3.依赖：JDK，Hadoop.4.适用的场景：hive并不适合那些需要低延迟的应用，例如联机事物处理（OLTP），Hive并非为联机事务处理而设计
Lv_Hulk·2019-03-02 13:45

zookeeper基本概念和功能

2019/2/19星期二zookeeper基本概念和功能zookeeper是hadoop生态圈里面重要的底层的框架，主要为上层的框架提供分布式协调服务的。
马吉辉·2019-02-19 15:17

centos6.6hadoop入门及安装

快速入门）HADOOP快速入门HADOOP快速入门HADOOP产生背景HADOOP在大数据、云计算中的位置和关系国内外HADOOP应用案例介绍国内HADOOP的就业情况分析及课程大纲介绍分布式系统概述HADOOP
qq_34412985·2019-02-17 23:13

Hadoop生态圈重要组件整理

Hadoop生态圈重要组件的概论与简述初学hadoop的朋友们一定知道，Hadoop是由Apache开发的分布式系统基础架构，类似于自然界中的生态系统。
Vincent_Leee丶·2019-02-12 18:13
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他