【Hadoop生态圈】

青铜到王者，看看你的MySQL数据库是什么段位，如何提升？

近10年互联网线上处理及培训经验，专注于MySQL数据库，对MongoDB、Redis等NoSQL数据库以及Hadoop生态圈相关技术有深入研究，具备非常丰富的理论与实战经验。
数据和云·2022-04-27 11:47

大数据技术应用-1

第一章第二章：大数据的发展史，大数据的概念，特征与价值，大数据的技术架构，Hadoop生态圈，Hadoop集群安装部署等知识。第三章到第五章：Hadoop的3个组件，HDFS,MapReduce
weixin_44522477·2022-04-26 12:43

大数据之 Hadoop 基本概念

——Hadoop是什么是一个由Apache基金会所开发的分布式系统基础架构主要解决海量数据的储存和海量数据的分析计算问题广义上说，Hadoop是一个更广泛的概念，Hadoop生态圈——大数据技术生态体系
程序少年不秃头·2022-03-25 07:27

大数据项目-5.hadoop（一.原理）

目前大数据的基础，还是依靠hadoop作为底层的，以上图为例，很多组件都是依赖hadoop，所以，目前形成了hadoop生态圈。hdfs对于数据的存储。m
宇智波云·2022-03-25 07:26

Hadoop基本概述

广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。
lllllllll@·2022-03-18 05:25

hadoop概念和组成（hdfs、yarn、mapreduce）

文章目录Hadoop概述组成1.分布式存储系统HDFS（HadoopDistributedFileSystem）2.资源管理系统YARN3.分布式计算框架MapReduceHadoop生态圈1.Hive2
栖之·2022-03-18 05:19

实时计算知识，最详细的整理

文章目录前言1大数据技术体系2大数据平台演变3Hadoop：4Hadoop生态圈4.1Hive：一个基于Hadoop的数据仓库工具4.2HBase：一款分布式数据库4.3Kafka：一种消息中间件4.4ZooKeeper
麦地与诗人·2022-02-28 15:09

Hadoop生态圈之即席查询工具Kylin

Kylin简介一、Kylin定义ApacheKylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBayInc开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。二、Kylin架构1）RESTServerRESTServer是一套面向应用程序开发的入口点，旨在实现针对Kylin平台的应用开发工作。此类应用程序
大数据面壁者·2022-02-28 11:10

hadoop生态_大数据学习笔记6——hadoop生态圈之初识flume

安装及相关配置文件的设置大数据学习笔记3——hdfs文件系统shell命令(1)大数据学习笔记4——hdfs文件系统shell命令(2)大数据学习笔记5——hdfs文件系统shell命令(3)今天说说hadoop
weixin_39687814·2022-02-27 09:41

大数据学习笔记：Hadoop生态系统

文章目录一、Hadoop是什么二、Hadoop生态系统图三、Hadoop生态圈常用组件（一）Hadoop（二）HDFS（三）MapReduce（四）Hive（五）Hbase（六）ZooKeeper（七）
howard2005·2022-02-27 09:39

大数据的技术生态？Hadoop、Hive、Spark之间是什么关系？

大数据本身是个很宽泛的概念，Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所有需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。
架构师springboot·2022-02-22 00:56

写入时间戳类型数据到Parquet，再用Impala读取

Parquet是一种新型列存储格式，它可以兼容Hadoop生态圈中大多数计算框架(Hadoop、Spark等)，被多种查询引擎支持（Hive、Impala、Drill等），并且它是语言和平台无关的。
逍遥老怪·2022-02-18 19:34

转：如何用形象的比喻描述大数据的技术生态？Hadoop、Hive、Spark 之间是什么关系？

强推本文，转自知乎：https://www.zhihu.com/question/27974418/answer/38965760大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的
代码真香·2022-02-17 15:38

Hadoop生态圈（二十二）- MapReduce并行度机制

目录1.MapTask并行度机制1.1概念1.2逻辑规划1.3逻辑规划规则1.4逻辑切片相关参数2.ReduceTask并行度机制3.CombineTextInputFormat3.1TextInputFormat3.2CombineTextInputFormat切片机制1.MapTask并行度机制1.1概念  MapTask的并行度指的是map阶段有多少个并行的task共同处理任务。map阶段的
一位木带感情的码农·2022-02-09 16:44

Zookeeper 3.5.7 集群配置

Zookeeper前期准备安装启动停止脚本hadoop生态圈Zookeeper-3.5.7前期准备按照hadoop的环境配置准备可参照这篇文章点这里防火墙要关闭ssh要配置好Zookeeper3.5.7
Tancy.·2022-02-08 10:17

Hadoop入门（一）

Hahoop概述1.1Hodoop是什么Hadoop是一个有Apache基金会所开发的分布式系统基础架构主要解决海量数据的存储和海量数据的分析计算问题广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop
山西没老板·2022-02-05 12:09

流处理组件Flume使用攻略

Flume是Hadoop生态圈中的一个组件。主要应用于实时数据的流处理，比如一旦有某事件触发(如本地交易引起的数据改动)可以将实时的日志数
·2022-01-18 12:26

Apache Oozie学习笔记(一)

作者：あおざき来源：恒生LIGHT云社区1.Oozie概述Oozie是一个用来管理Hadoop生态圈job的工作流调度系统。由Cloudera公司贡献给Apache。
·2022-01-06 10:39

从 Hadoop 框架讨论大数据生态

3）广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。
·2021-12-21 14:22

HDFS组件

一、HDFS简介1.1HDFS的概述在Hadoop生态圈中，HDFS属于底层基础，负责存储文件。
小赵呢·2021-11-13 15:25

flume详解

flume全称ApacheFlume技术角度：使用Java语言开发的一个分布式、高可靠、高可用中间件项目角度：最早是Cloudera提供的日志收集系统，现在是Apache软件基金会（ASF）的顶级项目，是Hadoop
·2021-11-05 19:12

Hadoop（一）：Hadoop入门

广义上来说，Hadoop通常是指一个更广泛的概念：Hadoop生态圈。
因你而在_caiyq·2021-10-30 11:25

为在线数据库构建基于 Kudu 的实时数据同步

简述Kudu是Cloudera开源的新型列式存储系统，是ApacheHadoop生态圈的成员之一。它专门为了对快速变化的数据进行快速的分析，填补了以往Hadoop存储层的空缺。
·2021-10-09 12:52

一文看懂大数据的技术生态圈，Hadoop，hive，spark都有了（转）

大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。
小柑·2021-06-27 11:23

大数据发展情况

开源大数据1.HadoopHDFS、HadoopMapReduce,HBase、Hive渐次诞生，早期Hadoop生态圈逐步形成。2.Hypertable是另类。
kuntoria·2021-06-22 11:01

hadoop介绍

可大可小使用大数据hadoop生态圈或框架平台高并发==多线程集群==分布式多进程把进程分布到不同机器将会涉及网络通信很麻烦因此hadoop诞生了hadoop数据存储hdfs数据分析mapreduce分析模型资源调度
霍运浩·2021-06-21 23:20

大数据技术生态圈：Hadoop，hive，spark区别和关系

大数据本身是个很宽泛的概念，Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。
大数据架构师·2021-06-21 03:42

一文教你看懂大数据的技术生态圈 Hadoop,hive,spark

大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。
Albert陈凯·2021-06-14 16:33

Hadoop生态圈技术栈（中）

题目略。。。结果：selectuser_id,click_time,row_number()over(partitionbyuser_id,gidorderbyclick_time)rowNumfrom(selectuser_id,click_time,sum(flag)over(partitionbyuser_idorderbyclick_timerowsbetweenunboundedprec
Colin_lqk·2021-06-09 15:23

数据仓库Hive

目录Hive概述产生背景Hive是什么为什么要使用HiveHive在Hadoop生态圈中的位置Hive体系架构Hive部署架构Hive和RDBMS的区别Hive部署HIveDDL数据库操作表操作HiveDML
一杯敬朝阳一杯敬月光·2021-05-28 18:49

大数据Hadoop之ZooKeeper认识

zookeeperZookeeper字面上理解就是动物管理员，Hadoop生态圈中很多开源项目使用动物命名，那么需要一个管理员来管理这些“动物”。
悟成·2021-05-18 22:58

华为云PB级数据库GaussDB(for Redis)揭秘第九期：与HBase的对比

0.引言HBase是一个分布式的、面向列的开源数据库，基于Hadoop生态圈，在NoSQL蓬勃发展的今天被国内外众多公司选择，应用于现代互联网系统的不同业务。
华为云·2021-05-11 14:39

一、Hadoop生态圈

WhatisHadoop？Hadoop是一个框架，允许在集群中使用简单的编程模型对大规模数据集进程分布式计算。1.hadoop包含许多功能模块，它们各自负责了Hadoop的一部分功能，其中最主要的是Common、HDFS和YARN。HDFS负责数据的存储，YARN负责统一资源调度和管理，Common则提供远程过程调用RPC、序列化机制。2.Hadoop适合处理大规模数据，并且能够实现分布式存储和分
路飞大大gogo·2021-05-04 09:44

5月21日第十四次早课Hadoop

1.hadoop是什么广义就是hadoop生态圈，狭义就是单指hadoop2.hadoop三大组件是什么?
ly稻草·2021-05-03 08:14

Step by Step 实现基于 Cloudera 5.8.2 的企业级安全大数据平台 - Sentry 的整合

而Hadoop生态圈中也有一款对应的产品Sentry，它可以细化到Hive/Impala数据库的列粒度，进行权限控制，极大地提升了集群的多租户共享能力，保障了数仓本
大数据之心·2021-04-26 13:10

初识Hadoop（一）

简介起源于Nutch（全网搜索引擎），是apache开源框架，广义上来说，是一个更广泛的概念（Hadoop生态圈），主要作用是利用集群，根据用户自定义业务逻辑，对海量数据进行分布式处理，核心组件包括HDFS
RalapHao·2021-04-14 09:10

Linux第11课：Hive数据库安装

Linux第11课：Hive数据库安装时间2019-03-15下午3：30主讲张春志地点四楼电教室在Hadoop生态圈中，Hbase和Hive是两个使用频率最高、最重要的组件。
刘培富·2021-04-13 03:27

Hadoop生态圈技术栈(上)---hive

第一部分Hive安装与配置第1节Hive安装配置Hive官网：http://hive.apache.org下载网址：http://archive.apache.org/dist/hive/文档网址：https://cwiki.apache.org/confluence/display/Hive/LanguageManual安装前提：3台虚拟机，安装了Hadoop安装软件：Hive(2.3.7)+M
BetterKunPeng·2021-03-04 17:29

大数据丨ClickHouse在京东能源管理平台的实践

ClickHouse是一款面向大数据场景下的OLAP数据库，相比于传统的基于Hadoop生态圈的OLAP大数据分析系统，ClickHouse具有极致的查询性能、轻量级的架构设计及维护简单等优势。
·2021-02-01 11:58

大数据丨ClickHouse在京东能源管理平台的实践

ClickHouse是一款面向大数据场景下的OLAP数据库，相比于传统的基于Hadoop生态圈的OLAP大数据分析系统，ClickHouse具有极致的查询性能、轻量级的架构设计及维护简单等优势。
·2021-01-29 15:43

大数据丨ClickHouse在京东能源管理平台的实践

ClickHouse是一款面向大数据场景下的OLAP数据库，相比于传统的基于Hadoop生态圈的OLAP大数据分析系统，ClickHouse具有极致的查询性能、轻量级的架构设计及维护简单等优势。
京东科技开发者·2021-01-28 18:54

Hadoop生态圈之数据可视化报表Superset

目录第1章Superset入门1.1Superset概述1.2Superset应用场景第2章Superset安装及使用2.1安装Python环境2.1.1安装Miniconda2.1.2创建Python3.6环境2.2Superset部署2.2.1安装依赖2.2.2安装Superset2.2.3启动Supterset第3章Superset使用3.1对接MySQL数据源3.1.1安装依赖3.1.2重
大数据面壁者·2021-01-15 20:16

大数据技术与应用-D1

大数据技术与应用-D1考核点平台搭建(Hadoop+spark)数据采集(爬虫-request库)数据清洗与分析数据展示写报告平台搭建Hadoop生态圈核心设计HDFS和MapReduce。
?? YJ???????·2021-01-15 04:44

hadoop知识点总结

Hadoop是一个由Apache基金会所开发的分布式系统基础架构主要解决，海量数据的存储和海量数据的分析计算问题广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP生态圈2.Hadoop发行版本
超可爱慕之·2020-10-14 08:02

数据可视化第13篇：安装linux操作系统7系列

1.前言后续的课程就要对接大数据平台了，hadoop生态圈使用的是最新的3.0系列，虚拟服务器系统，我使用的是centos7.5。
lipengfei123·2020-10-09 08:08

大数据之Hadoop（一）-Hadoop入门

Hadoop基本介绍1.1Hadoop是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构主要解决，海量数据的存储和海量数据的分析计算问题广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop
jQueryZK·2020-10-04 14:21

Spark Parquet详解

Spark-Parquet概述ApacheParquet属于Hadoop生态圈的一种新型列式存储格式，既然属于Hadoop生态圈，因此也兼容大多圈内计算框架（Hadoop、Spark），另外Parquet
HoLoong·2020-09-29 16:00

Hadoop生态圈部署

Hadoop生态圈部署由于写文章功能限制，无法将文档进行上传到该文档中，所以在这里进行文档的介绍，并且文档后面已附上下载地址。
Jack-yuan·2020-09-17 07:13

hue的定制与二次开发

Hue定制与二次开发  Hue是Hadoop生态圈中的一员，它将Hadoop生态圈中几乎所有的工具都集成在一个Web平台上。在Web开发方面，Hue基于python的Django框架的mako模板。
CoderWang1993·2020-09-16 06:19

Hadoop -- 完全分布式，伪分布式，单击模式操作

Hadoop就是存储海量数据和分析海量数据的工具HADOOP生态圈组成重点组件：HDFS：分布式文件系统MAPREDUCE：分布式运算程序开发框架,为海量的数
生命热力٩( 'ω' )و·2020-09-16 03:36
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他