hadoop生态圈

Hadoop生态圈中的数据同步工具SQOOP

Hadoop生态圈中的数据同步工具SQOOP一、sqoop的概念二、sqoop的核心功能1、数据导入import2、数据导出export三、sqoop的底层实现四、sqoop的安装和部署五、sqoop的基本操作
Augenstern K·2023-09-16 05:04

Hadoop生态圈中的Flume数据日志采集工具

Hadoop生态圈中的Flume数据日志采集工具一、数据采集的问题二、数据采集一般使用的技术三、扩展：通过爬虫技术采集第三方网站数据四、Flume日志采集工具概述五、Flume采集数据的时候，核心是编写
Augenstern K·2023-09-14 08:30

Linux下开发JNI程序

随着近几年分布式程序的发展，Java在该领域扮演着越来越重要的角色，特别是Hadoop生态圈的兴起，更是让Java成为很多互联网公司主要的开发语言。
duhf_think·2023-09-10 10:08

Hadoop生态圈中的Hive数据仓库技术

Hadoop生态圈中的Hive数据仓库技术一、Hive数据仓库的基本概念二、Hive的架构组成三、Hive和数据库的区别四、Hive的安装部署五、Hive的基本使用六、Hive的元数据库的配置问题七、Hive
Augenstern K·2023-09-10 01:46

Hadoop生态圈（八）- HDFS动态节点管理

目录前言1.背景2.动态扩容、节点上线2.1新机器基础环境准备2.1.1主机名、IP2.1.2Hosts映射2.1.3防火墙2.1.4SSH免密登录2.1.5JDK环境配置2.2Hadoop配置2.2.1DataNode负载均衡服务3.动态缩容、节点下线3.1添加退役节点3.2刷新集群3.3手动关闭DataNode进程3.4DataNode负载均衡服务4.黑白名单机制4.1白名单4.2黑名单原文地
大Null·2023-09-07 00:22

ClickHouse 与 Hbase的对比

HBase的架构对比2.1Hbase架构编辑2.2ClickHouse的架构编辑3基本操作对比3.1HBase3.2ClickHouse4数据查询操作5各维度对比1ClickHouse与Hbase的基础hadoop
芋辕-·2023-08-27 01:05

从零开始的Hadoop学习（二）| Hadoop介绍、优势、组成、HDFS架构

广义上来说，Hadoop通常是指一个更广泛的概念—Hadoop生态圈。
庭前云落·2023-08-26 11:08

1 Hadoop入门

(3)广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈2.Hadoop的优势3Hadoop组成4HDFS概述5YARN架构概述YetAnotherResourceNegotiator
水无痕simon·2023-08-26 11:08

从零开始的Hadoop学习（二）| Hadoop介绍、优势、组成、HDFS架构

广义上来说，Hadoop通常是指一个更广泛的概念—Hadoop生态圈。
庭前云落·2023-08-26 10:26

Hadoop学习一（初识大数据）

五Hadoop发展及版本六为什么要使用Hadoop七Hadoopvs.RDBMS八Hadoop生态圈九Hadoop架构一什么是大数据？
超爱慢·2023-08-22 17:56

Hadoop是什么

狭义指Hadoop框架,大数据必备框架,Apache下开源的分布式系统基础框架,主要解决海量数据的存储和分析计算问题广义指Hadoop生态圈,包含大量用于大数据储存,管理,传输,分析计算的框架Hadoop
Rayfun·2023-08-16 14:30

成功解决DataX从Hive导出Oracle的数据乱码问题！

市面上可用的etl工具和框架很多，如来自于传统数仓和BI圈的kettle/informatica/datastage,来自于hadoop生态圈的sqoop/datax，抑或使用计算引擎spark/presto
笑看风云路·2023-08-14 18:30

Hadoop生态圈-使用FreeIPA安装Kerberos和LDAP

Hadoop生态圈-使用FreeIPA安装Kerberos和LDAP作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。有些大数据平台只是简单地通过防火墙来解决他们的网络安全问题。
weixin_34077371·2023-08-06 06:08

Hadoop生态圈（五）- HDFS数据迁移解决方案

目录前言1.HDFS数据迁移解决方案1.1数据迁移使用场景1.2数据迁移要素考量1.3HDFS分布式拷贝工具：DistCp1.3.1DsitCp介绍1.3.2DsitCp特性1.3.3DistCp命令原文地址：https://program-park.github.io/2022/01/17/hadoop_8/前言部分内容摘自尚硅谷、黑马等等培训资料1.HDFS数据迁移解决方案  数据迁移指的是一
大Null·2023-07-30 11:11

HDFS详解

1.简介HDFS是Hadoop生态下的分布式文件系统，专门存储超大数据文件，为整个Hadoop生态圈提供来基础带存储服务。1)由GFS发展而来。
weixin_39767869·2023-07-27 11:57

HBase作为JanusGraph图数据库存储

JanusGraph&HBase优点能够很好的和ApacheHadoop生态圈进行融合。对强一致性有很好的支持。通过机器的扩容能够使得存储得到线性的扩展。严格的读写事务控制。
娃娃学软件·2023-07-21 14:58

3、大数据测试

因为它不仅要验证正常的业务功能，还要针对大数据所使用的工具/框架进行测试，这需要大数据测试人员掌握大数据技术，比如说Hadoop生态圈的技术：Hadoop生态圈技术栈大数据是什么大数据是指那些数据量特别大
猪儿打滚·2023-07-20 17:17

2.Hadoop 生态圈及核心组件简介

1.Hadoop生态圈Hadoop是目前应用最为广泛的分布式大数据处理框架，其具备可靠、高效、可伸缩等特点。Hadoop的核心组件是HDFS、MapReduce。
墨家先生·2023-07-20 11:33

实训笔记7.18

实训笔记7.187.18一、座右铭二、Hadoop大数据技术大数据软件一般都要求7*24小时不宕机三、Hadoop的组成3.1HDFS3.2MapReduce3.3YARN3.4HadoopCommon四、Hadoop
cai-4·2023-07-20 00:00

Hadoop生态圈（四）- HDFS数据存储与数据管理

目录前言1.Hadoop常用文件存储格式1.1传统系统常见文件存储格式1.1.1文件系统块大小1.2Hadoop中文件存储格式1.3BigDataFileViewer工具1.3.1介绍1.3.2功能1.4Hadoop丰富的存储格式1.4.1TextFile1.4.1.1简介1.4.1.2应用场景1.4.1.3优缺点1.4.2SequenceFile1.4.2.1简介1.4.2.2应用场景1.4.2
大Null·2023-07-17 12:45

Oozie基本使用

Oozie是一个用来管理Hadoop生态圈job的工作流调度系统。Oozie是运行于Javaservlet容器上的一个JavaWeb应用。
枫叶梨花·2023-07-17 12:11

Hadoop发展历史

3）广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。
YOLO数据集工作室·2023-07-16 20:54

Kafka与Flume之集成比较

Flume比较在企业中必须要清楚流式数据采集框架flume和kafka的定位是什么：flume：cloudera公司研发:适合多个生产者；适合下游数据消费者不多的情况；适合数据安全性要求不高的操作；适合与Hadoop
李波涛i·2023-06-20 00:17

Java-Spark系列1-spark概述

文章目录一.大数据技术栈二.Spark概述2.1MapReduce框架局限性2.2Hadoop生态圈中的各种框架2.3Spark2.3.1Spark的优势2.3.2Spark特点2.3.3SPRAK2新特性一
只是甲·2023-06-16 18:14

【大数据之路1】Hadoop 入门

1.Hadoop入门1.大数据概述1.大数据相关说明2.Hadoop及大数据生态圈3.Hadoop核心组件4.Hadoop生态圈5.集群安装模式6.Hadoop运行模式7.Hadoop工作流程8.Hadoop
程序员胖五·2023-06-13 18:13

大数据高频面试题

Hadoop基础介绍下HadoopHadoop的特点说下Hadoop生态圈组件及其作用Hadoop主要分哪几个部分?他们有什么作用?
添柴少年yyds·2023-06-11 14:13

大数据面试题汇总

Hadoop基础介绍下HadoopHadoop的特点说下Hadoop生态圈组件及其作用Hadoop主要分哪几个部分?他们有什么作用?
添柴少年yyds·2023-06-10 04:33

大数据的基石Hadoop生态圈——核心组成及解释

大数据的基石Hadoop生态圈——核心组成1、数据收集层：Flume、Sqoop、ython2、数据存储层：HDFS3、数据处理层：Hive、Spark、MapReduce、Storm4、数据缓冲层：Kafka
程崇越·2023-06-08 19:54

Presto从入门到精通以及案例实操系列

在传统的Hadoop生态圈中，MapReduce作为数据处理框架，虽然能够处理海量数据，但是其查询性能却比较低下，尤其是对于需要进行交互式查询（如数据探索、数据挖掘等）的应用场景，更是不够灵活。
后端技术那点事·2023-06-08 18:38

Hadoop教程第一章之Hadoop简介

广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。2.Hadoop的三大发行版本Apache版本最原始（最基础）的版本，对于入门学习最好。
爱吃糖的靓仔·2023-06-07 02:16

【hadoop】在Mac m1下搭建安装hadoop环境（亲测有效版）

广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。
小松不菜·2023-04-09 23:14

linux hadoop 关系,最全hadoop架构总结

③广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP生态圈hadoop包括四个模块：HadoopHDFS：一个高可靠、高吞吐量的分布式文件系统。
苏文强·2023-04-09 15:20

企业级Hadoop大数据平台实战（1）——认识Hadoop

文章目录一、什么是Hadoop二、Hadoop的优点三、核心架构四、HDFS交互关系五、Hadoop的常用模块六、HADOOP生态圈以及各组成部分的简介七、Hadoop的配置文件一、什么是HadoopHadoop
CapejasmineY·2023-04-08 03:51

Hadoop概论

Hadoop是一个由Apache基金会所开发的分布式基础架构，主要解决，海量数据的存储和海量数据的分析计算问题，广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。
司晓杰·2023-04-05 14:37

大数据 - （三） - Hadoop生态圈技术栈 - Hive

数据仓库工具-HiveHDFS——海量数据存储MapReduce——海量数据分析和处理Yarn——集群资源的管理和作业调度Hive产生背景直接使用MapReduce处理海量数据，面临以下问题：开发难度大，学习成本高HDFS文件没有字段名，没有数据类型，不方便数据管理使用MapReduce框架开发，项目周期长，成本高Hive基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提
啦啦啦喽啰·2023-04-01 16:55

Hadoop总结——Hadoop基础

一、Hadoop是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构主要解决，海量数据的存储和海量数据的分析计算问题广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈二
蓦然_·2023-03-31 22:12

大数据开发：Hive分桶表及动态分区、静态分区

Hive组件在Hadoop生态圈的地位，还是相当重要的，作为操作数据库的重要工具，其性能和效率对于整体的数据处理效率是有着明显的影响的。
成都加米谷大数据·2023-03-31 04:51

Hadoop生态圈（五）HDFS高可用架构

1.HighAvailability背景知识1.1单点故障、高可用单点故障（英语：singlepointoffailure，缩写SPOF）是指系统中某一点一旦失效，就会让整个系统无法运作，换句话说，单点故障即会整体故障。高可用性（英语：highavailability，缩写为HA），IT术语，指系统无中断地执行其功能的能力，代表系统的可用性程度。是进行系统设计时的准则之一。高可用性系统意味着系统服
fedorafrog·2023-03-29 19:06

Hadoop（一）——hadoop框架简介

广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP生态圈二、hadoop的发展史Lucene--DougCutting开创的开源软件，用java书写代码，实
chouniti9651·2023-03-28 19:24

大数据技术——Hadoop（学习笔记1）

3）在广义上来说，Hadoop并不是单指一个技术和工具，它代表一个更广泛的概念——Hadoop生态圈。1.2Hadoop发展历史（了解）创始人：DougCutt
RomanticRick·2023-03-26 18:42

大数据框架之Hadoop：入门（二）从Hadoop框架讨论大数据生态

广义上来说，Hadoop通常是指一个更广泛的概念-Hadoop生态圈。
yiluohan0307·2023-03-22 11:33

大数据基础之Hive（三）—— 分区表和分桶表

那么不如就来了解了解Hadoop生态圈的另一名成员——Hive
Duktig丶·2023-03-22 11:52

浅谈一个新人的大数据之路-ORC篇

**ORC的全称是(OptimizedRowColumnar)，ORC文件格式是一种Hadoop生态圈中的列式存储格式。
CCCCCColdkl·2023-03-22 06:38

MacOS 系统配置Hadoop-3.1.1开发环境

IDE版本操作系统版本Hadoop生态圈中各个组件版本2.下载Hadoop-3.1.1版本的发布文件。
Iggi_128·2023-03-12 05:07

Hadoop生态圈（三十八）- YARN Fair Scheduler公平调度器深入研究

目录前言1.什么是FairScheduler2.启用FairScheduler3.资源配置文件4.FairScheduler配置4.1调度器级别的参数4.2分配文件队列的参数4.3资源调度分配案例一4.4资源调度分配案例二5.演示FairScheduler6.FairScheduler整体结构原文地址：https://program-park.github.io/2022/02/11/hadoop
一位木带感情的码农·2023-03-09 11:29

Hadoop生态圈（四十二）- YARN核心源码分析

目录前言1.YARN应用运行流程2.第一阶段：Client提交应用至YARN2.1第一步：JobSubmitter（Job提交）2.2第二步：createApplicationSubmissionContext（创建应用上下文）2.3第三步：RMAppManager#submitApplication（提交应用）2.4作业提交调用层次3.第二阶段：YARN启动AppMaster3.1第一步：App
一位木带感情的码农·2023-03-09 11:29

Hadoop生态圈（四十一）- YARN应用开发详解

目录前言1.YARN应用开发流程1.1客户端Client开发1.1.1提交应用1.1.2监控应用运行状态1.2AppMaster开发1.2.1AppMaster与ResourceManager交互1.2.2AppMaster与NodeManager交互2.YARN编程库开发应用2.1YARN基础库2.1.1服务库2.1.2事件库2.1.3状态机库2.2YARN编程库2.2.1YARN应用客户端库2
一位木带感情的码农·2023-03-09 11:59

Hadoop生态圈（三十三）- YARN架构深入学习

目录前言1.YARN框架概述1.1YARN产生和发展简史1.1.1Hadoop演进阶段1.1.1.1阶段0：AdHoc集群1.1.1.2阶段1：HOD集群1.1.1.3阶段2：共享计算集群1.1.1.4阶段4：Yarn集群1.1.2对YARN的需求1.2YARN简介1.3YARN与MRv1区别1.3.1MRv1架构1.3.2MRv1缺陷1.3.3YARN架构1.3.4YARN与MRv1区别2.YA
一位木带感情的码农·2023-03-09 11:58

Hadoop生态圈（三十七）- YARN资源调度器深入研究

目录前言1.资源调度与隔离1.2Memory资源1.2CPU资源2.资源调度器2.1概述2.2FIFOScheduler（先进先出调度器）2.3CapacityScheduler（容量调度器）2.3.1什么是CapacityScheduler2.3.2调度器特性2.3.3调度器配置2.3.3.1开启调度器2.3.3.2配置队列2.3.3.3队列属性2.3.3.4运行和提交应用限制2.3.3.5队列
一位木带感情的码农·2023-03-09 11:58

《尚硅谷大数据Hadoop》教程

广义上说，Hadoop通常指一个更广泛的概念—Hadoop生态圈。Hadoop优势高可用性、高扩展性、高效性、高容错性Ha
Wanncye·2023-03-09 11:56
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他