hdoop

Hdoop学习笔记（HDP）-Part.20 安装Flume

目录Part.01关于HDPPart.02核心组件原理Part.03资源规划Part.04基础环境配置Part.05Yum源配置Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart.13安装RangerPart.14安装YARN+
这啥命啊·2023-12-02 19:46

Hdoop学习笔记（HDP）-Part.17 安装Spark2

目录Part.01关于HDPPart.02核心组件原理Part.03资源规划Part.04基础环境配置Part.05Yum源配置Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart.13安装RangerPart.14安装YARN+
这啥命啊·2023-12-02 19:45

Hdoop学习笔记（HDP）-Part.18 安装Flink

目录Part.01关于HDPPart.02核心组件原理Part.03资源规划Part.04基础环境配置Part.05Yum源配置Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart.13安装RangerPart.14安装YARN+
这啥命啊·2023-12-02 19:45

Hdoop学习笔记（HDP）-Part.11 安装Kerberos

目录Part.01关于HDPPart.02核心组件原理Part.03资源规划Part.04基础环境配置Part.05Yum源配置Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart.13安装RangerPart.14安装YARN+
这啥命啊·2023-12-02 19:15

Hdoop学习笔记（HDP）-Part.12 安装HDFS

目录Part.01关于HDPPart.02核心组件原理Part.03资源规划Part.04基础环境配置Part.05Yum源配置Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart.13安装RangerPart.14安装YARN+
这啥命啊·2023-12-02 19:15

Hdoop学习笔记（HDP）-Part.19 安装Kafka

目录Part.01关于HDPPart.02核心组件原理Part.03资源规划Part.04基础环境配置Part.05Yum源配置Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart.13安装RangerPart.14安装YARN+
这啥命啊·2023-12-02 19:15

Hdoop学习笔记（HDP）-Part.10 创建集群

目录Part.01关于HDPPart.02核心组件原理Part.03资源规划Part.04基础环境配置Part.05Yum源配置Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart.13安装RangerPart.14安装YARN+
这啥命啊·2023-12-02 19:14

Hdoop学习笔记（HDP）-Part.09 安装OpenLDAP

目录Part.01关于HDPPart.02核心组件原理Part.03资源规划Part.04基础环境配置Part.05Yum源配置Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart.13安装RangerPart.14安装YARN+
这啥命啊·2023-12-02 19:44

Hdoop学习笔记（HDP）-Part.02 核心组件原理

目录Part.01关于HDPPart.02核心组件原理Part.03资源规划Part.04基础环境配置Part.05Yum源配置Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart.13安装RangerPart.14安装YARN+
这啥命啊·2023-12-02 19:14

Hdoop学习笔记（HDP）-Part.05 Yum源配置

目录Part.01关于HDPPart.02核心组件原理Part.03资源规划Part.04基础环境配置Part.05Yum源配置Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart.13安装RangerPart.14安装YARN+
这啥命啊·2023-12-02 19:14

Hdoop学习笔记（HDP）-Part.07 安装MySQL

目录Part.01关于HDPPart.02核心组件原理Part.03资源规划Part.04基础环境配置Part.05Yum源配置Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart.13安装RangerPart.14安装YARN+
这啥命啊·2023-12-02 19:14

Hdoop学习笔记（HDP）-Part.08 部署Ambari集群

目录Part.01关于HDPPart.02核心组件原理Part.03资源规划Part.04基础环境配置Part.05Yum源配置Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart.13安装RangerPart.14安装YARN+
这啥命啊·2023-12-02 19:14

Hdoop学习笔记（HDP）-Part.03 资源规划

目录Part.01关于HDPPart.02核心组件原理Part.03资源规划Part.04基础环境配置Part.05Yum源配置Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart.13安装RangerPart.14安装YARN+
这啥命啊·2023-12-02 19:43

Hdoop学习笔记（HDP）-Part.06 安装OracleJDK

目录Part.01关于HDPPart.02核心组件原理Part.03资源规划Part.04基础环境配置Part.05Yum源配置Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart.13安装RangerPart.14安装YARN+
这啥命啊·2023-12-02 19:43

Hdoop学习笔记（HDP）-Part.04 基础环境配置

目录Part.01关于HDPPart.02核心组件原理Part.03资源规划Part.04基础环境配置Part.05Yum源配置Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart.13安装RangerPart.14安装YARN+
这啥命啊·2023-12-02 18:40

Hdoop学习笔记（HDP）-Part.16 安装HBase

十六、安装HBase1.安装选择HBase进行安装2.HMasterHAACTIONS->ADDHBaseMaster3.Ranger授权在HBase中新建策略先以hbase/[email protected]身份分别创建两个表空间及表kinit-kt/etc/security/keytabs/hbase.service.keytabhbase/hdp01.hdp.com@HDP31
这啥命啊·2023-12-02 07:36

Hdoop学习笔记（HDP）-Part.14 安装YARN+MR

十四、安装YARN+MR1.MR中间结果存储权限使用Yarn提交MapReduce任务的时候，中间结果会保存在HDFS，/user/username/，如果/user目录下用户目录下不存在，则被创建，当MR执行结束之后，中间结果会被删除，目录保留。因此需要在Ranger中对/user的权限做策略。2.安装服务YARN的部分存储路径调整：NodeManagerYARNNodeManagerLocal
这啥命啊·2023-12-02 07:35

Hdoop学习笔记（HDP）-Part.1 关于HDP

目录Part.1关于HDPPart.2核心组件原理Part.3资源规划Part.4基础环境配置Part.5Yum源配置Part.6安装OracleJDKPart.7安装MySQLPart.8部署Ambari集群Part.9安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart.13安装RangerPart.14安装YARN+MRPart.15
这啥命啊·2023-12-02 07:35

Hdoop学习笔记（HDP）-Part.15 安装HIVE

十五、安装HIVE1.配置MetaStore利用ambari创建的MySQL作为MetaStore，创建用户hive及数据库hivemysql-uroot-pCREATEDATABASEhive;CREATEUSER'hive'@'%'IDENTIFIEDBY'lnyd@LNsy115';GRANTALLONhive.*TO'hive'@'%';FLUSHPRIVILEGES;2.安装在服务中添加
这啥命啊·2023-12-02 06:58

Hdoop学习笔记（HDP）-Part.13 安装Ranger

十三、安装Ranger1.安装服务(1)ChooseServices(2)AssignMasters(3)AssignSlavesandClients选择不安装RangerTagsync(4)CustomizeServices设置RANGERADMINDBFLAVOR：选择MySQL，依据ambari使用的数据库来定RangerDBname：设置ranger在数据库中的DB，默认rangerRan
这啥命啊·2023-12-02 06:23

Hdoop安装配置学习笔记（HDP）

一、关于HDP1.AmbariAmbari是一种基于Web的工具，支持ApacheHadoop集群的创建、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeeper、Sqoop和Hcatalog等。ApacheAmbari支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hca
glisten0317·2023-11-14 08:50

Hdoop入门之Flume

概要Flume是一个高可用的，分布式的实时的日志采集系统。Flume分为三个组件，Ource组件，负责信息的采集，并将采集的信息发送诶Channel。Channel组件提供临时的存储，保存Source组件发送过来的信息，Sink负责读取Channel中临时存储的信息，保存到HDFS等，并删除Channel中的临时信息。Source,Channel,Sink称为一个Agen。架构如下图所示：agen
lurenjia·2023-11-04 10:01

Hive源码调试

文章目录1、概述2、安装Hadoop2.1下载及配置2.2配置环境变量2.3格式化namenode2.4启动hdoop3、编译Hive3.1编译3.2配置hive3.3初始化元数据库4、调试参考链接1、
0x3E6·2023-10-11 14:50

Hdoop伪分布式集群搭建

文章目录Hadoop安装部署前言1.环境2.步骤3.效果图具体步骤（一）前期准备（1）ping外网（2）配置主机名（3）配置时钟同步（4）关闭防火墙（二）正文（1）配置hosts列表（2）SSH免密钥登录配置①master虚拟机上②slave01虚拟机上③slave02虚拟机上④验证免密登录（3）安装JDK（4）安装部署Hadoop集群（chenqi用户）1.解压缩包2.配置文件3.创建Hadoo
陈七.·2023-09-20 22:27

hdoop面试题6 后面的面试题各公司面试题,算法数据结构相关面试题 后面没看 阿善有用...

1.列出安装hadoop流程步骤a)创建hadoop账号b)更改ipc)安装java更改/etc/profile配置环境变量d)修改host文件域名e)安装ssh配置无密码登录f)解压hadoopg)配置hadoopconf下面的配置文件h)Hadoopnamenode-format格式化i)Start启动2.列出hadoop集群启动中的所有进程和进程的作用a)Namenode管理集群记录name
okbin1991·2023-08-19 14:24

大数据调度平台oozie、azkaban、dolphinscheduler对比

DolphinSchedulerAzkabanOozie定位解决数据处理流程中错综复杂的依赖关系为了解决Hadoop的任务依赖关系问题管理Hdoop作业（job）的工作流程调度管理系统任务类型支持支持传统的
老姜的数据江湖·2023-07-18 07:41

Hadoop学习-HDFS

Hdoop之HDFS什么是HDFS背景及意义背景随着数据量的增加，一个操作系统存不下所有数据，就需要分配到更多的操作系统磁盘中，为了方便管理和维护，需要一种系统来管理多台机器上的文件，这就是分布式文件系统
数据的小伙伴·2023-03-14 22:29

sqoop建表_Sqoop基础教程

官网定义如下:ApacheSqoop大白话理解:一个用来将数据Hdoop上的数据和结构化存储(数据库数据)实现互相传输的工具另外注意的是,上面文字最后一行,Sqoop1(1.4X)和Sqoop2(1.99X
weixin_39625305·2020-12-20 14:49

git编译安装报错 http-push.c:20:19: 警告：expat.h：没有那个文件或目录

解决：[root@hdoop3git-2.18.1]#yuminstallexpat-devel转载于:https://www.cnblogs.com/byfboke/p/9922987.html
weixin_30922589·2020-09-15 12:08

(Hdoop)HDFS—HA高可用详解

一、HA概述1）所谓HA（highavailable），即高可用（7*24小时不中断服务）。2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。4）NameNode主要在以下两个方面影响HDFS集群NameNode机器发生意外，如宕机，集群将无法使用，
AngeJT·2020-08-17 06:43

vmware workstation15 清理磁盘

没办法了，只能忍痛把之前搭建好的hdoop，spark框架
小白programmer·2020-08-04 05:39

Hadoop框架最核心组件的设计

#Hdoop一、HDFSHDFS是分布式计算的存储基石，对于整个集群有单一的命名空间，具有数据一致性，适合一次写入多次读取的模型，客户端在文件没有被成功创建之前是无法看到文件存在的。
一起来看┈━·2020-08-01 10:13

大数据环境配置分布式安装hdoop

Hadoop完全分布式安装教程目录一、软件版本.......................................................2二、安装教程.......................................................21、VMWare安装教程..............................................2
qq_860556105·2020-07-14 21:21

hdoop1.0与hadoop2.0的区别-比较清晰

1）从整体框架来说：a、Hadoop1.0即第一代Hadoop，由分布式存储系统HDFS和分布式计算框架MapReduce组成，其中HDFS由一个NameNode和多个DateNode组成，MapReduce由一个JobTracker和多个TaskTracker组成。b、Hadoop2.0即第二代Hadoop为克服Hadoop1.0中的不足：针对Hadoop1.0单NameNode制约HDFS的扩
爱萨萨·2020-07-08 12:31

Oozie

功能Oozie是一个管理Hdoop作业（job）的工作流程调度管理系统Oozie的工作
清风笑丶·2020-06-28 21:17

执行Hadoop命令出现Error: JAVA_HOME is not set and could not be found解决办法

网上大部分解决办法是：sudovim...hadoop/etc/hdoop-env.sh将语句exportJAVA_HOME=$JAVA_HOME修改为exportJAVA_HOME=/usr/java
咖啡大象不含咖啡·2019-12-29 08:36

Hadoop单点安装(伪分布式)

Hadoop单点安装,基于版本2.7.1，在一台Lunix主机上面安装Hdoop，包括Hdfs的NameNode和DataNode，以及Yarn的ResouceManager和NodeManager。
木木与呆呆·2019-12-22 11:01

【Zookeeper】利用zookeeper搭建Hdoop HA高可用

HA概述所谓HA（highavailable），即高可用（7*24小时不中断服务）。实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。NameNode主要在以下两个方面影响HDFS集群NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启Nam
ShadowFiend·2019-10-28 10:00

19年9月份中期总结

文章目录1.完成目标2.九月份待完成目标3.十月份展望1.完成目标Hdoop集群的搭建（基于Zookeeper的高可用集群）复习了HDFS的存储机制以及常用操作复习了MapReduce的工作机制以及进行了基本的操作练习复习了
RivenDong·2019-09-18 11:12

Hadoop分布式集群搭建之--SSH无密登录配置

1、配置ssh实现hadoop100免秘钥登录hdoop101和hadoop102。
卡列宁的微笑66·2019-07-22 20:46

大数据技术之Hadoop入门（第三篇）伪分布式和完全分布式的搭建

继Hadoop入门第二篇之后，今天我们进行一下Hadoop运行环境的搭建三、Hdoop运行环境搭建1.首先要虚拟机搭建在创建Hadoop运行环境前我们先要有一台Linux，所以打开虚拟机创建一台Linux
夜、那么美จุ๊บ·2019-06-12 23:16

基于Hadoop的简易数据云盘系统的实现【升级版】

1.引言项目来源《Hadoop大数据开发案例教程与项目实战》开发一款基于Hadoop的数据云盘，来理解开发的原理和Hadoop相关知识点，学会Hdoop、HDFS的操作以及JavaWeb的开发。
樊领·2019-05-06 15:54

Sqoop

刚开始看《大数据知识体系讲解》，Sqoop一直在用，却没有好好了解过，Mark一下概念sqltoHadoop,关系型数据库与hdoop之间的数据ETL工具,支持全量和增量更新git地址：https://
点点渔火·2019-03-30 00:20

Hadoop单点安装(伪分布式)

Hadoop单点安装,基于版本2.7.1，在一台Lunix主机上面安装Hdoop，包括Hdfs的NameNode和DataNode，以及Yarn的ResouceManager和NodeManager。
木木与呆呆·2018-05-10 22:00

阿里云服务简单总结

1.阿里云提供的E-MapReduce包装了各种大数据需要的软件平台，包括Spark,Hdoop及相关软件，Hive,Pig，使用时需要创建计划，配置参数，指定调用的阿里云的方法或者类，指定自己的jar
五大RobertWu伍洋·2017-07-20 15:35

介绍hadoop中的hadoop和hdfs命令

hdfs的相当一部分的功能可以使用hdoop来替代（目前
正在战斗中·2017-06-09 16:00

上传本地文件到HDFS

：选项参数虚拟操作系统Centos6.8集成开发环境EclipseMarsHadoopversion1.0.3伪分布式JDK1.7.0_80虚拟机Virtualbox程序目录结构：其中src文件夹下的Hdoop
toypipi·2016-09-21 10:44

分布式与集群

一直听说过分布式由于找工作需要所以学习，都知道有分布式集群(Hdoop)、分布式存储(GFS,NFS)、分布式数据库(Hbase,redis,memcaced)、分布式系统、分布式软件等，今天开始后续的学习
aklaus·2016-06-13 20:27

centos搭建hadoop2

首先：先介绍环境虚拟机安装的VM12，系统是centOS6.5，hdoop2.7.1，JDK是1.7因为hadoop2官网测试了JDK1.6喝1.7都是稳定的，1.8应该也行但是此时官网暂时没测。
任杰LL·2016-04-19 15:00

Hdoop 学习笔记

  一搭建环境： 1Linux操作系统 2Linux远程连接工具xshell+xftp 3Hadoop源码下载地址   http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.2/hadoop-2.7.2-src.tar.gz  启动Hadoop  1 ./etc/hadoop/hadoop-env.sh中设置JAVA_HOME变
jamescasta·2016-03-08 18:00
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他