Hadoop1

YARN架构和资源管理

YA架构Hadoop1和Hadoop2区别yarn架构图resourcemanager全剧的资源管理器，整个集群只有一个，负责集群整个资源的统一管理和调度分配功能：处理客户端请求启动/监控ApplicationMaster
he_321·2020-07-07 03:54

在VMware虚拟机上部署Hadoop-3.2.0完全分布式

、安装sshserver、安装java环境3.在master节点上安装hadoop、并完成配置4.利用虚拟机克隆master为两个slave节点5.对slave节点进行配置6.在master节点上启动hadoop1
sunlu1124·2020-07-05 13:52

Hadoop1、Mac系统上，使用终端连接本地虚拟机，基于centos7与Hadoop2.7.3的集群配置

1、首先Mac上安装Centos7推荐高手的csdn资源，可以依照这个操作：https://blog.csdn.net/be_breave/article/details/810559122、接下来开始设置IP，要使用Mac上终端连接虚拟机，需要保证本地IP和虚拟机IP在一个网段上首先查看Mac本地的IP：我目前本地是192.168.99.1113、接下来去虚拟机主机上去查询目前的IP地址是多少，
臭臭在奔跑·2020-07-04 12:05

基于Virtualbox虚拟机搭建hadoop集群环境

1.1安装centos7在centos官网下载centos7镜像文件，在Virtualbox软件中导入镜像文件进行安装，本次由于实验环境限制，只安装了三台centos7虚拟机，分别命名为hadoop1,
liu_xue_feng·2020-07-04 02:26

hadoop入门之mapreduce shuffle与yarn原理(五)

标签（空格分隔）：hadoop1概念shuffle是什么？先说mapreducemapreduce本身是一个，map处理中间数据，之后传给reduce阶段完成数据的归并处理。
luoluo01·2020-07-02 10:55

VMWare克隆或复制Linux虚拟机后无法上网的解决

复制一份，如：D:\soft\VirtualMachines4，下点击hadoop1.vmx（hadoop1此名是第一台安装的系统主机名）进入界面如：2、修改，如图：3、开机（会有提示，点击已经移动），
airmantang·2020-06-30 01:38

kafka+flume+hdfs的flume配置文件

sources配置a1.sources.r1.type=org.apache.flume.source.kafka.KafkaSourcea1.sources.r1.zookeeperConnect=hadoop1
十色花·2020-06-30 00:47

kafka配置

日志和数据目录log.dirs=/opt/module/kafka/data#数据保留时间7天log.retension.hours=168#zookeeper集群zookeeper.connect=hadoop1
阿布都日·2020-06-30 00:00

07.Python pyhdfs 连接 HADOOP 基本命令

1.pyhdfs连接上Hadoop1）使用pyhdfs，pipinstallpyhdfs2）client=pyhdfs.HdfsClient(hosts="139.********",timeout=60
杰弗里 Zhang·2020-06-29 04:00

Hadoop之Yarn面试知识复习

Hadoop之Yarn面试知识复习目录简述hadoop1与hadoop2的架构异同为什么会产生yarn,它解决了什么问题，有什么优势？Hadoop之Yarn工作机制详解HDFS的数据压缩算法?
娃哈哈、·2020-06-29 02:17

Hadoop配置项整理

core-site.xmlnamevalueDescriptionfs.default.namehdfs://hadoopmaster:9000定义HadoopMaster的URI和端口fs.checkpoint.dir/opt/data/hadoop1
weixin_30500663·2020-06-27 20:46

Hadoop： 主节点9000端口拒绝访问Call From hadoop3/192.168.91.132 to hadoop1:9000 failed on connection exception

注：master：hadoop1；slaves：hadoop2,hadoop3CallFromhadoop3/192.168.91.132tohadoop1:9000failedonconnectionexception
机智的小蔡·2020-06-27 00:29

Azkaban2.5.0与Hadoop2.5.1的集成

以前一直再用oozie和Hadoop1，这是第一次接触Azkaban和Hadoop2，对它们的理解不深，所以文章中有错误的地方还望不吝赐教。
tambac·2020-06-26 19:15

python读取hdfs数据

加载包fromhdfs.clientimportClientclassProcess_Data_Hdfs():def__init__(self):self.client=Client("http://hadoop1
dltan·2020-06-26 17:06

hadoop学习之路1--hdfs架构

本系列均为hadoop1版本为准。。HDFS是一个具有高度容错性的分布式文件系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。
任乌拉·2020-06-26 05:10

Time的hadoop学习笔记之--搭建有三台主机的Hadoop集群

搭建有三台主机的Hadoop集群：原材料：笔记本、vm虚拟机、centOS镜像、CDH安装包1准备工作，主机及网络配置：安装好linux系统后，为演示方便，我们将三台主机分别命名为hadoop0、hadoop1
Time_Now·2020-06-25 05:17

黑猴子的家：sample 随机抽样

1、Codevalsamplerdd=sc.makeRDD(Array("spark1","spark2","spark3","spark4","spark5","hadoop1","hadoop2",
黑猴子的家·2020-06-25 04:23

Kerberos安装及与Hadoop搭配提高安全性

CDH环境中与Hadoop对接设置的步骤本文转载自:http://blog.csdn.net/xiao_jun_0820/article/details/39375819环境：假设我们有5个机器，分别是hadoop1
huyuleizj·2020-06-23 16:28

Azkaban2.5.0与Hadoop2.5.1的集成

以前一直再用oozie和Hadoop1，这是第一次接触Azkaban和Hadoop2，对它们
滑过的板砖·2020-06-23 15:17

用户行为数据仓库 第 4 节 DWD层数据解析脚本

上篇：用户行为数据仓库第3节数仓搭建之DWD层1、脚本编写（1）在hadoop1的/home/MrZhou/bin目录下创建脚本[root@hadoop1bin]#vimdwd_base_log.sh/
江湖侠客·2020-06-21 12:58

Spark Standalone伪分布式安装

Standalone伪分布式安装实验环境·操作机：WindowsXP·目标机：1台CentOS7虚拟机配置：IP：192.168.129.100主机名：hadoop1内存：1GB硬盘：20GB实验工具·
ch123·2020-05-27 23:58

hadoop学习笔记（一）

一、HDFS简介1.1Hadoop2介绍hadoop1是由HDFS和MapReduce组成，hadoop2由HDFS、YARN、MapReduce和其他的计算框架组成。
ahzhaojj·2020-04-14 02:59

<转载>HDFS伪分布式及全分布式的搭建

新建一个虚拟机hadoop1为主站，分别克隆名为hadoop2、hadoop3、hadoo
有七段变化·2020-04-11 13:17

Linux(CentOS)中的基本配置

hostname(主机名)查看主机名：hostname临时修改主机名：hostnamehadoop1永久修改主机名：vietc/sysconfig/network:[NETWORKING=yesHOSTNAME=hadoop1
平凡的神灯·2020-03-13 23:00

CentOS7配置ssh无密码登录

切换到你要免密码的用户，我这里是切换到了hadoop1用户suhadoop1执行命令ssh-keygen然后一路回车默认就好本机免密码登录，使用下面命令ssh-copy-idlocalhost如果想从当前机器免密码登录到另一台机器
sphsyv·2020-03-12 12:13

大数据开发基础上学习笔记

成功启动：在浏览器中可以看到hdfs和yarn运行状况2.学习hadoop2中的hdfs和yarnhadoop2和之前学习的Hadoop1主要区别在于增加了yarn组件，不仅可以支持mapreduce，
52d6e6e954b4·2020-03-08 07:48

Sqoop2安装

再者，其对Hadoop的支持版本有些特别要求，比如Hadoop1和Hadoop0.x还有Hadoop2.x的兼容性等。在下载时一般要注意其兼容的Hadoop版本（Sqoop官网
insoPlus·2020-03-01 13:27

【转载】Namenode HA原理详解

在hadoop1中NameNode存在一个单点故障问题，也就是说如果NameNode所在的机器发生故障，那么整个集群就将不可用(hadoop1中有个SecorndaryNameNode，但是它并不是NameNode
大数据技术进阶·2020-02-18 04:30

Hadoop HA 配置

在早期Hadoop1只有一个NameNode，还有一个secondaryNameNode，secondaryNameNode作为冷备份，在NameNodefail的时候并不能接替NameNode的工作，
虾米在海飘·2020-02-12 05:40

（02）Hadoop环境的搭建（伪分布模式）

一、安装hadoop1、将文件解压到/usr/local[root@localhostsrc]#tar-zxvfhadoop-2.7.3.tar.gz-C/usr/local/2、配置环境变量[root
明月之诗·2020-02-10 11:00

hadoop权威指南第4版笔记

hadoop权威指南第4版笔记第一章初始hadoop1、对多个硬盘中的数据并行进行读/写数据所面临的问题有：1.1、第一个需要解决的问题就是硬盘的故障问题，当其中个别硬盘发生故障时，为了防止数据丢失，最常见的做法是复制
辜元刚·2020-01-13 15:00

day06.Hadoop快速入门&云服务三种模式IaaS，PaaS和SaaS【大数据教程】

day06.Hadoop快速入门&云服务三种模式IaaS，PaaS和SaaS【大数据教程】1.HADOOP背景介绍1.1什么是HADOOP1).HADOOP是apache旗下的一套开源软件平台2).HADOOP
Java帮帮·2020-01-03 03:05

《Hadoop权威指南 第4版》 - 第四章 关于YARN - hadoop的集群资源管理系统

提供请求和使用hadoop集群资源的API向上隐藏细节提供更高层的API4.1YARN应用运行机制-资源请求-应用生命周期-构建yarn应用4.2YARN与MapReduce1相比(MapReduce特指hadoop1
山枫叶纷飞·2020-01-02 20:00

CentOS7安装Hadoop集群

安装Hadoop之前，请先安装好zookeeper集群并启动参考CentOS7安装Zookeeper集群我这里准备了三台服务器，一台主机名为hadoop1(做NameNode)，一台主机名为hadoop2
sphsyv·2019-12-27 19:57

ansibleNote

集群自动化运维简单心得：(主管理节点必须是linux服务器，尽量使用root进行管理控制权限)场景：hadoop集群简单运维(hadoop1-710.2.5.28-34)(hadoop1上)安装ansible
时待吾·2019-12-15 09:30

贵阳如何学习大数据？大数据学习路线安排

一、Hadoop入门，了解什么是hadoop1、Hadoop产生背景2、Hadoop在大数据、云计算中的位置和关系3、国内外Hadoop应用案例介绍4、国内Hadoop的就业情况分析及课程大纲介绍5、分布式系统概述
简单想法bigdata·2019-12-02 03:34

搭建hadoop2 HA

在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现。
露亦子·2019-12-01 00:19

Hadoop安装过程中常见问题

页面依然无法访问1、启动namenode服务，指令：start-all.sh'''[[email protected]]#start-all.shStartingnamenodeson[hadoop1
276876847·2019-11-13 00:24

超详细的Hadoop集群部署

虚拟机一种是3台并进，多次进行虚拟机之间文件互传，各有利弊，第一种方式容易漏改ip等问题，第二种方式简单明了，一遍过手，就是步骤稍微多一点，这里采用第二种方式：1、配置服务器（我这里是以3台为例）1个主节点：hadoop1
Alex_81D·2019-11-08 00:13

大数据学习记录hadoop（1）

主要解决海量数据的存储和海量数据的分析计算问题特点：大量、高速、多样、低价值密度二、Hadoop框架讨论大数据生态2.1什么是hadoop1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构
不吃海带吃海苔·2019-11-04 19:20

sqoop overview

localhost:3306/-usernameroot-password123456报错：hostisnotallowedtoconnectmysql/accessdeniedfor‘root’@‘hadoop1
时待吾·2019-11-04 17:53

CentOS7安装Hadoop集群

www.jianshu.com/p/a69972d8a119安装Hadoop之前，请先安装好zookeeper集群并启动参考CentOS7安装Zookeeper集群我这里准备了三台服务器，一台主机名为hadoop1
互联网编程·2019-11-02 20:41

Linux CentOS集群( ssh远程登录)（三）

地址远程登录到指定服务器上(必须知道正确的密码)在第三台机器上登录到第二台机器上细节:首次远程登录会询问yes/no,以后可能就不会了方式二:使用ssh基于密匙实现免密码登录(掌握)第一步:ssh-keygen-trsa在hadoop1
小Huya·2019-10-23 11:38

Hadoop组成架构

Hadoop1
吴磊的·2019-10-18 16:00

大数据组件原理

Hive的服务端组件1.Driver组件：该组件包括：Compiler、Optimizer、Executor,它可以将Hive的编译、解析、优化转化为MapReduce任务提交给Hadoop1中的JobTracker
flylynne·2019-09-11 16:00

ZooKeeper与HBase集群搭建

cpzoo_sample.cfgzoo.cfg（3）编辑zoo.cfg修改dataDir=/usr/local/Zookeepdata新增server.1=hadoop0:2888:3888server.2=hadoop1
骑码学GIS·2019-08-11 13:12

大数据-Spark SQL性能优化

SparkSQL性能优化一·、内存中缓存表的数据scala代码spark-shell--masterspark://hadoop1:7077--jars/root/temp/mysql-connector-java
JP-Destiny·2019-07-27 10:29

环境搭建（2）

1.修改/opt/module/hadoop-2.9.2/etc/hadoop/core-site.xml文件fs.defaultFShdfs://hadoop1:9000hadoop.tmp.dir/
疯魔雪梨·2019-07-14 13:49

Pods应用NFS存储

Volumes选择NFS服务器：条件:1.k8s集群,目前为(hadoop1,hadoop2,hadoop3)2.另起一台服务器做专门的NFS服务器3.NFS需要在K8S的各个节点安装部属：1.NFS-Node
k-free·2019-07-11 15:00

CDH 5.15.2 离线安装

原文链接：https://my.oschina.net/remainsu/blog/3063968一、前置准备1.基础信息1.1机器机器名服务hadoop1主节点hadoop2data、taskhadoop3data
chuobu7181·2019-06-19 17:00
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他