Hadoop1

HDFS HA 过程、架构、zookeeper如何实现自动故障转移

1）HDFSHA之所以有这么方案，是因为在hadoop1中的hdfs中只存在1个namenode，当namenode出现故障时，整个集群都会受到影响甚至歇菜，所以hadoop在2.0以后推出了HA方案。
花掏尽·2020-08-22 23:18

国内最全最详细的hadoop2.2.0集群的HA高可靠的最简单配置

在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现，如图1所示。
吴超沉思录·2020-08-22 20:10

hbase+zookeeper集群搭建

hbase版本：0.92.1.tar.gz，在hadoop1上部署master和slave，
lxf310·2020-08-22 17:25

Spark HA集群的分布式安装

Spark安装部署对文档不理解的，想了解更多精彩的，请看对应视频地址：https://edu.csdn.net/course/detail/27028前置：已经安装jdk1.8,zookeeper,hadoop1
cjnkd·2020-08-22 16:23

Win10环境下Hadoop(单节点伪分布式)的安装与配置--bug(yarn的8088端口打不开+

一、本文思路【1】、配置java环境–JDK12（Hadoop的底层实现语言是java,hadoop运行需要JDK环境）【2】、安装Hadoop1、解压hadoop2、配置hadoop环境变量3、配置Hadoop
老妹儿的·2020-08-21 19:25

Hbase1.2.6 伪分布式的安装

1下载hbase解压文件，更名为Hbase2配置环境变量exportHBASE_HOME=/home/hadoop1/hbaseexportPATH=&HBASE_HOME/bin:$PATH3配置hbase-env.shPS
CARROTHWQ·2020-08-20 05:14

解决Exception: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

一、实现在Linux下用eclipse开发hadoop1、把hadoop-eclipse-plugin-2.7.3放在eclipse的plugins或者dropins目录下，eclipse就可以写mapreduce
龙骨·2020-08-18 11:52

MRv1到MRv2

MRv1是Hadoop1中的MapReduce，MRv2是Hadoop2中的MapReduce。
jiewuyou·2020-08-18 10:41

apache avro 简介

实现比较复杂，并且相同数据量下序列化后的数量较大影响机器之间的传输速度c)rpc数据序列化在Hadoop圈子中比较出名的两个工具：apacheavro和google的protocolbuffer前者在Hadoop1
iteye_3893·2020-08-17 22:11

新人初识Hadoop，从0配置+完成官方demo

1环境准备2Jdk环境安装3Hadoop环境安装4Hadoop启动5测试单机hadoop1环境准备（1）准备一个VM安装3个虚拟机or准备3个云服务器（集群准备）（一个内存2GB就够，如果是云服务器请保证不要启动别的进程
Code_XiaoZhang·2020-08-17 19:28

hive3.1.1集群搭建

接下来我们来安装搭建hive3.1.1:##准备环境虚拟机4台（hadoop1,had
拂袖清风·2020-08-17 08:32

MapRdeuce&Yarn的工作机制

图解说下：hadoop1版本的MapRdeuce&Yarn的工作机制1.客户端发来request。JobTracker接受requ
Chain .·2020-08-17 08:51

CentOS7使用Docker安装hadoop集群

Docker安装hadoop集群步骤1、安装Docker1）下载docker2）启动docker3）添加用户权限2、安装hadoop镜像1）拉取镜像2）创建hadoop容器3）配置ssh生成密钥3、配置hadoop1
Captain.Y.·2020-08-16 09:13

ubuntu eclipse安装hadoop-eclipse-plugin

exportANT_HOME=/home/hadoop1/Download/apache-ant-1.10.0#路径名以解压缩包生成的文件夹为准
LuckyZZR·2020-08-16 04:45

hdfs学习(三)

urlURL.setURLStreamHandlerFactory(newFsUrlStreamHandlerFactory());//2.获取hdfs文件的输入流InputStreaminputStream=newURL("hdfs://hadoop1
清风紫雪·2020-08-15 18:00

hadoop2.2.0生态圈的搭建 1

对于hadoop1，很多同学就因为不能搭建正确的运行环境，导致学习兴趣锐减。不过，我有免费的学习视频下载，请点击这里。hadoop2出来后，解决了hadoop1的几个固有缺陷，比如单点故障、资源利
月夜楓·2020-08-15 06:02

Hadoop配置项整理(core-site.xml)

core-site.xmlnamevalueDescriptionfs.default.namehdfs://hadoopmaster:9000定义HadoopMaster的URI和端口fs.checkpoint.dir/opt/data/hadoop1
weixin_33812433·2020-08-13 21:12

Yarn 的组成及其工作流程

在Hadoop1中MapReduce框架即负责集群的资源调度，还负责MapReduce程序的运行。
weixin_33989780·2020-08-11 23:58

VMware中配置Hadoop环境

目录1.虚拟机环境准备：1.1克隆虚拟机1.1.1创建hadoop_clean1.1.2克隆虚拟机hadoop1
辞树 LingTree·2020-08-10 17:23

国内第一篇详细讲解hadoop2的automatic HA+Federation+Yarn的教程

对于hadoop1，很多同学就因为不能搭建正确的运行环境，导致学习兴趣锐减。不过，我有免费的学习视频下载，请点击这里。
Tech_Hog·2020-08-10 11:34

hadoop完全分布式文件系统集群搭建

准备工作：1、找3台以上的主机（因为HDFS文件系统中保存的文件的blocak在datanode中至少要有3份或3份以上的备份，备份不能放于同一个机架上，更不能放于同一台主机上），我这里使用的是4台，分别是hadoop1
weixin_30908941·2020-08-09 14:54

Windows下IntelliJ IDEA远程连接服务器中Hadoop运行WordCount（详细版）

文章目录一、安装配置Hadoop(1)虚拟机伪分布式(2)云服务器分布式二、配置IDEA1、安装配置Maven2、新建Maven项目三、设置连接Hadoop1、Linux中操作2、IDEA中操作四、可能出现的问题一
NBA首席形象大使阿坤·2020-08-08 18:33

ubuntu中如何安装hadoop

实验内容与完成情况：一，安装hadoop（1）创建hadoop1用户1创建新用户（sudouseradd-mhadoop-s/bin/bash）2为新创建的用户设置密码（sudopasswdhadoop
weixin_46195091·2020-08-05 12:09

Beeline远程连接Hive服务地址报错：jdbc:hive2://hadoop01:10000: java.net.ConnectException: Connection refused

克隆hadoop1输入：beeline>!
呦呦要努力学习呀·2020-08-04 21:47

hive外部表

location指定的目录下,向该目录添加新文件的同时，该表也会读取到该文件(当然文件格式必须跟表定义的一致)，删除外部表的同时并不会删除location指定目录下的文件.1.查看hdfs系统目录/user/hadoop1
快乐真真·2020-08-04 02:52

搭建Hadoop2.6.4集群 Zookeeper版

centOS6.7集群hadoop1192.168.111.133hadoop2192.168.111.134hadoop3192.168.111.135安装JDK，zookeeper2.规划安装目录：/home/hadoop1
糟得很·2020-08-03 21:54

搭建hadoop单机环境（伪分布式）--就是这么简单

搭建hadoop单机环境（伪分布式）一、准备工作1.安装包下载：2.创建一个新的虚拟机二、解压安装jdk及hadoop三、修改环境及配置文件1.设置免密登录2.配置jdk3.配置hadoop1）修改hadoop-env.sh2
我玩的很开心·2020-08-03 14:13

Linux上传本地文件到Hadoop的HDFS文件系统

HDFS用户②创建一个input文件夹zhangsf@hadoop1:~$hdfsdfs-mkdir/input多级创建的时候hdfsdfs-mkdir-p/wifi/classify查看创建的文件夹在hadoop1
zhangvalue·2020-07-30 06:03

HDFS、YARN和MapReduce简介

Hadoop1由HDFS和MapReduce构成；Hadoop2框架核心设计有HDFS、MapReduce、YARN。
xraw999·2020-07-29 00:39

(2) hadoop 配置部署启动HDFS及本地模式运行MapReduce案例（使用HDFS上数据）

(1)hdfs的配置/opt/modules/hadoop-2.5.0-cdh5.3.6/etc/hadoop/core-site.xml添加：fs.defaultFShdfs://hadoop1:8020hadoop.tmp.dir
grace.liming·2020-07-28 07:20

上才艺！CentOS7从0到1部署Apache Hadoop生态集群

文章目录一、Linux环境准备1、配置映射(三台主机)2、免密操作3、同步节点时间(1)选择时区(三台主机)(2)安装ntp服务，配置Hadoop1为服务器4、JDK安装(1)卸载其他版本JDK(2)安装
NBA首席形象大使阿坤·2020-07-20 13:25

Hadoop集群安装配置教程(Hadoop2.7.6_Ubuntu 32位)

1.环境本文使用两个节点作为集群，hadoop1主机作为主节点，hadoop2主机作为从节点。
LuckyZZR·2020-07-15 10:21

hadoop提交有依赖的jar包出错

打包提交到集群上就报错Exceptioninthread"main"org.apache.hadoop.mapred.FileAlreadyExistsException:Outputdirectoryhdfs://hadoop1
xiaonanxinyi·2020-07-15 10:16

Ambari搭建Hadoop,Spark,Storm的基础环境安装

172.16.192.130hadoop1172.16.192.129hadoop2172.16.192.131hadoop3172.16.192.132ambari-serverambari-server向hadoop1
老生住长亭·2020-07-15 00:57

看了必会之——Hadoop集群的搭建

hadoop-env.shcore-site.xmlhdfs-site.xmlyarn-env.shyarn-site.xmlmapred-site.xmlslaves时间同步集群准备准备3台客户机（关闭防火墙、静态ip，主机映射、主机名称），主机名称分别hadoop1
锦超风采·2020-07-14 00:50

Hadoop学习之路（七）Hadoop集群shell常用命令

Hadoop常用命令启动HDFS集群[hadoop@hadoop1~]$start-dfs.shStartingnamenodeson[hadoop1]hadoop1:startingnamenode,
weixin_34186950·2020-07-13 18:24

Hadoop部署及运行

开启hadoop1、运行cmd窗口，执行“hdfsnamenode-format”2、子hadoop的sbin目录，执行“start-all.cmd”此时hadoop服务器已开启操作HDFS我们来创建输入目录
在云端123·2020-07-13 06:11

Hadoop 2.x分布式集群部署

hadoop,spark,kafka交流群：224209501标签（空格分隔）：hadoop1，根据集群配置合理规划hadoop集群组件本节主要讲述：如何依据集群机器配置（内存、硬盘、CPU核）合理规划
正义飞·2020-07-12 22:39

ambari部署

本文使用三台centos6.5作为安装环境（目前测试验证结果为Ambari在centos6.5的版本上运行比较稳定），五台机器分别为hadoop1、hadoop2、hadoop3、hadoop4、hadoop5
mysharespaces·2020-07-12 17:22

二十六、Hadoop学习笔记————Hadoop Yarn的简介复习

之前有提到过，Yarn主要是为了减轻Hadoop1中JobTracker的负担，对其进行了解耦。
weixin_30627381·2020-07-12 06:12

4台虚拟机实现高可用Hadoop集群步骤

1、软件版本选择2、机器配置1）4台机器分配2）修改hosts3）免密登录3、软件安装1）安装jdk2）安装zookeeper3）安装hadoop4）小结二、启动集群1、启动zookeeper2、启动hadoop1
qql2011·2020-07-10 01:06

【Hive】常用的操作

connectjdbc:hive2:///hadoop1:10000Connectingtojdbc:h
BIG*BOSS·2020-07-10 00:54

storm drpc远程调用

通过storm.yaml文件的配置方式如下：drpc.servers:-"hadoop1"-"hadoop2"2、启动DRPCServer(s)
fjr_huoniao·2020-07-09 16:53

第三章 Flink部署

flink-1.7.0-bin-hadoop27-scala_2.11.tgz修改flink/conf/flink-conf.yaml文件修改/conf/slave文件分发给另外两台机子启动访问http://hadoop1
花未全开*月未圆·2020-07-09 13:00

Hadoop之MapReduce的Join解析

代码存于github:https://github.com/zuodaoyong/Hadoop1、ReduceJoin（会出现数据倾斜）通过将关联条件作为Map输出的key，将两表满足Join条件的数据并携带数据所来源的文件信息
zuodaoyong·2020-07-09 06:35

从jdk安装到hadoop集群安装全部过程

/sbin/start-dfs.sh出现Startingnamenodeson[hadoop1]hadoop1:ssh:conn
Ethan-bigdata·2020-07-09 02:24

ZooKeeper在Hadoop和Kafka中的应用

一、Hadoop1、ZooKeeper在Hadoop是什么作用？
昨日的桥·2020-07-08 20:19

kafka集群搭建

准备条件：提前安装好zookeeper集群，本配置为三台机器(hadoop1、hadoop2、hadoop3)，所有操作先在一台机器上操作。
weixin_38613375·2020-07-08 18:42

hadoop2.x对hadoop1在HDFS和Mapre方面的改进（hadoop1和hadoop2的区别）

一、HDFS的改进1.1Hadoop1.x时代的HDFS架构在Hadoop1.x中的NameNode只可能有一个，虽然可以通过SecondaryNameNode与NameNode进行数据同步备份，但是总会存在一定的延时，如果NameNode挂掉，但是如果有部份数据还没有同步到SecondaryNameNode上，还是可能会存在着数据丢失的问题。该架构如图1所示：图1Hadoop1.x时代的HDFS
suibianshen2012·2020-07-08 06:53

hadoop和spark的区别和联系

1、hadoop1）hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop实现了一个分布式文件系统HDFS。
k55·2020-07-07 12:26
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他