hadoop-2.7.1

基于vmware workstations 10 、centos6.4和hadoop-2.7.1的hadoop完全分布式集群的开发环境搭建

1.准备安装包环境：win1064位Vmware10Centos6.4jdk-7u80-linux-x64.rpmHadoop-2.7.1.tar.gzEclipse-java-neon-R-linux-gtk-x86_64.tar.gzHadoop-eclipse-plugin-2.7.1.jar2.安装vmwareworkstations，新建虚拟机master，一路enter3.安装jdk3
ronaldo4511·2023-12-30 07:57

大数据学习1.4-xShell配置Hadoop

xShell中4.解压hadooptar-zxvfhadoop-2.7.1.tar.gz5.配置环境变量vi/etc/profileexportPATH=$PATH:/usr/local/hadoop/hadoop
汉卿HanQ·2023-09-19 09:09

大数据学习1.5-单机Hadoop

192.168.216.140hadoop01192.168.216.141hadoop02192.168.216.142hadoop033.修改Hadoop配置信息-1进入配置信息文件cd/usr/local/hadoop/hadoop
汉卿HanQ·2023-09-19 07:28

PySpark基础 —— RDD

'D:\ProgramData\Spark\jdk1.8.0_302'#os.environ['HADOOP_HOME']='D:\ProgramData\Spark\winutils-master\hadoop
溺水的鱼X·2023-08-19 20:10

第二步：hadoop 完全分布式集群安装

tar-zxvfzookeeper-3.4.7.tar3.配置hadoop环境变量vim/etc/profile因为hadoop依赖java环境必须先配置JAVA_HOME加入环境变量exportHADOOP_HOME=/home/hadoop
微生命·2023-04-11 04:16

大数据应用——Hadoop运行模式（本地运行）

Hadoop官方网站：http://hadoop.apache.org/4.1本地运行模式4.1.1官方Grep案例1.创建在hadoop-2.7.1文件下面创建一个input文件夹[hadoop@hadoop101hadoop
肉肉肉肉肉肉~丸子·2023-03-26 18:13

大数据应用——Hadoop运行模式（伪分布式运行）

.分析（1）配置集群（2）启动、测试集群增、删、查没有改（多台机子麻烦）（3）执行WordCount案例2.执行步骤（1）配置集群（a）配置：hadoop-env.sh【路径：/opt/module/hadoop
肉肉肉肉肉肉~丸子·2023-03-26 18:41

实验一：熟悉常用的Linux操作和Hadoop操作

二、实验平台操作系统：Linux（ubuntu-18.04）Java：jdk-8u191-linux-x64Hadoop:hadoop-2.7.1三、实验步骤复制：ctrl+shift+c黏贴：ctrl
是秃头女孩·2023-02-05 08:18

hadoop 其中一个datanode 启动失败： Structure needs cleaning 文件夹损坏

29,090INFOorg.apache.hadoop.hdfs.server.datanode.fsdataset.impl.FsDatasetImpl:Caughtexceptionwhilescanning/home/warehouse/hadoop
百里山川·2020-09-17 04:18

Hadoop-2.7.1单机版安装

一、修改配置(core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml)hadoop-2.7.1/etc/hadoop/core-site.xmlfs.default.namehdfs
冰玉翔龙·2020-08-19 20:40

HDFS DataNode问题-_COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There

OS：Ubuntu12.04Hadoop：Hadoop-2.7.1自己编译版本问题：文件不能拷贝到HDFS的问题，也就是HDFS的DataNode没有正常加载。
liliangcsdn·2020-08-19 10:58

错误——由于ssh配置启动不了yarn

hadoop103hadoop-2.7.1]#sbin/start-yarn.shstartingyarndaemonsstartingresourcemanager,loggingto/opt/module/hadoop
十八口丁·2020-08-18 11:44

win10下安装hadoop配置好环境后cmd中输入hadoop依然显示没有这个命令

原因：hadoop文件夹（eg：hadoop-2.7.1）放在了有空格或者中文的目录下解决方法：把hadoop移动到纯英文的目录下真的坑，网上有些说ProgramFiles这个文件夹环境变量中的路径可以用
不想当小白·2020-08-15 15:46

hadoop-2.7.1/tmp/dfs/namesecondary/in_use.lock (Permission denied) 错误解决

hadoop-2.7.1/tmp/dfs/namesecondary/in_use.lock(Permissiondenied)解决在log文件中有错误java.io.FileNotFoundException
lepton126·2020-08-11 12:44

Eclipse开发MR环境搭建

安装后好后配置相关JAVA_HOME环境变量,并将bin目录配置到path2.下载hadoop-2.7.1.tar.gz解压hadoop-2.7.1.tar.gz到D:\XXXX\workspace\hadoop
a47608780367·2020-08-10 15:40

Error: Could not find or load main class resourcemanager

hadoop001hadoop-2.7.1]#sbin/hadoop-daemon.shstartresourcemanagerstartingresourcemanager,loggingto/opt/software/hadoop
喝粥也会胖的唐僧·2020-08-09 16:17

hadoop环境配置出现的问题

Error:JAVA_HOMEisincorrectlyset.PleaseupdateE:\hadoop-2.7.1\conf\hadoop-env.cmd’-Xmx512m’不是内部或外部命令，也不是可运行的程序或批处理文件
侠客刀·2020-08-07 16:43

记hadoop集群黑名单移除节点出现问题及解决

这个是两种情况的主要区别；步骤：1.移除nodemanager在yarn-site.xml中加入以下配置yarn.resourcemanager.nodes.exclude-path/data1/app/hadoop
自由盼盼·2020-07-16 04:55

Hadoop-2.7.1 编译

一、下载源文件1.登录hadoop官网下载相应的版本。官网地址：http://hadoop.apache.org2.下载的文件一般在当前用户的下载文件夹。我的位置是：/home/penglaozi/下载3.进入/usr/local/新建一个空文件夹：sudomkdirhadoop将下载的文件拷贝到新建的文件夹里：sudocp/home/penglaozi/下载/hadoop-2.7.1-src.t
Favourite流沙·2020-07-14 16:51

hadoop的第一个程序wordcount实现

具体安装步骤请见博客：linuxhadoop2.7伪分布式安装简单几步实现1.在本地新建一个文件，笔者在~/hadoop-2.7.1/local_data文件夹新建了一个文本文件hello.txt，local_data
CourageK·2020-07-05 16:43

hdfs的高可用配置及java api配置连接方式

配置之前需要具备的环境进入官网后找到左侧Documentation,点击对应版本点击左侧栏修改core-site.xml文件进入目录[root@hadoop01~]#cd/usr/local/hadoop
今将图南·2020-06-29 05:59

YARN开启Label Scheduler

该实验在hadoop-2.7.1下操作创建Label存储目录为了label的高可用（在ResourceManager重启时候），我们需要为Lalel在HDFS上创建存
我要大声告诉你·2020-06-28 01:54

hadoop集群启动失败的一些常见问题

不是替换4.配置免密钥登录时注意用户的统一；多次配置需删除.ssh在生成密钥对，重启虚拟机5.(1)格式化一次启动：start-all.sh(2)格式化多次：①关闭集群②删除hadoopdata目录③hadoop
喋喋以喋以喋喋·2020-06-25 15:51

【Bug记录】hadoop启动失败：hadoop-config.sh: Syntax error: word unexpected (expecting ")")

localhost>shstart-all.shThisscriptisDeprecated.Insteadusestart-dfs.shandstart-yarn.shstart-all.sh:112:/opt/hadoop
福气少侠·2020-06-24 23:54

Kerberos打开debug日志

下面以hadoop开启kerberos的debug日志举例：/hadoop-2.7.1/libexec/hadoop-config.
木木与呆呆·2020-06-22 19:56

hadoop本机（window）运行配置

hadoop本机（window）运行配置将hadoop包解压后复制到硬盘上（本人采用的是hadoop-2.7.1）配置window环境变量：HADOOP_HOME：将hadoop目录添加至系统变量中，命名为
henry286700143·2020-03-25 02:58

hadoop的五个配置文件，安装时候用

core-site.xmlfs.defaultFShdfs://master:9000io.file.buffer.size131072hadoop.tmp.dirfile:/home/hadoop/hadoop
lmem·2020-03-07 10:12

Druid集群搭建

测试环境采用了三台虚拟机，每台4G内存用到的软件有mysql,hadoop-2.7.1,kafka_2.11-0.9.0.1,imply-2.2.3(druid的套件,集成了dsql像mysql一样去查询数据
曹振华·2020-02-15 05:01

Windows安装Hadoop

Java已经安装，并已经添加到环境变量中，测试方法：cmd中输入java-version，显示如下：QQ截图20180110103405.png2.下载hadoopbinary，解压后修改以下配置文件：1）hadoop
maxkibble·2020-01-08 05:06

利用kettle实现hive数据直接导入到mysql

软件环境：Hadoop-2.7.1（单机）、apache-hive-2.3.5-bin、MySQL-5.6.1、pdi-ce-7.1.0.0-12（kettle）一、首先需要配置hiveserver2并开启
一米多的李同学·2019-08-24 16:24

Hadoop分布式集群的搭建的方法步骤

linuxUbuntuServer18.04.2LTShttps://ubuntu.com/download/serverhadoophadoop-2.7.1http://archive.apache.org/dist/hadoop/common/hadoop
foochane·2019-06-14 09:31

012 Yarn的ha配置和测试

current/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html仍然使用notepad++的插件功能连接hadoop01然后找到usr下的local下的hadoop
C_time·2019-05-26 23:49

HBase 伪分布式集群环境搭建

trouble.versions2.配置2.1配置hadoop的内容--进入habse/conf--把hadoop的hdfs-site.xml,core-site.xml文件拷贝到当前目录cp/JavaApp/hadoop/hadoop
阿里巴巴首席技术官·2019-04-02 20:10

windos安装Hadoop2.7.1单机版

Hadoop下载地址：点击打开链接3.Windows下安装Hadoop：点击打开链接二、jdk安装1.不会看这里点击打开链接三、Hadoop环境配置1.下载Hadoop，并解压到你的本地目录，我下载的是hadoop
luo627·2018-12-19 08:59

PySpark Failed to locate the winutils binary

I'musingspark2.3withhadoop2.7,soIneedtodownloadHadoop2.7'swinutils.exe.https://github.com/steveloughran/winutils/blob/master/hadoop
qianleiz·2018-11-20 09:27

PySpark Failed to locate the winutils binary

I'musingspark2.3withhadoop2.7,soIneedtodownloadHadoop2.7'swinutils.exe.https://github.com/steveloughran/winutils/blob/master/hadoop
qianleiz·2018-11-20 09:27

log4j:WARN no appenders could be found for logger

初次使用ubuntu14.04+eclipse(mars)+hadoop-2.7.1开发环境调试程序时，选中main-》runashadoop提示如下警告：log4j:WARNNoappenderscouldbefoundforlogger
IT雪·2018-09-25 19:19

大数据准备——安装hadoop(下)

core-site.xmlvimcore-site.xml在标签中添加如下代码标签中添加如下代码fs.defaultFShdfs://hadoop01:9000hadoop.tmp.dir/home/software/hadoop
ipomonkey·2018-09-21 17:36

Hadoop集群搭建问题总结

hadoop集群启动时，datanode进程启动不了原因分析：namenode和datanode下VERSION文件中的clusterID不一致，导致datanode启动不了解决方法：进入hadoop的配置目录hadoop
Johnson8702·2018-08-23 10:35

Linux（ubuntu-16.04.2）上hadoop的安装与配置

Linux（ubuntu-16.04.2）上hadoop（hadoop-2.7.1）的安装与配置关于hadoop的安装，网上有七七八八的教程，十个教程九个坑，还有一个特别坑。
lsec小陆·2018-04-18 23:12

hadoop集群搭建（二）YARN高可用

[root@hadoop01~]#vim/usr/local/hadoop-2.7.1/etc/hadoop/yarn-site.xmlyarn.nodemanager.aux-servicesmapreduce_shuffleyarn.resourcemanager.ha.enabledtrueyarn.resourcemanager.ha.automatic-failover.enabledt
梦的天际·2018-01-15 09:34

win10下Spark java读取Hbase数据

把这个链接https://github.com/steveloughran/winutils/tree/master/hadoop-2.7.1下的bin目录下载下来，替换掉我们本地的ha
shelmi·2017-05-09 14:17

大数据——从零开始写MapReduce程序

2）下载Hadoop-2.7.1，解压缩，配置环境变量。
brycezou·2016-11-08 21:09

Eclipse构建普通的MapReduce项目

tar.gz,并且解压到你的路径下D:\XXXX\workspace\hadoop-2.7.1https://dist.apache.org/repos/dist/release/hadoop/common/hadoop
两榜进士·2016-09-01 17:11

Hadoop-2.7.1单机版安装

阅读更多一、修改配置(core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml)hadoop-2.7.1/etc/hadoop/core-site.xmlfs.default.namehdfs
宋建勇·2016-07-15 20:00

HADOOP的HA搭建

进入到执行：/soft/hadoop-2.7.1/etc/hadoop_cluster$gedithdfs-site.xml[配置部分][hdfs-site.xml]1.配置名称服务:dfs.nameservices
厦小岗·2016-07-09 08:22

在win7的idea访问centos部署的hadoop2.7.1问题集锦

阅读更多hadoop程序安装包：/opt/package/hadoop-2.7.1；（具体hadoop安装请参考hadoop的安装教程！）问题1:：jps查看进程，没有datanode？
zhongmin2012·2016-06-15 16:00

在win7的idea访问centos部署的hadoop2.7.1问题集锦

阅读更多hadoop程序安装包：/opt/package/hadoop-2.7.1；（具体hadoop安装请参考hadoop的安装教程！）问题1:：jps查看进程，没有datanode？
zhongmin2012·2016-06-15 16:00

在win7的idea访问centos部署的hadoop2.7.1问题集锦

hadoop程序安装包：/opt/package/hadoop-2.7.1；（具体hadoop安装请参考hadoop的安装教程！）问题1:：jps查看进程，没有datanode？       
zhongmin2012·2016-06-15 16:00

Handoop安装并启动（centos6.5+HDFS HA+Fedaration+YARN）

所需环境：四台主机（笔者用四台VMware虚拟机代替），centos6.5系统，hadoop-2.7.1软件包，jdk1.8.0_91准备工作：创建四台虚拟主机，使用NAT模式访问网络。
csdn_flying97·2016-06-05 17:36
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他