hadoop配置

hadoop+Zookeeper（平台部署、hdfs工作原理、yarn调度器、高可用）

完全分布式2.2在线添加新节点2.3Yarn资源管理器2.4MRAppMaster上MapReduce作业处理流程3.hadoop+Zookeeper3.1主备切换1.部署Zookeeper集群（三台）2.Hadoop
Aimee_c·2020-08-17 19:20

hadoop 集群配置（高可用）

hadoop集群高可用配置三台虚拟机先配置jdk和zookeeper配置hadoop配置三台虚拟机192.168.199.161pass1192.168.199.162pass2192.168.199.163pass3
qinsur·2020-08-17 17:55

hadoop+zookeeper+kafka集群搭建

关闭防火墙四台虚拟机分别修改hostname编辑/etc/hosts创建文件夹，并导入安装包密钥pass1(234),pass2(134),pass3(124)集群环境编辑脚本，在root目录下创建bin文件夹jdk安装hadoop
qinsur·2020-08-17 17:55

SSH-permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)

报错信息是：permissiondenied(publickey,gssapi-keyex,gssapi-with-mic,password)报错前我的操作：为了搭建集群$suhadoopcd/home/hadoop
福气少侠·2020-08-17 13:47

Linux下hbase的配置

今天给大家分享一下Linux下hbase数据库的配置，首先一个前提条件就是你的Linux下的hadoop配置成功并且可以跑起来。
二三三·2020-08-17 08:11

Hadoop配置—伪分布模式

Hadoop分为三种配置模式：独立模式(standalone|local)，伪分布模式(Pseudodistributedmode)，完全分布式(fulldistributed)说在前面工作环境：VMware®Workstation12Pro12.5.6build-5528349linux版本：CentOS-7-x86_64-Minimal-1611.isoJDK版本：jdk-8u65-linux
皮皮的雅客·2020-08-16 19:56

给hadoop配置eclipse工具

如果本文对您有所帮助，可以点一下赞本文只是学习笔记，欢迎指错，转载标明出处需要提前配好Hadoop服务1、下载eclipse下载地址https://www.eclipse.org/downloads/packages/2.移动到自己指定的位置/usr/local/sudomveclipse-jee-oxygen-3a-linux-gtk-x86_64.tar.gz/usr/local/3.解压su
likunzhu++·2020-08-16 09:32

ubuntu16.04上Eclipse和hadoop配置

1.安装Eclipse1》下载Eclipse可以以多种方式下载Eclipse，下面介绍直接从eplise官网下载和从中国镜像站点下载，下载把eclipse上传到Hadoop环境中。第一种方式从elipse官网下载：http://www.eclipse.org/downloads/?osType=linux我们运行的环境为CentOS64位系统，需要选择eclipse类型为linux，然后点击lin
weixin_30852367·2020-08-16 09:07

Hadoop配置历史服务器及日志聚合

历史服务器作用：查看我们已经完成的任务历史记录，日志记录。配置文件：mapred-site.xml--》指定历史服务器所在位置及端口号mapreduce.jobhistory.addressbdqn.linux.com:10020--》指定历史服务器所在的外部浏览器交互端口号及机器位置mapreduce.jobhistory.webapp.addressbdqn.linux.com:19888日志
小管01·2020-08-16 03:50

win10下安装hadoop配置好环境后cmd中输入hadoop依然显示没有这个命令

原因：hadoop文件夹（eg：hadoop-2.7.1）放在了有空格或者中文的目录下解决方法：把hadoop移动到纯英文的目录下真的坑，网上有些说ProgramFiles这个文件夹环境变量中的路径可以用Porgra~1代替，JAVA_HOME那个环境变量确实可以，但Hadoop就不行！气死我了气死我了气死我了气死我了气死我了气死我了气死我了气死我了气死我了气死我了气死我了气死我了气死我了气死我了
不想当小白·2020-08-15 15:46

hadoop配置

软件环境搭建规划安装过程用户关闭防火墙免密登陆之前已经配置过了创建工具安装JDK安装Zookeeper安装hadoopyarn配置PS集群初始化启动yarn集群关启顺序再次启动集群查看集群状态出现问题软件环境hadoopusr/hadoop/app/hadoopjdk/usr/local/jdk-xxxzookeeper/usr/hadoop/app/hadoop软件去官网下载既可搭建规划lksl
Volcano3511·2020-08-15 10:06

hadoop配置

软件环境搭建规划安装过程用户关闭防火墙免密登陆之前已经配置过了创建工具安装JDK安装Zookeeper安装hadoopyarn配置PS集群初始化启动yarn集群关启顺序再次启动集群查看集群状态出现问题软件环境hadoopusr/hadoop/app/hadoopjdk/usr/local/jdk-xxxzookeeper/usr/hadoop/app/hadoop软件去官网下载既可搭建规划lksl
Volcano3511·2020-08-15 10:06

Hadoop集群模式终于配好了

首先，网上关于Hadoop配置集群模式的手册特别，每个人、每个人版本都有细微的差别。。对于像我这样的初学者，配环境的时候，有种不知所措的感觉。
weixin_34226706·2020-08-15 08:42

记一次测试环境Hbase数据备份恢复以及恢复后部分表无法删除的问题处理

一、Hbase数据备份恢复说明：因为测试环境要修改hadoop配置文件hdfs-site.xml的参数hdfs.rootdir修改前的配置hbase.rootdirhdfs://masters/hbase1
weixin_33871366·2020-08-14 20:24

Spark - 使用Yarn管理器开启历史日志服务、查看日志

下面，在已有的Hadoop配置上，增加配置。mapred-site
GYT0313·2020-08-14 18:59

Spark-Yarn两种提交方式(client、cluster)

修改conf/spark-env.sh，添加：exportHADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop#hadoop配置文件如果需要连接hive，需先启动hive服务(
oJueQiang123456·2020-08-14 18:27

攻城狮在路上（陆）-- 提交运行MapReduce程序到hadoop集群运行

首先需要在src下放置服务器上的hadoop配置文件:core-site.xml\yarn-site.xml\hdfs-site.xml\mapred-site.xml1、在本地直接调用，执行过程在服务器上
aixian1969·2020-08-14 16:21

Hive之配置和使用LZO压缩

5.7.10Hive官方手册：LanguageManualLZO在配置Hive使用lzo压缩功能之前，需要保证Hadoop集群中lzo依赖库的正确安装，以及hadoop-lzo依赖的正确配置，可以参考：Hadoop
TomAndersen·2020-08-14 09:40

2-1_Linux下hadoop安装及配置

Linux下hadoop安装及配置解压tarzxvfhadoop-2.10.0.tar.gz-C~/softwares设置软连接ln-shadoop-2.10.0/hadoop配置环境变量HADOOP_HOME
小Y_SC·2020-08-14 05:42

Hadoop配置项整理(core-site.xml)

记录一下Hadoop的配置和说明，用到新的配置项会补充进来，不定期更新。以配置文件名划分以hadoop1.x配置为例core-site.xmlnamevalueDescriptionfs.default.namehdfs://hadoopmaster:9000定义HadoopMaster的URI和端口fs.checkpoint.dir/opt/data/hadoop1/hdfs/namesecon
weixin_33812433·2020-08-13 21:12

Mac下Hadoop单机模式安装

一、安装Hadoop配置ssh配置ssh就是为了能够实现免密登录，这样方便远程管理Hadoop并无需登录密码在Hadoop集群上共享文件资源。
xianglingchuan·2020-08-12 00:31

vmware 10.0.1、ubuntu-14.04.5和hadoop2.8.5 搭建hadoop小集群

desktop-amd64.iso(桌面版)、hadoop2.8.5环境：我在宿主机上用vmware创建了两台主机，主机都安装ubuntu-14.04.5桌面版操作系统，且主机都安装hadoop，只是主、从机器的hadoop
一只小棉花·2020-08-11 21:18

hadoop配置文件core-site.xml、hdfs-site.xml，mapred-site.xml详解

配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法:1.选择相应版本的hadoop,下载解压后，搜索*.xml,找到core-default.xml,hdf
窝头就辣椒·2020-08-10 21:37

hadoop配置时遇到的常见问题

1.当启动hadoop时候，执行shstart-dfs.sh时报错解决方案：将shstart-dfs.sh改成./start-dfs.sh即可通过。2.当用hadoopfs-ls/的时候出现hadoop:commandnotfound的问题解决方案：环境变量设置（vim/etc/peofile将hadoop的安装目录加入到环境变量中）。exportJAVA_HOME=/usr/local/src/
shenhongdb·2020-08-10 21:56

hadoop配置集群常见问题

1）防火墙没关闭、或者没有启动yarnINFOclient.RMProxy:ConnectingtoResourceManagerathadoop108/192.168.10.108:80322）主机名称配置错误3）ip地址配置错误4）ssh没有配置好5）root用户和hadoop两个用户启动集群不统一6）配置文件修改不细心7）未编译源码Unabletoloadnative-hadooplibra
科大人·2020-08-10 19:30

Hadoop 完全分布式

xsync4.2.1scp(securecopy)安全拷贝4.2.2rsync远程同步工具4.2.3xsync集群分发脚本4.3集群配置4.3.1集群部署规划4.3.2配置集群4.3.3在集群上分发配置好的Hadoop
辞树 LingTree·2020-08-10 17:23

hadoop配置常见问题

收集记录一些Hadoop配置部署过程中遇到的问题。
Flood_Dragon·2020-08-10 13:00

基于CentOS7的Hadoop3.x完全分布式HA的安装部署

下载安装目录规划将下载的二进制包移动到/usr/local/hadoop目录，解压缩文件包配置设置环境变量启动安装配置hadoop新建hadoop用户以及用户组，并赋予sudo免密码权限目录规划下载、解压配置环境变量配置复制Hadoop
逝水-无痕·2020-08-09 13:46

2.2　Hadoop Configuration详解

2.2.1Hadoop配置文件的格式H
海兰·2020-08-09 11:09

Hadoop3.x安装（2）

它不用任何基于Java的hadoop配置。必须为用于运行Hadoop的帐户建立ssh信任（通过无密码ssh或其他方式，如Kerberos）。【注释：这里前面版本不同的是修改文件名称，由slav
Jeremy-D·2020-08-09 11:51

ubuntu 基于 docker 搭建 hadoop 3.2 集群【成功】

文章目录安装docker拉取ubuntu16.04镜像安装java和scala配置apt阿里源安装java安装scala配置hadoop集群常用工具：vim，ifconfig，ssh下载hadoop配置环境变量修改
颹蕭蕭·2020-08-09 08:54

大数据集群安装02之Hadoop配置

Hadoop配置1.下载上传插件rz【安装命令】：yuminstall-ylrzsz2.上传hadoop压缩包【上传命令】：##上传压缩包rz##压缩tar-zxvf[包名]3.配置hadoop(1)编辑
钟兴宇·2020-08-09 01:28

hadoop配置lzo，外加自己遇到错误的解决方法

源博客的内容在：http://blog.csdn.net/chenyi8888/article/details/16113891最近又重新进行了一次配置lzo压缩，步骤如下：安装前，必须的工具：lib*glibc*gcc*antmvn注意：确定gcc版本，之前网上有人说不能使用超过4.4版本的gcc，我在安装过程中使用的gcc4.1.2的版本，也是正常的操作系统名称：Linuxmaster2.6.
jiang2665997·2020-08-08 16:55

hadoop常见问题

收集记录一些Hadoop配置部署过程中遇到的问题。
WMB119·2020-08-08 13:34

Hadoop分布式集群搭建

hadoopsshrsyncntpMapReduce1.分布式集群规划2.网络IP规划3.修改hadoop配置3.1core-site.xml3.2hdfs-site.xml3.3mapred-site.xml3.4yarn-site.xml3.5slaves3.6
dgush2000·2020-08-06 11:27

【转】hadoop 集群开启之后datanode没有启动

datanode没有启动将hadoop配置文件修改后，重新格式化了hadoop集群，即hadoopname-format但是此时发现slave节点没有启动datanode上网查找解决方法，最后终于解决了
Felix_CY·2020-08-04 13:02

Hadoop配置文档

预节在这一节中，笔者主要向大家介绍了该配置文档中，所用到的Linux命令和Linux的帮助。终端提示信息在Linux中，终端的每一行都有提示信息，其包含了当前终端登录的用户，当前登录的主机，当前终端所在的目录。如：[frank@master~]$其格式为：[[用户名]@[hosts主机名或主机ip[当前所在路径]]$解析后可以知道，例子给的提示，实际上代表的是：当前终端登录的主机为master，所
Zhipeng Zou·2020-08-04 10:03

Hadoop在启动时的坑——start-all.sh报错

1、若你用的Linux系统是CentOS的话，这是一个坑：它会提示你JAVA_HOME找不到，现在去修改文件:.修改hadoop配置文件，手动指定JAVA_HOME环境变量[${hadoop_home}
weixin_34417814·2020-08-04 05:52

java连接hbase报错Caused by: java.lang.IllegalArgumentException: java.net.UnknownHostException: mycluster

java连接hbase报错，因为hadoop配置了ha高可用，需要把hadoop的hdfs.xml文件放到resources文件夹就好了log4j:WARNNoappenderscouldbefoundforlogger
zapoul·2020-08-03 01:58

java整合spring和hadoop HDFS

首先添加hadoop配置文件hbase-site.xml，这里只需要配置zk的地址和端口。
hellozhxy·2020-08-03 00:50

spring hadoop配置

为什么80%的码农都做不了架构师？>>>1.mavenpom文件添加org.apache.hadoophadoop-commoncompilelog4jlog4jorg.slf4jslf4j-log4j12org.apache.hbasehbase-clientcompilelog4jlog4jorg.slf4jslf4j-log4j12org.springframework.dataspring
weixin_33688840·2020-08-02 21:12

Window10安装Hadoop踩坑的过程

步骤目录为Hadoop准备Java环境下载Hadoop添加Hadoop到系统变量下载便捷配置文件hadooponwindows-masterHadoop配置etc/hadoop/core-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xmlhadoop-env.cmd
Joker-Face·2020-08-01 12:50

Hadoop之简答题

hadoop的安装配置1.创建hadoop账户2.配置主机名3.配置hosts文件4.配置免密码登录5.安装和配置jdk、修改/etc/profile文件，配置环境变量6.上传和安装hadoop7.配置hadoop
默默在路上·2020-08-01 09:38

hadoop HA机制

HADOOPHA机制文章目录HADOOPHA机制回顾：今天任务教学目标第一节：HADOOPHA概述1.1背景1.2HA(HighAvailable)概念第二节HA集群配置2.1基础配置2.2hadoop
cloudera首席用户·2020-07-31 22:13

大数据与云计算笔记

网络的基本配置①可能遇到的问题②网络配置3.Xshell的设置4.主机的基本配置5.zookeeper的安装配置6.hadoop的安装配置①传入hadoop文件②解压文件③配置hadoop环境变量④修改hadoop
Jarrett33·2020-07-31 13:09

Spark安装与配置

start-all.sh启动能够开启ResourceManagerJps97505Jps96960NameNode30195Application97246ResourceManagerWindows-java使用hadoop
lagoon_lala·2020-07-30 15:04

Apache Hadoop部署（三）：HDFS/YARN/MR配置

目录Hadoop配置(非HA)配置Hadoop-env.shHdfsYarnMapReduceWorker文件启动和验证问题Hadoop配置(非HA)Hadoop是分布式的高可用批处理框架，CDH的Hadoop
有腹肌的小蝌蚪_·2020-07-29 01:54

腾讯云服务器搭建hadoop-2.6.0-cdh5.6.0完全分布式环境

搭建思路：购买服务器，下载上传软件，用户环境配置，系统环境配置，hadoop配置，格式化HDFS，启动hadoop并验证一、购买服务器1、由于经济有限，购买的是腾讯云的学生机，且暂时只买了两台，第三台等基本配置完毕后作为结点扩展加进去
尘埃落定0_0·2020-07-28 21:56

虚拟机网络配置问题

学习hadoop配置完全分布式集群时候发现虚拟机的网络配置不通，搞了好久终于明白了，现在把配置步骤分享出来供大家分享。
Now-just-do-it·2020-07-28 07:04

使用Eclipse插件连接配置Mapreduce说明与教程(hadoop-eclipse-plugin 2.6)

1.前言网上的很多教程都是基于hadoop单机或者是伪分布式的,在HA集群的hadoop是有些不一样的;所以写个hadoop-eclipse-plugin连接HAhadoop集群的说明;2.查看hadoop
且_听_风_吟·2020-07-27 23:24
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他