Hadoop配置

Hadoop配置PATH环境变量

Hadoop配置PATH环境变量在这里额外讲一下PATH这个环境变量，通过执行echo$PATH查看上面的教程中都是先进入到/usr/local/hadoop目录中，再执行sbin/hadoop，实际上等同于运行
秦景坤·2020-07-05 02:42

Hadoop伪分布式配置及与Eclipse集成开发需要注意的问题

我用的Hadoop版本是1.1.2，系统为Ubuntu12.04一、Hadoop伪分布式配置：首先要修改Hadoop配置文档conf/hadoop-env.sh中JDK的路径，在第9行；配置conf文件下
linson3344·2020-07-04 21:59

HA模式下查看NameNode的状态

hadoop配置HA高可用指的是可以同时启动2个NameNode。其中一个处于工作状态，另一个处于随时待命状态。当一个NN服务器宕机时，可以在数据不丢失的情况下，手工或者自动切换到另一个NN提供服务。
jiedaodezhuti·2020-07-04 19:20

hadoop_NameNode_DataNode详解

hadoop配置文件含义解释:1hdfs-site.xml和hdfs-default.xml的区别：上图明确指出：hdfs的核心文件hdfs-default.xml禁止修改，如果想要自定义内容，请在hdfs-site.xml
iteye_3893·2020-07-04 19:49

LINUX下单机安装HADOOP+HIVE手册

的安装路径添加到环境文件/etc/profile中：exportHADOOP_HOME=/home/hadoop/setup/hadoop-0.19.2exportPATH=$HADOOP_HOME/bin:$PATHHADOOP
iteye_13339·2020-07-04 18:47

hive 初始化运行流程

/b][/u][i][b]CliDriver.main是Cli的入口[/b][/i]（1）解析(Parse)args，放入cmdLine，处理–hiveconfvar=val用于增加或者覆盖hive/hadoop
bupt041137·2020-07-04 12:29

window 安装Hadoop3.0.0

第二步：将下载hadoop-3.0.0.tar.gz解压至指定文件夹C:\hadoop第三步：配置hadoop涉及环境变量：HADOOP_HOME:PATH:第四步：涉及Hadoop配置：1、修改C:/
在奋斗的大道·2020-07-04 04:09

hadoop配置机架感知，原理

背景“hadoop权威指南”里面有说明，配置机架感知的目的就是要最大程度发挥hadoop的性能，要做到这点就是知道hadoop集群的网络拓扑结构（itknowsthetopologyofyournetwork）。如果集群中的机器都跑在一个机架上，那么我们什么都不用做，集群下的节点默认都是在“/default-rack”下的，可以启动hadoop集群的时候查看logs/namenode.log201
fantasticqiang·2020-07-04 00:21

Hadoop配置LDAP集成Kerberos

本文主要记录cdhhadoop集群集成ldap的过程，这里ldap安装的是OpenLDAP。LDAP用来做账号管理，Kerberos作为认证。授权一般来说是由应用来决定的，通过在LDAP数据库中配置一些属性可以让应用程序来进行授权判断。关于Kerberos的安装和HDFS配置kerberos认证，请参考HDFS配置kerberos认证。参考使用yum安装CDHHadoop集群安装hadoop集群，
Junjie_M·2020-07-01 15:45

hadoop - hadoop2.6 分布式 - 集群环境搭建 - Hadoop 2.6 分布式 配置，初始化，启动过程

2.Hadoop配置2.1etc/hadoop目录下先进入该目录下：root@note1:~/hadoop-2.6/etc/hadoop#（1）ha
LABLENET·2020-07-01 10:49

从头搭建hadoop集群

-hadoop-2.6.4.tar.gz到node1的/home/software下2、在node1创建/home/apps用于安装软件3、进入/home/apps/hadoop-2.6.4/etc/hadoop
诗意春秋伴人眠·2020-06-30 17:42

【Hadoop篇05】Hadoop配置集群时间同步

做任何事都要经受得挫折，要有恒心和毅力，满怀信心坚持到底Hadoop配置集群事件同步时间同步方式找一台机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间配置时间同步步骤
focusbigdata·2020-06-30 14:30

【Hadoop篇04】Hadoop配置日志聚集

成长这一路就是懂得闭嘴努力，知道低调谦逊，学会强大自己，在每一个值得珍惜的日子里，拼命去成为自己想成为的人Hadoop配置日志聚集应用场景为了让应用运行完成以后，将程序运行日志信息上传到HDFS系统上，
focusbigdata·2020-06-30 14:30

【Hadoop篇05】Hadoop配置集群时间同步

做任何事都要经受得挫折，要有恒心和毅力，满怀信心坚持到底Hadoop配置集群事件同步时间同步方式找一台机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间配置时间同步步骤
focusbigdata·2020-06-29 16:00

【Hadoop篇05】Hadoop配置集群时间同步

做任何事都要经受得挫折，要有恒心和毅力，满怀信心坚持到底Hadoop配置集群事件同步时间同步方式找一台机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间配置时间同步步骤
focusbigdata·2020-06-29 16:00

Hadoop(五) (Hadoop+zookeeper实现hdfs及yarn的高可用)

文章目录实验简介部署zookeeperZooKeeper简介Hadoop配置启动hdfs集群进行测试yarn的高可用实验简介在典型的HA集群中,通常有两台不同的机器充当NN。
难得 yx·2020-06-29 16:11

【Hadoop篇04】Hadoop配置日志聚集

成长这一路就是懂得闭嘴努力，知道低调谦逊，学会强大自己，在每一个值得珍惜的日子里，拼命去成为自己想成为的人Hadoop配置日志聚集应用场景为了让应用运行完成以后，将程序运行日志信息上传到HDFS系统上，
focusbigdata·2020-06-29 16:00

【Hadoop篇04】Hadoop配置日志聚集

成长这一路就是懂得闭嘴努力，知道低调谦逊，学会强大自己，在每一个值得珍惜的日子里，拼命去成为自己想成为的人Hadoop配置日志聚集应用场景为了让应用运行完成以后，将程序运行日志信息上传到HDFS系统上，
focusbigdata·2020-06-29 16:00

Hadoop的安装及配置

3、Hadoop配置文件的修改Hadoop主要修改的配置文件为5处：hadoop-env.shcore
栗筝i·2020-06-29 15:38

Windows下Hadoop配置和namenode搭建

1.压缩包下载这里我是从Apache官网下载的hadoop压缩包：hadoop2.7.5（下载地址：https://hadoop.apache.org/releases.html）直接下载压缩包解压放到你的硬盘中即可（注意：不要放到有空格和中文的目录下）参考上图即可。2.配置Hadoop（1）在我的电脑中配置Hadoop的环境变量：在系统变量中配置HADOOP_HOME在Path中配置下bin的位
_BKing·2020-06-29 14:00

【Hadoop篇03】Hadoop配置历史服务

天空才是你的极限Hadoop配置历史服务器应用场景为了查看运行过程序的情况，因此需要配置历史服务器配置步骤1.配置mapred-site.xmlmapreduce.jobhistory.addresshadoop102
focusbigdata·2020-06-29 10:18

Hbase的HMaster刚起就死（没有/tmp/hbase-root-master.pid）

想关闭Hbase集群时：如果你集群也这样，那么我们是一样的错误：hbase配置的端口号和hadoop配置的端口号不同导致的也就是Hadoop的conf文件core-site.xml和HBase中的c
咸羊·2020-06-29 09:13

【Hadoop篇03】Hadoop配置历史服务

天空才是你的极限Hadoop配置历史服务器应用场景为了查看运行过程序的情况，因此需要配置历史服务器配置步骤1.配置mapred-site.xmlmapreduce.jobhistory.addresshadoop102
focusbigdata·2020-06-28 16:00

Hadoop配置项整理

记录一下Hadoop的配置和说明，用到新的配置项会补充进来，不定期更新。以配置文件名划分以hadoop1.x配置为例core-site.xmlnamevalueDescriptionfs.default.namehdfs://hadoopmaster:9000定义HadoopMaster的URI和端口fs.checkpoint.dir/opt/data/hadoop1/hdfs/namesecon
weixin_30500663·2020-06-27 20:46

CentOS 7部署Hadoop集群（完全分布式）

目录测试环境集群服务器节点与进程集群部署规划搭建Linux系统配置Java环境安装单机版Hadoop配置环境变量关闭防火墙修改hosts文件配置SSH免密登录修改Hadoop配置文件HDFS初始化启动Hadoop
丶气质ン稳拿。·2020-06-26 23:32

CentOS 7部署Hadoop（伪分布式）

目录测试环境安装CentOS7配置Java环境配置单机版Hadoop配置SSH免密登录修改Hadoop配置文件关闭防火墙HDFS初始化启动Hadoop关闭Hadoop测试环境Linux系统版本：CentOS764
丶气质ン稳拿。·2020-06-26 23:32

CentOS 7部署Hadoop集群（HA高可用集群）

YARN架构HA集群部署规划自动故障转移关于集群主机时间Linux环境搭建配置Java环境安装单机版HadoopZookeeper集群安装配置环境变量关闭防火墙修改hosts文件配置SSH免密登录修改Hadoop
丶气质ン稳拿。·2020-06-26 23:32

Cloudera hadoop配置文件地址和修改配置属性方法

问题导读1.cloudera的配置文件路径默认在什么位置？2.如何通过clouderamanagerwebUI修改配置文件？配置文件地址：Hadoop:/etc/hadoop/confhbase:/etc/hadoop/confhive:/etc/hive/conf使用clouderamanagerwebUI修改hadoop.xml文件属性方法：ForClouderathebestwaytopus
天边tbdp·2020-06-26 18:59

Hadoop集群搭建-HA模式

Hadoop集群搭建-HA模式基础设施Hadoop配置初始化运行简单使用权限管理基础设施设置网络(设置IP;设置主机名;设置本机的ip到主机名的映射关系)关闭防火墙,关闭selinux做时间同步安装JDKssh
旺仔花馒头·2020-06-26 01:47

hadoop配置独立模式，伪分布模式，完全分布模式

1.standalone(local)nothing!不需要启用单独的hadoop进程。2.Pseudodistributedmode伪分布模式。a)进入${HADOOP_HOME}/etc/hadoop目录b)编辑core-site.xmlfs.defaultFShdfs://localhost/c)编辑hdfs-site.xmldfs.replication1d)编辑mapred-site.x
qq_43073985·2020-06-26 01:33

Flink-1.9.1踩坑记录

**如下图所示：而后去Flink的log中去查看，发现也是一样的错，百度说的缺少hadoop配置文件，我看了下自己的Flink的lib中也有最终无奈，去看源码（还好之前下下来了）好家伙，楞楞呼呼的查找到报错的那个类
wjkanm·2020-06-25 23:26

HBase（Hadoop3.1.2 HBase2.2.4） 伪分布式安装与配置

使用伪分布式安装之前，你应该已经安装了：JDK7+HadoopHadoop的安装和配置可以参考Hadoop配置，Hadoop集群环境搭建（如果按照我的Hadoop配置的话，可以先不用搭建集群
虚言假面·2020-06-25 19:23

Spark+Hadoop集群搭建：（一）单一节点上搭建Hadoop环境

下载安装Hadoop2.1下载Hadoop2.2解压2.3配置Hadoop环境变量2.3.1设置JDK与Hadoop安装路径2.3.2设置HADOOP其他环境变量、链接库等2.3.3保存设置2.4修改Hadoop
闻曦·2020-06-25 14:38

hadoop配置zookeeper ACL认证

转载来自lyl1.首先在hdfs的core-site.xml添加如下Eg：ha.zookeeper.quorumhadoop001:2181,hadoop012:2181,hadoop011:2181ha.zookeeper.auth@/opt/beh/core/zk-auth.txtha.zookeeper.acl@/opt/beh/core/zk-acl.txtha.zookeeper.par
人蠢多读书·2020-06-25 09:48

Flink实时数仓---1，Flink SQL读取kafka实操，已经遇到的问题.....持续更新吧

1，第一步很重要就是依赖的问题，因为是本地执行，所以最好有hadoop配置环境，没有的话会提示错误信息，自己百度一下，自己下载个winutils.exe，然后配置环境变量2，为了图方便直接贴上pom文件依赖
黄瓜炖啤酒鸭·2020-06-25 05:32

Hadoop配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：1.配置mapred-site.xml[root@eshop-detail03hadoop]#vimapred-site.xml在该文件里面增加如下配置。mapreduce.jobhistory.addresseshop-detail03:10020mapreduce.jobhistory.webapp.addresseshop
mischen520·2020-06-24 14:15

大数据之Hadoop学习（环境配置）——Hadoop伪分布式集群搭建

:大数据点击查看我的博客:Josonlee’sBlog文章目录前言准备伪分布式特点JDK下载和环境配置配置虚拟机网络环境配置Hadoop的环境下载Hadoop上传并解压安装配置Hadoop环境变量修改hadoop
lzw2016·2020-06-24 11:02

kerberos安装配置

原文地址：http://running.iteye.com/blog/963383kerberos安装配置博客分类：hadoop配置管理XMLWeb安装步骤：1.下载krb5-1.9http://web.mit.edu
hongbinchen·2020-06-23 15:48

hadoop配置文件详解系列（一）-core-site.xml篇

属性名称属性值描述hadoop.common.configuration.version0.23.0配置文件的版本。hadoop.tmp.dir/tmp/hadoop-${user.name}其它临时目录的父目录，会被其它临时目录用到。io.native.lib.availableTRUE是否使用本地库进行bz2和zlib的文件压缩及编解码。hadoop.http.filter.initializ
Jiang锋时刻·2020-06-22 18:08

hadoop配置文件详解系列（二）-hdfs-site.xml篇

属性名称属性值描述hadoop.hdfs.configuration.version1配置文件的版本dfs.namenode.rpc-address处理所有客户端请求的RPC地址，若在HA场景中，可能有多个namenode，就把名称ID添加到进来。该属性的格式为nn-host1:rpc-port。dfs.namenode.rpc-bind-hostRPC服务器的真实地址，如果为空，则使用dfs.n
Jiang锋时刻·2020-06-22 18:08

windows下pyspark访问hive所需的环境搭建

文章目录简介环境搭建与效果演示更细节的搭建方法搭建HDFS、Spark或hive的前提已经有了远程可访问的测试集群搭建hadoop2.7.2修改hadoop配置格式化hdfs测试搭建spark-2.4.5
代码实体·2020-06-22 15:15

hadoop集群搭建--完全分布式搭建

hadoop完全分布式集群搭建前期准备安装配置hadoop配置环境变量配置hadoop的配置文件四个核心配置文件之——core-site.xml四个核心配置文件之——hdfs-site.xml四个核心配置文件之
如饥似渴的rocky·2020-06-22 13:52

eclipse报错：HADOOP_HOME and hadoop.home.dir are unset.

比如从hdfs上传、下载、创建、删除目录等操作时，eclipse报错：HADOOP_HOMEandhadoop.home.dirareunset.如图：其实呢很浅显的道理，你只需要为windows下的hadoop
Super__Ren·2020-06-22 06:36

Hadoop相关面试题知识点总结

Hadoop相关总结1.2.1Hadoop常用端口号1.2.2Hadoop配置文件以及简单的Hadoop集群搭建（1）配置文件：Hadoop2.xcore-site.xml、hdfs-site.xml、
美食江湖·2020-06-21 03:49

Hadoop(四)：windows中IDE编写代码，将任务上传至Linux，Linux执行任务

Hadoopwindows编写代码，Linux执行任务步骤指定构建jar包（用于上传至hadoop各个节点，防止出现：java.lang.ClassNotFoundException在代码中配置，目的在于将hadoop
Vecace·2020-05-03 21:51

Hadoop配置基础

一、修改主机名二、修改映射文件重启系统reboot重启后生效三、第一步上传文件到/usr/loca目录第二步解压到/simple目录下tar-zxvf/usr/local/hadoop-2.4.1.tar.gz-C/simple第三步vi/simple/hadoop-2.4.1/etc/hadoop/hadoop-env.sh修改文件第四步vicore-site.xml修改文件第五步vihdfs-
爱吃韭菜·2020-04-14 17:00

[DataNode]hadoop集群重启的命令行

hadoop配置好之后启服务，jps能看到datanode进程，可是后台的datanode日志有如下错误，且50070端口上也是没有活的节点_精品文库_IThao123-IT行业第一站http://www.ithao123
葡萄喃喃呓语·2020-04-08 15:32

【HADOOP】Hadoop安装（虚拟机）

关闭防火墙和SELINUX（四）创建用户账号（可选）（五）配置hosts列表（六）关机（shutdown-hnow）克隆（七）免密钥登录配置1、HadoopMaster节点2、HadoopSlave节点二、Hadoop
Artlex·2020-04-01 23:59

Hadoop安装（单机模式和伪分布模式）和spark安装，运行wordcount程序

Hadoop系列产品安装（单机模式和伪分布模式）：使用Ubuntu系统1.安装jdk，配置环境;（.bashrc中配置）2.安装ssh；（单机模式不用）3.下载hadoop安装包，解压；4.hadoop
MountSong·2020-03-30 05:56

hadoop2.7.3伪分布式环境搭建详细安装过程

opt/hadoop/source#解压安装tar-xzvf/usr/local/hadoop-2.7.3.tar.gz#将解压后的文件夹移动到hadoop目录下mvhadoop-2.7.3/opt/hadoop
夏无忧阳·2020-03-30 03:55
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他