hadoop配置

2020.9.3课堂笔记(Hadoop配置安装)

分布式由分布在不同主机上的进程(程序)协同在一起才能构成整个应用。Browser/webserver:瘦客户端程序.大数据4V特征1．Volumn:体量大2．Velocity:速度快3．Variaty:样式多4．Value:价值密度低Hadoop可靠的、可伸缩的、分布式计算的开源软件.是一个框架、允许跨越计算机集群的大数据集处理，使用简单的编程模型（MapReduce）。可从单个服务器扩展到几千台
超可爱慕之·2020-09-15 04:55

Spark系列(三)Spark-yarn集群安装及执行

Yarn集群的部署不依赖Standalone集群，不需要启动Spark，但需要安装Hadoop和Spark，本Yarn集群是在前面的Spark镜像基础上构建的，详细安装如下：一、Yarn集群安装1、修改Hadoop
淡淡的倔强·2020-09-15 03:39

Hadoop配置项整理(hdfs-site.xml)

hdfs-stie.xml配置：namevalueDescriptiondfs.default.chunk.view.size32768namenode的http访问页面中针对每个文件的内容显示大小，通常无需设置。dfs.datanode.du.reserved1073741824每块磁盘所保留的空间大小，需要设置一些，主要是给非hdfs文件使用，默认是不保留，0字节dfs.name.dir/op
yaoyaoxingkong·2020-09-14 21:07

HDFS新增节点与删除节点

准备工作:创建一台全新的虚拟机关闭防火墙修改主机名给IP起别名关闭selinuxssh免密登录将主节点的文件远程发送到本虚拟机：jdk，Hadoop相关文件，jdk和Hadoop配置文件等文章目录1.新增节点
潘书鹏的BigData·2020-09-14 16:16

大数据高频面试题-Hadoop相关总结

4.2Hadoop相关总结4.2.1Hadoop常用端口号4.2.2Hadoop配置文件以及简单的Hadoop集群搭建4.2.3HDFS读流程和写流程4.2.4MapReduce的Shuffle过程及Hadoop
Mr.WiG·2020-09-14 16:03

UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String；I)Z

Windows.access0(Ljava/lang/String;I)Z错误时① 首先，检查hadoop的环境变量是否配置成功，配置如图所示配置完成，在dos下（快捷键ctrl+R，cmd进入）hadoopversion检查hadoop
藏兔·2020-09-14 12:53

hadoop集群搭建--伪分布式

伪分布式操作系统软件要求三、配置详情1.安装虚拟机和配置网络2.上传jdk和hadoop安装VMwaretools设置共享文件夹3.安装jdk和hadoop解压jdk和hadoop创建软链接4.配置环境变量配置hadoop
MengShi_·2020-09-14 10:41

cdh版本hadoop的Maven之pom.xml文件配置

通用版本Hadoop的pom.xml文件配置只需要参考网址https://mvnrepository.com/artifact/org.apache.hadoop例如2.2.0版本Hadoop配置为：org.apache.hadoophadoop-common2.2.0
xinrG·2020-09-14 09:14

在集群上安装Hadoop1.2.1，并配置好，启动hdfs后使用jps查看datanode，启动后过一会再看就消失了

namespaceID或者clusterID不匹配，但是我查看了我的日志，并没有发现类似的情况，而且都是正常的，没有出现Error的信息，但是也有的文章启发了我，可以试试从缓存文件下手，于是我就将集群上面所有的hadoop
爱码师·2020-09-14 08:19

CentOS 6.5单节点编译安装hadoop-2.2.0

我所用系统是CentOS6.564bit，编译安装hadoop-2.2.0，hadoop配置为单节点。在ApacheHadoop下载的hadoop-2.2.0有两种版本
NewthingX·2020-09-13 16:14

大数据之Hadoop学习（环境配置）——Hadoop伪分布式集群搭建

:大数据点击查看我的博客:Josonlee’sBlog文章目录前言准备伪分布式特点JDK下载和环境配置配置虚拟机网络环境配置Hadoop的环境下载Hadoop上传并解压安装配置Hadoop环境变量修改hadoop
weixin_30376453·2020-09-13 09:11

Ubuntu环境下使用Docker的Hadoop镜像搭建MapReduce

目录一、安装docker二、安装docker的Ubuntu，Centos镜像三、安装Java和Scala四、安装SSH五、创建容器六、安装Hadoop七、Hadoop配置八、MapReduce计算总结一
爱好美食的尘·2020-09-13 03:01

Jetson TK1嵌入式开发板hadoop集群配置详细过程

JetsonTK1嵌入式开发板hadoop配置详细过程实验环境操作平台：JetsonTK1嵌入式开发板操作系统：Ubuntu14.04软件版本：hadoop-0.20.2,jdk-7u60-linux-arm
Small__Two·2020-09-13 03:24

解决namenode启动 **dfs/name is in an inconsistent state的问题

如果将Hadoop配置成伪分布模式，则Hadoop会将各种信息存入\tmp目录中，所以当系统重启之后，这些信息会丢失，使得用户不得不重新执行hadoopnamenode-format命令。
bruce_wang_janet·2020-09-12 12:18

hadoop配置文件&&常用的端口配置

配置文件：http://blog.csdn.net/yangjl38/article/details/7583374HadoopShell讲解：http://www.cnblogs.com/ggjucheng/archive/2012/04/18/2454680.html端口配置参数描述默认配置文件例子值fs.default.namenamenodenamenodeRPC交互端口8020core-
kevin6899·2020-09-12 02:19

Hadoop源码分析笔记(一)：Hadoop Configuration详解

HadoopConguration详解：本文着重讲述Hadoop配置模块的基础类：org.apache.hadoop.conf.Configuration。
剑邑龙泉·2020-09-11 20:17

CentOS搭建Hadoop集群

masterCentOS7192.168.11.61slaveCentOS7192.168.11.62ps:大家使用克隆的方式复制多个独立的虚拟机,每个虚拟机创建一个hadoop用户并加入到root组中useradd-mhadoop-Groot-s/bin/bash利用passwdhadoop
今晚吃什么？·2020-09-11 20:43

2.2　Hadoop Configuration详解

2.2.1Hadoop配置文件的格式H
海兰·2020-09-11 18:54

Docker搭建Hadoop集群

https://blog.csdn.net/lizongti/article/details/102756472目录环境准备依赖安装Docker单例模式（WithoutDocker）安装安装JDK安装Hadoop
boonya·2020-09-01 10:59

hadoop 2.3.0-cdh5.0.0笔记

cdh5.0.0org.apache.hadoophadoop-common${hadoop.version}org.apache.hadoophadoop-core${hadoop.version}hadoop
FieldSoft-HelloClyde·2020-08-26 23:33

Hive通过JDBC连接HiveServer

修改hadoop配置首先需要修改hadoop的配置文件etc/hadoop/core-site.xml，添加如下配置项，其中为连接用户，根据具体用户替换。。。。
kongxx·2020-08-26 16:49

大数据学习之Hadoop集群搭建（二）

地址（4）配置hosts（5）创建用户设置密码（6）添加sudo权限（7）切换用户验证sudo命令（8）创建软件安装目录3、远程登录配置（1）Xshell远程登录（3）安装jdk和hadoop（4）修改hadoop
青衫红叶·2020-08-26 11:23

Can't get Kerberos realm

org.apache.hadoop.security.UserGroupInformation.setConfiguration(conf)sun.security.krb5.Config.refresh()首先根据传进来的Hadoop
weixin_33827965·2020-08-24 17:54

单机版HBase环境搭建的经历和问题总结（一）

Jdk配置完成Hadoop配置完成Hbase配置完成Maven配置完成zookeeper配置完成查看防火墙状态查看hostnameHosts127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4
Belinda_HWY·2020-08-24 15:33

Hadoop单机版环境搭建

文章目录一、前置条件二、配置免密登录(本地单机可不设置直接跳到下一节)2.1配置映射2.2生成公私钥2.3授权三、Hadoop(HDFS)环境搭建3.1下载并解压3.2配置环境变量3.3修改Hadoop
进击的Z同学·2020-08-23 18:05

Hadoop完整搭建过程（二）：伪分布模式

2Hadoop配置文件修改Hadoop安装目录下的三个配置文件：etc/hadoop/core-site.xmletc/hadoop/hdfs-site.xmletc/hadoop/hadoop-env.sh2.1core-site.xml
氷泠·2020-08-23 11:13

Hadoop完整搭建过程（二）：伪分布模式

2Hadoop配置文件修改Hadoop安装目录下的三个配置文件：etc/hadoop/core-site.xmletc/hadoop/hdfs-site.xmletc/hadoop/hadoop-env.sh2.1core-site.xml
氷泠·2020-08-23 09:13

关于hadoop无法正常打开8080端口的问题解决

fxb1192.168.33.101主机2：fxb2192.168.33.102主机3：fxb3192.168.33.1031、启动yarn集群start-yarn.sh发现jps可以正常启动，但是在web网页上却无法显示2、进入hadoop
随遇而安886·2020-08-22 19:13

Hadoop重新格式化HDFS的方法

首先停止已经启动的hadoop：[hadoop@localhost~]$stop-all.sh然后查看hadoop配置文件hdfs-site.xml,确定dfs.name.dir、dfs.data.dir
鹅鹅鹅_·2020-08-22 03:23

hadoop配置好后找不到Browse Directory

hadoop配置好后到浏览器访问http://x.x.x.x:50070/后却没有发现BrowseDirectory，hdfs浏览。解决办法非常简单：鼠标选择最后一栏如图就出现了。。。。
周博u010083327·2020-08-22 03:57

修改hadoop配置文件，没有生效

问题描述修改hadoop端口号时，/cloudcomput/hadoop-3.2.1/sbin/start-all.sh端口号没有发生变化停止服务命令也无法停止web服务/cloudcomput/hadoop-3.2.1/sbin/stop-all.sh本人对java了解不够深入，但是停止stop-all命令后，仍然有web服务在运行ps-ef|grepjavalsof-i:[web服务端口]ki
qq_734449600·2020-08-21 16:37

Kerberos认证代码分析Can't get Kerberos realm

12org.apache.hadoop.security.UserGroupInformation.setConfiguration(conf)sun.security.krb5.Config.refresh()首先根据传进来的Hadoop
切克脑·2020-08-21 15:42

Hadoop中的slaves文件

 在使用Hadoop配置环境的过程中遇到的问题，搭建教程比较老了一句话：hadoop3.0以后slaves更名为workers了
喜三仔·2020-08-20 19:27

hadoop配置文件详解系列（二）-hdfs-site.xml篇

上一篇介绍了core-site.xml的配置，本篇继续介绍hdfs-site.xml的配置。属性名称属性值描述hadoop.hdfs.configuration.version1配置文件的版本dfs.namenode.rpc-address处理所有客户端请求的RPC地址，若在HA场景中，可能有多个namenode，就把名称ID添加到进来。该属性的格式为nn-host1:rpc-port。dfs.n
weixin_34191845·2020-08-20 19:03

外网无法访问HDFS解决方法

Hadoop配置信息如下：fs.defaultFShdfs://ruixin4:8020Hosts文件配置：127.0.0.1localhostlocalhost.localdomainlocalhost4localhos
「已注销」·2020-08-20 18:09

【Hadoop篇05】Hadoop配置集群时间同步

做任何事都要经受得挫折，要有恒心和毅力，满怀信心坚持到底Hadoop配置集群事件同步时间同步方式找一台机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间配置时间同步步骤
focusbigdata·2020-08-20 17:54

【Hadoop篇05】Hadoop配置集群时间同步

做任何事都要经受得挫折，要有恒心和毅力，满怀信心坚持到底Hadoop配置集群事件同步时间同步方式找一台机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间配置时间同步步骤
focusbigdata·2020-08-20 17:54

【Hadoop篇04】Hadoop配置日志聚集

成长这一路就是懂得闭嘴努力，知道低调谦逊，学会强大自己，在每一个值得珍惜的日子里，拼命去成为自己想成为的人Hadoop配置日志聚集应用场景为了让应用运行完成以后，将程序运行日志信息上传到HDFS系统上，
focusbigdata·2020-08-20 17:54

【Hadoop篇04】Hadoop配置日志聚集

成长这一路就是懂得闭嘴努力，知道低调谦逊，学会强大自己，在每一个值得珍惜的日子里，拼命去成为自己想成为的人Hadoop配置日志聚集应用场景为了让应用运行完成以后，将程序运行日志信息上传到HDFS系统上，
focusbigdata·2020-08-20 17:53

Hbase-1.2.6的安装和配置

2.hbase-1.2.6-bin.tar.gz安装1.解压hbase-1.2.6-bin.tar.gz完成安装#tar-zxvfhbase-1.2.6-bin.tar.gz-C/usr/local/hadoop
独者looc·2020-08-20 06:17

hadoop配置相关

core-site.xmlfs.defaultFShdfs://earthtruehadoop.tmp.dir/data1/tmp-securitytrueha.zookeeper.quorumhadoop-btzk0001.eniot.io:2181,hadoop-btzk0002.eniot.io:2181,hadoop-btzk0003.eniot.io:2181ha.failover-co
我不是李寻欢·2020-08-20 03:31

二、Hue配置hadoop

Hadoop配置文件修改hdfs-site.xml dfs.webhdfs.enabled truecore-site.html hadoop.proxyuser.root.hosts * hadoop.proxyuser.root.groups
join_null·2020-08-19 10:08

大数据学习3-Hadoop伪分布式搭建和使用

都在一台pc机器上用虚拟机模拟不同的web服务器来工作而分布式：一.搭建：安装jdk配置环境安装hadoop配置环境变量-------在本地模式中依旧也要做前几步骤---------修改配置文件：①配合
风吹海洋浪·2020-08-19 08:00

Hadoop 伪分布式搭建(超详细)

Hadoop伪分布式搭建虚拟机准备阶段操作安全设置防火墙相关指令关闭关闭selinuxIP设置查看机器IP修改主机名修改IP及主机名映射SSH免密登陆Hadoop伪分布式搭建JDK配置解压配置环境变量Hadoop
为了抽短袖·2020-08-19 08:28

flume1.8远程写hdfs+hadoop2.8集成

目录一、环境准备二、集成hadoop配置1、复制hadoop相关配置文件到flume服务器上2、新建/修改flume的配置文件：3、复制相关jar包到flumelib目录(我的是/opt/flume/apache-flume
爱花的石头·2020-08-19 06:51

hadoop

首先要安装jdk解压到指定目录，并且配置vi/etc/profile#jdk配置JAVA_HOME=/data/jl2tina/app/bigdata/jdk1.8.0_121#Hadoop配置HADOOP_HOME
jl2tina·2020-08-18 21:05

hadoop HA +zookeeper +yarn

2.7.3zookeeperzookeeper-3.5.2二、安装步骤：JDK的安装和集群的依赖环境配置不再叙述https://my.oschina.net/u/2500254/blog/8061141、hadoop
小辣椒lllll·2020-08-18 11:43

Flink入门笔记（一）：Flink安装部署

文章目录1.安装flink（一）2.flinkStandalone模式部署2.1.修改配置文件3.YARN模式安装3.1.Hadoop安装3.1.1.Hadoop下载与解压3.1.2.Hadoop配置文件的配置
悟潇泷·2020-08-18 11:10

Call From localhost/127.0.0.1 to localhost:9000 failed on connection exception: java.net.ConnectExce

包括Hadoop配置文件。检查客户端与之通信的IP是否正
飞朋·2020-08-18 10:45

hadoop：认识hadoop、安装hadoop、伪分布hdfs

hadoop1.hadoop简介2.hadoop安装3.单节点hadoop配置，做一个伪分布式hdfs4.完全分布式的hdfs4.1节点的热添加(不关闭dfs基础上添加节点)4.2mapreduce(作用运行程序
weixin_43384009·2020-08-18 05:39
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他