E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hdfs-site.xml
Hadoop webHDFS设置和使用说明
1.配置namenode的
hdfs-site.xml
是必须将dfs.webhdfs.enabled属性设置为true,否则就不能使用webhdfs的LISTSTATUS、LISTFILESTATUS等需要列出文件
Jimmy Song
·
2020-09-15 02:53
云计算
Hadoop配置项整理(
hdfs-site.xml
)
hdfs-stie.xml配置:namevalueDescriptiondfs.default.chunk.view.size32768namenode的http访问页面中针对每个文件的内容显示大小,通常无需设置。dfs.datanode.du.reserved1073741824每块磁盘所保留的空间大小,需要设置一些,主要是给非hdfs文件使用,默认是不保留,0字节dfs.name.dir/op
yaoyaoxingkong
·
2020-09-14 21:07
Hadoop学习
/bin/bash: line 0: fg: no job control
按照我的步骤走,这些问题都能解决,我使用的IDE是eclipse1:复制Hadoop的4个配置文件放到src目录下面:core-site.xml,
hdfs-site.xml
,log4j.properties
wolvesqun
·
2020-09-14 21:46
Hadoop
输入HDFS命令报错: Couldn't create proxy provider null
无论输入什么指令都会报错Couldn’tcreateproxyprovidernull解决方法:在
hdfs-site.xml
中添加以下代码:dfs.client.failover.proxy.provider.myclusterorg.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
你携秋水揽星河
·
2020-09-14 17:31
大数据
HDFS
HDFS新增节点与删除节点
selinuxssh免密登录将主节点的文件远程发送到本虚拟机:jdk,Hadoop相关文件,jdk和Hadoop配置文件等文章目录1.新增节点1.1在主节点创建dfs.hosts文件1.2node01编辑
hdfs-site.xml
潘书鹏的BigData
·
2020-09-14 16:16
大数据
HDFS
Windows 远程调用hadoop 集群
解决方法主要有以下几个:一、通过修改Hadoop集群配置文件来关闭远程访问控制(该方法最简单,但是存在不安全性)通过修改Hadoop集群下/conf/
hdfs-site.xml
文件,声明dfs.permissions
Happy_Yu_Life
·
2020-09-14 13:43
Hadoop
配置
File/ could only be replicated to 0 nodes instead ofminRepLication (=1) There are 0 datanode(s) run
执行太多次了hadoopnamenode–format,namenode节点上的
hdfs-site.xml
中dfs.namenode.name.dir指定的文件夹下的VERSION中的clusterID
好好学习_123
·
2020-09-14 10:13
hadoop-erro
Hadoop环境搭建、启动和管理界面查看
hadoop环境搭建:1.hadoop6个核心配置文件的作用:core-site.xml:核心配置文件,主要定义了我们文件访问的格式hdfs://hadoop-env.sh:主要配置我们的java路径
hdfs-site.xml
dengmanzhou3124
·
2020-09-14 10:21
hadoop dfsadmin -safemode 详解
NameNode在启动的时候首先进入安全模式,如果datanode丢失的block达到一定的比例(由
hdfs-site.xml
文件中dfs.safemode.threshold.pct决定,默认0.999f
xtqve
·
2020-09-14 08:25
hadoop
多次格式化导致namenode格式化失败问题解决方案 - Roite的博客
解决方案:在
hdfs-site.xml
中,按照日志信息将不一致的clusterID改为一致将hadoop目录下的data和
@程序猿的day01
·
2020-09-14 08:57
BUG
格式化失败
hadoop集群启动失败
namenode格式化错误
datanode无法连接namenode问题解决
作为一个hadoop的初学者,hd最近在一直在踩坑,好不容易把网络配置好了,结果在datanode连接中又挂了
hdfs-site.xml
的配置为core-site.xml的配置为丛机(hdp-02)启动
许丶一世安逸
·
2020-09-14 07:42
namenode ID与datanode 不匹配 找不到datanode
datanode不匹配找不到datanode找到hadoop的配置文件/usr/local/hadoop/etc/hadoop/就是之前配置伪分布式hdfs时修改过的2个配置文件core-site.xml和
hdfs-site.xml
向着光亮那方的77%
·
2020-09-14 07:08
Hadoop 解除 安全模式、"Name node is in safe mode"
在hadoop的安装目录中的
hdfs-site.xml
加修改的配置项,默认的值是float类型,设置一个较小的数值。
James_JR10
·
2020-09-14 05:41
Linux
大数据
Impala不能查询到Hive中新增加的表
部署安装的CDH和Impala,Hive中新增加的表,impala中查询不到,其原因是/etc/impala/conf下面没有hadoop和hive相关的配置文件:将hadooop-core.xml,
hdfs-site.xml
mozuc
·
2020-09-14 00:17
Hadoop
【Hadoop】Hadoop及Yarn调优
Hadoop及Yarn调优HDFS参数调优(
hdfs-site.xml
)YARN参数优化(yarn-site.xml)MapReduce调优mapreduce运行慢的主要原因可能有哪些?
游骑小兵
·
2020-09-14 00:51
Hadoop
MapReduce
Hadoop
Yarn
性能调优
jvm重用
Hadoop 从 hdfs 上拷出文件到本地权限不够
_COPYING_(权限不够)**有可能是以下情况:**1.hdfs上的要拷下来的文件权限不够2.hdfs的配置文件(
hdfs-site.xml
)中未设置参数允许拷出文件;3.本地的文件夹没有权
Ramos17
·
2020-09-14 00:50
大数据
通过Java代码对HDFS进行读取操作
本篇介绍的是若干从HDFS读取文件的操作.工具:IntelliJIDEACommunityEdition2018.1.31.使用java.net.URL使用此方法的话,需要进行一些其他操作.此处读取的是
hdfs-site.xml
bujiujie8
·
2020-09-14 00:23
Hadoop相关
Spark-Sql启动报错:Error creating transactional connection factory
将$HADOOP_HOME/etc/hadoop/
hdfs-site.xml
配置文件拷贝到$SPARK_HOME/conf目录下。2、运行SparkQL在cd/usr/local/spark,下运行.
午后的红茶meton
·
2020-09-13 20:09
Spark使用
flume上传日志到ha hadoop hdfs上
将hadoop集群的core-site.xml和
hdfs-site.xml
放在flume的conf目录下ForHA,youmustusetheHAservicename,suchashdfs://nameservice1
passer199101
·
2020-09-13 19:37
大数据
flume搜集数据到hadoop HA可能出现的问题及解决办法
把Hadoop集群的
hdfs-site.xml
、core-site.xml两个配置文件复制到flume安装目录的conf目录去,把hadoop-hdfs-2.7.1.jar复制到Flumelib目录。
蘑菇丁
·
2020-09-13 18:37
经验
hadoop
Flume HA
flume的HA就是HDFS的HA,如何配置HDFSHA可以查看HDFS高可用(HA)配置HDFSHA配置好了以后,为了Flume能够访问HDFSHA,将hdfs的配置文件core-site.xml,
hdfs-site.xml
he_321
·
2020-09-13 18:12
flume
java.io.IOException: Mkdirs failed to create /flume/hdfs2 (exists=false, cwd=file:/opt/cdh5.7.
在flume中报这样的错,说无法创建/flume/hdfs2这个是往hadoop上写hdfs的时候找不到,我的原因是没有把Hadoop集群的
hdfs-site.xml
、core-site.xml两个配置文件复制到
三房头o
·
2020-09-13 13:38
HDFS存储多目录
需要在
hdfs-site.xml
文件中配置多目录,最好提前配置好,否则更改目录需要重新启动集群。如果加入了新的磁盘块,但是没有配置多目录,那么新
敬畏自然.
·
2020-09-12 21:49
HDFS
HBase的HMaster过段时间自己死掉的几种原因。
2.hbase的conf目录中没有添加hdfs中的core-site.xml和
hdfs-site.xml
。解决办法:1)拷贝这两个文件到conf目录下。
qq_23876393
·
2020-09-12 19:38
解决namenode启动 **dfs/name is in an inconsistent state的问题
为了避免这种情况,可以在
hdfs-site.xml
文件中添加一个属性,属性名为dfs.name.dir,值为你想存的目录,只要不存在\tmp下
bruce_wang_janet
·
2020-09-12 12:18
Hadoop
Hadoop3.2.1 【 HDFS 】源码分析 : FileSystem 解析
FileSystem来分析一下,本地代码是如何通过FileSystem连接上hadoop并且读取数据的.二.代码示例由于我要连接的集群是一个配置HA的hadoop集群,所有我需要把core-site.xml和
hdfs-site.xml
张伯毅
·
2020-09-11 18:17
Hadoop
3.2.1
源码
hadoop
Hadoop2.7.7 API:
hdfs-site.xml
解析
namedescriptionvalue备注hadoop.hdfs.configuration.version配置文件版本1dfs.namenode.rpc-address处理所有客户端请求的RPC地址,若在HA场景中,可能有多个namenode,就把名称ID添加到进来。该属性的格式为nn-host1:rpc-port。bj-rack001-hadoop002:8020dfs.namenode.r
张伯毅
·
2020-09-11 12:36
Hadoop官方API
工具
API
速查
hadoop NameNode进入安全模式的解决方案
这种操作将丢失所有数据2.生产环境,暴力方式hdfsdfsadmin-safemodeleave不过这种方式执行后,需要恢复数据,需要等待很长时间hdfsfsck/3.生产环境,需要重启Hadoop集群修改
hdfs-site.xml
victory0508
·
2020-09-11 10:07
hadoop/hive
Windows 上IDEA Spark 支持Hive的方法
WindowsIDEA进行Spark开发的时候,只要enableHiveSupport()就会报错,网上找了很多文章均不能解决问题,折腾了半天终于解决了,做一个记录一、需要集群中Hive的配置hive-site.xml和
hdfs-site.xml
微步229
·
2020-09-11 09:54
Spark
解决Hadoop启动后一直处于安全模式的问题
Hadoop退出安全模式在HDFS配置文件中修改安全模式阀值在
hdfs-site.xml
中设置安全阀值属性,属性值默认为0.999f,如果设为1则不进行安全检查dfs.safemode.threshold.pct0.999fSpecifiesthepercentageofblocksthatshouldsatisfytheminimalreplicationrequirementdefinedby
LAllenKing
·
2020-09-11 07:26
大数据
Hadoop支持文件追加"append"
首先需要配置
hdfs-site.xml
文件:dfs.support.appendtrue默认dfs.support.append参数是false的然后在mapreduce程序中可以如下实现文件的追加FileSystemfs
yongjian_luo
·
2020-09-11 06:19
Hadoop相关
Docker搭建Hadoop集群
目录环境准备依赖安装Docker单例模式(WithoutDocker)安装安装JDK安装Hadoop配置环境变量设置免密登录修改hadoop-env.shHDFS创建目录修改core-site.xml修改
hdfs-site.xml
boonya
·
2020-09-01 10:59
Hadoop
Docker/K8s
hadoop 2.3.0-cdh5.0.0笔记
cdh5.0.0org.apache.hadoophadoop-common${hadoop.version}org.apache.hadoophadoop-core${hadoop.version}hadoop配置将hadoop的三个配置core-site.xml、
hdfs-site.xml
FieldSoft-HelloClyde
·
2020-08-26 23:33
大数据
spark streaming和spark SQL整合使用出现的问题
sparkstreaming的foreachrdd中使用sparksession获取hive中的数据时,只会显示一个default库解决方法:1、在resources中放入集群中的core-site.xml、
hdfs-site.xml
Demon_gu
·
2020-08-24 15:03
大数据
关于通过Eclipse上传文件到HDFS文件为空的问题
第二种:将
hdfs-site.xml
文件中的dfs.data.dir和core-site.xml文件中的hadoop.tmp.dir的路径指定为linux操作系统中已经存在的同一个路径。Over
独者looc
·
2020-08-24 14:17
大数据
Flume传数据到Hadoop双namenode集群传数据可能出现的问题
这里的Flume版本是1.6.0,Hadoop版本是2.7.1.把Hadoop集群的
hdfs-site.xml
、core-site.xml两个配置文件复制到flume安装目录的conf目录去,把hadoop-hdfs
程序员成长史
·
2020-08-24 14:41
flume
Hbase集群模式搭建
2.解压---直接tar-zxvfxxxx3.配置hbase集群,要修改3个文件(首先zk集群已经安装好了)注意:要把hadoop的
hdfs-site.xml
和core-site.xml放到hbase/
dixuwu3652
·
2020-08-24 14:10
Error: org.apache.hive.service.cli.HiveSQLException
FAILED:ExecutionError,returncode2fromorg.apache.hadoop.hive.ql.exec.mr.MapRedTask解决:在hadoop/etc/hadoop/
hdfs-site.xml
Mokler
·
2020-08-24 13:27
hive问题
Spark之HiveSupport连接(spark-shell和IDEA)
1.spark-shell1.1.拷贝配置文件拷贝hive/conf/
hdfs-site.xml
到spark/conf/下拷贝hive/lib/mysql到spark/jars/下这里可以通过如下参数来实现指定
阿坤的博客
·
2020-08-24 00:40
Hadoop 启动/停止集群和节点的命令
集群启动/停止Hadoop集群:start-all.shstop-all.sh1)启动NameNode,DataNode2)启动JournalNode,JournalNode在
hdfs-site.xml
ThisIsNobody
·
2020-08-23 21:11
Hadoop
hadoop(hbase)副本数修改
2.删除重复数据修改
hdfs-site.xml
的副本数,只能对以后的数据有效,不能修改已经存储的文件备份数,所以需要删
万琛
·
2020-08-23 18:56
Hbase
hbase
win7下搭建hadoop环境,出现ERROR namenode.NameNode: Failed to start namenode.
blog.csdn.net/qq_35535690/article/details/81976032hadoop环境已配置好,在使用hadoopnamenode-format命令启动运行的时候,报错将
hdfs-site.xml
mqingo
·
2020-08-23 17:06
Hadoop
HDFS自动故障转移配置
1.在
hdfs-site.xml
文件中增加下面的内容dfs.ha.automatic-failover.enabled.myclustertrue2.在core-xml文件中增加下面的内容,Zookeeper
陈振阳
·
2020-08-22 21:20
Hadoop
故障
格式化
namenode
hadoop
hdfs
HDFS高可用性 手动故障转移和自动故障转移配置教程
本文适用范围,对于任何官方开源包安装的集群环境要配置HANameNode,你必须将多个配置选项添加到你的
hdfs-site.xml
配置文件。这里我先给出全部的配置项,然后接下来会逐步提及各配置项。
gamedev˚
·
2020-08-22 20:09
【大数据】➣
Hadoop
➣
Hadoop官方文档学习专栏
Kubernetes-在Kubernetes集群上搭建HBase集群
创建HBase镜像 配置文件包含core-site.xml、hbase-site.xml、
hdfs-site.xml
和yarn-site.xml,因为我这里是基于我之前搭建和zookeeper和Hadoop
weixin_34281537
·
2020-08-22 19:51
hbase的hbase-site.xml配置文件
server110/hbasehbase.cluster.distributedtruehbase.zookeeper.quorumspark01:2181拷贝hdfs下的core-site.xml和
hdfs-site.xml
weixin_34185512
·
2020-08-22 19:07
Hbase2.0版本安装教程
目录:前言:1.上传2.解压3.重命名4.修改环境变量5.修改配置文件6.把hadoop的
hdfs-site.xml
和core-site.xml放到hbase/conf下7.发送到其他机器8.启动9.查看总结
Magician~
·
2020-08-22 17:49
Hbase
自学大数据之路
Python操作HDFS利器之hdfs
hdfscli.readthedocs.io/en/latest/1.安装pipinstallhdfs2.配置(1)使用hdfs这个用户登录到hdfs服务器,创建用户,并修改权限(2)集群中所有节点的
hdfs-site.xml
chuimie3724
·
2020-08-22 16:50
Hadoop重新格式化HDFS的方法
首先停止已经启动的hadoop:[hadoop@localhost~]$stop-all.sh然后查看hadoop配置文件
hdfs-site.xml
,确定dfs.name.dir、dfs.data.dir
鹅鹅鹅_
·
2020-08-22 03:23
flink1.11.0基于java代码实现Application模式的踩坑总结
模式以下是在application模式中,通过java代码提交任务遇到的问题以及一些总结:一、SubmitJobApplicationMode1、将core-site.xml,flink-conf.yaml,
hdfs-site.xml
擎天峰
·
2020-08-21 05:00
大数据
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他