Hadoop集群配置完成,web监控界面的50070和50030端口不需用户验证即可访问,对生产环境是不容许的,需要加上安全机制。
1、修改core-site.xml,增加如下内容,配置完成后拷贝到其他节点上。
<property>
<name>hadoop.http.filter.initializers</name>
<value>org.apache.hadoop.security.AuthenticationFilterInitializer</value>
</property>
<property>
<name>hadoop.http.authentication.type</name>
<value>simple</value>
</property>
<property>
<name>hadoop.http.authentication.signature.secret.file</name>
<value>/home/huser/hadoop/hadoop-http-auth-signature-secret</value>
</property>
<property>
<name>hadoop.http.authentication.simple.anonymous.allowed</name>
<value>false</value>
</property>
2、在上述配置的目录/home/huser/hadoop/下生成文件hadoop-http-auth-signature-secret,拷贝到其他节点上。
3、重启集群环境,访问web页面会报错。
HTTP ERROR 401
Problem accessing /dfshealth.jsp. Reason:
org.apache.hadoop.security.authentication.client.AuthenticationException: Anonymous requests are disallowed
在访问地址栏后面加上?user.name=xxx,其中“xxx“为hadoop-http-auth-signature-secret文件写入的内容,页面可以正常访问,由此可以做到安全机制。
遇到的问题:
按照上述配置1配置好了,但是没有创建hadoop-http-auth-signature-secret,启动hadoop集群失败,监控namenode启动日志发现报了异常:
2015-09-21 17:49:39,009 FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.
java.lang.RuntimeException: Could not read HTTP signature secret file: /home/huser/hadoop/hadoop-http-auth-signature-secret
在各节点创建文件之后,启动就成功了。访问hdfs namenode web端口,不成功;加上user.name=xxx,成功访问。