大数据实践课02——HDFS分布式文件系统

大数据实践课02——HDFS分布式文件系统

HDFS存储模型：
偏移量：offset
副本数：3个（可自行调整）

/home/hadoop-2.7.5/etc/hadoop/hdfs-site.xml
/home/hadoop-2.7.5/etc/hadoop/ 目录下面为配置文件

HDFS架构模型：

• HDFS部署安装

1、Java
2、ssh 实现免密钥
3、修改配置文件（官方文档有介绍）
	-$HADOOOP_HOME/etc/hadoop/core-site.xml
	http://192.168.228.100.50070
		-50070 访问Hadoop web页面的地址（Hadoop图形化界面）
		-9000	hdfs进程间通信的端口
	-$HADOOOP_HOME/etc/hadoop/htfs-site.xml
		设置副本数量
	--$HADOOOP_HOME/etc/hadoop/slave
		设置服务器节点（可以是主机名，也可以是主机IP）用vi进行编辑




官方文档地址
	https://hadoop.apache.org/docs/r2.7.5/
jdk
	java -version		//查看是否安装Java
ssh
	chkconfig			//查看安装的服务
	hdfs dfs -ls		//查看hdfs根根路径的命令
 密钥文件存储路径：
 	/root/.ssh/

 Hadoop部署目录
  /home/hadoop-2.7.5/
	-bin：存放命令
		-hdfs.cmd
		-mapred.cmd
		-yarn.cmd
	-sbin:
		-start-dfs.sh
		-stop-dfs.sh
		-hadoop-daemons.sh		//
		-yarn
			资源管理框架
				-rm 
				- nm
			执行start-yarn.sh产生ResourceManager和NodeManager两个进程。
	-etc：核心配置文件目录
	-lib：所依赖的jar包
	-log:操作日志存放目录
	-share:公用或者共享数据
 配置文件
	/etc/profile
		

免密码登录原理：