Hadoop伪分布模式-大数据

(Hadoop用户下操作)

  • 解压文件
tar -zxvf hadoop-2.7.5.tar.gz -C ./
	z:有gzip属性的
	x:解压
	v:显示所有过程
	f:这个参数是最后一个参数,后面只能跟文件名
	C:解压文件的位置
  • 修改配置文件
    配置文件路径:/home/hadoop/hadoop-2.7.5/etc/hadoop
  1. hadoop-env.sh
vim hadoop-env.sh
# 修改内容
export  JAVA_HOME=${JAVA_HOME}	修改前 
export	JAVA_HOME=/usr/local/jdk1.8.0_121	修改后
  1. core-site.xml
vim core-site.xml
# 添加内容

	
		
		fs.defaultFS
        hdfs://master:9000
    

  1. hdfs-site.xml
vim hdfs-site.xml
# 添加内容

		
        dfs.replication
        1
    

  1. mapred-site.xml
    如果mapred-site.xml不存在,复制mapred-site.xml.template为mapred-site.xml
vim mapred-site.xml
# 添加内容

	
    	mapreduce.framework.name
        yarn
    

  1. yarn-site.xml
vim yarn-site.xml
# 添加内容

	
    	yarn.nodemanager.aux-services
        mapreduce_shuffle
    

  1. slaves
vim slaves
# 添加内容
master

hadoop配置完毕

  • 启动hadoop

初始化文件路径:/home/hadoop/hadoop-2.7.5/bin

	hadoop namenode -format

启动文件路径:/home/hadoop/hadoop-2.7.5/sbin

启动HDFS

	start-dfs.sh
	# 启动的进程
	DataNode
	NameNode
	SecondaryNameNode

启动YARN

	start-yarn.sh
	# 启动的进程
 	NodeManager
	ResourceManager
  • 通过web访问
    查看yarn:http://192.168.xx.xxx:8088
    查看hdfs:http://192.168.xx.xxx:50070
  • 配置Hadoop环境变量

可在任意目录下操作/bin、/sbin目录下的指令

	vim /etc/profile
	# 添加内容
	export HADOOP_HOME=/home/hadoop/hadoop-2.7.5
	export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  • HDFS基本操作指令
	# 创建目录
	hdfs dfs -mkdir /input
	# 创建目录(上级目录不存在也会被创建)
	hdfs dfs -mkdir -p /input/data
	# 将本地文件或目录上传到HDFS中的路径。
	hdfs dfs -put 本地路径 HDFS路径
	# 将文件或目录从HDFS中的路径拷贝到本地文件路径。
	hdfs dfs -get HDFS路径 本地路径
	# 查看目录下内容,包括文件名,权限,所有者,大小和修改时间
	hdfs dfs -ls /input
	# 与ls相似(递归地显示子目录下的内容)
	hdfs dfs -ls -R /input
	# 显示/input下所有文件磁盘使用情况
	hdfs dfs -du /input
	# 与-du相似(显示全部文件或目录磁盘使用情况)
	hdfs dfs -du -s /input
	# 移动文件
	hdfs dfs -mv 源路径 目标路径
	# 复制文件
	hdfs dfs -cp 源路径 目标路径
	# 删除文件或目录
	hdfs dfs -rm -skipTrash /input
	# 删除文件或递归删除目录
	hdfs dfs -rmr -skipTrash /input
 	# 显示文件内容
	hdfs dfs -cat /input/test.txt
 	# 创建文件(如果文件存在失败)
	hdfs dfs -touchz /input/test.tx
 	# 显示文件最后的1KB内容
	hdfs dfs -tail /input/test.txt
	# 统计文件数量
	hdfs dfs -count /input
  • Hadoop警告
    Unable to load native-hadoop library for your platform… using builtin-java classes where applicable
    • 原因:Apache提供的hadoop本地库是32位的,而在64位的服务器上就会有问题,因此需要自己编译64位的版本。
    • 下载地址:http://dl.bintray.com/sequenceiq/sequenceiq-bin/
    • 将下载的包解压到hadoop/lib和hadoop/lib/native目录下
      tar -xvf 包

你可能感兴趣的:(大数据,Hadoop搭建)