大数据学习3-Hadoop伪分布式搭建和使用

伪分布式：就是假的分布式。都在一台pc机器上用虚拟机模拟不同的web服务器来工作

而分布式：

一.搭建：

安装jdk

配置环境

安装hadoop

配置环境变量

-------在本地模式中依旧也要做前几步骤--------- 

修改配置文件：

①配合core-site.xml

配置完  可以进行用cat命令查看  core-site.xml文件：

②配置hdfs-site.xml

 

 

启动 运行集群：

第一步.初始化配置文件（也就是格式化 ）：

  运行后：出现0 说明成功运行

自动生成一个目录：dfs文件夹

第二步：启动服务（namenode）

1.

2.

命令：jps是用来看进程的命令

第三步：

在web端访问HDFS文件系统：http:地址：50070:

如何使用hadoop进行文件的上传下载到HDFS

①在hdfs创建一个目录：

 hadoop fs -mkdir -p /user/xxx     （-p的意思是创建多级目录）

②查看在HDFS上创建的目录：

③上传文件到HDFS的新创建的目录下：

 

在功能上：

hadoop下的 fs 命令集          和                 hdfs 下的 dfs  提供的功能是一样的。

④删除：

hadoop fs -rm -R  /user/ambow/xxxx

 

 

其实就是将文件映射到 hdfs（文件系统）上   实际上的文件存储位置还是 一个节点的电脑上

就是  hdfs的web上看到数据目录：但文件的位置仍然在 节点的电脑上。