使用VirtualBox安装Ubuntu系统搭建hadoop环境

刚开始接触大数据的时候,也不知道Hadoop到底为何物。

Hadoop起源于开源的网络搜索引擎Apache Nutch ,它是Lucene项目的一部分。

在搭建Hadoop环境的前提下我们需要了解一些Linux 命令。虽然不需要我们熟练掌握Linux的所有命令,但是最基本的一些我们要知道。

一下是我认为最常用的Linux命令,我们需要知道这些命令的含义以及用法。

|-----

#:表示权限用户(如root),$表示普通用户。

退出当前shell 使用exit。

useradd admin 添加一个admin用户。当然adduser和useradd含义一样。

password admin 给admin这个用户设置密码。

ls:显示文件或目录。

    -l 列出文件详细信息。

    -a 列出当前文件下所有文件及目录。

mkdir : 创建目录

       -p 若无父目录则创建p(parent)

cd : 切换目录。

touch :创建空文件。

echo: 创建带有内容的文件。

cat: 查看文件内容。

mv :移动或重命名;

rm : 删除文件。

    -r 递归删除可删除子目录及文件

    -f 强制删除

rmdir:删除空目录。

pwd:显示当前目录。

grep:在文件中查找某个字符串

dpkg 是Debian package的简写,为”Debian“ 操作系统 专门开发的套件管理系统,用于软件的安装,更新和移除.

dpkg -L 查看系统中已经安装的软件文件的详细列表

vim使用

vim三种模式:命令模式、插入模式、编辑模式。使用ESC或i或:来切换模式。

命令模式下:

:q                      退出

:q!                     强制退出

:wq                   保存并退出

:set number     显示行号

:set nonumber  隐藏行号

/apache            在文档中查找apache 按n跳到下一个,shift+n上一个

yyp                   复制光标所在行,并粘贴

h(左移一个字符←)、j(下一行↓)、k(上一行↑)、l(右移一个字符→)



用户及用户组管理

/etc/passwd    存储用户账号

/etc/group       存储组账号

/etc/shadow    存储用户账号的密码

/etc/gshadow  存储用户组账号的密码

useradd 用户名

userdel 用户名

adduser 用户名

groupadd 组名

groupdel 组名

passwd root     给root设置密码

su root

su - root 

/etc/profile     系统环境变量

bash_profile     用户环境变量

.bashrc              用户环境变量

su user              切换用户,加载配置文件.bashrc

su - user            切换用户,加载配置文件/etc/profile ,加载bash_profile

linux drwxr-xr-x


第一位表示文件类型。d是目录文件,l是链接文件,-是普通文件,p是管道
第2-4位表示这个文件的属主拥有的权限,r是读,w是写,x是执行。
第5-7位表示和这个文件属主所在同一个组的用户所具有的权限。
第8-10位表示其他用户所具有的权限。



-----


我觉得厦门大学发表这篇博客很有价值。

启动hadoop
* start-all.sh 启动所有的Hadoop守护。包括namenode, datanode, jobtracker, tasktrack
* stop-all.sh 停止所有的Hadoop
 
* start-mapred.sh 启动Map/Reduce守护。包括Jobtracker和Tasktrack
* stop-mapred.sh 停止Map/Reduce守护
 
* start-dfs.sh 启动Hadoop DFS守护Namenode和Datanode
* stop-dfs.sh 停止DFS守护  
 
将当前目录转移至 /usr/local/hadoop即可执行命令
 
基本命令:
启动     sbin/start-dfs.sh
关闭     sbin/stop-dfs.sh
创建用户目录     bin/hdfs     dfs     -mkdir     -p /user/hadoop
创建用户目录后即可使用用户目录的相对路径
复制文件     bin/hdfs     dfs     -put     etc/hadoop/*.xml     input
查看文件列表     bin/hdfs     dfs     -ls     input
运行MapReduce作业     /usr/local/hadoop/bin/hadoop jar share/hadoop/mapreduce/hadoop-          
                              mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'
 
查看运行结果     bin/hdfs     dfs     -cat     output/*
将结果取回到本地     bin/hdfs     dfs     -get     output     output
删除hdfs上的output文件夹     bin/hdfs dfs -rm -r /user/hadoop/output

搭建环境可以参考如下链接。

http://dblab.xmu.edu.cn/blog/install-hadoop/

你可能感兴趣的:(java开发)