刚开始接触大数据的时候,也不知道Hadoop到底为何物。
Hadoop起源于开源的网络搜索引擎Apache Nutch ,它是Lucene项目的一部分。
在搭建Hadoop环境的前提下我们需要了解一些Linux 命令。虽然不需要我们熟练掌握Linux的所有命令,但是最基本的一些我们要知道。
一下是我认为最常用的Linux命令,我们需要知道这些命令的含义以及用法。
|-----
#:表示权限用户(如root),$表示普通用户。
退出当前shell 使用exit。
useradd admin 添加一个admin用户。当然adduser和useradd含义一样。
password admin 给admin这个用户设置密码。
ls:显示文件或目录。
-l 列出文件详细信息。
-a 列出当前文件下所有文件及目录。
mkdir : 创建目录
-p 若无父目录则创建p(parent)
cd : 切换目录。
touch :创建空文件。
echo: 创建带有内容的文件。
cat: 查看文件内容。
mv :移动或重命名;
rm : 删除文件。
-r 递归删除可删除子目录及文件
-f 强制删除
rmdir:删除空目录。
pwd:显示当前目录。
grep:在文件中查找某个字符串
dpkg 是Debian package的简写,为”Debian“ 操作系统 专门开发的套件管理系统,用于软件的安装,更新和移除.
dpkg -L 查看系统中已经安装的软件文件的详细列表
vim使用
vim三种模式:命令模式、插入模式、编辑模式。使用ESC或i或:来切换模式。
命令模式下:
:q 退出
:q! 强制退出
:wq 保存并退出
:set number 显示行号
:set nonumber 隐藏行号
/apache 在文档中查找apache 按n跳到下一个,shift+n上一个
yyp 复制光标所在行,并粘贴
h(左移一个字符←)、j(下一行↓)、k(上一行↑)、l(右移一个字符→)
用户及用户组管理
/etc/passwd 存储用户账号
/etc/group 存储组账号
/etc/shadow 存储用户账号的密码
/etc/gshadow 存储用户组账号的密码
useradd 用户名
userdel 用户名
adduser 用户名
groupadd 组名
groupdel 组名
passwd root 给root设置密码
su root
su - root
/etc/profile 系统环境变量
bash_profile 用户环境变量
.bashrc 用户环境变量
su user 切换用户,加载配置文件.bashrc
su - user 切换用户,加载配置文件/etc/profile ,加载bash_profile
第一位表示文件类型。d是目录文件,l是链接文件,-是普通文件,p是管道
第2-4位表示这个文件的属主拥有的权限,r是读,w是写,x是执行。
第5-7位表示和这个文件属主所在同一个组的用户所具有的权限。
第8-10位表示其他用户所具有的权限。
-----
我觉得厦门大学发表这篇博客很有价值。
搭建环境可以参考如下链接。
http://dblab.xmu.edu.cn/blog/install-hadoop/