一、linux的实验环境

Linux操作系统,RedHat 7.4 64位

Vmware 12

网卡:仅主机模式,集群通信的时候需要这个模式,其实NAT也可以用于集群通信,这里就用仅主机模式。

一共用到五台虚拟机

bigdata111~bigdata115

在vmware12下安装RedHat 7.4 64位操作系统

二、配置Linux和Linux目录

远程工具:putty,Xshell

1.关闭防火墙

一般生产系统,不能关闭防火墙,实验环境

ctrl+L:清屏

systemctl stop firewalld.service

systemctl disable firewalld.service

如何重启了防火墙,怎样永久关闭防火墙

2.设置主机名和IP地址的对应关系:

vi /etc/hosts

192.168.8.115 bigdata115

ls /

/代表跟目录

bin:存放所有可执行二进制文件

etc:存放系统配置文件

dev:存放设备文件

3.tmp:一旦linux重启后,数据就会删除。

HDFS默认的数据保存目录是Linux的tmp目录,所以配置时一定要改一下这个参数。

三、vi编辑器

linux记事本,vi a.txt,如果不存在创建,如果存在则打开。

三种模式:

1.编辑模式:等待命令输入,i:进入插入模式;

2.插入模式:输文本数据,esc键

3.命令模式:在编辑模式下输入:号则进入命令模式。

w,保存

wq保存退出

wq!强制保存退出

q退出

打开行号:set number

set nonumber

换行:set wrap set nowrap

四、文件目录操作命令(**)

ls:查看文件 -l 详细文件信息 -a隐藏文件

.bash_profile:设置环境变量,环境变量设置在.bash_profile

/当前用户/.bash_profile只针对当前用户有效,如/root/.bash_profile

JAVA_HOME、HADOOP_HOME

隐藏目录:/root/.ssh 配置免密码登录(hadoop和spark),.ssh中的公钥和私钥。

HDFS中查看目录和文件:hdfs dfs -ls / 查看HDFS的根目录

mkdir 创建目录

-p父目录不存在情况下生产父目录

约定:mkdir /root/tools ----------->安装包

mkdir /root/training --------------->安装目录

HDFS上:hdfs dfs -mkdir /input

cd:切换目录

touch:生成一个空文件

(*)echo:生成一个带内容文件,使用echo查看环境变量的值

echo $JAVA_HOME

cat、tac显示文本文件内容

cat:从第一行开始写;tac从最后一行开始写

查看HDFS文件的内容:hdfs dfs -cat /input/data.txt

cp:复制文件或目录

cp a.txt b.txt,a拷贝为b.txt

HDFS: hdfs dfs -cp a.txt b.txt

rm:删除文件 -r同时删除该目录下的所有文件 -f:强制删除文件或目录

HDFS:hdfs dfs -rmr /input/data.txt

在默认情况下,HDFS没有开启回收站,如果误删了回收站找回。

ps:

五、LInux的权限管理

六、安装常用软件

七、案例JAVA的死锁

小编整理了一些java进阶学习资料和面试题,需要资料的请加JAVA高阶学习Q群:701136382 这是小编创建的java高阶学习交流群,加群一起交流学习深造。群里也有小编整理的2019年最新最全的java高阶学习资料!