1.安装VMware虚拟机软件
2.使用VMware安装CentOS操作系统
3.安装Linux连接工具
1.Linux基本概念 Linux内核 GUN/GPL
2.基本指令
本门课程的定位
1.企业环境中使用的服务器操作系统基本就是Linux系统
2.大数据集群也是搭建在Linxu系统之上
一、Linux基本概念
1.Linux内核
Linux是一个一体化内核(monolithic kernel)系统。“内核”指的是一个提供硬件抽象层、磁盘及文件系统控制、多任务等功能的系统软件。一个内核不是一套完整的操作系统。一套基于Linux内核的完整操作系统叫作Linux操作系统,或是GNU/Linux。
2.发行版本
Linux发行版:拿到Linux内核-》二次开发-》加入应用程序、软件-》最终推出一个商业发行版
3.GNN(Gnu's Not Unix)/GPL: 自由软件(一套完整的开放源代码操作系统,一个类UNIX的操作系统)/通用公共许可证
GUN/Linux:一套基于Linux内核的完整操作系统叫作Linux操作系统
4.根据用途不同可以做如下划分:
1、家庭用途可选择版本有:Linux Mint、Ubuntu、OpenSUSE、Fedora、PC-BSD
2、商业用途可选择版本有:Debian、RHEL、CentOS
3、挑战用途可选择版本有:GentoS、LFS4、理想用途可选择版本有:FreeBSD、OpenBSD、Solaris、OpenSolaris
UNIX-->Linux -->GNU/GPL
1、嵌入式领域
手机、平板、电视盒子
2、服务器领域
安全性、稳定性
3、金融、银行、航空系统
[扩展:]
1.为什么要用Linux
1).Linux更加安全 更加稳定 全球绝大多数的服务部署的都是Linux操作系统
2).LAMP 大数据的框架都是部署到Linux
2.为什么要使用CentOS
1).最好的服务器操作系统CentOS / SESU
【小技巧】
1.[hadoop@com Desktop]$
hadoop -- 当前的操作用户
@ -- 当前用户在哪台主机上
com.hadoop0505 -- 当前用户所在的主机
Desktop -- 用户当前所在的目录(随用户使用cd命令自动变化)
$ -- 当前用为普通用户的操作权限
# -- 当前用为root用户的操作权限
2. clear 清除/清理屏幕 快捷方式:Ctrl+l
3.家目录 /home/hadoop hadoop这个普通的用户的家目录
4.方向键 向上键和向下键 快速当切换当前命令和曾经使用过的目录
文件和目录的基本操作(增删改查)
1.
ls 查看某个目录下的文件 list
格式:ls [选项] [参数:目录]
选项: -a all 所有文件包括隐藏文件
-l long 长格式方式查看
ls ~ 查看当前普通用户的家目录的内容
ls 查看当所在目录的内容
ls /home/user01 绝对路径查看当前普通用户的家目录的内容
ls -a 查看目录下的所有文件 包括隐藏文件
ls -l
ls -la
2.
ll 等同于 ls -l
ll ~
ll /home/user01
ll /
ll /ect
3.
cd 切换目录 Change Directory
格式:cd [想要切换的目录(带路径)] cd [参数:目录]
相对路径和绝对路径【参考物不一样】
绝对路径: / 根目录或者顶级目录 固定的 如果切换的目录不在同一条线上
相对路径: 当前所在的目录 不是固定的 如果切换的上一级或者下一级目录
./ 当前目录
../上一级目录
cd ~ 代表的普通用户的主目录 家目录
cd
cd /home/user01
4.
pwd 以绝对路径方式显示当前的目录所在的路径
5.
mkdir 创建目录 Make Directory
格式:mkdir [选项] [参数:想要创建目录(路径)]
mkdir test 在当前目录下创建一个test目录
mkdir /home/user01/demo 绝对路径方式在用户主目录下创建一个demo目录
-p 递归创建多级目录
mkdir
-p demo/demo1/demo2/demo3
mkdir 'program files' 在当前目录下创建一个由多个单词组成的目录
mkdir java linux 一条命令创建多个单级目录
6.
rmdir 删除空目录 Remove Directory
格式:rmdir [参数:想要删除目录(路径)]
7.
rm 删除目录和文件 remove
格式:rm [选项] [参数:想要删除目录(路径)或文件]
-r recursive //递归删除目录 *只要是删除目录就必须使用-r
-f force //强制
rm
-rf demo/ 等价于 rm -r -f demo/
8.
touch 创建空文件
格式:touch [参数:想要创建文件(路径)]
touch note1.txt
touch /home/user01/file.txt
9.
cp 复制文件或目录 copy
格式:cp [选项] [参数1:源文件(路径)或目录] [参数2:目标目录/文件]
-r recursive //递归复制一个目录到另一个目录
cp file.txt test/
cp -r test/ Desktop/
cp file.txt test/demo.txt 复制并重命名文件
[课后练习]
复制并重命名目录
10.
mv 剪切文件或目录 move
格式:mv [选项] [参数:源文件(路径)或目录] [参数:目标目录/文件]
-r recursive //递归剪切一个目录到另一个目录
mv file.txt /home/user01/Desktop
mv -r /home/user01/Desktop/test ~/Download
[课后练习]
重命名目录
11.
cat 查看小文件
格式:cat [参数:想要查看的文件(路径)]
cat /etc/hosts
cat /etc/passwd
12.
more
分页查看 查看大文件
格式:more [参数:想要查看的文件(路径)]
more /etc/passwd
回车 一行行的看
空格 一页一页的看 翻页 一页的内容由命令高度决定
q
退出查看状态
Ctrl+c 强制退出
13.head 查看文件内容的前n行 头
head -n [参数:想要查看的文件(路径)]
不加 -n 默认查看前10行
head -3 /etc/passwd
14.tail 查看文件内容的后n行 尾
tail -n [参数:想要查看的文件(路径)]
不加 -n 默认查看后10行
-f 动态查看文件 按Ctrl+c 退出查看状态 跟随文件id 同一个文件删除再创建文件id自动变化
-F 跟随文件名称 文件删除在创建不会影响查看状态
tail /etc/passwd
[wanglu@com hadoop-2.5.0-cdh5.3.6]$ bin/hdfs dfs -tail -f /usr/local/nginx/datalog/access.log
三、vi vim 文本编辑器
格式: vi [参数:想要查看的文件(路径)]
三种模式
->命令模式
刚进入文件的时候的状态,或者是在插入模式
按Esc
->插入模式(
按i进入)(
按Esc退出,然后打出:)
会在文件左下角出现“--INSERT--”
可编辑文件内容的状态
->最后行模式(在命令模式下输入:)
选项:
w(ware)
保存,
q(quit)
退出,
! 强制操作
三个选项可以联合使用:
wq! 保存并退出
w! 强制保存
q! 强制退出
四、设置IP地址,主机名,主机映射
1.修改或确认主机名
主机名:大小写英文字母开头,可以出现. _ 除此之外的特殊字符不允许(*@$),不能以数字开头
修改主机名(两种方式):
# hostname MyPc.java //临时修改主机名,重启后失效
# vi /etc/sysconfig/network //永久修改主机名,必须重启才能生效
2.设置IP地址
1)确定网段:虚拟机-》菜单栏-》虚拟网络编辑器-》VMnet8-》子网ip-》前三个
2)右上角网络连接图标-》右键-》Edit connections->选中“System eth0” -》edit -》ipv4-》选择“Manual”-》add-》ip 子网掩码 网关 DNS
IP: 第一步中确定的网段.(3~255)
子网掩码:255.255.255.0
网关:第一步中确定的网段.2
DNS:和网关一致
3)apply ->输入root用户密码
4)先把网络连接断开,再连接,为了让配置生效
5)使用自带的火狐浏览器访问百度,来确定是否可以上网
或命令终端中 ping baidu.com
# service network restart
# vi /etc/sysconfig/network-scripts/ifcfg-eth0
ONBOOT=yes //开机自动连接网络
BOOTPROTO=static //设置为静态
# service network restart
3.设置主机映射
两个系统都要做(Linux和windows)
# vi /etc/hosts
添加一行内容:
192.168.7.17 MyPc
Windows
C:\Windows\System32\drivers\etc\hosts
添加一行内容:
192.168.7.17 MyPc
在windows的命令提示符中能ping通主机名为设置正确
ps - ef | grep flume 查看flume开启的进程
kill 6869 杀死6869的进程
rz 上传本地文件
yum -y install ×××× 下载线上文件
date 查看系统时间
ntpdate -u us.pool.ntp.org 将系统时间同步外界的时间服务器
hwclock --localtime 将系统时间同步给本机的硬件时钟时间
hwclock --localtime -w 将本机的系统时间同步给本机的硬件时钟
vi /etc/sysconfig/ntpdate 保持系统时间与网络时间同步
vi /etc/sysconfig/ntpd
crontab -e 编辑定时执行任务
*/30 * * * /usr/local/...../... //每30分钟执行一次
30 * * * * 文件全路径 //00:30 01:30 02:30.....等时间定时执行
0 1 * * * 文件全路径 //每天的00:00
scp -r /etc/serucity/limits.conf 192.168.88.129 //将文件拷贝给集群其他节点
ulimit -a //查看所有集群的limits.conf文件
rpm -qa | grep jdk // 查看本地的jdk安装包
rpm -e --nodeps jdk //卸载本地的jdk安装包
rpm -Uvh /opt/software/mysql.... 安装MySQLconnect包
mysql -uroot -proot123 //进入数据库
mysql> grant all privileges on *.* to 'temp' @'%' indentified by 'temp' with grant option;
//赋予访问权限给temp用户,给temp用户可以通过任意访问主机名来访问*.* with grant option表示temp用户可以给其他用户赋予访问权限
mysql> flush priv ileges;
查找Hadoop的配置文件的方法:
vi /etc/profile
vi -/.bash_Profile
man find
find --help
find -ilname "hadoop" (忽略大小写查找名字)