大数据-Linux系统与虚拟机

目录

Linux系统结构

Linux内核与发行版本

虚拟机介绍及安装

Linux系统安装

Linux文件系统

Linux 基本指令

Vi编辑器

基本配置

总结

后期文章重要内容汇总

---

从今天开始，学习大数据。

Linux简介、背景之类的就不多说了。

Linux系统结构

系统结构图

Linux内核与发行版本

• 内核：软件与硬件交互的平台，提供系统服务，文件管理，内存管理，i/o管理，进程管理等。
• 发行版：内核 + 软件
• 常用发行版：Red Hat / CentOS、Debian / Ubuntu

学习大数据采用的是CentOS

虚拟机介绍及安装

• 虚拟机（Virtual Machine）指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的计算机系统。
• 流行的虚拟机软件有VMware Workstation、Virtual Box和Virtual PC
• VMware Workstation的安装：

虚拟机名称

虚拟机设置

 每一个安装步骤就不详细写了，很简单。安装包在下方百度网盘中。

• 虚拟机的网络模式
  • 仅主机模式
  • 桥接模式
  • NAT模式（我们选择这个模式）

Linux系统安装

用户及密码

• 继续下一步，到网络连接下选项时选择 NAT ,又继续下一步，到分配磁盘界面根据自己电脑配置去分配大小，学习大数据的话20G比较合适，（注意，这个大小是决定此虚拟机的最大硬盘容量，以后不能修改的），选择 “将虚拟磁盘拆分为多个文件”（为方便移动虚拟机）
• 一直点击下一步，直到点击了完成
• 启动虚拟机出现以下界面即可说明安装成功

安装成功截图

Linux文件系统

• 文件系统格式
  • Linux：ext4、ext3、xfs (查看分区文件系统类型：parted -l)
  • windows：NTFS、fat32
• 整个文件系统可以看做是一棵树，不会根据扩展名判别文件类型，会根据内容自动判断类型。在创建文件时，可以人为的添加扩展名，方便区分
• 命名规则
  • 除了 / 之外，所有的字符都合法
  • 有些字符最好不适用，比如空格符、制表符、退格符和字符 : ? ,@ # $ & () \ | ;" "" <> 等等
  • 避免使用+ 、 - 或 . 来作为普通文件名的第一个字符
  • 大小写敏感
• 常见目录用途
  • / 根目录
  • /bin|/sbin|/usr/bin 存放可执行的二进制文件
  • /boot 存放启动时文件
  • /dev 存放和挂载设备文件
  • /etc 配置文件存放的目录
  • /home 用户的家目录
  • /root root用户的家目录
  • /mnt|/media 光盘挂载点
  • /usr 安装程序目录
  • /var 存放经常变化的文件

虚拟机桌面

文件系统

Linux 基本指令

• 命令行含义：
  [用户名@主机名 当前目录]#
  #表示root用户, $表示普通用户
• 常用shell指令
  • su （用法：su 用户名，切换用户）
  • pwd （显示当前工作目录）
  • cd （改变工作目录）
    • cd path（进入指定目录）
    • cd ..（返回上级目录）
    • cd ~（返回用户主目录）
    • cd -（返回上次操作的目录）
  • ls（用法：ls [参数] 路径 ，显示目录内容列表）
    • -l（详细信息显示，可用 ll 代替）
    • -a（显示所有子目录和文件的信息，包括隐藏文件）
    • -A（类似于“-a”，但不显示“.”和“..”目录的信息）
    • -R（递归显示内容）
    • -h（以友好方式显示文件大小）
  • touch（用法：touch 路径，创建空文件或更新文件时间标记）
  • mkdir（用法：mkdir [参数] 路径，创建文件夹）
    • -p（级联的方式创建文件夹，上级目录不存在自动创建）
  • file（用法：file 路径，查看文件类型）
  • cp（用法：cp [参数] 源文件或目录… 目标文件或目录）
    • -r（递归复制整个目录）
  • mv（用法：mv [参数] 源文件或目录… 目标文件或目录）
    • 源和目标 目录一样时就是重命名的效果
  • cat （用法：cat [参数] 文件路径，查看目标文件的内容）
    • -n （显示行号）
  • rm（用法：rm [选项] 文件或目录，删除指定文件或目录）
    • -f（强行删除文件或目录，不进行提醒）
    • -i（删除文件或目录时提醒用户确认）
    • -r （递归删除整个目录树）
    • rm -rf /（删除整个linux系统的文件，从删库到跑路！）

Vi编辑器

vi编辑器是Linux和Unix上的标准文本编辑器，相当于windows上的记事本，功能更强大。vim是增强版的vi。

vi编辑器的三种模式

• 命令模式
  • 使用vi/vim 文件名 进入编辑器后就是命令模式
  • 可以进行复制、剪切、粘贴、删除等操作
  • 命令行模式下保存并退出：输入 ZZ
  • 命令模式下按一下冒号进入底行模式（shift+:）
• 插入模式（左下方出现 INSERT）
  • 在命令模式下按字母 i 进入 Insert mode，插入模式下可以输入文字
  • 插入模式按esc返回命令模式
• 底行模式（最下方出现冒号）
  • w 文件名（以指定的文件名保存）
  • wq （存盘并退出vi）
  • q! (不存盘强制退出vi）

基本配置

• 配置静态ip

在虚拟机中点击编辑-》虚拟网络编辑器

虚拟网络编辑器

NAT设置

• sudo vi /etc/sysconfig/network-scripts/ifcfg-eth0
• 修改 bootproto的值为 static
• 添加 IPADDR=192.168.74.91，DNS1=192.168.74.2，GATEWAY=192.168.74.2，PREFIX=24

具体ip根据自己的来确定，按照C类地址规则即可。

使用ifconfig来查看

ifconfig查看

在cmd窗口使用ipconfig或者找到网络设置，查看本机ip

本机ip

使用ping命令，在cmd窗口使用ping命令来测试，ping 虚拟机的ip，同样在虚拟机的Terminal界面（鼠标右键，Open in Terminal）使用ping命令测试。

主机ping虚拟机

至此，网络设置没有问题了。

设置hostname及主机映射

• 查看：hostname
• 修改（临时生效）：hostname 名字
• 修改（重启永久生效）：sudo vi /etc/sysconfig/network  这里把HOSTNAME的值改为hadoop001

修改HOSTNAME

使用sudo vi /etc/hosts修改主机映射

主机映射

• 对防火墙的操作
  • 防火墙是位于内部网和外部网之间的屏障，它按照系统管理员预先定义好的规则来控制数据包的进出
  • service iptables status：查看防火墙状态
  • service iptables start：开启防火墙
  • service iptables stop：关闭防火墙
  • chkconfig iptables on：开机自启
  • chkconfig iptables off：关闭开机自启
• 系统启动级别
  • 查看级别：runlevel
  • 修改启动级别：vi /etc/inittab（0-6，改为3，不启动图形化界面，开机快）
• 文件权限
  我们执行 ls -l （或者 ll ）指令后，得到如下内容

文件权限

• 前10个字符就表示不同的用户能对这个文件做什么样的操作
  • 第一位表示文件的类型（-表示文件、d表示目录、l表示链接）
  • 其余9位字符每3个一组（rwx），读（r）、写（w）、执行（x）
    • 第一组：文件所有者的权限
    • 第二组：与文件所有者同一组的用户的权限
    • 第三组：不与文件所有者同组的其他用户的权限
• 接下来的数字表示连接数，就是该目录下面的目录的个数，包括隐藏的.和..目录
• 第一个root表示用户
• 第二个root表示用户所在的组

• 在后面就分别是文件大小与最后修改时间，最后就是文件名

• 权限修改

  • chmod u=rwx，g=rx，o=rx abc：同上u=用户权限，g=组权限，o=不同组其他用户权限
  • chmod u-x，g+w abc：给abc去除用户执行的权限，增加组写的权限
  • chmod a+r abc：给所有用户添加读的权限
  • chmod 755 abc：赋予abc权限rwxr-xr-x（用数字表示为：r=4，w=2，x=1）

总结

今天主要学习了以下内容：

虚拟机安装

操作系统安装

学习Linux基本命令

学习vi编辑器

配置静态ip

设置主机名及映射

后期文章重要内容汇总

VM：hadoop001

用户：root hadoop

重要内容汇总

IP	hostname	jdk	虚拟机名	hadoop	其他	备注
192.168.74.91	hadoop001	1.8	hadoop001	2.7.5		母版
192.168.74.121	hadoop1	1.8	h1	2.7.5		NameNode
192.168.74.122	hadoop2	1.8	h2	2.7.5		SecondryNameNode
192.168.74.123	hadoop3	1.8	h3	2.7.5		ResourceManager

 

 

 

 

 

 

 

网盘链接：

链接：https://pan.baidu.com/s/1yIHOlRPpcGYkKTYM4-64bA
提取码：ims7

更多大数据知识请查看：大数据自学目录

有问题请下方评论，转载请注明出处，并附有原文链接，谢谢！如有侵权，请及时联系。