Linux学习1

基本命令
tar -tf 文件 查看归档文件的内容
tar -rf xxx 追加文件到tar中
xarge 将管道输出内容合并成一行数据，使用空格分隔
find. | grep txt | cp 'xarge' kk ' '是按照命令执行 也是命令的嵌套
mount 挂载外设
光驱的挂载
将设备挂载到一个目录下
mount /dev/cdrom /mnt/cdrom 下
解除挂载
unmount /dev/cdrom
basename
输出文件的基本名称（去除目录的那部分）
echo $(hostname) 类似于 echo hostname 都是进行动态执

行的
ctrl +alt +f6 开启一个新的会话命令行
做一个链接到bin目录下 这个链接叫 mybin
In -s /bin mybin
它的物理位置在 bin
当前目录是mybin 先出去
然后 cd -p mybin 进到bin目录下
输出环境变量
echo $evn_name 输出环境变量名称
echo ${evn_name}
echo “$evn_name”
echo ‘$evn_name’错的
export mypath=/home/ubuntu 导入环境变量 这种导入只在当前

会话中有效
path 环境变量用:
export mypath=${PATH}:/home/ubuntu
echo $mypath
删除环境变量
export youpath=
basename
输出文件的基本名称（去除目录的那部分）
echo $(hostname) 类似于 echo hostname 都是进行动态执

行的
ctrl +alt +f6 开启一个新的会话命令行
做一个链接到bin目录下 这个链接叫 mybin
In -s /bin mybin
它的物理位置在 bin
当前目录是mybin 先出去
然后 cd -p mybin 进到bin目录下
输出环境变量
echo $evn_name 输出环境变量名称
echo ${evn_name}
echo “$evn_name”
echo ‘$evn_name’错的
export mypath=/home/ubuntu 导入环境变量 这种导入只在当前

会话中有效
path 环境变量用:
export mypath=${PATH}:/home/ubuntu 三元运算符

3hadoop 集群搭建

centos 中 java jdk的安装
http://download.csdn.net/download/janehlp/9605681

• 1、rpm -qa | grep Java 命令来查询出系统自带的jdk

image.png

2、rpm -e --nodeps 后面跟系统自带的jdk名 这个命令来删除系统自带的jdk

image.png

3、进入local目录之后 通过 mkdir java 命令来创建java目录存放自己的jdk
4、创建好之后，进入java目录 cd java
5导入jdk压缩包

• （1） yum -y install lrzsz
  命令安装这个插件
  安装插件完成之后输入 rz 命令然后按回车，就会弹出一个窗口，然后你就在这个窗口找到你下载好的jdk
  注：使用 rz 命令的好处就是你在哪里输入rz导入的安装包他就在哪里，不会跑到根目录下
• （2）用工具 Xftp 导入
  传输完成之后 ll 命令 查看

image.png

6、用
tar -zxvf jdk-8u11-linux-x64.tar.gz 命令解压
7、通过 rm -f jdk-8u11-linux-x64.tar.gz 删除安装包
8、通过 vim /etc/profile 命令打开 profile 文件盘配置环境变量

打开之后按 i 进入 insert （插入）模式，在文件末尾添加上环境变量

export JAVA_HOME=/usr/local/java/jdk1.8.0_11
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

9、用：wq 命令 保存
source /etc/profile 命令使刚才配置的环境变量生效
10、测试jdk

image.png

11、通过 java -version命令来查看你安装的jdk信息

image.png

jdk安装成功
tomcat的安装
1、导入tomcat安装包 到指定的路径
2、解压tomcat安装包
3、启动tomcat
　进入tomcat服务器的bin目录，然后执行"./startup.sh"命令启动Tomcat服务器
4、关闭tomcat
　进入tomcat服务器的bin目录，然后执行"./shutdown.sh"命令关闭Tomcat服务器

伪分布式的搭建

1、关闭 防火墙 启动 ssh
2、配置静态ip
准备工作：
准备一. 确认VMware Network Adapter VMnet8开启,查看ip地址.
准备二. 查看虚拟机设置,确保虚拟机Centos的网络配置是NAT,

image.png

image.png

设置静态IP
一般来说如果centos6.8没有网卡eth0配置文件，到网卡配置目录/etc/sysconfig/network-scripts/下面都会有一个 ifcfg-lo 回环接口配置文件，拷贝一份
命令为：
Cp /etc/sysconfig/network-scripts/ifcfg-lo /etc/sysconfig/network-scripts/ ifcfg-eth0

然后编辑eth0文件，将内容改为如下格式（标红的信息改为本机自定义的网段，IPADDR自定义最后一位范围一般在3~254）

DEVICE=eth0
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.80.138
NETMASK=255.255.255.0
NETWORK=192.168.80.0
BROADCAST=192.168.80.255
DNS1=114.114.114.114
DNS2=8.8.8.8
GATEWAY=192.168.80.2
IPV6INIT=yes
IPV6_AUTOCONF=yes
我的设置
DEVICE=eth0
IPADDR=192.168.119.132
NETMASK=255.255.255.0
NETWORK=192.168.119.132

If you're having problems with gated making 127.0.0.0/8 a martian,

you can change this to something else (255.255.255.255, for example)

BROADCAST=192.168.119.255
ONBOOT=yes
NAME=loopback
BOOTPROTO=static
DNS1=114.114.114.114
DNS2=8.8.8.8
GATEWAY=192.168.119.132
IPV6INIT=yes
IPV6_AUTOCONF=yes

• DEVICE=eth0 #描述网卡对应的设备别名
  BOOTPROTO=static #设置网卡获得ip地址的方式，可能的选项为static，dhcp或bootp，分别对应静态指定的 ip地址，通过dhcp协议获得的ip地址，通过bootp协议获得的ip地址
  BROADCAST=192.168.182.255 #对应的子网广播地址,保持在同一个网段,末尾是255
  ONBOOT=yes
  IPADDR=192.168.182.100 #设置自己喜欢的ip地址,保持在同一个网段
  NETMASK=255.255.255.0 #网卡对应的网络掩码
  GATEWAY=192.168.182.2 #保持在同一网段,末尾设置为2
  DNS1=192.168.182.2 #DNS1服务器的地址，保持在同一网段,末尾设置为2.
  重新启动网络

chkconfig NetworkManager off
chkconfig network on
service NetworkManager stop
service network start
配置主机名
vi /etc/sysconfig/network

加入hostname=hadoop-master
配置host文件
vi /etc/hosts
192.168.80.138 hadoop-master
添加hadoop用户用于操作hadoop
hadoop的操作和配置尽量避免使用root用户
添加用户 hadoop；
修改hadoop密码
passwd hadoop
删除用户hadoop:
userdel hadoop
删除用户以及用户目录：
userdel -f hadoop
配置 ssh免密登录
现在需要从Host A通过ssh登录到Host A上
在HostA上执行
ssh-keygen –t rsa
一直回车就能生成SSH的私钥和公钥 id_rsa和id_rsa.pub
导入公钥到认证文件
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

• 注意要把~/.ssh和authorized_keys的权限进行修改。注意这里一定要改，否则不能成功。
  chmod 600 ~/.ssh/authorized_keys
  chmod 700 ~/.ssh/
  安装jdk 我已安装
  安装hadoop
  1、上传hadoop到虚拟机的/home/hadoop/app目录
  2、解压hadoop
  3、配置hadoop所使用的环境变量
  Vi ~/.bashrc
  将以下内容添加到文件末尾
  export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.5
  export HADOOP_INSTALL=$HADOOP_HOME
  export HADOOP_MAPRED_HOME=$HADOOP_HOME
  export HADOOP_COMMON_HOME=$HADOOP_HOME
  export HADOOP_HDFS_HOME=$HADOOP_HOME
  export YARN_HOME=$HADOOP_HOME
  export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
  export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
  配置hadoop
  配置hadoop目录下的etc/hadoop目录下的
  hadoop-env.sh、yarn-env.sh、mapred-env.sh
  将#export JAVA_HOME=/xxxxx
  改为export JAVA_HOME=/home/hadoop/app/jdk1.8.0_144
  配置hadoop目录下的etc/hadoop目录下的
  Slaves文件将里面的内容改为hadoop-master
  配置hadoop目录下的etc/hadoop目录下
  core-site.xml、hdfs-site.xml文件、mapred-site.xml、yarn-site.xml
  core-site.xml
  在
  
  

标签内添加

      fs.default.name
      hdfs://hadoop-master:9000/


        hadoop.tmp.dir
        /home/hadoop/hadoop/hadooptmp

hdfs-site.xml文件
在

标签内添加

     dfs.name.dir
     /home/hadoop/hadoop/hdfs/name
 
 
     dfs.data.dir
     /home/hadoop/hadoop/hdfs/data
 
 
     dfs.replication
     1
 

mapred-site.xml文件
该目录下没有mapred-site.xml文件但是有mapred-site.xml.template模板文件
可复制该文件并命名为mapred-site.xml
Cp /home/hadoop/app/hadoop-2.6.5/etc/hadoop/mapred-site.xml.template /home/hadoop/app/hadoop-2.6.5/etc/hadoop/mapred-site.xml

编辑 mapred-site.xml在

标签内添加

     mapred.job.tracker
     hadoop-master:9001
  
  
     mapred.local.dir
     /home/hadoop/hadoop/mapred/local
  
  
     mapred.system.dir
     /home/hadoop/hadoop/mapred/system
  

yarn-site.xml
在

标签内添加

     yarn.resourcemanager.hostname
     hadoop-master  
    
    
     yarn.nodemanager.aux-services  
     mapreduce_shuffle
  

测试hadoop
第一步：格式化hdfs文件系统：
hadoop namenode –format

image.png

第二步：进入hadoop目录下的sbin中启动，执行如下命令：

image.png

查看启动的java进程

image.png

在浏览器中查看hdfs的健康状态
[http://192.168.80.138:50070/]