linux 服务器之间数据复制—scp

scp是secure copy的简写，用于在Linux下进行远程拷贝文件的命令，和它类似的命令有cp，不过cp只是在本机进行拷贝不能跨服务器，而且scp传输是加密的。可能会稍微影响一下速度。当你服务器硬盘变为只读 read only system时，用scp可以帮你把文件移出来。另外，scp还非常不占资源，不会提高多少系统负荷，在这一点上，rsync就远远不及它了。虽然 rsync比scp会快一点，但当小文件众多的情况下，rsync会导致硬盘I/O非常高，而scp基本不影响系统正常使用。

一、命令详情介绍

1. 命令格式：
   scp [参数] [原路径] [目标路径]

2. 命令功能：
   scp是 secure copy的缩写, scp是linux系统下基于ssh登陆进行安全的远程文件拷贝命令。linux的scp命令可以在linux服务器之间复制文件和目录。

3. 命令参数：
   -1 强制scp命令使用协议ssh1
   -2 强制scp命令使用协议ssh2
   -4 强制scp命令只使用IPv4寻址
   -6 强制scp命令只使用IPv6寻址
   -B 使用批处理模式(传输过程中不询问传输口令或短语)
   -C 允许压缩。（将-C标志传递给ssh，从而打开压缩功能）
   -p 保留原文件的修改时间,访问时间和访问权限。
   -q 不显示传输进度条。
   -r 递归复制整个目录。
   -v 详细方式显示输出。scp和ssh(1)会显示出整个过程的调试信息。这些信息用于调试连接，验证和配置问题。
   -c cipher 以cipher将数据传输进行加密，这个选项将直接传递给ssh。
   -F ssh_config 指定一个替代的ssh配置文件,此参数直接传递给ssh。
   -i identity_file 从指定文件中读取传输时使用的密钥文件,此参数直接传递给ssh。
   -l limit 限定用户所能使用的带宽,以Kbit/s为单位。
   -o ssh_option 如果习惯于使用ssh_config(5)中的参数传递方式，
   -p port 注意是大写的P,
   -S program 指定加密传输时所使用的程序。此程序必须能够理解ssh(1)的选项。

4. 使用实例：
   scp命令的实际应用概述：
   从本地服务器复制到远程服务器：

   • 复制文件：
     命令格式： scp local_file remote_username@remote_ip:remote_folder
     或者 scp local_file remote_username@remote_ip:remote_file
     或者 scp local_file remote_ip:remote_folder
     或者 scp local_file remote_ip:remote_file
     第1,2个指定了用户名，命令执行后需要输入用户密码，第1个仅指定了远程的目录，文件名字不变，第2个指定了文件名
     第3,4个没有指定用户名，命令执行后需要输入用户名和密码，第3个仅指定了远程的目录，文件名字不变，第4个指定了文件名
   • 复制目录：
     命令格式：scp -r local_folder remote_username@remote_ip:remote_folder
     或者 scp -r local_folder remote_ip:remote_folder
     第1个指定了用户名，命令执行后需要输入用户密码；
     第2个没有指定用户名，命令执行后需要输入用户名和密码；
     从远程服务器复制到本地服务器：
     从远程复制到本地的scp命令与上面的命令雷同，只要将从本地复制到远程的命令后面2个参数互换顺序就行了。

二、使用实例

实例1：从远处复制文件到本地目录
命令：scp [email protected]:/opt/soft/nginx-0.5.38.tar.gz /opt/soft/

实例2：从192.168.11.28远端服务器复制文件到192.168.20.14服务器)
首先用Xshell登录192.168.20.14：
执行命令：scp [email protected]:/home/username/nginx-0.5.38.tar.gz /home/username/software/

或者：从192.168.11.28服务器复制文件到192.168.20.14服务器)
首先用Xshell登录192.168.11.28：
执行命令：scp /home/username/nginx-0.5.38.tar.gz [email protected]:/home/username/software/

实例3：从192.168.11.28远端服务器复制文件夹（整个文件夹类的所有文件）到192.168.20.14服务器)
首先用Xshell登录192.168.20.14：(注意：192.168.121.204服务器下 test 文件夹不需要人为创建)
执行命令：scp -r [email protected]:/home/username/test /home/username/software/test

赋予文件用户权限：
将文件的root权限赋予用户权限：chown username:username filename.txt

三、批量文件传输

利用Expect来实现自动交互传输文件，解决ssh交互问题
run_file.exp文件

#!/usr/bin/expect

if {
      $argc != 3 } {
     
    puts "Usage: expect $argv0 file host dir"
    exit
}

set file [lindex $argv 0]
set host [lindex $argv 1]
set dir [lindex $argv 2]

set password "test"

spawn scp -P22 -rp $file root@$host:$dir

expect {
     
    "yes/no"    {
     send   "yes\r";exp_continue}
    "*password" {
     send   "$password\r"}
}
expect eof

利用 shell 循环执行 Expect 脚本命令，批量传输文件

#!/bin/bash

if [ $# -ne 2 ]; then
    echo $"Usage:$0 file dir"
    exit 1
fi

file=$1
dir=$2

for n in 2 3
do
    expect cp_file.exp $file 192.168.7.$n $dir
done

另一个方法

allscp.sh

#!/usr/bin/expect -f

if {
     $argc < 2} {
     
    send_user "usage: $argv0 src_file username ip dest_file password\n"
exit
}

set src_file [lindex $argv 0]
set username [lindex $argv 1]
set host_ip [lindex $argv 2]
set dest_file [lindex $argv 3]
set password [lindex $argv 4]

set timeout -1
spawn scp -r $src_file $username@$host_ip:$dest_file
#spawn bash -c "scp -r $src_file $username@$host_ip:$dest_file"
expect {
     
    "(yes/no)?"
        {
     
            send "yes\n"
            expect "password:" {
     send "$password\n"}
        }
    "password:"
        {
     
            send "$password\n"
        }
}
expect "100%"
expect eof

mainscp.sh

#!/bin/bash

host_list="server_list.conf"
cat $host_list | while read line

do
    host_ip=`echo $line|awk '{print $1}'`
    username=`echo $line|awk '{print $2}'`
    password=`echo $line|awk '{print $3}'`
    src_file=`echo $line|awk '{print $4}'`
    dest_file=`echo $line|awk '{print $5}'`
    ./allscp.sh $src_file $username $host_ip $dest_file $password
done

server_list.conf

参数依次：
Usage:[ip] [用户名] [密码] [源文件] [目标文件地址]
172.168.122.165 username password /home/username/nvidia-docker.rpm /home/username

批量传输文件：https://www.jb51.net/article/59259.htm
批量传输文件：https://www.cnblogs.com/mcsiberiawolf/articles/10368733.html
集群部署：https://blog.csdn.net/qq_24137609/article/details/90691658
参考及鸣谢：https://www.cnblogs.com/bravehunter/p/5653317.html