shell多线程操作

经常需要拷贝大量的数据到多个服务器，发现rsync对与某些格式的文件同步很快，但是对于一些格式的文件同步速度真的很慢，如果能使用阵列应该会提高很多。当然采用分布式也有很大的提升。

下面是脚本代码，请大家多多指教：

前面部分的密码就没贴出来了，你们可以自己添加passwd变量及变量ip

thead_num=10

tmp_fifo_file="/tmp/$$.fifo"

mkfifo $tmp_fifo_file

exec 4<>$tmp_fifo_file

rm -f $tmp_fifo_file

for ((i=0;i<$thead_num;i++))

do

        echo ""

done >&4

for i in $ip

do

        read -u4

                {

                        expect -c "

                        set timeout -1

                         spawn scp -p $file $i:$dir

                                                expect {

                                                  \"yes/no\"    {send \"yes\r\";exp_continue}                        

                                                  \"*password\" {send \"$passwd\r\";exp_continue}

                                                      }"

                                                sleep 3

                        echo "" >&4

                }&

done

wait

exec 4 >&-

exit 0

以下为详细注解。

#设置线程数，在这里所谓的线程，其实就是几乎同时放入后台（使用&）执行的进程。
thead_num=10

# 脚本运行的当前进程ID号作为文件名，其实这样命名只是为了防止创建管道文件时与现有文件名重复，从而引起创建失败，别无他用。
tmp_fifofile="/tmp/$$.fifo"                  
#创建管道文件
mkfifo $tmp_fifo_file

#把文件描述符4指向管道文件，文件描述符可以使用3-9任意一个即可（除了5），0、1、2、5已有定义，具体可参考关于文件描述符的文章。
exec 4<>$tmp_fifo_file  

#其实删不删除都太多关系

rm -f $tmp_fifo_file

 # 暂停3秒，这里是关键点，其实引入管道模拟多线程的关键就是为了这个暂停的3秒（实际上是微大于3秒的），让系统有个缓冲的时间，起到限制所谓并发的进程数量。

sleep 3

# 再次往管道文件中写入一个空行，为了挂起的for循环能够继续执行。

 echo "" >&4