欧阳鹏
欧阳鹏

Git学习-->如何通过Shell脚本实现 监控Gitlab备份整个过程并且通过邮件通知得到备份结果？

一、背景

  • Git学习–>如何通过Shell脚本自动定时将Gitlab备份文件复制到远程服务器?
    http://blog.csdn.net/ouyang_peng/article/details/77334215

  • git学习——> Gitlab如何进行备份恢复与迁移？
    http://blog.csdn.net/ouyang_peng/article/details/77070977

  • Linux学习–>如何通过Shell脚本实现发送邮件通知功能？
    http://blog.csdn.net/ouyang_peng/article/details/77363437

通过前面的几篇博客，我已经实现了整个Gitlab本机备份、迁移、恢复以及备份到远程服务器的整个流程。

1、每天凌晨2点在Gitlab服务器上执行Gitlab备份功能。
2、每天凌晨3点在Gitlab服务器上执行scp命令将最新的Gitlab备份文件复制到远程的文件备份服务器。
3、每天凌晨4点在远程的文件备份服务器上检测备份文件的时间，自动删除超过30天的备份文件。

但是这三个步骤，有可能每个过程都会出现失败的情况。因此领导第二天在我将整个Gitlab备份自动化运行之后，并且三个步骤都成功运行之后，要求我增加监控Gitlab备份整个过程并且邮件提醒备份结果的功能。

二、修改Gitlab服务器上的脚本

首先 我们查看Gitlab服务器上的定时任务，使用vi /etc/crontab命令打开 /etc/crontab文件

vi /etc/crontab

Git学习-->如何通过Shell脚本实现 监控Gitlab备份整个过程并且通过邮件通知得到备份结果？_第1张图片

 # /etc/crontab: system-wide crontab
# Unlike any other crontab you don't have to run the `crontab'
# command to install the new version when you edit this file
# and files in /etc/cron.d. These files also have username fields,
# that none of the other crontabs do.

SHELL=/bin/sh
PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin

# m h dom mon dow user  command
17 *    * * *   root    cd / && run-parts --report /etc/cron.hourly
25 6    * * *   root    test -x /usr/sbin/anacron || ( cd / && run-parts --report /etc/cron.daily )
47 6    * * 7   root    test -x /usr/sbin/anacron || ( cd / && run-parts --report /etc/cron.weekly )
52 6    1 * *   root    test -x /usr/sbin/anacron || ( cd / && run-parts --report /etc/cron.monthly )
#

# edited by ouyang 2017-8-11 添加定时任务，每天凌晨两点，执行gitlab备份
#0  2    * * *   root    /opt/gitlab/bin/gitlab-rake gitlab:backup:create CRON=1  

#也可以按照如下所示的方法，定时执行 auto_backup.sh脚本，脚本内容就填写： /opt/gitlab/bin/gitlab-rake gitlab:backup:create CRON=1 
0 2    * * *   root    /data/gitlabData/backups/auto_backup.sh -D 1    


# edited by ouyang 2017-8-17 添加定时任务，每天凌晨三点，执行gitlab备份到远程服务器
0  3    * * *   root   /data/gitlabData/backups/auto_backup_to_remote.sh

可以看到

1、每天凌晨2点在Gitlab服务器上执行Gitlab备份功能，对应着 /data/gitlabData/backups/auto_backup.sh 脚本
2、每天凌晨3点在Gitlab服务器上执行scp命令将最新的Gitlab备份文件复制到远程的文件备份服务器,对应着 /data/gitlabData/backups/auto_backup_to_remote.sh 脚本

2.1 修改Gitlab本机自动备份脚本

/data/gitlabData/backups/auto_backup.sh 脚本

2.1.1 原来的脚本内容

gitlab-rake gitlab:backup:create

2.1.2 增加邮件提醒后的脚本内容

#!/bin/bash

# gitlab 机房备份路径
LocalBackDir=/data/gitlabData/backups

#当前系统日期
DATE=`date +"%Y-%m-%d"`

#邮件写入的文件
mailcontent=$LocalBackDir/mail/mailcontent_$DATE

[email protected]

#Log存放路径
LogFile=$LocalBackDir/log/backup_$DATE.log

#新建日志文件
touch $LogFile

#追加日志到日志文件
echo "Gitlab auto backup at local server, start at  $(date +"%Y-%m-%d %H:%M:%S")" >  $LogFile
echo "---------------------------------------------------------------------------" >> $LogFile


#执行gitlab本地备份功能
gitlab-rake gitlab:backup:create
# $?符号显示上一条命令的返回值，如果为0则代表执行成功，其他表示失败
if [ $? -eq 0 ];then
   #追加日志到日志文件
   echo "-----------------------------------Success!----------------------------------------" >> $LogFile
   echo "Gitlab auto backup at local server, end at  $(date +"%Y-%m-%d %H:%M:%S")" >>  $LogFile

   #写Email的正文内容
   > "$mailcontent"
   echo "GitLab Backup Daily Report,backup at local server Success ! Please Check your Email and read the following log file" >> $mailcontent

   #读取mailcontent内容当做邮件正文 ，附件为Log文件
   cat $mailcontent | mail -s "Congratulation! GitLab backup at local server Success Report." $mailToUser -A $LogFile
else
   #追加日志到日志文件
   echo "-----------------------------------Failed!---------------------------------------" >> $LogFile
   echo "Gitlab auto backup at local server failed at  $(date +"%Y-%m-%d %H:%M:%S")" >>  $LogFile

   #写Email的正文内容
   > "$mailcontent"
   echo "GitLab Backup Daily Report,Backup at local server failed Failed !  Please Check your Email and read the following log file !" >> $mailcontent

   #读取mailcontent内容当做邮件正文 ，附件为Log文件
   cat $mailcontent | mail -s "Warning! GitLab Backup at local server Failed Report." $mailToUser -A $LogFile
fi

Git学习-->如何通过Shell脚本实现 监控Gitlab备份整个过程并且通过邮件通知得到备份结果？_第2张图片

2.1.3 测试执行成功后触发邮件提醒

手动执行脚本

root@ubuntu4146:/data/gitlabData/backups# ./auto_backup.sh

Git学习-->如何通过Shell脚本实现 监控Gitlab备份整个过程并且通过邮件通知得到备份结果？_第3张图片

Git学习-->如何通过Shell脚本实现 监控Gitlab备份整个过程并且通过邮件通知得到备份结果？_第4张图片

本次备份成功，因此OA收到的邮件为：

Git学习-->如何通过Shell脚本实现 监控Gitlab备份整个过程并且通过邮件通知得到备份结果？_第5张图片

附件log为：

Gitlab auto backup at local server, start at  2017-08-18 18:57:39
---------------------------------------------------------------------------
-----------------------------------Success!----------------------------------------
Gitlab auto backup at local server, end at  2017-08-18 18:58:11

Git学习-->如何通过Shell脚本实现 监控Gitlab备份整个过程并且通过邮件通知得到备份结果？_第6张图片

2.1.4 测试执行失败后触发邮件提醒

测试了很久，没出现过备份失败的情况，因此比较难以复现，但是脚本应该没问题。如果出现备份失败的话，我也会收到警告邮件的！

2.2 修改Gitlab自动备份到远程文件备份服务器的脚本

之前的 /data/gitlabData/backups/auto_backup_to_remote.sh 脚本，脚本内容如下

2.2.1 原来的脚本内容

#!/bin/bash

# gitlab 机房备份路径
LocalBackDir=/data/gitlabData/backups

# 远程备份服务器 gitlab备份文件存放路径
RemoteBackDir=/root/gitlabDataBackup

# 远程备份服务器 登录账户
RemoteUser=root

# 远程备份服务器 IP地址
RemoteIP=（你的远程服务器地址）请自己修改

#当前系统日期
DATE=`date +"%Y-%m-%d"`

#Log存放路径
LogFile=$LocalBackDir/log/$DATE.log

# 查找 本地备份目录下 时间为60分钟之内的，并且后缀为.tar的gitlab备份文件
BACKUPFILE_SEND_TO_REMOTE=$(find /data/gitlabData/backups -type f -mmin -60  -name '*.tar*')

#新建日志文件
touch $LogFile

#追加日志到日志文件
echo "Gitlab auto backup to remote server, start at  $(date +"%Y-%m-%d %H:%M:%S")" >>  $LogFile
echo "---------------------------------------------------------------------------" >> $LogFile

# 输出日志，打印出每次scp的文件名
echo "---------------------The file to scp to remote server is: $BACKUPFILE_SEND_TO_REMOTE-------------------------------" >> $LogFile


#备份到远程服务器
scp $BACKUPFILE_SEND_TO_REMOTE $RemoteUser@$RemoteIP:$RemoteBackDir

#追加日志到日志文件
echo "---------------------------------------------------------------------------" >> $LogFile

这里写图片描述

2.2.2 增加邮件提醒后的脚本内容

现在要对scp命令的执行结果进行判断，根据命令执行是否成功，发送不同的Email邮件通知相关负责人。

#!/bin/bash

# gitlab 机房备份路径
LocalBackDir=/data/gitlabData/backups

# 远程备份服务器 gitlab备份文件存放路径
RemoteBackDir=/root/gitlabDataBackup

# 远程备份服务器 登录账户
RemoteUser=root

# 远程机房代码备份服务器 IP地址
RemoteIP1=（你的远程服务器地址）请自己修改

# 远程备份服务器 IP地址 (办公室)
#RemoteIP2=（你的远程服务器地址2）请自己修改

#当前系统日期
DATE=`date +"%Y-%m-%d"`

#Log存放路径
LogFile=$LocalBackDir/log/$DATE.log

# 查找 本地备份目录下 时间为120分钟之内的，并且后缀为.tar的gitlab备份文件
BACKUPFILE_SEND_TO_REMOTE=$(find /data/gitlabData/backups -type f -mmin -120  -name '*.tar*')


#邮件写入的文件
mailcontent=$LocalBackDir/mail/mailcontent_$DATE

[email protected]

#新建日志文件
touch $LogFile

#追加日志到日志文件
echo "Gitlab auto backup to remote server, start at  $(date +"%Y-%m-%d %H:%M:%S")" >  $LogFile
echo "---------------------------------------------------------------------------" >> $LogFile

# 输出日志，打印出每次scp的文件名
echo "---------------------The file to scp to remote server is: $BACKUPFILE_SEND_TO_REMOTE-------------------------------" >> $LogFile

#备份到 远程备份服务器 (办公室)
#scp $BACKUPFILE_SEND_TO_REMOTE $RemoteUser@$RemoteIP2:$RemoteBackDir

#备份到 远程机房代码备份服务器
scp $BACKUPFILE_SEND_TO_REMOTE $RemoteUser@$RemoteIP1:$RemoteBackDir
# $?符号显示上一条命令的返回值，如果为0则代表执行成功，其他表示失败
if [ $? -eq 0 ];then
   #追加日志到日志文件
   echo "-----------------------------------Success!----------------------------------------" >> $LogFile
   echo "Gitlab auto backup to remote server, end at  $(date +"%Y-%m-%d %H:%M:%S")" >>  $LogFile

   #写Email的正文内容
   > "$mailcontent"
   echo "GitLab Backup Daily Report, backup to remote server Success ! Please Check your Email and read the following log file" >> $mailcontent

   #读取mailcontent内容当做邮件正文 ，附件为Log文件
   cat $mailcontent | mail -s "Congratulation! GitLab backup to remote server Success Report." $mailToUser -A $LogFile
else
   #追加日志到日志文件
   echo "-----------------------------------Failed!---------------------------------------" >> $LogFile
   echo "Gitlab auto backup to remote server failed at  $(date +"%Y-%m-%d %H:%M:%S")" >>  $LogFile

   #写Email的正文内容
   > "$mailcontent"
   echo "GitLab Backup Daily Report,Backup to remote server Failed !  Please Check your Email and read the following log file !" >> $mailcontent

   #读取mailcontent内容当做邮件正文 ，附件为Log文件
   cat $mailcontent | mail -s "Warning! GitLab Backup to remote server Failed Report." $mailToUser -A $LogFile
fi

Git学习-->如何通过Shell脚本实现 监控Gitlab备份整个过程并且通过邮件通知得到备份结果？_第7张图片

加上最后一段判断scp命令是否正常，然后根据命令执行结果，发送不同的Email邮件到相关责任人。

2.2.3 测试执行失败后触发邮件提醒

现在我们手动触发一下刚才的脚本，发现scp命令执行失败，因为find命令没有找到匹配的要传输到远程服务器的文件，因此失败。

root@ubuntu4146:/data/gitlabData/backups# ./auto_backup_to_remote.sh 
usage: scp [-12346BCpqrv] [-c cipher] [-F ssh_config] [-i identity_file]
           [-l limit] [-o ssh_option] [-P port] [-S program]
           [[user@]host1:]file1 ... [[user@]host2:]file2
root@ubuntu4146:/data/gitlabData/backups#

Git学习-->如何通过Shell脚本实现 监控Gitlab备份整个过程并且通过邮件通知得到备份结果？_第8张图片

接着我们在OA邮件收到 失败的报警邮件，如下所示：

Git学习-->如何通过Shell脚本实现 监控Gitlab备份整个过程并且通过邮件通知得到备份结果？_第9张图片

上面的主题以及正文还有附件log文件，这样我就可以根据收到这封邮件的话就去紧急查看下为什么会失败，并进行相应的补救措施。

log附件内容为：

Gitlab auto backup to remote server, start at  2017-08-18 18:25:51
---------------------------------------------------------------------------
---------------------The file to scp to remote server is: -------------------------------
-----------------------------------Failed!---------------------------------------
Gitlab auto backup to remote server failed at  2017-08-18 18:25:51

Git学习-->如何通过Shell脚本实现 监控Gitlab备份整个过程并且通过邮件通知得到备份结果？_第10张图片

2.2.4 测试执行成功后触发邮件提醒

root@ubuntu4146:/data/gitlabData/backups# vi auto_backup_to_remote.sh 
root@ubuntu4146:/data/gitlabData/backups# touch -t 201708181830 test2.tar
root@ubuntu4146:/data/gitlabData/backups# ./auto_backup_to_remote.sh 
test2.tar                                                                                                                                                  100%    0     0.0KB/s   00:00    
root@ubuntu4146:/data/gitlabData/backups#

这里写图片描述

新建一个test2.tar,文件创建时间为18:30分，现在时间是18点34分，因此可以执行成功。

接着我们在OA邮件收到 成功的邮件，如下所示：

Git学习-->如何通过Shell脚本实现 监控Gitlab备份整个过程并且通过邮件通知得到备份结果？_第11张图片

log附件内容为：

Gitlab auto backup to remote server, start at  2017-08-18 18:33:07
---------------------------------------------------------------------------
---------------------The file to scp to remote server is: /data/gitlabData/backups/test2.tar-------------------------------
-----------------------------------Success!----------------------------------------
Gitlab auto backup to remote server, end at  2017-08-18 18:33:32

Git学习-->如何通过Shell脚本实现 监控Gitlab备份整个过程并且通过邮件通知得到备份结果？_第12张图片

三、修改远程备份服务器上的脚本

切换到远程备份服务器，查看定时任务

#编辑 /etc/crontab
vi /etc/crontab

可以看到已经在计划中的定时任务为 每天凌晨4点，执行删除过期的Gitlab备份文件

SHELL=/bin/bash
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=root
HOME=/

# For details see man 4 crontabs

# Example of job definition:
# .---------------- minute (0 - 59)
# |  .------------- hour (0 - 23)
# |  |  .---------- day of month (1 - 31)
# |  |  |  .------- month (1 - 12) OR jan,feb,mar,apr ...
# |  |  |  |  .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
# |  |  |  |  |
# *  *  *  *  * user-name command to be executed


# edited by ouyang 2017-8-17 添加定时任务，每天凌晨4点，执行删除过期的Gitlab备份文件
0  4    * * *   root  /root/gitlabDataBackup/auto_remove_old_backup.sh

Git学习-->如何通过Shell脚本实现 监控Gitlab备份整个过程并且通过邮件通知得到备份结果？_第13张图片

2.1 修改自动删除过期的Gitlab备份文件的脚本

之前的 /root/gitlabDataBackup/auto_remove_old_backup.sh 脚本内容为：

#!/bin/bash

# 远程备份服务器 gitlab备份文件存放路径
GitlabBackDir=/root/gitlabDataBackup

# 查找远程备份路径下，超过7天 且文件后缀为.tar 的 Gitlab备份文件 然后删除
find $GitlabBackDir -type f -mtime +7 -name '*.tar*' -exec rm {} \;

Git学习-->如何通过Shell脚本实现 监控Gitlab备份整个过程并且通过邮件通知得到备份结果？_第14张图片

现在新增加邮件通知的脚本内容为：

#!/bin/bash

#当前系统日期
DATE=`date +"%Y-%m-%d"`

# 远程备份服务器 gitlab备份文件存放路径
GitlabBackDir=/root/gitlabDataBackup

#Log存放路径
LogFile=$GitlabBackDir/log/$DATE.log

#邮件写入的文件
mailcontent=$GitlabBackDir/mail/mailcontent_$DATE

[email protected]

#新建日志文件
touch $LogFile

#追加日志到日志文件
echo "Gitlab auto clean old backupFiles , start at  $(date +"%Y-%m-%d %H:%M:%S")" >  $LogFile
echo "---------------------------------------------------------------------------" >> $LogFile



# 查找远程备份路径下，超过7天 且文件后缀为.tar 的 Gitlab备份文件 然后删除
find $GitlabBackDir -type f -mtime +7 -name '*.tar*' -exec rm {} \;

# $?符号显示上一条命令的返回值，如果为0则代表执行成功，其他表示失败
if [ $? -eq 0 ];then
   #追加日志到日志文件
   echo "-----------------------------------Success!----------------------------------------" >> $LogFile
   echo "Gitlab auto clean old backupFiles, end at  $(date +"%Y-%m-%d %H:%M:%S")" >>  $LogFile

   #写Email的正文内容
   > "$mailcontent"
   echo "GitLab Backup Daily Report, auto clean old backupFiles Success ! Please Check your Email and read the following log file" >> $mailcontent

   #读取mailcontent内容当做邮件正文 ，附件为Log文件
   cat $mailcontent | mail -s "Congratulation! GitLab clean old backupFiles Success Report." $mailToUser -A $LogFile
else
   #追加日志到日志文件
   echo "-----------------------------------Failed!---------------------------------------" >> $LogFile
   echo "Gitlab auto backup to remote server failed at  $(date +"%Y-%m-%d %H:%M:%S")" >>  $LogFile

   #写Email的正文内容
   > "$mailcontent"
   echo "GitLab Backup Daily Report,auto clean old backupFiles Failed !  Please Check your Email and read the following log file !" >> $mailcontent

   #读取mailcontent内容当做邮件正文 ，附件为Log文件
   cat $mailcontent | mail -s "Warning! GitLab clean old backupFiles Failed  Report." $mailToUser -A $LogFile
fi

Git学习-->如何通过Shell脚本实现 监控Gitlab备份整个过程并且通过邮件通知得到备份结果？_第15张图片

2.2 手动执行自动删除过期的Gitlab备份文件的脚本触发失败后的邮件通知

[root@localhost gitlabDataBackup]# ./auto_remove_old_backup.sh 
touch: missing file operand
Try `touch --help' for more information.

这里写图片描述
手动执行该自动删除过期的Gitlab备份文件的脚本，执行失败，因为没有超过七天的文件存在。

Git学习-->如何通过Shell脚本实现 监控Gitlab备份整个过程并且通过邮件通知得到备份结果？_第16张图片

此时收到的OA邮件如下所示：

Git学习-->如何通过Shell脚本实现 监控Gitlab备份整个过程并且通过邮件通知得到备份结果？_第17张图片

2.3 手动执行自动删除过期的Gitlab备份文件的脚本触发成功后的邮件通知

[root@localhost gitlabDataBackup]# touch -t 201707031230 test3.tar
[root@localhost gitlabDataBackup]# touch -t 201707041230 test4.tar
[root@localhost gitlabDataBackup]# ll
total 4154376
-rw-------. 1 root root 1401958400 Aug 17 20:05 1502906429_2017_08_17_9.4.3_gitlab_backup.tar
-rw-------. 1 root root 1425950720 Aug 18 11:59 1502972105_2017_08_17_9.4.3_gitlab_backup.tar
-rw-------. 1 root root 1426145280 Aug 18 14:27 1502992830_2017_08_18_9.4.3_gitlab_backup.tar
-rwxrwxrwx. 1 root root       2108 Aug 18 19:20 auto_remove_old_backup.sh
drwxr-xr-x. 2 root root       4096 Aug 18 19:20 log
drwxr-xr-x. 2 root root       4096 Aug 18 19:20 mail
-rw-r--r--. 1 root root          0 Aug 18 15:27 test1.tar
-rw-r--r--. 1 root root          0 Aug 18 18:33 test2.tar
-rw-r--r--. 1 root root          0 Jul  3 12:30 test3.tar
-rw-r--r--. 1 root root          0 Jul  4 12:30 test4.tar
[root@localhost gitlabDataBackup]#

先手动创建两个7月份的test3.tar,test4.tar文件用于测试。
Git学习-->如何通过Shell脚本实现 监控Gitlab备份整个过程并且通过邮件通知得到备份结果？_第18张图片

接着手动执行自动删除过期的Gitlab备份文件的脚本 

[root@localhost gitlabDataBackup]# ll
total 4154376
-rw-------. 1 root root 1401958400 Aug 17 20:05 1502906429_2017_08_17_9.4.3_gitlab_backup.tar
-rw-------. 1 root root 1425950720 Aug 18 11:59 1502972105_2017_08_17_9.4.3_gitlab_backup.tar
-rw-------. 1 root root 1426145280 Aug 18 14:27 1502992830_2017_08_18_9.4.3_gitlab_backup.tar
-rwxrwxrwx. 1 root root       2108 Aug 18 19:20 auto_remove_old_backup.sh
drwxr-xr-x. 2 root root       4096 Aug 18 19:20 log
drwxr-xr-x. 2 root root       4096 Aug 18 19:20 mail
-rw-r--r--. 1 root root          0 Aug 18 15:27 test1.tar
-rw-r--r--. 1 root root          0 Aug 18 18:33 test2.tar
-rw-r--r--. 1 root root          0 Jul  3 12:30 test3.tar
-rw-r--r--. 1 root root          0 Jul  4 12:30 test4.tar
[root@localhost gitlabDataBackup]# ./auto_remove_old_backup.sh 
touch: missing file operand
Try `touch --help' for more information.
[root@localhost gitlabDataBackup]# vi auto_remove_old_backup.sh 
[root@localhost gitlabDataBackup]# ll
total 4154376
-rw-------. 1 root root 1401958400 Aug 17 20:05 1502906429_2017_08_17_9.4.3_gitlab_backup.tar
-rw-------. 1 root root 1425950720 Aug 18 11:59 1502972105_2017_08_17_9.4.3_gitlab_backup.tar
-rw-------. 1 root root 1426145280 Aug 18 14:27 1502992830_2017_08_18_9.4.3_gitlab_backup.tar
-rwxrwxrwx. 1 root root       2108 Aug 18 19:20 auto_remove_old_backup.sh
drwxr-xr-x. 2 root root       4096 Aug 18 19:20 log
drwxr-xr-x. 2 root root       4096 Aug 18 19:20 mail
-rw-r--r--. 1 root root          0 Aug 18 15:27 test1.tar
-rw-r--r--. 1 root root          0 Aug 18 18:33 test2.tar
You have new mail in /var/spool/mail/root
[root@localhost gitlabDataBackup]#

Git学习-->如何通过Shell脚本实现 监控Gitlab备份整个过程并且通过邮件通知得到备份结果？_第19张图片

此时收到的OA邮件如下所示：

Git学习-->如何通过Shell脚本实现 监控Gitlab备份整个过程并且通过邮件通知得到备份结果？_第20张图片

1、每天凌晨2点在Gitlab服务器上执行Gitlab备份功能。
2、每天凌晨3点在Gitlab服务器上执行scp命令将最新的Gitlab备份文件复制到远程的文件备份服务器。
3、每天凌晨4点在远程的文件备份服务器上检测备份文件的时间，自动删除超过30天的备份文件。

至此，Gitlab备份与远程备份以及定期清理过期备份文件的三个流程都增加了邮件提醒功能。当然如果嫌邮件收的太多，可以自己修改逻辑，当成功的时候都不发邮件提醒了，只有失败的时候才去发送邮件提醒。

验证自动化脚本

第二天查看公司的OA邮箱，可以看到

这里写图片描述

1、每天凌晨2点在Gitlab服务器上执行Gitlab备份功能。
2、每天凌晨3点在Gitlab服务器上执行scp命令将最新的Gitlab备份文件复制到远程的文件备份服务器。
3、每天凌晨4点在远程的文件备份服务器上检测备份文件的时间，自动删除超过30天的备份文件。

上面的三个步骤都成功了，发了三封邮件通知我！

Git学习-->如何通过Shell脚本实现 监控Gitlab备份整个过程并且通过邮件通知得到备份结果？_第21张图片

Git学习-->如何通过Shell脚本实现 监控Gitlab备份整个过程并且通过邮件通知得到备份结果？_第22张图片

Git学习-->如何通过Shell脚本实现 监控Gitlab备份整个过程并且通过邮件通知得到备份结果？_第23张图片

Gitlab服务器 凌晨2点自动备份成功截图
Git学习-->如何通过Shell脚本实现 监控Gitlab备份整个过程并且通过邮件通知得到备份结果？_第24张图片

Gitlab服务器凌晨3点 scp 备份文件到 远程的文件备份服务器 成功截图
Git学习-->如何通过Shell脚本实现 监控Gitlab备份整个过程并且通过邮件通知得到备份结果？_第25张图片

而且可以看到， 远程的文件备份服务器上已经没有了超过7天的Gitlab备份文件。

新增邮件接收者

上面的几个shell脚本，我都是只发送给我自己的OA邮箱。但是领导说这些邮件也要给他们发送一份，因此我需要修改脚本来改变收件人列表，使领导也能够收到相应的邮件

之前最后发送的相关命令如下所示，只发送给我自己的OA邮箱。

#读取mailcontent内容当做邮件正文 ，附件为Log文件
cat $mailcontent | mail -s "Warning! GitLab Backup at local server Failed Report." $mailToUser -A $LogFile

Git学习-->如何通过Shell脚本实现 监控Gitlab备份整个过程并且通过邮件通知得到备份结果？_第26张图片

Gitlab服务器是部署在Ubuntu系统，

root@ubuntu4146:~# lsb_release -a
No LSB modules are available.
Distributor ID: Ubuntu
Description:    Ubuntu 14.04.3 LTS
Release:    14.04
Codename:   trusty

这里写图片描述

因此我们查看下 mail 的帮助文档 

root@ubuntu4146:/data/gitlabData/backups# mail --help
Usage: mail [OPTION...] [address...]
  or:  mail [OPTION...] -f [OPTION...] [file]
  or:  mail [OPTION...] --file [OPTION...] [file]
  or:  mail [OPTION...] --file=file [OPTION...]
GNU mail -- process mail messages.
If -f or --file is given, mail operates on the mailbox named by the first
argument, or the user's mbox, if no argument given.

  -a, --append=HEADER: VALUE append given header to the message being sent
  -A, --attach=FILE          attach FILE
      --content-type=TYPE    set content type for subsequent --attach options
  -e, --exist                return true if mail exists
      --encoding=NAME        set encoding for subsequent --attach options
  -E, --exec=COMMAND         execute COMMAND
  -F, --byname               save messages according to sender
  -H, --headers              write a header summary and exit
  -i, --ignore               ignore interrupts
  -n, --norc                 do not read the system mailrc file
  -N, --nosum                do not display initial header summary
  -p, --print, --read        print all mail to standard output
  -q, --quit                 cause interrupts to terminate program
  -r, --return-address=ADDRESS   use address as the return address when sending
                             mail
  -s, --subject=SUBJ         send a message with the given SUBJECT
  -t, --to                   precede message by a list of addresses
  -u, --user=USER            operate on USER's mailbox

 Common options
      --config-file=FILE, --rcfile=FILE
                             load this configuration file
      --config-help          show configuration file summary
      --config-lint, --rcfile-lint
                             check configuration file syntax and exit
      --config-verbose, --rcfile-verbose
                             verbosely log parsing of the configuration files
      --no-site-config, --no-site-rcfile
                             do not load site configuration file
      --no-user-config, --no-user-rcfile
                             do not load user configuration file
      --set=PARAM=VALUE      set configuration parameter
      --show-config-options  show compilation options


 Global debugging settings
      --debug-level=LEVEL    set Mailutils debugging level
      --debug-line-info      show source info with debugging messages

  -?, --help                 give this help list
      --usage                give a short usage message
  -V, --version              print program version

Mandatory or optional arguments to long options are also mandatory or optional
for any corresponding short options.

Report bugs to .
root@ubuntu4146:/data/gitlabData/backups#

这里写图片描述

查看上面的mail帮助文档，我们可以使用 mail 命令的 -t 选项来，指定一个收件人列表。

[email protected]
mailToUser1=领导1邮箱
mailToUser2=领导2邮箱

#读取mailcontent内容当做邮件正文 ，附件为Log文件
cat $mailcontent | mail -s "Warning! GitLab Backup at local server Failed Report." -t $mailToUser $mailToUser1 $mailToUser2 -A $LogFile

Git学习-->如何通过Shell脚本实现 监控Gitlab备份整个过程并且通过邮件通知得到备份结果？_第27张图片

这样发送之后，领导也能收到相应的邮件。如果出现什么问题的话，也有多个责任人知道，能够及时处理备份问题。

但是备份服务器是部署在Center OS系统上，两个不同系统的mail命令有所不同，在Center OS上的mail命令的 -t 选项不是指定一个userlist。

首先通过如下命令lsb_release -a 查看系统版本

[root@localhost gitlabDataBackup]# lsb_release -a
LSB Version:    :base-4.0-amd64:base-4.0-noarch:core-4.0-amd64:core-4.0-noarch:graphics-4.0-amd64:graphics-4.0-noarch:printing-4.0-amd64:printing-4.0-noarch
Distributor ID: CentOS
Description:    CentOS release 6.8 (Final)
Release:    6.8
Codename:   Final

这里写图片描述

然后使用命令 man help 查看mail命令的用法

[root@localhost gitlabDataBackup]# mail --help
mail: illegal option -- -
Usage: mail -eiIUdEFntBDNHRV~ -T FILE -u USER -h hops -r address -s SUBJECT -a FILE -q FILE -f FILE -A ACCOUNT -b USERS -c USERS -S OPTION users
[root@localhost gitlabDataBackup]#

这里写图片描述

按照如上所示的用法，我们改写脚本

之前的发送给我一个人的脚本为 

#读取mailcontent内容当做邮件正文 ，附件为Log文件
   cat $mailcontent | mail -s "Warning! GitLab clean old backupFiles Failed  Report." $mailToUser -A $LogFile

现在新增两个领导的邮箱，然后脚本改为

[email protected]
mailToUser1=领导1邮箱
mailToUser2=领导2邮箱

#读取mailcontent内容当做邮件正文 ，附件为Log文件
cat $mailcontent | mail -s "Congratulation! GitLab clean old backupFiles Success Report." -a $LogFile $mailToUser -c $mailToUser1,$mailToUser2

Git学习-->如何通过Shell脚本实现 监控Gitlab备份整个过程并且通过邮件通知得到备份结果？_第28张图片

完整的代码如下所示：

#!/bin/bash

#当前系统日期
DATE=`date +"%Y-%m-%d"`

# 远程备份服务器 gitlab备份文件存放路径
GitlabBackDir=/root/gitlabDataBackup

#Log存放路径
LogFile=$GitlabBackDir/log/$DATE.log

#邮件写入的文件
mailcontent=$GitlabBackDir/mail/mailcontent_$DATE

[email protected]
mailToUser1=领导1邮箱
mailToUser2=领导2邮箱

#新建日志文件
touch $LogFiled

#追加日志到日志文件
echo "Gitlab auto clean old backupFiles , start at  $(date +"%Y-%m-%d %H:%M:%S")" >  $LogFile
echo "---------------------------------------------------------------------------" >> $LogFile



# 查找远程备份路径下，超过7天 且文件后缀为.tar 的 Gitlab备份文件 然后删除
find $GitlabBackDir -type f -mtime +7 -name '*.tar*' -exec rm {} \;

# $?符号显示上一条命令的返回值，如果为0则代表执行成功，其他表示失败
if [ $? -eq 0 ];then
   #追加日志到日志文件
   echo "-----------------------------------Success!----------------------------------------" >> $LogFile
   echo "Gitlab auto clean old backupFiles, end at  $(date +"%Y-%m-%d %H:%M:%S")" >>  $LogFile

   #写Email的正文内容
   > "$mailcontent"
   echo "GitLab Backup Daily Report, auto clean old backupFiles Success ! Please Check your Email and read the following log file" >> $mailcontent

   #读取mailcontent内容当做邮件正文 ，附件为Log文件
   #cat $mailcontent | mail -s "Congratulation! GitLab clean old backupFiles Success Report." -a $LogFile $mailToUser -c $mailToUser1,$mailToUser2

   #如果成功的话，只需要发送给我一个人即可
   cat $mailcontent | mail -s "Congratulation! GitLab clean old backupFiles Success Report." -a $LogFile $mailToUser
else
   #追加日志到日志文件
   echo "-----------------------------------Failed!---------------------------------------" >> $LogFile
   echo "Gitlab auto backup to remote server failed at  $(date +"%Y-%m-%d %H:%M:%S")" >>  $LogFile

   #写Email的正文内容
   > "$mailcontent"
   echo "GitLab Backup Daily Report,auto clean old backupFiles Failed !  Please Check your Email and read the following log file !" >> $mailcontent

   #读取mailcontent内容当做邮件正文 ，附件为Log文件
   cat $mailcontent | mail -s "Warning! GitLab clean old backupFiles Failed  Report." -a $LogFile $mailToUser -c $mailToUser1,$mailToUser2
fi

执行脚本后，OA收到的邮件信息为：
Git学习-->如何通过Shell脚本实现 监控Gitlab备份整个过程并且通过邮件通知得到备份结果？_第29张图片

相关链接

  • Git学习–>如何通过Shell脚本自动定时将Gitlab备份文件复制到远程服务器?
    http://blog.csdn.net/ouyang_peng/article/details/77334215

  • git学习——> Gitlab如何进行备份恢复与迁移？
    http://blog.csdn.net/ouyang_peng/article/details/77070977

  • Linux学习–>如何通过Shell脚本实现发送邮件通知功能？
    http://blog.csdn.net/ouyang_peng/article/details/77363437

这里写图片描述

作者：欧阳鹏 欢迎转载，与人分享是进步的源泉！
转载请保留原文地址：http://blog.csdn.net/ouyang_peng/article/details/77371161

如果觉得本文对您有所帮助，欢迎您扫码下图所示的支付宝和微信支付二维码对本文进行随意打赏。您的支持将鼓励我继续创作！

这里写图片描述

你可能感兴趣的:(#,Git学习,#,Git学习进阶之旅,#,GitLab学习之旅)

  • git - Webhook让部署自动化 大猪大猪
    我们现在有一个需求，将项目打包上传到gitlab或者github后，程序能自动部署，不用手动地去服务器中进行项目更新并运行，如何做到？这里我们可以使用gitlab与github的挂钩，挂钩的原理就是，每当我们有请求到gitlab与github服务器时，这时他俩会根据我们配置的挂钩地扯进行访问，webhook挂钩程序会一直监听着某个端口请求，一但收到他们发过来的请求，这时就知道用户有请求提交了，这时
  • Some jenkins settings SnC_
    Jenkins连接到特定gitlabproject的特定branch我采用的方法是在pipeline的script中使用git命令来指定branch。如下：stage('Clonerepository'){steps{gitbranch:'develop',credentialsId:'gitlab-credential-id',url:'http://gitlab.com/repo.git'}}
  • 主流行架构 rainbowcheng 架构架构
    nexus，gitlab,svn,jenkins,sonar,docker，apollo，catteambition，axure，蓝湖，禅道,WCP；redis，kafka，es，zookeeper，dubbo，shardingjdbc，mysql，InfluxDB，Telegraf，Grafana，Nginx，xxl-job，Neo4j,NebulaGraph是一个高性能的,NOSQL图形数据库
  • Scala学习之旅－对Option友好的flatMap 喝冰咖啡 scala学习
    聊点什么OptionflatMapvs.OptionOption的作用在Java/Scala中,Optional/Option(本文还是以scala代码为例)是用来表示某个对象存在或者不存在，也就是说,Option是某个类型T的Wrapper,如果T!=null,Option(T).isDefined==true如果T==null,Option(T).isEmpty==true有了Option这层
  • 如何升级用 Helm 安装的极狐GitLab Runner？ 极小狐 DevOpsDevSecOpsGitLab极狐GitLab安全合规
    本分分享如何对Helm安装的Runner进行升级。整个过程分为三步：1、确定Runner最新版本或者想要升级的版本是否存在；2、用Helmupgrade命令进行升级；3、升级确认。极狐GitLab为GitLab的中国发行版，中文版本对中国用户更友好，可以一键私有化部署，安装升级详情可以查看官网。前提用Helm安装且运行正常的Runner关于使用Helm进行极狐GitLabRunner，可以参考文章
  • gitlab的下载和安装教程&我的踩坑经验 o762 gitlab
    #######这里就记录一下内网的安装包形式的安装过程############1、下载过程和安装过程1）进入gitlab官网，platform>Install.--gitlab有极狐版，CE(社区版)和EE(企业版)。下面以CE版进行研究和学习。2）也可以进入官网镜像网站或者其它各大镜像网站下载gitlab-ce的rpm包--官网镜像网站：https://packages.gitlab.com/g
  • 记录一下gitlab社区版的安装教程 心之所想，行则将至 gitlab服务器linux
    目录1.更新系统软件包2.安装必要的依赖3.添加GitLab源3.1对于GitLabEnterpriseEdition（EE）：3.2对于GitLabCommunityEdition（CE）：4.安装GitLab4.1安装GitLabEnterpriseEdition（EE）：4.2安装GitLabCommunityEdition（CE）：5.遇到启动不起来的问题，试一下以下命令5.1重新配置和重
  • 使用git和gitlab进行协同开发流程(转发) 千年聊一会 版本管理gitgitlab版本管理流程
    使用git和gitlab进行协同开发流程看了一下此文，感觉流程管理比较合理，对个人有一些启发，转发记录一下，后续可参考https://www.cnblogs.com/muzinan110/p/5300600.html（来源）使用git和gitlab进行协同开发流程一、基本概念1.仓库（Repository）①源仓库(线上版本库)在项目的开始,项目的发起者构建起一个项目的最原始的仓库,称为origi
  • Gitlab删除本地标签和分支 gan777777 gitlab经验分享
    Gitlab删除本地分支删除分支gitbranch-d删除标签要删除本地Git标签，可以按照以下步骤操作：使用gittag命令查看本地已有标签。根据需要选择要删除的标签名称。使用gittag-d命令删除选择的标签。gittag-d使用gittag命令确认标签已被删除。
  • 使用git和gitlab进行协同开发流程 alokka
    一、基本概念1.仓库（Repository）①源仓库(线上版本库)在项目的开始,项目的发起者构建起一个项目的最原始的仓库,称为origin。源仓库的有两个作用：汇总参与该项目的各个开发者的代码存放趋于稳定和可发布的代码源仓库应该是受保护的，开发者不应该直接对其进行开发工作。只有项目管理者能对其进行较高权限的操作。②开发者仓库(本地仓库)任何开发者都不会对源仓库进行直接的操作，源仓库建立以后，每个开
  • GitLab安装流程及日常使用流程 爱摄影的程序猿 开发工具CICD常用工具gitlab
    GitLab是一种基于Git的代码托管和协作平台，可以帮助开发团队更好地管理代码和协作开发。下面是GitLab的安装流程和使用方法的简要说明。安装流程：安装依赖：首先，确保你的服务器上已经安装了Git、Ruby和RubyGems。还需要安装一些其他的依赖库，比如curl、libkrb5-dev等。下载安装包：到GitLab官方网站上下载最新的GitLab安装包。安装GitLab：使用命令行进入下载
  • Docker Compose——MySQL 8.x，adminer，gitlab，Jenkins，tomcat 小龙Hibernation docker运维dockermysql
    DockerComposedocker三剑客之一#下载1.25.0dockercomposesudocurl-L"https://github.com/docker/compose/releases/download/1.25.0/docker-compose-$(uname-s)-$(uname-m)"-o/usr/local/bin/docker-compose#添加可执行权限sudochmo
  • svn迁移到gitlab并保留commit历史记录 Blue summer 版本控制svn迁移到gitnoauthorgitlab
    背景项目上使用的svn作为代码版本管理工具，由于资源整合，需要迁移到gitlab上，同时要保留历史提交记录。迁移过程1、获取svn提交用户名因为在git上每个提交需要有用户的提交信息，如邮箱，因此我们得先获取到所有的用户名，然后生成如下对应的git格式，用于稍后的gitclone上。Jordan=JordanKobe=Kobe在windows对应工程目录下打开cmd命令窗口，执行以下命令，svnl
  • 编程学习笔记秘籍：开启高效学习之旅 青云交 java学习教学学习笔记传统纸质笔记本笔记工具选择笔记结构设计实践与复习策略掌握了高效记录并整理笔记的方法
    目录引言：正文：方向一：笔记工具选择传统纸质笔记本电子文档类工具（如MicrosoftWord、WPS等）专业编程笔记软件（如Notion、Evernote等）在线代码托管平台（如GitHub、GitLab等）方向二：笔记结构设计分类标签化建立知识关联方向三：实践与复习策略实践复习策略结束语：引言：“计算机科学教育不能使人成为程序员，就像学画笔和颜料不能使人成为画家一样。”——埃里克·雷蒙德。在当
  • gitlab+habor+jenkins+k8s 安装流程及配置实现CICD 爱摄影的程序猿 开发工具devopsCICDdevopsjenkinsgitlab
    以下是基本的安装流程及配置实现CICD的步骤：安装GitLab：安装依赖项：yuminstallcurlpolicycoreutils-pythonopenssh-server启动和设置SSH：systemctlenablesshd&&systemctlstartsshd安装Postfix：yuminstallpostfix添加GitLab仓库：curlhttps://packages.gitla
  • 【DevOps工具链整合】Jenkins、GitLab、Docker、Kubernetes 爱技术的小伙子 devopsjenkinsgitlab
    DevOps工具链整合：Jenkins、GitLab、Docker、Kubernetes目录引言DevOps简介工具介绍JenkinsGitLabDockerKubernetes工具链整合的意义DevOps工具链整合实践环境准备GitLab的CI/CD集成Jenkins的使用Docker容器化Kubernetes部署整合中的挑战及解决方案案例分析结论引言在现代软件开发中，DevOps已经成为提升开
  • DevOps实战：使用GitLab+Jenkins+Kubernetes(k8s)建立CI_CD解决方案 北京少女的梦 devopsgitlabjenkins
    一.系统环境本文主要基于Kubernetes1.21.9和Linux操作系统CentOS7.4。服务器版本docker软件版本Kubernetes(k8s)集群版本CPU架构CentOSLinuxrelease7.4.1708(Core)Dockerversion20.10.12v1.21.9x86_64CI/CD解决方案架构图：CI/CD解决方案架构图描述：程序员写好代码之后，向gitlab代码
  • git学习笔记 送你一朵小莲花 gitgitgithub
    最近在做项目整改，接触到一些git的高阶用法，让我不得不多方搜集资料，恶补了一下git。一、git原理git的官方文档有非常详细的介绍git的底层实现，在此膜拜一下linus大神。但是我觉得这一张图会更加清晰：图中左侧为工作区，右侧为版本库。在版本库中标记为"index"的区域是暂存区（stage/index），标记为"master"的是master分支所代表的目录树。图中我们可以看出此时"HEA
  • K8S发布应用步骤详解 cn--萍诚1号 kubernetes
    前言首先以SpringBoot应用为例介绍一下k8s的发布步骤。1.从代码仓库下载代码，比如GitLab；2.接着是进行打包，比如使用Maven；3.编写Dockerfile文件，把步骤2产生的包制作成镜像；4.上传步骤3的镜像到远程仓库，比如Harhor；5.编写Deployment文件；6.提交Deployment文件到k8s集群；从以上步骤可以看出，发布需要的工具和环境至少包括：代码仓库（G
  • gitlab代码迁移，包含历史提交记录、标签、分支 bill447 gitlab
    1、克隆现有的GitLab仓库（http://localhost:8888/aa/bb/cc.git）到本地，包括所有分支和标签gitclone--barehttp://localhost:8888/aa/bb/cc.git2、在gitlab上创建一个空的仓库（http://localhost:7777/aa/bb/cc.git）//切换到cc目录下，cdcc.git///-f为强制推送gitpu
  • 如何在极狐GitLab中添加 SSH Key？ 极小狐 DevOpsDevSecOpsGitLab极狐GitLab安全合规
    本文分享如何生成SSHKey并添加到极狐GitLab中，然后用SSHKey进行代码拉取。极狐GitLab是GitLab在中国的发行版，可以私有化部署，对中文的支持非常友好，是专为中国程序员和企业推出的企业级一体化DevOps平台，一键就能安装成功。安装详情可以查看官网指南。SSHKey对于通过ssh来进行极狐GitLab代码拉取是重要的，完成整个流程一般分为三步：SSHKey的生成添加SSHKey
  • Git、Gitlab以及分支管理 柠檬树723 gitgitlab
    一、Git概述Git是一种分布式版本控制系统，用于跟踪和管理代码的变更。它是由LinusTorvalds创建的，最初被设计用于Linux内核的开发。Git允许开发人员跟踪和管理代码的版本，并且可以在不同的开发人员之间进行协作。Github用的就是Git系统来管理它们的网站，Github是一个社区，Git是一个服务系统，Github只支持Git分布式系统，所以故名成为Github。Git的主要功能包
  • 【Kafka专栏 11】深入理解Kafka的网络线程模型：是谁在幕后“操纵”数据流？ 夏之以寒 夏之以寒-kafka专栏kafka网络分布式网络模型
    作者名称：夏之以寒作者简介：专注于Java和大数据领域，致力于探索技术的边界，分享前沿的实践和洞见文章专栏：夏之以寒-kafka专栏专栏介绍：本专栏旨在以浅显易懂的方式介绍Kafka的基本概念、核心组件和使用场景，一步步构建起消息队列和流处理的知识体系，无论是对分布式系统感兴趣，还是准备在大数据领域迈出第一步，本专栏都提供所需的一切资源、指导，以及相关面试题，立刻免费订阅，开启Kafka学习之旅！
  • 如何有效解决Git推送冲突：实用指南 Crazy learner 其他git
    目录背景常见错误与解决步骤总结在使用Git进行版本控制时，经常会遇到推送冲突的问题。这种冲突通常发生在团队合作中，当多个成员同时对同一仓库进行更改时尤其常见。在本文中，我将通过一个实际的例子详细解释如何解决推送冲突，确保代码的安全合并。背景在本例中，我们有一个GitLab仓库，名为factory_sound_detection_tool，围绕此仓库，我们会看到如何解决分支合并和推送冲突。常见错误与
  • rh124第九章知识点问答----白熊的Linux学习之旅12 白白白白熊爱打APEX linux学习服务器
    第9章控制服务和守护进程1.守护进程(Daemon)是什么？列举一些常见的守护进程。答：守护进程是执行各种任务的后台等待或运行的进程。一般情况下，守护进程在系统引导时自动启动并持续运行至关机但可手动停止。且守护进程多以d结尾。常见的守护进程有Systemd2.怎么理解systemd.unit？列举一些常用的单元类型。答：systemd.unit是一个抽象的概念，用于定义一类对象，这类对象是系统知道
  • 【PHP小课堂】PHP中的数组函数学习（三） 码农老张Zy php学习android开发语言
    PHP中的数组函数学习（三）继续我们关于PHP中数组函数的学习之旅。之前就说过，数组相关的操作函数非常多，功能也非常的丰富，所以大家不要着急，还是跟着我一步一步地学习了解。毕竟有些函数确实是不太常用，但在许多业务场景下，却又会无比的方便。在这其中，最主要的是你在这个业务场景下，会不会想到系统已经默认提供的这些函数。所以，不要求全部掌握，但心里有个印象就可以了。数组搜索首先是数组搜索的功能，其实就是
  • 我的影刀RPA学习之旅：从好奇到成就 搬砖小蜗牛 影刀加油站rpa学习
    在数字化浪潮的推动下，我踏上了探索影刀RPA的旅程。这不仅是一次技能的学习，更是一场心灵的成长。以下是我学习影刀RPA的心里路程，充满了新奇的想法和最终成功的喜悦。启程：好奇心驱动的探索一切始于对自动化的好奇。在繁琐的日常任务中，我总是在想，是否有更高效的方法来处理这些重复性的工作。当我听说影刀RPA能够模拟人工操作，自动化执行任务时，我的内心充满了好奇和期待。挑战：跨越未知的障碍刚开始学习时，我
  • Q2财报发布｜盘后大涨16%！GitLab凭什么？ 极小狐 DevOpsDevSecOpsGitLab极狐GitLab安全合规
    9月3日，GitLabInc.(NASDAQ:GTLB)发布第二季度财报，报告显示GitLab第二季度营收同比增长31%，超出预期600万美元左右，GAAP营业利润率同比改善17%！GitLab财报一经发出，盘后股价暴涨16%！这并不是GitLab第一次有如此强劲的表现。GitLab自2021年10月在纳斯达克上市以来，从其对外公开披露的数据我们可以看到，GitLab的营业收入增长率一直都稳定在3
  • github_flow && gitlab_flow && gitflow分支管理使用 dream9393 git环境技术提升git
    git分支管理使用GitHubFlow——GitHubFlow有两个分支：feature和master。githubflow的工作流是强制单线程的。Feature分支的生命周期（相对gitflow）涵盖：feature，develop，release。最终到完成上线后，把代码合并到master分支，然后再进行下一个Feature。hitfix也可以看成是feature。缺点：不适合我们并线开发gi
  • 开源模型应用落地-LlamaIndex学习之旅-LLMs-集成vLLM（二） 开源技术探险家 开源模型-实际应用落地#深度学习语言模型自然语言处理
    一、前言在这个充满创新与挑战的时代，人工智能正以前所未有的速度改变着我们的学习和生活方式。LlamaIndex作为一款先进的人工智能技术，它以其卓越的性能和创新的功能，为学习者带来前所未有的机遇。我们将带你逐步探索LlamaIndex的强大功能，从快速整合海量知识资源，到智能生成个性化的学习路径；从精准分析复杂的文本内容，到与用户进行深度互动交流。通过丰富的实例展示和详细的操作指南，无论你是初涉人
  • rust的指针作为函数返回值是直接传递，还是先销毁后创建？ wudixiaotie 返回值
     这是我自己想到的问题，结果去知呼提问，还没等别人回答， 我自己就想到方法实验了。。 fn main() { let mut a = 34; println!("a's addr:{:p}", &a); let p = &mut a; println!("p's addr:{:p}", &a
  • java编程思想 -- 数据的初始化 百合不是茶 java数据的初始化
      1.使用构造器确保数据初始化      /* *在ReckInitDemo类中创建Reck的对象 */ public class ReckInitDemo { public static void main(String[] args) { //创建Reck对象 new Reck(); } }
  • [航天与宇宙]为什么发射和回收航天器有档期 comsci
           地球的大气层中有一个时空屏蔽层,这个层次会不定时的出现,如果该时空屏蔽层出现,那么将导致外层空间进入的任何物体被摧毁,而从地面发射到太空的飞船也将被摧毁...        所以,航天发射和飞船回收都需要等待这个时空屏蔽层消失之后,再进行 &
  • linux下批量替换文件内容 商人shang linux替换
    1、网络上现成的资料 　　格式: sed -i "s/查找字段/替换字段/g" `grep 查找字段 -rl 路径` 　　linux sed 批量替换多个文件中的字符串 　　sed -i "s/oldstring/newstring/g" `grep oldstring -rl yourdir` 　　例如：替换/home下所有文件中的www.admi
  • 网页在线天气预报 oloz 天气预报
    网页在线调用天气预报 <%@ page language="java" contentType="text/html; charset=utf-8" pageEncoding="utf-8"%> <!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transit
  • SpringMVC和Struts2比较 杨白白 springMVC
    1. 入口 spring mvc的入口是servlet，而struts2是filter（这里要指出，filter和servlet是不同的。以前认为filter是servlet的一种特殊），这样就导致了二者的机制不同，这里就牵涉到servlet和filter的区别了。 参见：http://blog.csdn.net/zs15932616453/article/details/8832343 2
  • refuse copy, lazy girl! 小桔子 copy
           妹妹坐船头啊啊啊啊！都打算一点点琢磨呢。文字编辑也写了基本功能了。。今天查资料，结果查到了人家写得完完整整的。我清楚的认识到： 1.那是我自己觉得写不出的高度 2.如果直接拿来用，很快就能解决问题 3.然后就是抄咩~~ 4.肿么可以这样子，都不想写了今儿个，留着作参考吧！拒绝大抄特抄，慢慢一点点写！  
  • apache与php整合 aichenglong php apache web
    一  apache web服务器 1 apeche web服务器的安装   1)下载Apache web服务器   2)配置域名(如果需要使用要在DNS上注册)   3)测试安装访问http://localhost/验证是否安装成功 2 apache管理   1)service.msc进行图形化管理   2)命令管理，配
  • Maven常用内置变量 AILIKES maven
    Built-in properties ${basedir} represents the directory containing pom.xml ${version} equivalent to ${project.version} (deprecated: ${pom.version}) Pom/Project properties Al
  • java的类和对象 百合不是茶 JAVA面向对象 类 对象
    java中的类：     java是面向对象的语言，解决问题的核心就是将问题看成是一个类，使用类来解决   java使用 class 类名   来创建类 ，在Java中类名要求和构造方法，Java的文件名是一样的   创建一个A类： class A{ }   java中的类：将某两个事物有联系的属性包装在一个类中，再通
  • JS控制页面输入框为只读 bijian1013 JavaScript
    在WEB应用开发当中，增、删除、改、查功能必不可少，为了减少以后维护的工作量，我们一般都只做一份页面，通过传入的参数控制其是新增、修改或者查看。而修改时需将待修改的信息从后台取到并显示出来，实际上就是查看的过程，唯一的区别是修改时，页面上所有的信息能修改，而查看页面上的信息不能修改。因此完全可以将其合并，但通过前端JS将查看页面的所有信息控制为只读，在信息量非常大时，就比较麻烦。  
  • AngularJS与服务器交互 bijian1013 JavaScriptAngularJS$http
            对于AJAX应用（使用XMLHttpRequests）来说，向服务器发起请求的传统方式是：获取一个XMLHttpRequest对象的引用、发起请求、读取响应、检查状态码，最后处理服务端的响应。整个过程示例如下： var xmlhttp = new XMLHttpRequest(); xmlhttp.onreadystatechange
  • [Maven学习笔记八]Maven常用插件应用 bit1129 maven
    常用插件及其用法位于：http://maven.apache.org/plugins/   1. Jetty server plugin 2. Dependency copy plugin 3. Surefire Test plugin 4. Uber jar plugin           1. Jetty Pl
  • 【Hive六】Hive用户自定义函数(UDF) bit1129 自定义函数
    1. 什么是Hive UDF Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括： 文件格式：Text File，Sequence File 内存中的数据格式： Java Integer/String, Hadoop IntWritable/Text 用户提供的 map/reduce 脚本：不管什么
  • 杀掉nginx进程后丢失nginx.pid，如何重新启动nginx ronin47 nginx 重启 pid丢失
    nginx进程被意外关闭，使用nginx -s reload重启时报如下错误：nginx: [error] open() “/var/run/nginx.pid” failed (2: No such file or directory)这是因为nginx进程被杀死后pid丢失了，下一次再开启nginx -s reload时无法启动解决办法：nginx -s reload 只是用来告诉运行中的ng
  • UI设计中我们为什么需要设计动效 brotherlamp UIui教程ui视频ui资料ui自学
    随着国际大品牌苹果和谷歌的引领，最近越来越多的国内公司开始关注动效设计了，越来越多的团队已经意识到动效在产品用户体验中的重要性了，更多的UI设计师们也开始投身动效设计领域。 但是说到底，我们到底为什么需要动效设计？或者说我们到底需要什么样的动效？做动效设计也有段时间了，于是尝试用一些案例，从产品本身出发来说说我所思考的动效设计。 一、加强体验舒适度 嗯，就是让用户更加爽更加爽的用你的产品。
  • Spring中JdbcDaoSupport的DataSource注入问题 bylijinnan javaspring
    参考以下两篇文章： http://www.mkyong.com/spring/spring-jdbctemplate-jdbcdaosupport-examples/ http://stackoverflow.com/questions/4762229/spring-ldap-invoking-setter-methods-in-beans-configuration Sprin
  • 数据库连接池的工作原理 chicony 数据库连接池
           随着信息技术的高速发展与广泛应用，数据库技术在信息技术领域中的位置越来越重要，尤其是网络应用和电子商务的迅速发展，都需要数据库技术支持动 态Web站点的运行，而传统的开发模式是：首先在主程序（如Servlet、Beans）中建立数据库连接；然后进行SQL操作，对数据库中的对象进行查 询、修改和删除等操作；最后断开数据库连接。使用这种开发模式，对
  • java 关键字 CrazyMizzz java
    关键字是事先定义的，有特别意义的标识符，有时又叫保留字。对于保留字，用户只能按照系统规定的方式使用，不能自行定义。 Java中的关键字按功能主要可以分为以下几类：    （1）访问修饰符       public,private,protected       p
  • Hive中的排序语法 daizj 排序hiveorder byDISTRIBUTE BYsort by
    Hive中的排序语法 2014.06.22 ORDER BY hive中的ORDER BY语句和关系数据库中的sql语法相似。他会对查询结果做全局排序，这意味着所有的数据会传送到一个Reduce任务上，这样会导致在大数量的情况下，花费大量时间。 与数据库中 ORDER BY 的区别在于在hive.mapred.mode = strict模式下，必须指定 limit 否则执行会报错。
  • 单态设计模式 dcj3sjt126com 设计模式
      单例模式（Singleton）用于为一个类生成一个唯一的对象。最常用的地方是数据库连接。 使用单例模式生成一个对象后，该对象可以被其它众多对象所使用。 <?phpclass Example{    // 保存类实例在此属性中    private static&
  • svn locked dcj3sjt126com Lock
    post-commit hook failed (exit code 1) with output: svn: E155004: Working copy 'D:\xx\xxx' locked svn: E200031: sqlite: attempt to write a readonly database svn: E200031: sqlite: attempt to write a
  • ARM寄存器学习 e200702084 数据结构C++cC#F#
    无论是学习哪一种处理器，首先需要明确的就是这种处理器的寄存器以及工作模式。     ARM有37个寄存器，其中31个通用寄存器，6个状态寄存器。 1、不分组寄存器（R0-R7）     不分组也就是说说，在所有的处理器模式下指的都时同一物理寄存器。在异常中断造成处理器模式切换时，由于不同的处理器模式使用一个名字相同的物理寄存器，就是
  • 常用编码资料 gengzg 编码
    List<UserInfo> list=GetUserS.GetUserList(11); String json=JSON.toJSONString(list); HashMap<Object,Object> hs=new HashMap<Object, Object>(); for(int i=0;i<10;i++) {
  • 进程 vs. 线程 hongtoushizi 线程linux进程
    我们介绍了多进程和多线程，这是实现多任务最常用的两种方式。现在，我们来讨论一下这两种方式的优缺点。 首先，要实现多任务，通常我们会设计Master-Worker模式，Master负责分配任务，Worker负责执行任务，因此，多任务环境下，通常是一个Master，多个Worker。 如果用多进程实现Master-Worker，主进程就是Master，其他进程就是Worker。 如果用多线程实现
  • Linux定时Job：crontab -e 与 /etc/crontab 的区别 Josh_Persistence linuxcrontab
    一、linux中的crotab中的指定的时间只有5个部分：* * * * * 分别表示：分钟，小时，日，月，星期，具体说来： 第一段 代表分钟 0—59 第二段 代表小时 0—23 第三段 代表日期 1—31 第四段 代表月份 1—12 第五段 代表星期几，0代表星期日 0—6   如： */1 * * * *   每分钟执行一次。 *
  • KMP算法详解 hm4123660 数据结构C++算法字符串KMP
         字符串模式匹配我们相信大家都有遇过，然而我们也习惯用简单匹配法（即Brute-Force算法)，其基本思路就是一个个逐一对比下去，这也是我们大家熟知的方法，然而这种算法的效率并不高，但利于理解。       假设主串s="ababcabcacbab",模式串为t="
  • 枚举类型的单例模式 zhb8015 单例模式
    E.编写一个包含单个元素的枚举类型[极推荐]。代码如下： public enum MaYun {himself; //定义一个枚举的元素，就代表MaYun的一个实例private String anotherField;MaYun() {//MaYun诞生要做的事情//这个方法也可以去掉。将构造时候需要做的事情放在instance赋值的时候：/** himself = MaYun() {*
  • Kafka+Storm+HDFS ssydxa219 storm
    cd /myhome/usr/stormbin/storm nimbus &amp;bin/storm supervisor &amp;bin/storm ui &amp;Kafka+Storm+HDFS整合实践kafka_2.9.2-0.8.1.1.tgzapache-storm-0.9.2-incubating.tar.gzKafka安装配置我们使用3台机器搭建Kafk
  • Java获取本地服务器的IP 中华好儿孙 javaWeb获取服务器ip地址
    System.out.println("getRequestURL:"+request.getRequestURL()); System.out.println("getLocalAddr:"+request.getLocalAddr()); System.out.println("getLocalPort:&quo
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他