黑白色的天空
黑白色的天空

（Linux六）Linux数据备份与恢复

（一）Linux备份策略（完全备份、增量备份和差异备份）详解

常用的备份策略有完全备份和增量备份，而增量备份有可细分为累计增量备份和差异增量备份。下面来分别讲述不同备份策略以及之间的区别。

完全备份

完全备份是指把所有需要备份的数据全部备份。当然，完全备份可以备份整块硬盘、整个分区或某个具体的目录。对于 Linux 操作系统来说，完全备份指的就是将根目录下的所有文件进行备份。

完全备份的好处是，所有数据都进行了备份，系统中任何数据丢失都能恢复，且恢复效率较高。如果完全备份备份的是整块硬盘，那么甚至不需要数据恢复，只要把备份硬盘安装上，服务器就会恢复正常。

完全备份的缺点也很明显，那就是需要备份的数据量较大，备份时间较长，备份了很多无用数据，占用的空间较大，所以完全备份不可能每天执行。

我们一般会对关键服务器进行整盘完全备份，如果出现问题，则可以很快地使用备份硬盘进行替换，从而减少损失。我们甚至会对关键服务器搭设一台一模一样的服务器，这样只要远程几个命令（或使用 Shell 脚本自动检测，自动进行服务器替换），备份服务器就会接替原本的服务器，使故障响应时间大大缩短。

累计增量备份

在一个数据量很大的业务应用中，每天对 Linux 系统进行完全备份是不现实的，这就需要用到增量备份策略。

累计增量备份是指先进行一次完全备份，服务器运行一段时间之后，比较当前系统和完全备份的备份数据之间的差异，只备份有差异的数据。服务器继续运行，再经过一段时间，进行第二次增量备份。在进行第二次增量备份时，当前系统和第一次增量备份的数据进行比较，也是只备份有差异的数据。第三次增量备份是和第二次增量备份的数据进行比较，以此类推。

因此，累计增量备份就是只备份每天增加或者变化的数据，而不备份系统中没有变动的数据。我们画一张示意图，如图 1 所示。

图 1 累计增量备份

假设我们在第一天进行一次完全备份。第二天增量备份时，只会备份第二天和第一天之间的差异数据，但是第二天的总备份数据是完全备份加第一次增量备份的数据。第三天增量备份时，只会备份第三天和第二天之间的差异数据，但是第三天的总备份数据是完全备份加第一次增量备份的数据，再加第二次增量备份的数据。当然，第四天增量备份时，只会备份第四天和第三天的差异数据，但是第四天的总备份数据是完全备份加第一次增量备份的数据，加第二次增量备份的数据，再加第三次增量备份的数据。

采用累计增量备份的好处是，每次备份需要备份的数据较少，耗时较短，占用的空间较小；坏处是数据恢复比较麻烦，如果是图 1 的例子，那么当进行数据恢复时，就要先恢复完全备份的数据，再依次恢复第一次增量备份的数据、第二次增量备份的数据和第三次增量备份的数据，最终才能恢复所有的数据。

差异增量备份

差异增量备份（后续简称差异备份）也要先进行一次完全备份，但是和累计增量备份不同的是，每次差异备份都备份和原始的完全备份不同的数据。也就是说，差异备份每次备份的参照物都是原始的完全备份，而不是上一次的差异备份。我们也画一张示意图，如图 2 所示。

图 2 差异增量备份

假设我们在第一天也进行一次完全备份。第二天差异备份时，会备份第二天和第一天之间的差异数据，而第二天的备份数据是完全备份加第一次差异备份的数据。第三天进行差异备份时，仍和第一天的原始数据进行对比，把第二天和第三天所有的数据都备份在第二次差异备份中，第三天的备份数据是完全备份加第二次差异备份的数据。第四天进行差异备份时，仍和第一天的原始数据进行对比，把第二天、第三天和第四天所有的不同数据都备份到第三次差异备份中，第四天的备份数据是完全备份加第三次差异备份的数据。

相比较而言，差异备份既不像完全备份一样把所有数据都进行备份，也不像增量备份在进行数据恢复时那么麻烦，只要先恢复完全备份的数据，再恢复差异备份的数据即可。不过，随着时间的增加，和完全备份相比，变动的数据越来越多，那么差异备份也可能会变得数据量庞大、备份速度缓慢、占用空间较大。

一个比较的备份策略是，对于数据量不大，并且每天数据量增加不多的系统，优先选择完全备份；对于数据量巨大，每天新增数据也很多的系统，视情况选择差异备份或者增量备份。

（二）Linux tar命令备份数据

作为Linux系统管理员，最经常使用的备份工具就是 tar 和 cpio 命令。前面在介绍备份介质时，已经使用了 tar 命令，此命令其实是一个文件打包命令，经常在备份文件的场合中使用。

使用 cpio 命令进行数据备份，请阅读Linux提取RPM包文件(cpio命令)

有关 tar 命令的基本用法，请阅读Linux tar压缩命令一节，这里不再过多赘述。下面通过 tar 命令做的一个 Web 服务器的备份脚本，详细了解 tar 命令作为备份工具时的具体用法。

以下是一个有关 Web 服务器的备份脚本：

#!/bin/sh

BAKDATE='date +%y%m%d'

DATA3='date -d "3 days ago" +%y%m%d'

osdata=/disk1

userdata=/disk2

echo "backup OS data starting"

tar -zcvf /$osdata/etc.data/etc_$BAKDATE.tar.gz /etc

tar -zcvf /$osdata/boot.data/boot_$BAKDATE.tar.gz /boot

tar -zcvf /$osdata/home.data/home_$BAKDATE.tar.gz /home

tar -zcvf /$osdata/root.data/root_$BAKDATE.tar.gz /root

tar -zcvf /$userdata/usr_data/usrlocal_$BAKDATE.tar.gz /usr/local

tar -zcvf /$userdata/var_www/www_$BAKDATE.tar.gz /var/www

cp -r /$osdata/* /$userdata

cp -r /$userdata/* /$osdata

echo "Backup OS data complete!"

echo "delete OS data 3 days ago"

rm -rf /$osdata/etc.data/etc_$DATA3.tar.gz

rm -rf /$osdata/boot.data/boot_$DATA3.tar.gz

rm -rf /$osdata/home.data/home_$DATA3.tar.gz

rm -rf /$osdata/root.data/root_$DATA3.tar.gz

rm -rf /$osdata/usr_data/usrlocal_$DATA3.tar.gz

rm -rf /$osdata/var_www/www_$DATA3.tar.gz

rm -rf /$userdata/etc.data/etc_$DATA3.tar.gz

rm -rf /$userdata/boot.data/boot_$DATA3.tar.gz

rm -rf /$userdata/home.data/home_$DATA3.tar.gz

rm -rf /$userdata/root.data/root_$DATA3.tar.gz

rm -rf /$userdata/usr_data/usrlocal_$DATA3.tar.gz

rm -rf /$userdata/var_www/www_$DATA3.tar.gz

echo "delete cws ok!"

上面这段脚本完成的工作是，将系统和用户的备份数据分别保存在两个不同的本地磁盘 disk1 和 disk2 中，并且保留最近 3 天的数据，3 天前的数据自动删除。主要备份的数据有 /etc 目录、/boot 目录、/home 目录、/root 目录、/usr/local 目录和 /var/www 目录。当然这里只是举个例子，凡是存放数据的重要目录，都需要进行备份。

将此脚本放到系统守护进程（类似于 Windows 下的计划任务）crontab 下，设定备份时间，即可实现定时数据备份。有关 crontab 的详细介绍，请阅读《Linux crontab命令》。

（三）Linux dump命令用法详解：备份分区、文件或目录

在系统学习 dump 命令之前，由于 CentOS 6.x 系统默认是没有安装此命令的，因此需要我们手动安装 dump 命令，安装命令如下：

[root@localhost ～]# yum -y install dump

dump 命令使用“备份级别”来实现增量备份，它支持 0～9 共 10 个备份级别。其中，0 级别指的就是完全备份，1～9 级别都是增量备份级别。

举个列子，当我们备份一份数据时，第一次备份应该使用 0 级别，会把所有数据完全备份一次；第二次备份就可以使用 1 级别了，它会和 0 级别进行比较，把 0 级别备份之后变化的数据进行备份；第三次备份使用  2 级别，2 级别会和 1 级别进行比较，把 1 级别备份之后变化的数据进行备份，以此类推。

需要注意的是，只有在备份整个分区或整块硬盘时，才能支持 1～9 的增量备份级别；如果只是备份某个文件或不是分区的目录，则只能使用 0 级别进行完全备份。

dump 命令的基本格式如下：

[root@localhost ~]# dump [选项] 备份之后的文件名 原文件或目录

选项：

-level：就是我们说的 0～9 共 10 个备份级别；

-f  文件名：指定备份之后的文件名；

-u：备份成功之后，把备份时间、备份级别以及实施备份的文件系统等信息，都记录在 /etc/dumpdates 文件中；

-v：显示备份过程中更多的输出信息；

-j：调用 bzlib 库压缩备份文件，其实就是把备份文件压缩为 .bz2 格式，默认压缩等级是 2；

-W：显示允许被 dump 的分区的备份等级及备份时间；

dump 命令是一个较为复杂的命令，如果我们只是想要实现数据的备份与恢复，那么掌握以上几个选项就足够了。

备份分区

我们先来看看如何使用 0 级别备份分区。命令如下：

[root@localhost ~]# df -h

文件系统  容量 已用 可用 已用% 挂载点

/dev/sda3   20G 3.0G 16G 17% /

tmpfs   30 6M 0 30 6M 0% /dev/shm

/dev/sda1   194M 26M 158M 15% /boot

/dev/sr0   3.5G 3.5G 0 100% /mnt/cdrom

#系统中我们就分了/分区和/boot分区。根分区太大,备份速度太慢,我们还是备份/boot分区吧

[rootSlocalhost ~]# dump -0uj -f /root/boot.bak.bz2 /boot/

#备份命令。先执行一次完全备份,并压缩和更新备份时间

DUMP: Date of this level 0 dump: Wed Jun 5 03:08:22 2013

#备份的级别和时间

DUMP: Dumping /dev/sdal (/boot) to /root/boot.bak.bz2

#备份源和目标

DUMP: Label: none

#分区没有卷标

DUMP: Writing 10 Kilobyte records

DUMP: Compressing output at compression level 2 (bzlib)

#备份时压缩

DUMP: mapping (Pass I) [regular files]

DUMP: mapping (Pass II) [directories]

DUMP: estimated 21846 blocks.

DUMP: Volume 1 started with block 1 at： Wed Jun 5 03:08:22 2013

DUMP: dumping (Pass III) [directories]

#开始dump 备份

DUMP: dumping (Pass XV) [regular files]

DUMP: Closing /root/boot.bak.bz2

#备份结朿，生成备份文件

DUMP: Volume 1 completed at: Wed Jun 5 03:08:30 2013

DUMP: Volume 1 took 0:00:08

DUMP: Volume 1 transfer rate: 2370 kB/s

DUMP: Volume 1 21930kB uncompressed, 18962kB compressed, 1.157:1

#数据容量

DUMP: 2X930 blocks (21.42MB) on 1 volume(s)

DUMP: finished in 7 seconds, throughput 3132 kBytes/sec

DUMP: Date of this level 0 dump: Wed Jun 5 03:08:22 2013

DUMP: Date this dump completed: Wed Jun 5 03:08:30 2013

DUMP: Average transfer rate: 2370 kB/s

DUMP: Wrote 21930kB uncompressed, 18962kB compressed, 1.157:1

[root@localhost ~]# cat /etc/dumpdates

#查看备份时间文件

/dev/sdal 0 Wed Jun 5 03:08:22 2013 +0800

#备份的分区 备份级别 备份曰期

[root@localhost @]# 11 -h /root/boot.bak.bz2

-rw-r--r--. 1 root root 19M 6 月 5 03:08 /root/boot.bak.bz2

#备份文件生成了

如果 /boot 分区的内容发生了变化，则可以使用 1 级别进行增量备份。当然，如果数据会继续发生变化，则可以继续使用 2～9 级别增量备份。命令如下：

[root@localhost ~]# ll -h /root/install.log

-rw-r--r--.1 root root 25K 4月 10 21：49 /root/install.log

#查看安装软件包日志的大小为25KB

[root@localhost ~]# cp install.log /boot/

#复制日志文件到/boot分区

[root@localhost ~]# dump -1uj -f /root/boot.bak1.bz2 /boot/

#增量备份/boot分区，并压缩

[root@localhost ~]# ll -h boot.bak*

-rw-r--r--.1 root root 18K 6月 5 03：16 boot.bak1.bz2

-rw-r--r--.1 root root 19M 6月 5 03：08 boot.bak.bz2

#boot.bak1.bz2压缩文件只有18KB，证明增量备份只备份了0级别以后变化的数据

#boot.bak1.bz2压缩文件只有18KB，证明增量备份只备份了0级别以后变化的数据

如果备份的是整个分区，那么是可以使用“dump -W”命令来查询分区的备份时间及备份级别的。不过要注意，如果备份时没有使用“-u”选项，那么“dump -W”命令是不会记录备份的时间和级别的。命令如下：

[root@localhost ~]# dump -W

Last dump(s) done (Dump '>' file systems)：

/dev/sda3 ( /) Last dump：Level 1， Date Wed Jun 5 02：31：50 2013

/dev/sda1 ( /boot) Last dump：Level 1， Date Wed Jun 5 03：16：27 2013

#我的/分区和/boot分区都进行过dump备份，/boot分区的最新备份级别是1

dump命令可以非常方便地实现增量备份，但是如何实现差异备份呢？其实也很简单，先使用 0 级别完全备份一次，以后的每次备份都使用 1 级别进行备份。

备份文件或目录

dump 命令也可以文件或目录，不过，只要不是备份分区，就只能使用 0 级别进行完全备份，而不再支持增量备份。同时，不能使用“-u”选项更新分区的备份时间，当然也不能使用“dump -W”命令查询到文件或目录的备份。

我们说 /etc/ 目录是重要的配置文件目录，那么我们就备份这个目录来看看吧。命令如下：

[root@localhost ~]# dump -0j -f /root/etc.dump.bz2 /etc/

#完全备份/etc/目录

[root@localhost ~]# ll -h /root/etc.dump.bz2

-rw-r--r--.1 root root 8.6M 6月 5 03：26 /root/etc.dump.bz2

#查看备份文件

不过，如果使用增量备份会怎么样呢？命令如下：

[root@localhost ~]# dump -1j -f /root/etc.dump1.bz2 /etc/

DUMP：Only level 0 dumps are allowed on a subdirectory

DUMP：The ENTIRE dump is aborted.

#备份失败了，目录备份只能使用0级别

（四）Linux restore命令：还原dump操作备份下的文件、目录或分区

restore 命令是 dump 命令的配套命令，dump 命令是用来备份分区和数据的，而 restore 命令是用来恢复数据的。

restore 命令的基本格式如下：

[root@localhost ~]# restore [模式选项] [-f]

此命令中，-f 选项用于指定备份文件的文件名；restore 命令常用的模式有以下 4 种，这 4 种模式不能混用：

-C：比较备份数据和实际数据的变化。如果实际数据中的现有数据发生了变化，那么这个选项能够检测到这个变化。但是如果实际数据中新增了数据，那么这个选项是不能检测到变化的。举个例子：别人给我了 100 万元投资（实际数据），但是他有一个投资的账本（备份数据），他要时不时地比对账本和实际的 100 万元投资，如果 100 万元减少则马上就能发现改变；但是如果投资增加，则不会报警；

-i：进入交互模式，手工选择需要恢复的文件；

-t：查看模式，用于查看备份文件中拥有哪些数据；

-r：还原模式，用于数据还原；

【例 1】比较备份数据和实际数据的变化。

这里大家需要注意，数据比较只有在原有数据减少或发生变化时才能检测到变化，而新增的数据是不会被检测到的。命令如下：

[root@localhost ~]# touch /boot/abc

#在/boot/目录中新建abc文件

[root@localhost ~]# restore -C -f /root/boot.bak.bz2

Dump tape is compressed.

Dump date：Wed Jun 5 08：20：02 2013

Dumped from：the epoch

Level 0 dump of /boot on localhost：/dev/sda1

Label：none

filesys = /boot

#restore检测，没有发现任何变化（当然，因为备份数据在备份时没有abc文件，所以restore命令是不能识别新建文件的）

[root@localhost ~]# mv /boot/vmlinuz-2.6.32-279.el6.i686 /boot/vmlinuz-2.6.32-279.el6.i686.bak

#把/boot/目录中的内核镜像文件改一个名字

[root@localhost ~]# restore -C -f /root/boot.bak.bz2

Dump tape is compressed.

Dump date：Wed Jun 5 08：20：02 2013

Dumped from：the epoch

Level 0 dump of /boot on localhost：/dev/sda1

Label：none

filesys = /boot

restore：unable to stat ./vmlinuz-2.6.32-279.el6.i686：No such file or directory Some files were modified！ 1 compare errors

#restore发现内核镜像文件丢失

这个实验比较危险，一定要记得把内核镜像文件的名字改回来，否则一旦重启，系统就会无法正常启动。

[root@localhost ~]# mv /boot/vmlinuz-2.6.32-279.el6.i686.bak /boot/vmlinuz2.6.32-279.el6.i686

【例 2】查看模式。

这种模式比较简单，就是查看备份文件中到底包含什么内容。命令如下：

[root@localhost ~]# restore -t -f boot.bak.bz2

Dump tape is compressed．

#备份数据是压缩的

Dump date：Wed Jun 5 08：20：02 2013

#数据备份时间

Dumped from：the epoch

Level 0 dump of /boot on localhost：/dev/sda1

#备份等级

Label：none

#分区的卷标，没有设定卷标

2.

11 ./lost+found

12 ./grub

24 ./grub/grub.conf

13 ./grub/splash.xpm.gz

…省略部分输出…

【例 3】还原模式

restore 命令的还原模式既可以用于还原整个分区，也可以用于还原文件或目录。命令格式是一样的，不过要注意，如果要还原增量备份的数据，则一定要先还原完全备份的数据。命令如下：

#还原boot.bak.bz2分区备份

#先还原完全备份的数据

[root@localhost ~]# mkdir boot.test

#建立准备解压缩的目录。当然，如果这个目录是我新建的分区，就可以直接把数据恢复到分区中

[root@localhost ~]# cd boot.test/

#进入解压缩目录

[root@localhost boot.test]# restore -r -f /root/boot.bak.bz2

Dump tape is compressed.

#备份数据是压缩数据

#解压缩

[root@localhost boot.test]#ll

#查看一下解压缩的文件

总用量21300

-rw-r--r--. 1 root root 106611 6月 22 2012 config-2.6.32-279.el6.i686 drwxr-xr-x. 3 root root 4096 4 月 10 21:47 efi drwxr-xr-x. 2 root root 4096 4 月 10 21:49 grub

-rw-r--r--. 1 root root 14708399 4 月 10 21:49 initrara£s-2.6.32-279.el6.i686.img

drwx------. 2 root root 4096 4 月 10 21:44 lost+found

-rw-------. 1 root root 47504 6 月 5 09:44 restoresymtable

-rw-r--r--. 1 root root 175903 6 月 22 2012 symvers-2.6.32-279.el6.i686.gz

-rw-r--r--. 1 root root 1846041 6 月 22 2012 System.map-2.6.32-279.el6.i686

-rw-r--r--. 1 root root 1048576 6 月 5 02:38 test

-rwxr-xr-x. 1 root root 3856608 6 月 22 2012 vmlinuz-2.6.32-279.el6.i686

#再还原增量备份的数据

[root@localhost boot.test]# restore -r -f /root/boot.bakl.bz2

Dump tape is compressed.

#恢复增量备份的数据

[root@localhost boot.test]# ll

总用量21328

-rw-r--r--. 1 root root 106611 6 月 22 2012 config-2.6.32-279.el6.i686

drwxr-xr-x. 3 root root 4096 4 月 10 21:47 efi

drwxr-xr-x. 2 root root 4096 4 月 10 21:49 grub

-rw-r--r--. 1 root root 14708399 4 月 10 21:49 initramfs-2.6.32-279.eX6.i686.img

-rw-r--r--. 1 root root 24772 6 月 5 08:20 install. log

#增量备份的install.log文件被恢复了

drwx------. 2 root root 4096 4 月 10 21:44 lost+found

-rw-------. 1 root root 47552 6 月 5 09:57 restoresymtable

-rw-r--r--. 1 root root 175903 6 月 22 2012 symvers-2.6.32-279.el6.i686.gz

-rw-r--r--. 1 root root 1846041 6 月 22 2012 System.map-2.6.32-279.el6.i686

-rw-r--r--. 1 root root 1048576 6 月 5 02:38 test

-rwxr-xr-x. 1 root root 3856608 6月  22 2012 vmlinuz-2.6.32-279.el6.i686

我们再来还原/etc/目录的备份etc.dump.bz2，其实还原的方法是完全一样的。命令如下：

[root@localhost ~]# restore -r -f etc.dump.bz2

Dump tape is compressed.

#还原etc.dump.bz2备份

[root@localhost ~]# ll -d /root/etc

drwxr-xr-x.103 root root 12288 6月 5 07：45 /root/etc

#在root下生成了etc目录，里面的数据和/etc/目录中的数据完全一致

（五）Linux dd命令详解：数据备份，并在备份过程中进行格式转换

dd 命令主要用来进行数据备份，并且可以在备份的过程中进行格式转换。其实 dd 命令可以把源数据复制成目标数据，而且不管源数据是文件、分区、磁盘还是光盘，都可以进行数据备份。

dd 命令的基本格式如下：

[root@localhost ~]# dd if="输入文件" of="输出文件" bs="数据块" count="数量"

参数：

if：定义输入数据的文件，也可以是输入设备；

of：定义输出数据的文件，也可以是输出设备；

bs：指定数据块的大小，也就是定义一次性读取或写入多少字节。模式数据块大小是 512 字节；

count：指定 bs 的数量；

conv=标志：依据标志转换文件。标志有以下这些：

ascii：由 EBCDIC 码转换至 ASCII 码；

ebcdic：由 ASCII 码转换至 EBCDIC 码；

ibm：由 ASCII 码转换至替换的 EBCDIC 码；

block：将结束字符块里的换行替换成等长的空格；

unblock：将 cbs 大小的块中尾部的空格替换为一个换行符；

lcase：将大写字符转换为小写；

notrunc：不截断输出文件；

ucase：将小写字符转换为大写；

swab：交换每一对输入数据字节；

noerror：读取数据发生错误后仍然继续；

sync：将每个输入数据块以 NUL 字符填满至 ibs 的大小；当配合 block 或 unblock 时，会以空格代替 NUL 字符填充；

【例 1】备份文件

[root@localhost ~]# dd if=/etc/httpd/conf/httpd.conf of=/tmp/httpd.bak

记录了67+1 的读入

#数据占了写满的67个数据块，以及1个没有写满的数据块

记录了67+1 的写出

#默认数据块大小是512字节

34439字节(34 kB)已复制，0.0524897 秒，656 kB/秒

#如果要备份文件，那么dd命令和cp命令非常类似

[root@localhost ~]# ll -h /tmp/httpd.bak

-rw-r--r--.1 root root 34K 6月 5 18：04 /tmp/httpd.bak

#查看一下生成的备份文件的大小

【例 2】备份分区为一个备份文件

[root@localhost ~]# df -h

文件系统 容量 已用 可用 已用％％ 挂载点

/dev/sda3 20G 2.0G 17G 11％ /

tmpfs 306M 0 306M 0％ /dev/shm

/dev/sda1 194M 27M 157M 15％ /boot

/dev/sr0 3.5G 3.5G 0 100％ /mnt/cdrom

#查看一下分区容量，我们备份/boot分区

[root@localhost ~]# dd if=/dev/sda1 of=/tmp/boot.bak

#备份完成

[root@localhost ~]# ll -h /tmp/boot.bak

-rw-r--r--.1 root root 200M 6月 5 18：14 /tmp/boot.bak

#查看生成的备份文件

#如果需要恢复，则执行以下命令

[root@localhost ~]# dd if=/tmp/boot.bak of=/dev/sda1

如果想要把分区直接备份成另一个分区，就需要生成一个新的分区，这个分区的大小不能比源分区小，只能和源分区大小一致或比它大。命令如下：

[root@localhost ~]# dd if=/dev/sda1 of=/dev/sdb1

#如果需要恢复，则只需把输入项和输出项反过来即可，命令如下

[root@localhost ~]# dd if=/dev/sdb1 of=/dev/sda1

【例 3】整盘备份

[root@localhost ~]# dd if=/dev/sda of=/dev/sdb

#把磁盘a备份到磁盘b

[root@localhost ~]# dd if=/dev/sda of=/tmp/disk.bak

#把磁盘a备份成文件disk.bak

#备份恢复

#如果要备份到另一块硬盘上，那么，当源硬盘数据损坏时，只需用备份硬盘替换源硬盘即可

#如果要备份成文件，那么在恢复时需要把备份数据复制到其他Linux中，然后把新硬盘安装到这台Linux

#服务器上，再把磁盘备份数据复制到新硬盘中。命令如下

[root@localhost ~]# dd if=/tmp/disk.bak of=/dev/sdb

【例 4】复制软盘

[root@localhost ~]# dd if=/dev/fd0 of=/tmp/fd.bak

#在Linux中软盘的设备文件名是/dev/fd0

#这条命令先把软盘中的数据保存为临时数据文件

[root@localhost ~]# dd if=/tmp/fd.bak of=/dev/fd0

#然后更换新的软盘，把数据备份复制到新软盘中，就实现了软盘的复制

如果需要备份的是光盘，那么在 Linux 中就是使用 dd 命令制作光盘的 ISO 镜像的。命令如下：

#制作光盘ISO镜像

[root@localhost ~]# dd if=/dev/cdrom of-/tmp/cd.iso #把光盘中所有的数据制作成ISO镜像

[root@localhost ~J # mkdir /mnt/cd

#建立一个新的挂载点

[root@localhost ~]# mount -o loop /tmp/cd.iso /mnt/cd #挂栽ISO文件到挂载点

[root@localhost ~]# cd /mnt/cd

#进入挂栽点

[root@localhost cd]# ls

CentOS_BuildTag images RELEASE-NOTES-en-tJS.html RPM-GPG-KEY-CentOS-Debug-6 TRANS.TBL

EULA    isolinux repodata   RPM-GPG-KEY-CentOS-Security-6

GPL Packages RPM-GPG-KEY-CentOS-6 RPM-GPG-KEY-CentOS-Testing-6

#数据是光盘当中的数据,这个ISO镜像是可以被当作真正的光盘使用的

我们有时需要制作指定大小的文件，比如，在增加 swap 分区时，就需要建立指定大小的文件，这时也使用 dd 命令。命令如下：

[root@localhost ~]# dd if=/dev/zero of=/tmp/testfile bs=1M count=10

#数据输入项是/dev/zero会向目标文件中不停地写入二进制的0

#指定数据块大小是1MB

#指定生成10个数据块。也就是定义输出的文件大小为10MB

记录了10+0 的读入

#显示数据占满了10个数据块

记录了10+0 的写出

#不过这里数据块的大小已经是1MB了

10485760字节(10 MB)已复制，0.00709902 秒，1.5 GB/秒

[root@localhost ~]# ll -h /tmp/testfile

-rw-r--r--.1 root root 10M 6月 5 18：46 /tmp/testfile

#生成的testfile文件的大小刚好是10MB

dd 命令在进行整盘复制时，类似于 GHOST 工具的功能，不过通过 dd 命令复制出来的硬盘数据要比 GHOST 复制出来的硬盘数据稳定得多。虽然 dd 命令功能强大，不过也有一个明显的缺点，就是复制的时间较长，复制 100GB 的数据需要 15～25 分钟（根据服务器的性能不同而不同）。

实现数据备份还有非常多的方法和工具，比如 tar 和 cpio 命令。至于网络复制工具，如 rsync 和 scp 等，需要较完善的网络知识才能够学习，这里不再介绍。

（六）Linux rsync命令用法详解：支持本地备份和远程备份

在 Linux 系统下，数据备份的工具很多，除了前面介绍了 tar、cpio、dd 命令之外，本节再介绍一个用来备份数据的命令，就是 rsync。

从字面意思上，rsync 可以理解为 remote sync（远程同步），但它不仅可以远程同步数据（类似于 scp 命令），还可以本地同步数据（类似于 cp 命令）。不同于 cp 或 scp 的一点是，使用 rsync 命令备份数据时，不会直接覆盖以前的数据（如果数据已经存在），而是先判断已经存在的数据和新数据的差异，只有数据不同时才会把不相同的部分覆盖。

在系统学习 rsync 命令之前，请确认你的 Linux 系统中已经安装有此命令，如果没有，可以直接使用 yum install -y rsync 命令安装。

讲解 rsync 用法之前，为了让大家对此命令有一个整体的认识，这里先举个例子：

[root@localhost ~]# rsync -av /etc/passwd /tmp/1.txt

sending incremental file list

sent 34 bytes  received 15 bytes  98.00 bytes/sec

total size is 1432  speedup is 29.22

此例中，通过执行 rsync 命令，实现了将 /etc/passwd 文件本地同步到 /tmp/ 目录下，并改名为 1.txt。

除此之外，rsync 命令还支持远程同步数据，也就是将本地的数据备份到远程机器上。比如说，我们知道远程机器的 IP 地址为 192.168.188.128，则使用 rsync 命令备份 passwd 文件的执行命令为：

[root@localhost ~]# rsync -av /etc/passwd 192.168.188.128:/tmp/1.txt

The authenticity of host '192.168.188.128 (192.168.188.128)' can't be established.

ECDSA key fingerprint is 26:e3:97:e7:bb:ae:17:33:ea:aa:Oc:5f:37:Oe:9e:fa.

Are you sure you want to continue connecting (yes/no)? yes

Warning: Permanently added '192.l68.l88.l28' (ECDSA) to the list of known hosts.

[email protected]'s password: <-- 输入密码

sending incremental file list

sent 31 bytes received 12 bytes 7.82 bytes/sec

total size is 1432 speedup is 54.91

注意，首次远程连接时，会提示是否要继续连接，输入 yes 即可。另外，当成功建立连接后，需要输入目标系统的 root 密码。

通过以上 2 个实例，读者应该能对“rsync既支持本地备份数据，还支持远程备份数据”有了直观的认识。那么，rsync 命令要怎样使用呢？

rsync 命令的基本格式有多种，分别是：

[root@localhost ~]# rsync [OPTION] SRC DEST

[root@localhost ~]# rsync [OPTION] SRC [USER@]HOST:DEST

[root@localhost ~]# rsync [OPTION] [USER@]HOST:SRC DEST

[root@localhost ~]# rsync [OPTION] [USER@]HOST::SRC DEST

[root@localhost ~]# rsync [OPTION] SRC [USER@]HOST::DEST

针对以上 5 种命令格式，rsync 有 5 种不同的工作模式：

第一种用于仅在本地备份数据；

第二种用于将本地数据备份到远程机器上；

第三种用于将远程机器上的数据备份到本地机器上；

第四种和第三种是相对的，同样第五种和第二种是相对的，它们各自之间的区别在于登陆认证时使用的验证方式不同。

要知道，使用 rsync 在远程传输数据（备份数据）前，是需要进行登陆认证的，这个过程需要借助 ssh 协议或者 rsync 协议才能完成。在 rsync 命令中，如果使用单个冒号（:），则默认使用 ssh 协议；反之，如果使用两个冒号（::），则使用 rsync 协议。

ssh 协议和 rsync 协议的区别在于，rsync 协议在使用时需要额外配置，增加了工作量，但优势是更加安全；反之，ssh 协议使用方便，无需进行配置，但有泄漏服务器密码的风险。

另外，以上几种格式中各个参数的含义如下：

SRC：用来表示要备份的目标数据所在的位置（路径）；

DEST：用于表示将数据备份到什么位置；

USER@：当做远程同步操作时，需指明系统登录的用户名，如果不显示指定，默认为以 root 身份登录系统并完成同步操作。

rsync 命令提供使用的 OPTION 及功能如表 1 所示。

表 1 rsync 选项及功能

OPTION选项功能

-a这是归档模式，表示以递归方式传输文件，并保持所有属性，它等同于-r、-l、-p、-t、-g、-o、-D 选项。-a 选项后面可以跟一个 --no-OPTION，表示关闭 -r、-l、-p、-t、-g、-o、-D 中的某一个，比如-a --no-l 等同于 -r、-p、-t、-g、-o、-D 选项。

-r表示以递归模式处理子目录，它主要是针对目录来说的，如果单独传一个文件不需要加 -r 选项，但是传输目录时必须加。

-v表示打印一些信息，比如文件列表、文件数量等。

-l表示保留软连接。

-L表示像对待常规文件一样处理软连接。如果是 SRC 中有软连接文件，则加上该选项后，将会把软连接指向的目标文件复制到 DEST。

-p表示保持文件权限。

-o表示保持文件属主信息。

-g表示保持文件属组信息。

-D表示保持设备文件信息。

-t表示保持文件时间信息。

--delete表示删除 DEST 中 SRC 没有的文件。

--exclude=PATTERN表示指定排除不需要传输的文件，等号后面跟文件名，可以是通配符模式（如 *.txt）。

--progress表示在同步的过程中可以看到同步的过程状态，比如统计要同步的文件数量、 同步的文件传输速度等。

-u表示把 DEST 中比 SRC 还新的文件排除掉，不会覆盖。

-z加上该选项，将会在传输过程中压缩。

以上也仅是列出了 async 命令常用的一些选项，对于初学者来说，记住最常用的几个即可，比如 -a、-v、-z、--delete 和 --exclude。

如果想查看 async 提供的所有选项，可直接执行 async 命令。

为了更好的演示各个选项的功能，需要做一些准备工作，执行如下命令：

#新建rsync目录

[root@localhost ~]# mkdir rsync

[root@localhost ~]# cd rsync

#在rsync目录中，创建test1目录

[root@localhost rsync]# mkdir test1

[root@localhost rsync]# cd test1

#在test1目录中，分别创建名为 1、2、3、/root.123.txt 文件

[root@localhost test1]# touch 1 2 3 /root/123.txt

[root@localhost test1]# ln -s /root/123.txt ./123.txt

[root@localhost test1]# ls -l

total 0

-rw-r--r--. 1 root root 0 0ct 23 07:34 1

lrwxrwxrwx. 1 root root 13 0ct 23 08:34 123.txt -> /root/123.txt

-rw-r--r--. 1 root root 0 0ct 23 07:34 2

-rw-r--r--. 1 root root 0 0ct 23 07:34 3

[root@localhost test1]# cd ..

#回到rsync目录

[root@localhost rsync]#

在此基础上，下面挑选了几个常用的 OPTION 选项，给大家举例说明它们的用法。

rsync -a 选项

首先来看看 -a 选项的用法，如下所示：

[root@localhost rsync]# rsync -a test1 test2

[root@localhost rsync]# ls test2

test1

[root@localhost rsync]# ls test2/test1/

1  123.txt  2  3

这里有一个问题，我们本来是想把 test1 目录中的内容直接放到 test2 目录中，可结果 rsync 命令却新建了 test2 目录，然后把 test1 放到 test2 中。

如果想要实现将 test1 目录中的内容直接备份到 test2 目录中，需修改上面的命令为：

[root@localhost rsync]#rm -rf test2

[root@localhost rsync]# rsync -a test1/ test2/

[root@localhost rsync]# ls test2/

1  123.txt  2  3

可以看到，只需给 test1 和 test2 目录后添加 / 斜杠即可。

前面讲过，使用 -a 选项，等同于同时使用 -r、-l、-p、-t、-g、-o、-D 选项，且 -a 还可以和 --no-OPTION 一并使用。下面再来看看 -l 选项的作用：

[root@localhost rsync]# rm -rf test2

[root@localhost rsync]# rsync -av test1/ test2/

sending incremental file list

created directory test2

./

1

skipping non-regular file "123.txt"

2

3

sent 200 bytes received 72 bytes 544.00 bytes/sec

total size is 13  speedup is 0.05

这里使用 -v 选项，可以看到，拷贝过程中跳过了非普通文件 123.txt，其实 123.txt 是一个软链接文件，如果不使用 -l 选项，系统将不理会软链接文件。

rsync --delete选项

通过表 1 可以看到，--delete 选项用来--delete 删除 DEST 中 SRC 没有的文件。例如：

#拷贝 test1 目录下的数据

[root@localhost rsync]# rsync -a test1/ test2

#删除 test1/123.txt 文件

[root@localhost rsync]# rm -f test1/123.txt

[root@localhost rsync]# ls test1/

1 2 3

[root@localhost rsync]# rsync -av test1/ test2/

sending incremental file list

./

sent 55 bytes  received 15 bytes 140.00 bytes/sec

total size is 0  speedup is 0.00

[root@localhost rsync]# ls test2/

1 123.txt 2 3

可以看到，当对 test1 目录删除了 123.txt 文件之后，再次备份并没有对 test2 目录中的 123.txt 文件产生任何影响。

下面使用 --delete 选项，再次执行拷贝命令，如下所示：

[root@localhost rsync]# rsync -av --delete test1/ test2/

sending incremental file list

deleting 123.txt

sent 52 bytes  received 12 bytes 128.00 bytes/sec

total size is 0  speedup is 0.00

[root@localhost rsync]# ls test2/

1 2 3

可以看到，使用 --delete 选项进行备份数据时，test1 目录一旦做了改变，那么 test2 也会做相应改变。

不仅如此，如果在 DEST 中增加文件，而 SRC 中不包含这些文件，那么在使用 --delete 选项做同步备份操作时，DEST 新增的这些文件会被删除。例如：

[root@localhost rsync]# touch test2/4

[root@localhost rsync]# ls test1/

1 2 3

[root@localhost rsync]# ls test2/

1 2 3 4

[root@localhost rsync]# rsync -a --delete test1/ test2/

[root@localhost rsync]# ls test2/

1 2 3

受到篇幅的限制，有关 rsync 命令其他选项的用法，本节不再给出具体实例，有兴趣的读者可自行编写代码进行测试。


原文参考：http://c.biancheng.net/linux_tutorial/

你可能感兴趣的:(（Linux六）Linux数据备份与恢复)

  • 机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习python
    一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
  • android系统selinux中添加新属性property 辉色投像
    1.定位/android/system/sepolicy/private/property_contexts声明属性开头：persist.charge声明属性类型：u:object_r:system_prop:s0图12.定位到android/system/sepolicy/public/domain.te删除neverallow{domain-init}default_prop:property
  • 铭刻于星（四十二） 随风至
    69夜晚，绍敏同学做完功课后，看了眼房外，没听到动静才敢从书包的夹层里拿出那个心形纸团。折痕压得很深，都有些旧了，想来是已经写好很久了。绍敏同学慢慢地、轻轻地捏开折叠处，待到全部拆开后，又反复抚平纸张，然后仔细地一字字默看。只是开头的三个字是第一次看到，让她心漏跳了几拍。“亲爱的绍敏：从四年级的时候，我就喜欢你了，但是我一直不敢说，怕影响你学习。六年级的时候听说有人跟你表白，你接受了，我很难过，但
  • 【iOS】MVC设计模式 Magnetic_h iosmvc设计模式objective-c学习ui
    MVC前言如何设计一个程序的结构，这是一门专门的学问，叫做"架构模式"（architecturalpattern），属于编程的方法论。MVC模式就是架构模式的一种。它是Apple官方推荐的App开发架构，也是一般开发者最先遇到、最经典的架构。MVC各层controller层Controller/ViewController/VC（控制器）负责协调Model和View，处理大部分逻辑它将数据从Mod
  • 微服务下功能权限与数据权限的设计与实现 nbsaas-boot 微服务java架构
    在微服务架构下，系统的功能权限和数据权限控制显得尤为重要。随着系统规模的扩大和微服务数量的增加，如何保证不同用户和服务之间的访问权限准确、细粒度地控制，成为设计安全策略的关键。本文将讨论如何在微服务体系中设计和实现功能权限与数据权限控制。1.功能权限与数据权限的定义功能权限：指用户或系统角色对特定功能的访问权限。通常是某个用户角色能否执行某个操作，比如查看订单、创建订单、修改用户资料等。数据权限：
  • c++ 的iostream 和 c++的stdio的区别和联系 黄卷青灯77 c++算法开发语言iostreamstdio
    在C++中，iostream和C语言的stdio.h都是用于处理输入输出的库，但它们在设计、用法和功能上有许多不同。以下是两者的区别和联系：区别1.编程风格iostream（C++风格）：C++标准库中的输入输出流类库，支持面向对象的输入输出操作。典型用法是cin（输入）和cout（输出），使用>操作符来处理数据。更加类型安全，支持用户自定义类型的输入输出。#includeintmain(){in
  • 《投行人生》读书笔记 小蘑菇的树洞
    《投行人生》----作者詹姆斯-A-朗德摩根斯坦利副主席40年的职业洞见-很短小精悍的篇幅，比较适合初入职场的新人。第一部分成功的职业生涯需要规划1.情商归为适应能力分享与协作同理心适应能力，更多的是自我意识，你有能力识别自己的情并分辨这些情绪如何影响你的思想和行为。2.对于初入职场的人的建议，细节，截止日期和数据很重要截止日期，一种有效的方法是请老板为你所有的任务进行优先级排序。和老板喝咖啡的好
  • 《策划经理回忆录之二》 路基雅虎
    话说三年变六年，飘了，飘了……眨眼，2013年5月，老吴回到了他的家乡——油城从新开启他的工作幻想症生涯。很庆幸，这是一家很有追求，同时敢于尝试的，且实力不容低调的新星房企——金源置业(前身泰源置业)更值得庆幸的是第一个盘就是油城十路的标杆之一:金源盛世。2013年5月，到2015年11月，两年的陪伴，迎来了一场大爆发。2000个筹，5万/筹，直接回笼1个亿！！！这……让我开始认真审视这座看似五线
  • Long类型前后端数据不一致 igotyback 前端
    响应给前端的数据浏览器控制台中response中看到的Long类型的数据是正常的到前端数据不一致前后端数据类型不匹配是一个常见问题，尤其是当后端使用Java的Long类型（64位）与前端JavaScript的Number类型（最大安全整数为2^53-1，即16位）进行数据交互时，很容易出现精度丢失的问题。这是因为JavaScript中的Number类型无法安全地表示超过16位的整数。为了解决这个问
  • Linux下QT开发的动态库界面弹出操作（SDL2） 13jjyao QT类qt开发语言sdl2linux
    需求：操作系统为linux，开发框架为qt，做成需带界面的qt动态库，调用方为java等非qt程序难点：调用方为java等非qt程序，也就是说调用方肯定不带QApplication::exec()，缺少了这个，QTimer等事件和QT创建的窗口将不能弹出(包括opencv也是不能弹出)；这与qt调用本身qt库是有本质的区别的思路：1.调用方缺QApplication::exec()，那么我们在接口
  • 放下是一段成长的修行 小莳玥
    人来到这个世界上，只有两件事：生和死。一件事已经做完了，另一件你还急什么呢?是人，都有七情六欲。是心，都有喜怒哀乐，这些再正常不过了。别总抱怨自己活得累，过得辛苦。永远记住：舒坦是留给死人的。苦，才是生活；累，才是工作；变，才是命运；忍，才是历练；容，才是智慧；静，才是修养；舍，才会得到；做，才会拥有。人生，活得太清楚，才是最大的不明白。有些事，看得很清，却说不清；有些人，了解很深，却猜不透；有些
  • Python数据分析与可视化实战指南 William数据分析 pythonpython数据
    在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
  • WPF中的ComboBox控件几种数据绑定的方式 互联网打工人no1 wpfc#
    一、用字典给ItemsSource赋值（此绑定用的地方很多，建议熟练掌握）在XMAL中：在CS文件中privatevoidBindData(){DictionarydicItem=newDictionary();dicItem.add(1,"北京");dicItem.add(2,"上海");dicItem.add(3,"广州");cmb_list.ItemsSource=dicItem;cmb_l
  • Pyecharts数据可视化大屏：打造沉浸式数据分析体验 我的运维人生 信息可视化数据分析数据挖掘运维开发技术共享
    Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
  • linux sdl windows.h,Windows下的SDL安装 奔跑吧linux内核 linuxsdlwindows.h
    首先你要下载并安装SDL开发包。如果装在C盘下，路径为C:\SDL1.2.5如果在WINDOWS下。你可以按以下步骤：1.打开VC++，点击"Tools",Options2,点击directories选项3.选择"Includefiles"增加一个新的路径。"C:\SDL1.2.5\include"4，现在选择"Libaryfiles“增加"C:\SDL1.2.5\lib"现在你可以开始编写你的第
  • Python教程：一文了解使用Python处理XPath 旦莫 Python进阶python开发语言
    目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
  • Google earth studio 简介 陟彼高冈yu 旅游
    GoogleEarthStudio是一个基于Web的动画工具，专为创作使用GoogleEarth数据的动画和视频而设计。它利用了GoogleEarth强大的三维地图和卫星影像数据库，使用户能够轻松地创建逼真的地球动画、航拍视频和动态地图可视化。网址为https://www.google.com/earth/studio/。GoogleEarthStudio是一个基于Web的动画工具，专为创作使用G
  • linux中sdl的使用教程,sdl使用入门 Melissa Corvinus linux中sdl的使用教程
    本文通过一个简单示例讲解SDL的基本使用流程。示例中展示一个窗口，窗口里面有个随机颜色快随机移动。当我们鼠标点击关闭按钮时间窗口关闭。基本步骤如下：1.初始化SDL并创建一个窗口。SDL_Init()初始化SDL_CreateWindow()创建窗口2.纹理渲染存储RGB和存储纹理的区别：比如一个从左到右由红色渐变到蓝色的矩形，用存储RGB的话就需要把矩形中每个点的具体颜色值存储下来；而纹理只是一
  • LLM 词汇表 落难Coder LLMsNLP大语言模型大模型llama人工智能
    Contextwindow“上下文窗口”是指语言模型在生成新文本时能够回溯和参考的文本量。这不同于语言模型训练时所使用的大量数据集，而是代表了模型的“工作记忆”。较大的上下文窗口可以让模型理解和响应更复杂和更长的提示，而较小的上下文窗口可能会限制模型处理较长提示或在长时间对话中保持连贯性的能力。Fine-tuning微调是使用额外的数据进一步训练预训练语言模型的过程。这使得模型开始表示和模仿微调数
  • PHP环境搭建详细教程 好看资源平台 前端php
    PHP是一个流行的服务器端脚本语言，广泛用于Web开发。为了使PHP能够在本地或服务器上运行，我们需要搭建一个合适的PHP环境。本教程将结合最新资料，介绍在不同操作系统上搭建PHP开发环境的多种方法，包括Windows、macOS和Linux系统的安装步骤，以及本地和Docker环境的配置。1.PHP环境搭建概述PHP环境的搭建主要分为以下几类：集成开发环境：例如XAMPP、WAMP、MAMP，这
  • 使用 FinalShell 进行远程连接（ssh 远程连接 Linux 服务器） 编程经验分享 开发工具服务器sshlinux
    目录前言基本使用教程新建远程连接连接主机自定义命令路由追踪前言后端开发，必然需要和服务器打交道，部署应用，排查问题，查看运行日志等等。一般服务器都是集中部署在机房中，也有一些直接是云服务器，总而言之，程序员不可能直接和服务器直接操作，一般都是通过ssh连接来登录服务器。刚接触远程连接时，使用的是XSHELL来远程连接服务器，连接上就能够操作远程服务器了，但是仅用XSHELL并没有上传下载文件的功能
  • 关于提高复杂业务逻辑代码可读性的思考 编程经验分享 开发经验java数据库开发语言
    目录前言需求场景常规写法拆分方法领域对象总结前言实际工作中大部分时间都是在写业务逻辑，一般都是三层架构，表示层（Controller）接收客户端请求，并对入参做检验，业务逻辑层（Service）负责处理业务逻辑，一般开发都是在这一层中写具体的业务逻辑。数据访问层（Dao）是直接和数据库交互的，用于查数据给业务逻辑层，或者是将业务逻辑层处理后的数据写入数据库。简单的增删改查接口不用多说，基本上写好一
  • SQL Server_查询某一数据库中的所有表的内容 qq_42772833 SQLServer数据库sqlserver
    1.查看所有表的表名要列出CrabFarmDB数据库中的所有表（名），可以使用以下SQL语句：USECrabFarmDB;--切换到目标数据库GOSELECTTABLE_NAMEFROMINFORMATION_SCHEMA.TABLESWHERETABLE_TYPE='BASETABLE';对这段SQL脚本的解释：SELECTTABLE_NAME：这个语句的作用是从查询结果中选择TABLE_NAM
  • 使用LLaVa和Ollama实现多模态RAG示例 llzwxh888 python人工智能开发语言
    本文将详细介绍如何使用LLaVa和Ollama实现多模态RAG（检索增强生成），通过提取图像中的结构化数据、生成图像字幕等功能来展示这一技术的强大之处。安装环境首先，您需要安装以下依赖包：!pipinstallllama-index-multi-modal-llms-ollama!pipinstallllama-index-readers-file!pipinstallunstructured!p
  • 使用Apify加载Twitter消息以进行微调的完整指南 nseejrukjhad twittereasyui前端python
    #使用Apify加载Twitter消息以进行微调的完整指南##引言在自然语言处理领域，微调模型以适应特定任务是提升模型性能的常见方法。本文将介绍如何使用Apify从Twitter导出聊天信息，以便进一步进行微调。##主要内容###使用Apify导出推文首先，我们需要从Twitter导出推文。Apify可以帮助我们做到这一点。通过Apify的强大功能，我们可以批量抓取和导出数据，适用于各类应用场景。
  • 深入理解 MultiQueryRetriever：提升向量数据库检索效果的强大工具 nseejrukjhad 数据库python
    深入理解MultiQueryRetriever：提升向量数据库检索效果的强大工具引言在人工智能和自然语言处理领域，高效准确的信息检索一直是一个关键挑战。传统的基于距离的向量数据库检索方法虽然广泛应用，但仍存在一些局限性。本文将介绍一种创新的解决方案：MultiQueryRetriever，它通过自动生成多个查询视角来增强检索效果，提高结果的相关性和多样性。MultiQueryRetriever的工
  • 数组去重 好奇的猫猫猫
    整理自js中基础数据结构数组去重问题思考？如何去除数组中重复的项例如数组：[1,3,4,3,5]我们在做去重的时候，一开始想到的肯定是，逐个比较，外面一层循环，内层后一个与前一个一比较，如果是久不将当前这一项放进新的数组，挨个比较完之后返回一个新的去过重复的数组不好的实践方式上述方法效率极低，代码量还多，思考？有没有更好的方法这时候不禁一想当然有了！！！hashtable啊，通过对象的hash办法
  • Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Pythonpython开发语言大数据数据分析数据挖掘
    大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
  • 【目标检测数据集】卡车数据集1073张VOC+YOLO格式 熬夜写代码的平头哥∰ 目标检测YOLO人工智能
    数据集格式：PascalVOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)图片数量(jpg文件个数)：1073标注数量(xml文件个数)：1073标注数量(txt文件个数)：1073标注类别数：1标注类别名称:["truck"]每个类别标注的框数：truck框数=1120总框数：1120使用标注工具：labelImg标注
  • MongoDB Oplog 窗口 喝醉酒的小白 MongoDB运维
    在MongoDB中，oplog（操作日志）是一个特殊的日志系统，用于记录对数据库的所有写操作。oplog允许副本集成员（通常是从节点）应用主节点上已经执行的操作，从而保持数据的一致性。它是MongoDB副本集实现数据复制的基础。MongoDBOplog窗口oplog窗口是指在MongoDB副本集中，从节点可以用来同步数据的时间范围。这个窗口通常由以下因素决定：Oplog大小：oplog的大小是有限
  • web报表工具FineReport常见的数据集报错错误代码和解释 老A不折腾 web报表finereport代码可视化工具
    在使用finereport制作报表，若预览发生错误，很多朋友便手忙脚乱不知所措了，其实没什么，只要看懂报错代码和含义，可以很快的排除错误，这里我就分享一下finereport的数据集报错错误代码和解释，如果有说的不准确的地方，也请各位小伙伴纠正一下。   NS-war-remote=错误代码\:1117 压缩部署不支持远程设计 NS_LayerReport_MultiDs=错误代码
  • Java的WeakReference与WeakHashMap bylijinnan java弱引用
    首先看看 WeakReference wiki 上 Weak reference 的一个例子： public class ReferenceTest { public static void main(String[] args) throws InterruptedException { WeakReference r = new Wea
  • Linux——（hostname）主机名与ip的映射 eksliang linuxhostname
    一、 什么是主机名 无论在局域网还是INTERNET上，每台主机都有一个IP地址，是为了区分此台主机和彼台主机，也就是说IP地址就是主机的门牌号。但IP地址不方便记忆，所以又有了域名。域名只是在公网（INtERNET)中存在，每个域名都对应一个IP地址，但一个IP地址可有对应多个域名。域名类型 linuxsir.org 这样的； 主机名是用于什么的呢？ 答：在一个局域网中，每台机器都有一个主
  • oracle 常用技巧 18289753290
    oracle常用技巧 ①复制表结构和数据   create table  temp_clientloginUser as   select distinct userid from tbusrtloginlog ②仅复制数据 如果表结构一样 insert into  mytable  select  * &nb
  • 使用c3p0数据库连接池时出现com.mchange.v2.resourcepool.TimeoutException 酷的飞上天空 exception
    有一个线上环境使用的是c3p0数据库，为外部提供接口服务。最近访问压力增大后台tomcat的日志里面频繁出现 com.mchange.v2.resourcepool.TimeoutException: A client timed out while waiting to acquire a resource from com.mchange.v2.resourcepool.BasicResou
  • IT系统分析师如何学习大数据 蓝儿唯美 大数据
    我是一名从事大数据项目的IT系统分析师。在深入这个项目前需要了解些什么呢？学习大数据的最佳方法就是先从了解信息系统是如何工作着手，尤其是数据库和基础设施。同样在开始前还需要了解大数据工具，如Cloudera、Hadoop、Spark、Hive、Pig、Flume、Sqoop与Mesos。系 统分析师需要明白如何组织、管理和保护数据。在市面上有几十款数据管理产品可以用于管理数据。你的大数据数据库可能
  • spring学习——简介 a-john spring
    Spring是一个开源框架，是为了解决企业应用开发的复杂性而创建的。Spring使用基本的JavaBean来完成以前只能由EJB完成的事情。然而Spring的用途不仅限于服务器端的开发，从简单性，可测试性和松耦合的角度而言，任何Java应用都可以从Spring中受益。其主要特征是依赖注入、AOP、持久化、事务、SpringMVC以及Acegi Security 为了降低Java开发的复杂性，
  • 自定义颜色的xml文件 aijuans xml
    <?xml version="1.0" encoding="utf-8"?> <resources> <color name="white">#FFFFFF</color> <color name="black">#000000</color> &
  • 运营到底是做什么的？ aoyouzi 运营到底是做什么的？
    文章来源：夏叔叔（微信号：woshixiashushu），欢迎大家关注！很久没有动笔写点东西，近些日子，由于爱狗团产品上线，不断面试，经常会被问道一个问题。问：爱狗团的运营主要做什么？答：带着用户一起嗨。为什么是带着用户玩起来呢？究竟什么是运营？运营到底是做什么的？那么，我们先来回答一个更简单的问题——互联网公司对运营考核什么？以爱狗团为例，绝大部分的移动互联网公司，对运营部门的考核分为三块——用
  • js面向对象类和对象 百合不是茶 js面向对象函数创建类和对象
    接触js已经有几个月了,但是对js的面向对象的一些概念根本就是模糊的,js是一种面向对象的语言 但又不像java一样有class,js不是严格的面向对象语言 ,js在java web开发的地位和java不相上下  ,其中web的数据的反馈现在主流的使用json,json的语法和js的类和属性的创建相似   下面介绍一些js的类和对象的创建的技术   一:类和对
  • web.xml之资源管理对象配置 resource-env-ref bijian1013 javaweb.xmlservlet
    resource-env-ref元素来指定对管理对象的servlet引用的声明，该对象与servlet环境中的资源相关联 <resource-env-ref> <resource-env-ref-name>资源名</resource-env-ref-name> <resource-env-ref-type>查找资源时返回的资源类
  • Create a composite component with a custom namespace sunjing
    https://weblogs.java.net/blog/mriem/archive/2013/11/22/jsf-tip-45-create-composite-component-custom-namespace   When you developed a composite component the namespace you would be seeing would
  • 【MongoDB学习笔记十二】Mongo副本集服务器角色之Arbiter bit1129 mongodb
     一、复本集为什么要加入Arbiter这个角色 回答这个问题，要从复本集的存活条件和Aribter服务器的特性两方面来说。 什么是Artiber？ An arbiter does not have a copy of data set and cannot become a primary. Replica sets may have arbiters to add a
  • Javascript开发笔记 白糖_ JavaScript
    获取iframe内的元素 通常我们使用window.frames["frameId"].document.getElementById("divId").innerHTML这样的形式来获取iframe内的元素，这种写法在IE、safari、chrome下都是通过的，唯独在fireforx下不通过。其实jquery的contents方法提供了对if
  • Web浏览器Chrome打开一段时间后，运行alert无效 bozch Webchormealert无效
    今天在开发的时候，突然间发现alert在chrome浏览器就没法弹出了，很是怪异。 试了试其他浏览器，发现都是没有问题的。 开始想以为是chorme浏览器有啥机制导致的，就开始尝试各种代码让alert出来。尝试结果是仍然没有显示出来。 这样开发的结果，如果客户在使用的时候没有提示，那会带来致命的体验。哎，没啥办法了 就关闭浏览器重启。   结果就好了，这也太怪异了。难道是cho
  • 编程之美-高效地安排会议 图着色问题 贪心算法 bylijinnan 编程之美
    import java.util.ArrayList; import java.util.Collections; import java.util.List; import java.util.Random; public class GraphColoringProblem { /**编程之美 高效地安排会议 图着色问题 贪心算法 * 假设要用很多个教室对一组
  • 机器学习相关概念和开发工具 chenbowen00 算法matlab机器学习
    基本概念： 机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。 它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。 开发工具 M
  • [宇宙经济学]关于在太空建立永久定居点的可能性 comsci 经济
           大家都知道,地球上的房地产都比较昂贵,而且土地证经常会因为新的政府的意志而变幻文本格式........        所以,在地球议会尚不具有在太空行使法律和权力的力量之前,我们外太阳系统的友好联盟可以考虑在地月系的某些引力平衡点上面,修建规模较大的定居点
  • oracle 11g database control 证书错误 daizj oracle证书错误oracle 11G 安装
    oracle 11g database control 证书错误  win7 安装完oracle11后打开 Database control 后，会打开em管理页面，提示证书错误，点“继续浏览此网站”，还是会继续停留在证书错误页面 解决办法： 是 KB2661254 这个更新补丁引起的，它限制了 RSA 密钥位长度少于 1024 位的证书的使用。具体可以看微软官方公告：
  • Java I/O之用FilenameFilter实现根据文件扩展名删除文件 游其是你 FilenameFilter
    在Java中，你可以通过实现FilenameFilter类并重写accept(File dir, String name) 方法实现文件过滤功能。 在这个例子中，我们向你展示在“c:\\folder”路径下列出所有“.txt”格式的文件并删除。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
  • C语言数组的简单以及一维数组的简单排序算法示例，二维数组简单示例 dcj3sjt126com carray
    # include <stdio.h> int main(void) { int a[5] = {1, 2, 3, 4, 5}; //a 是数组的名字 5是表示数组元素的个数，并且这五个元素分别用a[0], a[1]...a[4] int i; for (i=0; i<5; ++i) printf("%d\n",
  • PRIMARY, INDEX, UNIQUE 这3种是一类 PRIMARY 主键。 就是 唯一 且 不能为空。 INDEX 索引，普通的 UNIQUE 唯一索引 dcj3sjt126com primary
    PRIMARY, INDEX, UNIQUE 这3种是一类PRIMARY 主键。 就是 唯一 且 不能为空。INDEX 索引，普通的UNIQUE 唯一索引。 不允许有重复。FULLTEXT 是全文索引，用于在一篇文章中，检索文本信息的。举个例子来说，比如你在为某商场做一个会员卡的系统。这个系统有一个会员表有下列字段：会员编号   INT会员姓名  
  • java集合辅助类 Collections、Arrays shuizhaosi888 CollectionsArraysHashCode
      Arrays、Collections   1 ）数组集合之间转换 public static <T> List<T> asList(T... a) { return new ArrayList<>(a); }      a）Arrays.asL
  • Spring Security（10）——退出登录logout 234390216 logoutSpring Security退出登录logout-urlLogoutFilter
           要实现退出登录的功能我们需要在http元素下定义logout元素，这样Spring Security将自动为我们添加用于处理退出登录的过滤器LogoutFilter到FilterChain。当我们指定了http元素的auto-config属性为true时logout定义是会自动配置的，此时我们默认退出登录的URL为“/j_spring_secu
  • 透过源码学前端 之 Backbone 三 Model 逐行分析JS源代码 backbone源码分析js学习
    Backbone 分析第三部分  Model 概述： Model 提供了数据存储，将数据以JSON的形式保存在 Model的 attributes里， 但重点功能在于其提供了一套功能强大，使用简单的存、取、删、改数据方法，并在不同的操作里加了相应的监听事件， 如每次修改添加里都会触发 change，这在据模型变动来修改视图时很常用，并且与collection建立了关联。
  • SpringMVC源码总结（七）mvc:annotation-driven中的HttpMessageConverter 乒乓狂魔 springMVC
    这一篇文章主要介绍下HttpMessageConverter整个注册过程包含自定义的HttpMessageConverter，然后对一些HttpMessageConverter进行具体介绍。 HttpMessageConverter接口介绍： public interface HttpMessageConverter<T> { /** * Indicate
  • 分布式基础知识和算法理论 bluky999 算法zookeeper分布式一致性哈希paxos
      分布式基础知识和算法理论 BY [email protected] 本文永久链接：http://nodex.iteye.com/blog/2103218   在大数据的背景下，不管是做存储，做搜索，做数据分析，或者做产品或服务本身，面向互联网和移动互联网用户，已经不可避免地要面对分布式环境。笔者在此收录一些分布式相关的基础知识和算法理论介绍，在完善自我知识体系的同
  • Android Studio的.gitignore以及gitignore无效的解决 bell0901 androidgitignore
    　　github上.gitignore模板合集，里面有各种.gitignore ： https://github.com/github/gitignore 　　自己用的Android Studio下项目的.gitignore文件，对github上的android.gitignore添加了 　　　　　　# OSX files　　　　　　//mac os下　　　　　　.DS_Store
  • 成为高级程序员的10个步骤 tomcat_oracle 编程
    What 软件工程师的职业生涯要历经以下几个阶段：初级、中级，最后才是高级。这篇文章主要是讲如何通过 10 个步骤助你成为一名高级软件工程师。   Why 得到更多的报酬！因为你的薪水会随着你水平的提高而增加 提升你的职业生涯。成为了高级软件工程师之后，就可以朝着架构师、团队负责人、CTO 等职位前进 历经更大的挑战。随着你的成长，各种影响力也会提高。
  • mongdb在linux下的安装 xtuhcy mongodblinux
    一、查询linux版本号： lsb_release -a  LSB Version:    :base-4.0-amd64:base-4.0-noarch:core-4.0-amd64:core-4.0-noarch:graphics-4.0-amd64:graphics-4.0-noarch:printing-4.0-amd64:printing-4.0-noa
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他