马帅琦
马帅琦

rsync

作者：马帅琦

归档：day32

时间：2019/4/15

1、什么是rsync?

rsync，Rsync英文全称为Remote synchronization  缩写rsync

是开源、高速的、可实现本地以及远程，全量以及增量的数据复制（拷贝）工具。

官方链接资料：http://www.samba.org/ftp/rsync/rsync.html

2、全量和增量区别

全量复制：

[root@nfs01 ~]# cp -a /etc/ /opt/

[root@nfs01 ~]# \cp -a /etc/ /opt

[root@nfs01 ~]# touch /etc/oldboy.txt

[root@nfs01 ~]# \cp -a /etc/ /opt/

增量复制：

只复制oldboy.txt

3、rsync的作用

工作中需要定时/实时数据备份。本地服务器目录、不同机器、

不同机房之间的数据备份。都可以用rsync完成。

4、rsync功能特性

 支持拷贝普通文件与特殊文件，如链接文件，设备文件等。

 支持排除指定文件或目录同步的功能，相当于打包命令tar的排除功能。

 可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变。

 可实现增量复制，既只复制发生变化的数据，因此数据传输效率很高。

 可以使用rcp,rsh,ssh等方式来配合进行隧道加密传输文件（rsync本身不对数据加密）。

 可以通过socket(进程方式)传输文件和数据（服务端和客户端）*。

 支持匿名或认证（无需系统用户）进程模式传输，安全的进行数据备份及镜像

5、增量复制原理

使用 quick check算法，只对增量的部分复制，根据大小属性的变化进行复制。

2.x比对差异后复制，3.x一边比对一边复制。

https://coolshell.cn/articles/7425.html

6、rsync三种工作模式介绍

1）本地（local）

rsync就是一个命令

rsync   [OPTION...]       SRC...     [DEST]

rsync命令 参数选项 [源目录或文件] 目的目录或文件

命令操作：

rsync命令

a.把数据从一个地方复制到另一个地方（仅在一台机器增量）,相当于cp。

b.通过加参数实现删除文件和清空文件内容的功能，相当于rm命令。

c.查看属性信息功能，相当于ls。

实践：

基础不牢，地动山摇。————老男孩

听话出活，跑通在变通。————老男孩

a.拷贝实践

[root@backup ~]# ls /opt

[root@backup ~]# rsync /etc/hosts /opt

[root@backup ~]# ls /opt

hosts

[root@backup ~]# \cp /etc/hosts /opt

保持属性：

[root@backup ~]# rsync -zrtopg /etc/hosts /opt/

[root@backup ~]# ls -lhi /etc/hosts /opt/hosts

16829878 -rw-r--r--. 1 root root 332 4月  12 11:24 /etc/hosts

  71373 -rw-r--r--  1 root root 332 4月  12 11:24 /opt/hosts


b.删除实践

删除文件内容：

[root@backup ~]# touch /null.txt #空文件

[root@backup ~]# cat /opt/hosts

127.0.0.1    localhost localhost.localdomain localhost4 localhost4.localdomain4

::1          localhost localhost.localdomain localhost6 localhost6.localdomain6

172.16.1.5 lb01

172.16.1.6 lb02

172.16.1.7 web01

172.16.1.8 web02

172.16.1.9 web03

172.16.1.31 nfs01

172.16.1.41 backup

172.16.1.51 db01 db01.etiantian.org

172.16.1.61 m01

[root@backup ~]# rsync --delete /null.txt /opt/hosts  #让前面null.txt和后面hosts一样

rsync: --delete does not work without --recursive (-r) or --dirs (-d).

rsync error: syntax or usage error (code 1) at main.c(1567) [client=3.1.2]

[root@backup ~]# rsync -r --delete /null.txt /opt/hosts

[root@backup ~]# cat /opt/hosts

删除目录下所有文件：

[root@backup ~]# mkdir /null

[root@backup ~]# rsync -r --delete /null/ /opt/      #让后面opt和前面null目录内容保持一致

[root@backup ~]# ls /opt/

c.查看属性

[root@backup ~]# rsync /etc/hosts

-rw-r--r--            332 2019/04/12 11:24:41 hosts

2）远程Shell模式

借助类似ssh隧道传输数据，适合不同的机器之间复制。

异地拷贝，相当于scp，区别scp是远程全量拷贝)

拉门 推门 思考：

pull,拉：从远端拉取到本地。

语法：

rsync     [OPTION...] [USER@]HOST:SRC...             [DEST]

rsync命令 参数选项 [认证用户]@[主机地址]:[源路径] 本地路径

语法：

push,推：从本地推到远端。

rsync     [OPTION...]  SRC... [USER@]HOST:[DEST]       

rsync命令 参数选项 本地路径 [认证用户]@[主机地址]:[目标路径]

push实践：

[root@nfs01 ~]# rsync -avz /etc/hosts [email protected]:/opt/ #加密传输。

The authenticity of host '172.16.1.41 (172.16.1.41)' can't be established.

ECDSA key fingerprint is SHA256:qZSBkrmOv7xO/63qOU1uLXkPyNVHdkqvrNAcAmXqNEk.

ECDSA key fingerprint is MD5:23:d0:cb:a9:f4:7c:0b:eb:2d:07:00:e1:a3:12:d8:33.

Are you sure you want to continue connecting (yes/no)? yes

Warning: Permanently added '172.16.1.41' (ECDSA) to the list of known hosts.

[email protected]'s password:

sending incremental file list

hosts

sent 219 bytes  received 35 bytes  14.51 bytes/sec

total size is 332  speedup is 1.31

检查：

[root@backup ~]# cd /opt/

[root@backup /opt]# ls

hosts

rsync -avz /etc/hosts [email protected]:/opt/

rsync -avz /etc/hosts -e "ssh -p 22" [email protected]:/opt/

上述命令是等价的。-e 指定通道  ssh ssh服务连接客户端  -p 22指定22端口。

[root@nfs01 ~]# rsync -avz /etc/hosts -e "ssh -p 22" [email protected]:/opt/

[email protected]'s password:

sending incremental file list

sent 44 bytes  received 12 bytes  22.40 bytes/sec

total size is 332  speedup is 5.93

拉的命令：

rsync -avz [email protected]:/opt/hosts /opt

rsync -avz -e "ssh -p 22" [email protected]:/opt/hosts /opt

推拉：

a.参照物，执行命令的机器

[email protected] 使用的用户和主机，就用主机和用户的密码。

强调一个重点：适合rsync

null和null/ 区别，null是目录和目录下的内容，

null/只是目录下的内容，不含本身。

3）rsync守护进程模式

首先要搭建rsync服务端(要有守护进程)，然后才能在客户端实现推拉数据。

企业运维的重要模式，重点讲。

客户端语法暂时不讲。

rsync服务模式：*****开启后台进程，接受别人访问。

7、rsync命令参数

rsync命令参数：

-v, --verbose  显示输出过程

-z, --compress 压缩

-a, --archive  多参数集合(-rtopgDl)

-r, --recursive 递归

-t, --times    保持修改时间属性

-o, --owner    保持属主不变

-p, --perms    保持权限不变

-g, --group    保持用户组不变

-l, --links    保持拷贝软连接

-q, --quiet    安静的拷贝

--bwlimit=KBPS 限制I/O带宽，KBytes per second。

--delete      删除

--exclude      排除

--exclude-from 从文件中排除

企业常用参数组合：-avz或者-vzrtopg

8、rsync守护进程模式应用实践

（1）以下操作都是在backup服务器

1）安装

[root@backup ~]# rsync --version

rsync  version 3.1.2  protocol version 31

[root@backup ~]# yum install rsync（不需要）

2）配置配置文件/etc/rsyncd.conf

备份

cp /etc/rsyncd.conf{,.ori}

cat>/etc/rsyncd.conf<

#rsync_config_______________start

#created by oldboy

#site: http://www.oldboyedu.com

uid = rsync

gid = rsync

use chroot = no

fake super = yes

max connections = 200

timeout = 600

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

log file = /var/log/rsyncd.log

ignore errors

read only = false

list = false

hosts allow = 172.16.1.0/24

hosts deny = 0.0.0.0/32

auth users = rsync_backup

secrets file = /etc/rsync.password

[backup]

comment = welcome to oldboyedu backup!

path = /backup/

EOF

man rsync 查命令的参数

man rsyncd.conf 查配置参数

https://www.samba.org/ftp/rsync/rsync.html

学会获取知识的源头。——老男孩

创建用户和备份目录

[root@backup ~]# useradd rsync

[root@backup ~]# id rsync

uid=1001(rsync) gid=1001(rsync) 组=1001(rsync)

[root@backup ~]# mkdir -p /backup

[root@backup ~]# chown -R rsync.rsync /backup/

[root@backup ~]# ls -ld /backup/

drwxr-xr-x 2 rsync rsync 6 4月  15 12:12 /backup/

3）启动和检查

rsync --daemon（c6及以前）

systemctl start rsyncd

systemctl enable rsyncd

systemctl status rsyncd

[root@backup ~]# ps -ef|grep sync|grep -v grep  #检查进程

root      7521      1  0 11:39 ?        00:00:00 /usr/bin/rsync --daemon --no-detach

[root@backup ~]# netstat -lntup|grep 873 #检查端口

tcp        0      0 0.0.0.0:873            0.0.0.0:*              LISTEN      7521/rsync         

tcp6      0      0 :::873                  :::*                    LISTEN      7521/rsync


[root@backup ~]# lsof -i :873 #检查端口

COMMAND  PID USER  FD  TYPE DEVICE SIZE/OFF NODE NAME

rsync  7521 root    3u  IPv4  41439      0t0  TCP *:rsync (LISTEN)

rsync  7521 root    5u  IPv6  41440      0t0  TCP *:rsync (LISTEN)

面试题：如何查看某端口对应什么服务？答案就是上面两个。

4）配置密码文件

[root@backup ~]# echo "rsync_backup:oldboy" > /etc/rsync.password

[root@backup ~]# chmod 600 /etc/rsync.password

[root@backup ~]# cat /etc/rsync.password

rsync_backup:oldboy

[root@backup ~]# ls -l /etc/rsync.password

-rw------- 1 root root 20 4月  15 11:51 /etc/rsync.password

rsync服务端配置完成。

（2）以下操作都是在客户端服务器

以下方法2选1

方法1：认证密码文件

[root@nfs01 ~]# echo "oldboy" > /etc/rsync.password

[root@nfs01 ~]# chmod 600 /etc/rsync.password

[root@nfs01 ~]# cat /etc/rsync.password

oldboy

[root@nfs01 ~]# ls -l /etc/rsync.password

-rw------- 1 root root 7 4月  15 11:55 /etc/rsync.password

方法2：

[root@nfs01 ~]# echo ' export RSYNC_PASSWORD=oldboy' >>/etc/bashrc

[root@nfs01 ~]# tail -1 /etc/bashrc

export RSYNC_PASSWORD=oldboy

[root@nfs01 ~]# . /etc/bashrc

[root@nfs01 ~]# echo $RSYNC_PASSWORD

oldboy

rsync客户端 nfs01 配置完成

（3）守护进程模式，客户端rsync的命令语法：

配置服务器端守护进程，实现数据传输：

1、服务器端守护进程。2、客户端执行命令。

拉门、推门 思考：

pull,拉：从远端拉取到本地。

语法1（常用）：

rsync     [OPTION...] [USER@]HOST::SRC...                 [DEST]

rsync命令 参数选项 [虚拟用户]@[主机地址]::[模块名]     本地路径

语法2:

rsync     [OPTION...] rsync://[USER@]HOST::SRC...               [DEST]

rsync命令 参数选项 rsync://[虚拟用户]@[主机地址]/[模块名] 本地路径

push,推：从本地推到远端。

语法1（常用）：               

rsync     [OPTION...]   [DEST]        [USER@]HOST::SRC...                

rsync命令 参数选项   本地路径      [虚拟用户]@[主机地址]::[模块名]    

语法2:                   

rsync     [OPTION...]   [DEST] rsync://[USER@]HOST::SRC...            

rsync命令 参数选项   本地路径 rsync://[虚拟用户]@[主机地址]/[模块名]

（4）测试成果

错误1：

[root@nfs01 ~]# rsync -avz /etc/hosts [email protected]::backup --password-file=/etc/rsync.password

@ERROR: invalid uid rsync

rsync error: error starting client-server protocol (code 5) at main.c(1648) [sender=3.1.2]

解答：

[root@backup ~]# useradd rsync

[root@backup ~]# id rsync

uid=1001(rsync) gid=1001(rsync) 组=1001(rsync)

[root@backup ~]# mkdir -p /backup

[root@backup ~]# chown -R rsync.rsync /backup/

[root@backup ~]# ls -ld /backup/

drwxr-xr-x 2 rsync rsync 6 4月  15 12:12 /backup/

错误2：

[root@nfs01 ~]# rsync -avz /etc/hosts [email protected]::backup --password-file=/etc/rsync.password

sending incremental file list

hosts

rsync: chgrp ".hosts.YDuTjO" (in backup) failed: Operation not permitted (1)

sent 223 bytes  received 124 bytes  694.00 bytes/sec

total size is 332  speedup is 0.96

rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1178) [sender=3.1.2]

解答：增加如下参数到/etc/rsyncd.conf

fake  super  = yes #不用root用户也可以存储文件的完整属性。

This allows the full attributes of a file to  be  stored  without having to have the daemon actually running as root.

[root@backup ~]# grep fake /etc/rsyncd.conf

fake super = yes

改完配置，要重启服务：

[root@backup ~]# systemctl restart rsyncd

在测试：成功

[root@nfs01 ~]# rsync -avz /etc/hosts [email protected]::backup --password-file=/etc/rsync.password

sending incremental file list

hosts

sent 89 bytes  received 49 bytes  276.00 bytes/sec

total size is 332  speedup is 2.41

rsync -avz /etc [email protected]::backup --password-file=/etc/rsync.password

服务端检查：

[root@backup ~]# ls /backup/

hosts

[root@backup ~]# ls /backup/

etc  hosts

如果客户端按照环境变量的方式配置，则可以忽略--password-file=/etc/rsync.password参数。

[root@nfs01 ~]# rsync -avz /etc [email protected]::backup

sending incremental file list

sent 52,071 bytes  received 644 bytes  105,430.00 bytes/sec

total size is 31,244,350  speedup is 592.70

测试增量

[root@nfs01 ~]# touch /etc/oldboy.txt

[root@nfs01 ~]# rsync -avz /etc [email protected]::backup

sending incremental file list

etc/oldboy.txt

sent 52,098 bytes  received 655 bytes  105,506.00 bytes/sec

total size is 31,244,350  speedup is 592.28

你可能感兴趣的:(rsync)

  • 解决rsync 同步auth failed on module问题 w36680130 rsyncauthfailedrsync认证失败问题rsync报错
    解决rsync同步authfailedonmodule问题参考文章：（1）解决rsync同步authfailedonmodule问题（2）https://www.cnblogs.com/LD-linux/p/3822162.html备忘一下。
  • rsync exited with code 255.Load key “...“: invalid format Permission denied, please try again. 沧州刺史 后端服务器运维githubactionslinuxssh
    在配置githubactions自动部署前端项目到服务器上时，登录服务器使用的是秘钥登录。出现报错：[general]GITHUB_WORKSPACE:/home/runner/work/clogin-frontend/clogin-frontend[SSH]Creating/home/runner/.sshdirin/home/runner/work/clogin-frontend/clogin
  • Rsync服务端和客户端多模块和排错 梅坞茶坊 服务器linux服务器linux运维
    一台服务器可能有N多个文件需要同步备份,那怎么办呢?其实这个也很容易解决,就是在服务器端多建几个模块,每个模块包含不同的文件夹,使用同样的密码文件即可实现.如同下面的:usechroot=false#不使用chroot,其实这个应该是针对linux系统来说的.既然是默认的,就不用修改了strictmodes=false#不使用严格的用户限制hostsallow=*#设定允许访问该服务的IP地址,如
  • 【集群架构中的故障集合】_nfs connection reset by peer 2024云技术 2024年程序员学习架构javalinux
    3.Connectionrefused连接拒绝检查是否能ping通对应服务器[12:41root@backup~]#rsync-avz/etc176.16.1.31:/tmpssh:connecttohost176.16.1.31port22:Connectionrefusedrsync:connectionunexpectedlyclosed(0bytesreceivedsofar)[sende
  • 【rsync+ssh】rsync远程同步备份数据 Bogon
    rsync连接远程主机进行同步或备份时有两种途径：1.使用远程shell程序（如ssh或rsh）进行连接2.使用TCP直接连接rsyncdaemonrsyncdaemon是"rsync--daemon"或再加上其他一些选项启动的，它会读取配置文件，默认是/etc/rsyncd.conf，并默认监听在873端口上，当外界有客户端对此端口发起连接请求，通过这个网络套接字就可以完成连接，以后与该客户端通
  • Mac快速复制和删除命令 奔跑的呱呱牛 macos
    Mac快速复制和删除命令在macOS中，有几种不同的方法来快速复制和删除文件。以下是最快的命令行工具和方法：1.快速复制文件的命令：rsyncrsync是一个非常高效的工具，专门用于同步和复制文件。它可以利用差异复制（仅复制变化的文件），适合大文件或大量文件的复制任务。语法：rsync-av--progress[source][destination]-a:保留文件权限、符号链接等元数据。-v:显
  • Linux学习-inotify和rsync同步 丢爸 网络Linuxlinux学习服务器
    Inotify是一个Linux特性，它监控文件系统操作，比如读取、写入和创建。Inotify反应灵敏，用法非常简单，并且比cron任务的繁忙轮询高效得多。Inotify实际基于事件驱动机制，为应用程序监控文件系统事件提供了实时响应事件的机制，无须通过cron等的轮询机制来获取事件。cron等机制不仅无法做到实时性，而且消耗大量系统资源。相比之下，inotify基于事件驱动，可以做到对事件处理的实时
  • 详解 JuiceFS sync 新功能，选择性同步增强与多场景性能优化 Juicedata 性能优化
    JuiceFSsync是一个强大的数据同步工具，支持在多种存储系统之间进行并发同步或迁移数据，包括对象存储、JuiceFS、NFS、HDFS、本地文件系统等。此外，该工具还提供了增量同步、模式匹配（类似Rsync）、分布式同步等高级功能。在最新的v1.2版本中，针对Juicesync我们引入了多项新功能，并对多个场景进行了性能优化，以提高用户在处理大目录和复杂迁移时的数据同步效率。新增功能增强选择
  • linux快速删除大量目录,Linux 快速删除大量小文件方法 摸鱼的月鸪 linux快速删除大量目录
    当我们在linux系统中要删除数万或者数十万甚至数百万的文件时使用rm-rf*就不太好用，因为要等待很长一段时间。在这种情况之下我们可以使用linux系统命令rsync来巧妙的处理。rsync实际上用的是替换原理，处理数十万个文件也是秒删。1.rsync安装，有些系统默认安装有该命令Ubuntu系统：sudoapt-getinstallrsyncFedora系统：sudoyuminstallrsy
  • 我的世界正在与服务器同步资源文件,ServerSync配置教程 weixin_39704374
    ServerSync在服务器和客户端运行时会生成不同的配置文件，配置文件均存放在config/serversync文件夹中。(3.7.0及以上版本配置文件位于根目录，文件格式由cfg改为json)3.7.0以上版本配置文件有较大改动，本教程第一部分以3.6.0的配置文件为例，3.7.0基本配置类似。第二部分以4.1.0版本为例。第一部分：3.6.0版本及以下Clientmods设置(用于方便推送R
  • windows与服务器之间的数据传递rsync同步文件，跳过服务器上已有的文件 Fu_Xingwen 小工具windows服务器运维
    有时候我们必须将数据上传到服务器当有很多文件时上传过程中由于网络原因可能会导致部分文件丢失那么这个时候就需要进行文件同步这时rsync就派上用场了但是rsync在Ubuntu上比较友好所以我们需要在windows上安装ubuntu子系统然后安装rsync，最后进行文件同步。首先在windows上安装ubuntu子系统windows自带的ubuntu子系统挺好用的推荐教程https://blog.c
  • 云计算实训09——rsync远程同步、自动化推取文件、对rsyncd服务进行加密操作、远程监控脚本 是小赵鸭. linux服务器云计算深度学习
    一、rsync远程同步1.rsync基本概述（1）sync同步（2）async异步（3）rsync远程同步2.rsync的特点可以镜像保存整个目录树和文件系统可以保留原有权限，owner,group,时间，软硬链接，文件acl,文件属性等传输效率高，使用同步算法支持匿名传输，方便网站镜像，安全性高3、rsync与scp的区别两者都可以实现远程同步，但是相对⽐⽽⾔，rsync能⼒更强①⽀持增量备份②
  • Gulp入门个人总结 薰衣草smile
    Gulp入门个人总结参考资料：http://www.ydcss.com/archives/18http://www.techug.com/gulphttp://www.browsersync.cn/一．安装前提条件：已安装nodeJS*所有绿色带下划线均为指令在命令行下操作选装cnpm:受国内网络影响，设在国外的npm服务器在国内访问有可能出现异常，所以可选淘宝团队构建的cnpm来代替npm指令。
  • SpringBoot依赖之Spring Data Redis 一 Hash类型 ahauedu 微服务架构设计springspringbootredis
    概念SpringDataRedis(Access+Driver)依赖名称:SpringDataRedis(Access+Driver)功能描述:Advancedandthread-safeJavaRedisclientforsynchronous,asynchronous,andreactiveusage.SupportsCluster,Sentinel,Pipelining,Auto-Recon
  • SpringBoot依赖之Spring Data Redis 实现HyperLogLog类型 ahauedu 微服务架构设计springspringbootredis
    概念SpringDataRedis(Access+Driver)依赖名称:SpringDataRedis(Access+Driver)功能描述:Advancedandthread-safeJavaRedisclientforsynchronous,asynchronous,andreactiveusage.SupportsCluster,Sentinel,Pipelining,Auto-Recon
  • linux编译环境搭建 bsp linux开发 开发和调试linux运维服务器
    安装软件包sudoapt-getinstalllibssl-devsharutilsuuid-devnasmlibyaml-devrsyncchrpath-ysudoapt-getinstallbuild-essentialbisonflexzlib1g-devlibncurses5-devsubversionquiltintltoolrubyfastjarzipunzipgawkgit-core
  • 2022-01-18 东方水乡
    设计：在windows安装cwrsync-server.41,在客户端安装仅客户端5.4即可即可。1、设置服务器端，修改配置文件以后，重启一下服务。服务端见面下cwrsync.conf2、注意fstab这个文件，必要时进行设置3、密码文件根据必要进行设置。目前没有密码在windows下进备份没有产生问题4、特别注意，备份的文件夹预先要在服务器先存在cwrsync.conf#############
  • 导出文件系统（Centos/Ubuntu/Debian） 书里啥都有 centosubuntudebian
    创建用于存放文件系统的文件夹sudomkdirwenjianjia其中192.168.*.*是需要被保存的设备ip，这个命令执行后你会在文件夹中看到一个完整的文件系统[email protected].*.*:/wenjianjia其中bs是内存块的大小，count是内存块的个数，那么这个系统就要小于我们申请的空间大小（bs*count约为8G）sudoddif=/dev/zero
  • 7月19日学习笔记 Linux系统下数据同步服务RSYNC 妹纸，爷看上你了 〞153 linux学习笔记
    ⼀、RSYNC概述1、什么是rsyncrsync的好姐妹sync同步：刷新⽂件系统缓存，强制将修改过的数据块写⼊磁盘，并且更新超级块。async异步：将数据先放到缓冲区，再周期性（⼀般是30s）的去同步到磁盘。rsync远程同步：==remotesynchronous==数据同步过程sync数据同步=>保存文件（目标）=>强制把缓存中的数据写入磁盘（立即保存），实时性要求⽐较⾼的场景asyn数据异
  • node 批量下载脚本 NanaCti
    安装依赖requestconstrequest=require('request');constfs=require('fs');constpath=require('path');创建储存视频的文件夹if(!fs.existsSync(path.join(path.join(__dirname,'文件夹名字')))){fs.mkdirSync(path.join(__dirname,'文件夹名字
  • 使用 rsync-deploy-action 同步 Hexo 博客到个人服务器 yeshan333
    前几天写了个基于rsync进行文件同步的Action->rsync-deploy-action。目的有三个：1、深入了解波GitHubActions，感受下GitHub的文档；2、个人博客在我的腾讯云CVM服务器上是部署有一份的「域名：shan333.cn」，之前的博客同步方式是通过Linux的定时任务，觉得不太行，当前博客的更新并没有那么频繁，没必要每隔几个小时就gitpull一下，且服务器还挂
  • 4-10.3 Linux 中的文件同步传输 --- rsync -b、--backup 配合 -a 使用 捌千里路雲和月
    4-10.2提及到单纯用-b或--backup进行文件传输，生成的目标文件是当前的系统时间。那么每次进行相同文件的传输，系统都会进行源文件和目标文件的属性比对。即使文件内容没有变化，由于时间不一致都会进行一轮新的文件传输。如果目标目录有相同文件名的文件，以当前系统时间在目标目录产生一个新文件，旧时间的文件则变为备份文件，后缀带~符号而存在。实际上这样的会变成每次都会传输一次文件，和cp复制文件到目
  • 开源大数据集群部署（十）Ranger usersync部署 大数据
    作者：櫰木rangerusersync部署解压包[[email protected]]#pwd/opt/ranger[[email protected]]#tar-zxvfranger-2.3.0-usersync.tar.gz-C/opt/[[email protected]]#cdranger-2.3.0-usersync修改配置insta
  • SqlSession [.....] was not registered for synchronization because synchronization is not active qiaobing1226 springboot数据库java服务器
    1.报错信息今天运行服务，多线程插入数据库操作的时候（程序运行正常），发现控制台有如下提示信息：willnotbemanagedbySpring报错信息如下：SqlSession[org.apache.ibatis.session.defaults.DefaultSqlSession@3650604c]wasnotregisteredforsynchronizationbecausesynchro
  • linux rsync文件远程增量同步、编写集群文件同步脚本xsync.sh 但行益事莫问前程 linux命令linux
    文章目录1.rsync简介2.rsync语法3.编写集群文件同步脚本xsync.sh1.rsync简介  rsync即remotesync（远程同步），实现本地主机和远程主机上的文件同步，但不能实现远程路径1到远程路径2之间的同步(使用scp)。使用rsync命令备份数据时，不会直接覆盖以前的数据（如果数据已经存在），而是先判断已经存在的数据和新数据的差异，只有数据不同时才会覆盖安装rsync：y
  • nodejs获取文件夹下所有文件 锦绣前程
    functionfindSync(startPath){letresult=[];functionfinder(path){letfiles=fs.readdirSync(path);files.forEach((val,index)=>{letfPath=join(path,val);letstats=fs.statSync(fPath);if(stats.isDirectory())finde
  • 每天一个Linux命令之scp SCOR_PIO
    scp命令用于在Linux下进行远程拷贝文件的命令，和它类似的命令有cp，不过cp只是在本机进行拷贝不能跨服务器，而且scp传输是加密的。可能会稍微影响一下速度。当你服务器硬盘变为只读readonlysystem时，用scp可以帮你把文件移出来。另外，scp还非常不占资源，不会提高多少系统负荷，在这一点上，rsync就远远不及它了。虽然rsync比scp会快一点，但当小文件众多的情况下，rsync
  • 集群同步分发脚本 日写BUG八百行 linuxshell
    写脚本之前先安装服务yuminstallrsync-y#!/bin/bash#$#：表示传递给脚本或函数的参数个数。#1获取输入参数个数，如果没有参数，直接退出pcount=$#if((pcount==0));thenechonoargs;exit;fi#2获取文件名称p1=$1fname=`basename$p1`echofname=$fname#3获取上级目录到绝对路径pdir=`cd-P$(
  • 数据同步工具--Rsync ikaroskun
    远程数据同步工具--Rsync在服务器之间进行数据同步时，Rsync是一个很有用的工具。rsync使用所谓的“rsync算法”来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快.关于基本操作：参考一下几篇不错的文章：rsync同步的艺术rsync命令使用arch-wiki
  • bat通过ssh增量同步文件夹 三希 ssh运维
    要通过SSH使用批处理文件（.bat）进行文件夹的增量同步，你可以使用rsync命令，这是一个非常强大的文件同步工具，它支持增量同步。以下是一个简单的批处理脚本示例，该脚本使用SSH连接到一个远程服务器，并使用rsync进行增量同步。首先，确保你的本地计算机上安装了SSH客户端（如OpenSSH）和rsync。在Windows上，你可以使用像GitBash、Cygwin、WindowsSubsys
  • Dom 周华华 JavaScripthtml
    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/xhtml&q
  • 【Spark九十六】RDD API之combineByKey bit1129 spark
    1. combineByKey函数的运行机制   RDD提供了很多针对元素类型为(K,V)的API，这些API封装在PairRDDFunctions类中，通过Scala隐式转换使用。这些API实现上是借助于combineByKey实现的。combineByKey函数本身也是RDD开放给Spark开发人员使用的API之一   首先看一下combineByKey的方法说明：
  • msyql设置密码报错：ERROR 1372 (HY000): 解决方法详解 daizj mysql设置密码
    MySql给用户设置权限同时指定访问密码时，会提示如下错误： ERROR 1372 (HY000): Password hash should be a 41-digit hexadecimal number；   问题原因：你输入的密码是明文。不允许这么输入。   解决办法：用select password('你想输入的密码');查询出你的密码对应的字符串， 然后
  • 路漫漫其修远兮 吾将上下而求索 周凡杨 学习 思索
    王国维在他的《人间词话》中曾经概括了为学的三种境界古今之成大事业、大学问者，罔不经过三种之境界。“昨夜西风凋碧树。独上高楼，望尽天涯路。”此第一境界也。“衣带渐宽终不悔，为伊消得人憔悴。”此第二境界也。“众里寻他千百度，蓦然回首，那人却在灯火阑珊处。”此第三境界也。学习技术，这也是你必须经历的三种境界。第一层境界是说，学习的路是漫漫的，你必须做好充分的思想准备，如果半途而废还不如不要开始。这里，注
  • Hadoop(二)对话单的操作 朱辉辉33 hadoop
    Debug： 1、 A = LOAD '/user/hue/task.txt' USING PigStorage(' ') AS (col1,col2,col3); DUMP A; //输出结果前几行示例： (>ggsnPDPRecord(21),,) (-->recordType(0),,) (-->networkInitiation(1),,)
  • web报表工具FineReport常用函数的用法总结（日期和时间函数） 老A不折腾 finereport报表工具web开发
    web报表工具FineReport常用函数的用法总结（日期和时间函数）   说明：凡函数中以日期作为参数因子的，其中日期的形式都必须是yy/mm/dd。而且必须用英文环境下双引号(" ")引用。   DATE DATE(year,month,day):返回一个表示某一特定日期的系列数。 Year:代表年，可为一到四位数。 Month:代表月份。
  • c++ 宏定义中的##操作符 墙头上一根草 C++
    #与##在宏定义中的--宏展开 #include <stdio.h> #define f(a,b) a##b #define g(a)   #a #define h(a) g(a) int main() {       &nbs
  • 分析Spring源代码之，DI的实现 aijuans springDI现源代码
    (转) 分析Spring源代码之，DI的实现 2012/1/3 by tony                 接着上次的讲，以下这个sample [java]  view plain copy print
  • for循环的进化 alxw4616 JavaScript
    // for循环的进化 // 菜鸟 for (var i = 0; i < Things.length ; i++) { // Things[i] } // 老鸟 for (var i = 0, len = Things.length; i < len; i++) { // Things[i] } // 大师 for (var i = Things.le
  • 网络编程Socket和ServerSocket简单的使用 百合不是茶 网络编程基础IP地址端口
      网络编程;TCP/IP协议   网络:实现计算机之间的信息共享,数据资源的交换   协议:数据交换需要遵守的一种协议,按照约定的数据格式等写出去   端口:用于计算机之间的通信      每运行一个程序，系统会分配一个编号给该程序，作为和外界交换数据的唯一标识 0~65535   查看被使用的
  • JDK1.5 生产消费者 bijian1013 javathread生产消费者java多线程
    ArrayBlockingQueue：        一个由数组支持的有界阻塞队列。此队列按 FIFO（先进先出）原则对元素进行排序。队列的头部 是在队列中存在时间最长的元素。队列的尾部 是在队列中存在时间最短的元素。新元素插入到队列的尾部，队列检索操作则是从队列头部开始获得元素。 ArrayBlockingQueue的常用方法：
  • JAVA版身份证获取性别、出生日期及年龄 bijian1013 java性别出生日期年龄
            工作中需要根据身份证获取性别、出生日期及年龄，且要还要支持15位长度的身份证号码，网上搜索了一下，经过测试好像多少存在点问题，干脆自已写一个。 CertificateNo.java package com.bijian.study; import java.util.Calendar; import
  • 【Java范型六】范型与枚举 bit1129 java
    首先，枚举类型的定义不能带有类型参数，所以，不能把枚举类型定义为范型枚举类，例如下面的枚举类定义是有编译错的   public enum EnumGenerics<T> { //编译错，提示枚举不能带有范型参数 OK, ERROR; public <T> T get(T type) { return null;
  • 【Nginx五】Nginx常用日志格式含义 bit1129 nginx
    1. log_format 1.1 log_format指令用于指定日志的格式，格式：   log_format name(格式名称) type(格式样式)   1.2 如下是一个常用的Nginx日志格式：   log_format main '[$time_local]|$request_time|$status|$body_bytes
  • Lua 语言 15 分钟快速入门 ronin47 lua 基础
    - - 单行注释 - - [[      [多行注释] - - ]]   - - - - - - - - - - - 1. 变量 & 控制流 - - - - - - - - - - num = 23 - - 数字都是双精度 str = 'aspythonstring'
  • java-35.求一个矩阵中最大的二维矩阵 ( 元素和最大 ) bylijinnan java
    the idea is from: http://blog.csdn.net/zhanxinhang/article/details/6731134 public class MaxSubMatrix { /**see http://blog.csdn.net/zhanxinhang/article/details/6731134 * Q35 求一个矩阵中最大的二维
  • mongoDB文档型数据库特点 开窍的石头 mongoDB文档型数据库特点
    MongoDD: 文档型数据库存储的是Bson文档-->json的二进制 特点：内部是执行引擎是js解释器，把文档转成Bson结构，在查询时转换成js对象。 mongoDB传统型数据库对比    传统类型数据库：结构化数据，定好了表结构后每一个内容符合表结构的。也就是说每一行每一列的数据都是一样的    文档型数据库：不用定好数据结构，
  • [毕业季节]欢迎广大毕业生加入JAVA程序员的行列 comsci java
        一年一度的毕业季来临了。。。。。。。。      正在投简历的学弟学妹们。。。如果觉得学校推荐的单位和公司不适合自己的兴趣和专业，可以考虑来我们软件行业，做一名职业程序员。。。      软件行业的开发工具中，对初学者最友好的就是JAVA语言了，网络上不仅仅有大量的
  • PHP操作Excel – PHPExcel 基本用法详解 cuiyadll PHPExcel
    导出excel属性设置//Include classrequire_once('Classes/PHPExcel.php');require_once('Classes/PHPExcel/Writer/Excel2007.php');$objPHPExcel = new PHPExcel();//Set properties 设置文件属性$objPHPExcel->getProperties
  • IBM Webshpere MQ Client User Issue (MCAUSER) darrenzhu IBMjmsuserMQMCAUSER
    IBM MQ JMS Client去连接远端MQ Server的时候，需要提供User和Password吗？ 答案是根据情况而定，取决于所定义的Channel里面的属性Message channel agent user identifier (MCAUSER)的设置。 http://stackoverflow.com/questions/20209429/how-mca-user-i
  • 网线的接法 dcj3sjt126com
    一、PC连HUB (直连线)A端：（标准568B）：白橙，橙，白绿，蓝，白蓝，绿，白棕，棕。 B端：（标准568B）：白橙，橙，白绿，蓝，白蓝，绿，白棕，棕。 二、PC连PC （交叉线）A端：(568A)： 白绿，绿，白橙，蓝，白蓝，橙，白棕，棕； B端：（标准568B）：白橙，橙，白绿，蓝，白蓝，绿，白棕，棕。 三、HUB连HUB&nb
  • Vimium插件让键盘党像操作Vim一样操作Chrome dcj3sjt126com chromevim
    什么是键盘党？ 键盘党是指尽可能将所有电脑操作用键盘来完成，而不去动鼠标的人。鼠标应该说是新手们的最爱，很直观，指哪点哪，很听话！不过常常使用电脑的人，如果一直使用鼠标的话，手会发酸，因为操作鼠标的时候，手臂不是在一个自然的状态，臂肌会处于绷紧状态。而使用键盘则双手是放松状态，只有手指在动。而且尽量少的从鼠标移动到键盘来回操作，也省不少事。 在chrome里安装 vimium 插件
  • MongoDB查询（2）——数组查询[六] eksliang mongodbMongoDB查询数组
    MongoDB查询数组 转载请出自出处：http://eksliang.iteye.com/blog/2177292 一、概述  MongoDB查询数组与查询标量值是一样的，例如，有一个水果列表，如下所示： > db.food.find() { "_id" : "001", "fruits" : [ "苹
  • cordova读写文件（1） gundumw100 JavaScriptCordova
    使用cordova可以很方便的在手机sdcard中读写文件。 首先需要安装cordova插件：file 命令为： cordova plugin add org.apache.cordova.file 然后就可以读写文件了，这里我先是写入一个文件，具体的JS代码为： var datas=null;//datas need write var directory=&
  • HTML5 FormData 进行文件jquery ajax 上传 到又拍云 ileson jqueryAjaxhtml5FormData
    html5 新东西：FormData  可以提交二进制数据。 页面test.html <!DOCTYPE> <html> <head> <title> formdata file jquery ajax upload</title> </head> <body> <
  • swift appearanceWhenContainedIn:(version1.2 xcode6.4) 啸笑天 version
      swift1.2中没有oc中对应的方法： + (instancetype)appearanceWhenContainedIn:(Class <UIAppearanceContainer>)ContainerClass, ... NS_REQUIRES_NIL_TERMINATION;  解决方法： 在swift项目中新建oc类如下： #import &
  • java实现SMTP邮件服务器 macroli java编程
    电子邮件传递可以由多种协议来实现。目前，在Internet 网上最流行的三种电子邮件协议是SMTP、POP3 和 IMAP，下面分别简单介绍。 　　◆ SMTP 协议 　　简单邮件传输协议(Simple Mail Transfer Protocol,SMTP)是一个运行在TCP/IP之上的协议，用它发送和接收电子邮件。SMTP 服务器在默认端口25上监听。SMTP客户使用一组简单的、基于文本的
  • mongodb group by having where 查询sql qiaolevip 每天进步一点点学习永无止境mongo纵观千象
    SELECT cust_id, SUM(price) as total FROM orders WHERE status = 'A' GROUP BY cust_id HAVING total > 250 db.orders.aggregate( [ { $match: { status: 'A' } }, { $group: {
  • Struts2 Pojo（六） Luob. POJOstrust2
    注意：附件中有完整案例 1.采用POJO对象的方法进行赋值和传值 2.web配置 <?xml version="1.0" encoding="UTF-8"?> <web-app version="2.5" xmlns="http://java.sun.com/xml/ns/javaee&q
  • struts2步骤 wuai struts
    1、添加jar包 2、在web.xml中配置过滤器 <filter>        <filter-name>struts2</filter-name>        <filter-class>org.apache.st
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他