linux平台利用rsync+inotify使文件自动同步步骤

这个方式比较适合有经常变动的文件及目录，比如：业务系统附件、数据库的归档日志文件等有实时同步需求的场景，我这边目前在oa系统、oracle数据库平台上配置。

本案例环境：

本地节点： 源数据服务器 centos 7 64

异机节点：备份服务器 centos 7 64

其他版本可参考执行。

一、检查是否支持inotify

ls -l /proc/sys/fs/inotify

-rw-r--r-- 1 root root 0 Jul 19 09:07 max_queued_events

-rw-r--r-- 1 root root 0 Jul 19 09:07 max_user_instances

-rw-r--r-- 1 root root 0 Jul 19 09:07 max_user_watches

有这三个文件则表示支持inotify模式

二、异机节点配置（备份服务器）rsync服务

安装rsync

yum install rsync -y

配置rsync服务

vi /etc/rsyncd.conf

# /etc/rsyncd: configuration file for rsync daemon mode

# See rsyncd.conf man page for more options.

# configuration example:

uid = root

gid = root

use chroot = yes

max connections = 4

pid file = /var/run/rsyncd.pid

lock file=/var/run/rsyncd.lock

log file = /var/log/rsyncd.log

exclude = lost+found/

transfer logging = yes

timeout = 900

ignore nonreadable = yes

dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2

# [ftp]

# path = /home/ftp

# comment = ftp export area

[OAFILE]

path=/data/oafile

comment=OAFILE

ignore errors

read only=no

write only=no

list=no

auth users=backup

secrets file=/etc/rsyncd.passwd

hosts allow=*

配置rsync同步密码：

echo "backup:*****" >> /etc/rsyncd.passwd

chmod 600 /etc/rsyncd.passwd

随机启动rsync服务：

systemctl restart rsyncd.service

systemctl enable rsyncd.service

如果有开启防火墙的话，需要允许873端口通过：

firewall-cmd --permanent --add-port=873/tcp

firewall-cmd --reload

三、本地节点（客户端）配置

1、配置rsync

安装rsync 安装即可，不要配置，除非想测试下rsync

yum install rsync -y

#直接将密码写入到/etc/rsyncd.passwd中

echo "*****" >> /etc/rsyncd.passwd

chmod 600 /etc/rsyncd.passwd

#不要启动

#测试下rsync配置是否正确，若要检验的话，需配置

#rsync -avH --port=873 --delete /data/oafile/ backup@39.108.5.248::OAFILE --password-file=/etc/rsyncd.passwd

2、配置inotify

inotify是一种强大的、细粒度的、异步的文件系统事件控制机制。linux内核从2.6.13起，加入了inotify支持，通过inotify可以监控文件系统中添加、删除、修改、移动等各种事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools正是实施监控的软件。 官网：https://sourceforge.net/projects/inotify-tools/

安装配置inotify

cd /data/sofeware

wget http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz

tar zxf inotify-tools-3.14.tar.gz

cd inotify-tools-3.14

./configure --prefix=/usr/local/inotify/

make && make install

echo 8192000 > /proc/sys/fs/inotify/max_user_watches

3、编写同步脚本

vi oafile_inotify_aliyun.sh

#!/bin/bash

host=***.***.***.*** #server的ip(备份服务器)

src=/data/oafile/ #所要监控的备份目录

des=OAFILE #自定义的模块名，需要与rsync中定义的一致

password=/etc/rsyncd.passwd #密码文件

user=backup #用户名 即rsyncd_passwd密码的用户

inotify=/usr/local/inotify/ #inotify的安装目录

#这段就是判断文件是否发生了变化，当发生变化时触发下面的同步命令

${inotify}/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib $src \

| while read files

do

rsync -avzP --delete --timeout=100 --password-file=${password} $src $user@$host::$des

echo "${files} was rsynced" >>/tmp/rsync.log 2>&1

done

chmod +x oafile_inotify.sh

4、测试是否正常

./oafile_inotify.sh

#另起一个command窗口，随便增加、删除、移动 /data/oafile中的文件

#成功的话，在运行命令的窗口，类似有这样的信息

同步日志：

5、将oafile_inotify.sh加入开机启动

cp oafile_inotify.sh /etc/rc.d/init.d/

chconfig --add oafile_inotify.sh

chconfig oafile_inotify.sh on

至此配置完成。

6、需要排除默写目录或者文件的写法

我这个展示需要排除默写目录、文件的写法供参考。

跟进OAfile变化的特点，排除behavior文件的同步和变化的判断

注意：如果要写exclude_list的话，需要分开写，inotify与rsync的写法不一样

vi easdb_inotify.sh

#!/bin/bash

host=***.***.***.*** #server的ip(备份服务器)

src=/data/fast_recovery_area/ #所要监控的备份目录

ifilelst=/data/backup/easdb_inotify.lst

rexcludefilelst=/data/backup/easdb_rsync_exclude.lst

des=CEASDBARC #自定义的模块名，需要与rsync中定义的一致

password=/etc/rsyncd_aliyun.passwd #密码文件

user=backup #用户名 即rsyncd_passwd密码的用户

inotify=/usr/local/inotify/ #inotify的安装目录

#这段就是判断文件是否发生了变化，当发生变化时触发下面的同步命令

${inotify}/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib --fromfile $ifilelst \

| while read files

do

rsync -avzP --delete --timeout=100 --password-file=${password} --exclude-from="${rexcludefilelst}" $src $user@$host::$des

echo "${files} was rsynced" >>/tmp/rsync.log 2>&1

done

vi easdb_inotify.lst

/data/fast_recovery_area/

@/data/fast_recovery_area/ORCL2/onlinelog/

@/data/fast_recovery_area/ORCL2/controlfile/

vi easdb_rsync_exclude.lst

需要排除的文件目录，注意要每个目录独立一行

ORCL2/onlinelog/

ORCL2/controlfile/

如果有不清楚的欢迎留言问下，帮您看下什么问题。

如果觉得对您有用，欢迎转发、转载。