怎么把Linux 的文件快速传给10台服务器?文件分发软件的安装配置
sinye56 2024-12-18 16:55 11 浏览 0 评论
背景说明
我们每天都在使用观看视频、浏览新闻、网络购物、网络聊天等等服务,给我们提供这些服务的后端服务器是怎么运作的?一台服务器能承载我们所有人的访问吗?多台服务器之间的文件怎么做到同步的?
带着这些问题,开始我们今天的讲述。
Linux服务器下快速将文件传递给其他10台(或许是100台)服务器的方法有好多种,人工用U盘拷贝、利用共享文件Samba系统复制等等。今天我们要使用的是另外一种方法,Rsync文件同步分发软件
Rsync是什么?
Rsync是Linux系统下的数据镜像备份工具。Rsync的客户端会将服务器端的指定的文件完整的同步到本地服务器上。Rsync支持无限多级的文件分发同步,可以镜像保存整个目录树和文件系统,可以做到保持原来文件的权限、时间、软硬链接等等。Rsync在传输的过程中支持压缩和解压缩,可以大幅度节约带宽。可以使用scp、ssh方式来传输文件以保证数据安全,当然也可以使用直接socket连接的方式。
工作过程是:第一次同步会将所有文件复制到本地服务器,下一次同步的时候,只同步新增或修改的文件。
做个不恰当的比喻,Rsync的文件同步特别像主服务器在台上演讲,Rsync子服务器在下面一边听一边记录,以便传达下去。
安装规划
我们以1主3子共4台服务器的网络环境作为举例,来看看Rsync是如何安装、设置和运作的。
以前比较喜欢源码编译的方式来安装各种的软件,碰到一个文件就下载源码包,然后"./configure"、"make",再然后"make install"。后来发现,有些软件的源码自己根本就没看过,也不准备去更改一下它的代码和配置,所以还不如直接就用YUM安装的方式。这样做最大的好处是不耽误时间。
另外,我没有更改CentOS Linux 8的默认包管理软件(默认是:DNF),以下所有的DNF操作,都是用YUM来完成的,毕竟CentOS Linux 8里面加上了YUM对DNF的软链接。
防火墙设置
Rsync服务会开启一个873/tcp的端口(port),要在服务器端的防火墙上开启这个端口。关于防火墙的安装与管理,请参考我发的相关文章。
针对内网IP开启873/tcp端口(port)的命令如下:
firewall-cmd --permanent --zone=public --add-rich-rule='rule family="ipv4" source address="192.168.1.1/24" port protocal="tcp" port="873" accept'
以上指令比较好理解,你可以对照修改
本次为了测试方便,以免出现权限问题,我们一并吧selinux和防火墙全部关闭掉,然后重启服务器,生产环境中不要这么操作。具体操作如下:
运行以下命令,关闭防火墙
systemctl stop firewalld #临时关闭防火墙
systemctl disable firewalld #禁止开机启动防火墙
systemctl status firewalld #查看防火墙状态。
关闭SELINUX
运行以下命令:
vi /etc/selinux/config #SELINUX配置文件
相关参数修改如下:
#SELINUX=enforcing
SELINUX=disabled
重启服务器,然后查看SELINUX状态:
reboot #重启
getenforce #查询SELinux的运行模式,permissive(宽容模式);enforcing(强制模式);
/usr/sbin/sestatus -v #查看SELINUX的状态
显示如下内容,则说明SELINUX已经关闭了
关闭防火墙和SELinux成功。
安装并配置Rsync
为了以后灵活方便,一下操作我们在4台服务器上均进行操作,这样即使主服务器192.168.1.222损坏无法使用,另外一台服务器也可以即使顶替上去。
运行以下指令安装:
dnf -y install rsync rsync-daemon
创建运行中需要用到的目录
mkdir -p /log/rsync/
mkdir -p /data/rsync/conf/
mkdir -p /data/rsync/run/
修改主配置文件rsyncd.conf,执行命令:
vi /etc/rsyncd.conf
录入下列文件内容:
uid = root
gid = root
port = 873
#use chroot = no #是否可以改变同步的根目录
#read only = yes #只读或者可以上传文件
#hosts allow=192.168.1.223
#hosts deny=*
# transfer logging = yes
#motd file = /data/rsync/conf/motd
# log format = %t %a %m %f %b
# syslog facility = local3
# timeout = 300
max connections = 200
pid file = /data/rsync/run/rsyncd.pid
lock file = /data/rsync/run/rsync.lock
log file = /log/rsync/rsyncd.log
[wwwroot] //客户端使用rsync来同步的路径,只是模块名称,无需跟目录名字相同
path = /wwwroot
comment = lg69_rsync
read only = yes
auth users = pusher
secrets file = /data/rsync/conf/server.pass
hosts allow = 192.168.1.0/24,2.2.2.0/24,3.3.3.0/24,4.4.4.0/24,5.5.5.0/24
# list=yes
# ignore errors
# exclude = test/ test.php
编辑生成服务端密码文件,此文件为服务器端使用;列出可以登录的用户名和密码
vi /data/rsync/conf/server.pass
内容如下:
pusher:7d5df8ed3057bc3e09d52c718e724a75
编辑客户端密码文件,此文件为客户端使用;登录的密码,与server.pass内容对应
vi /data/rsync/conf/client.pass
内容如下:
7d5df8ed3057bc3e09d52c718e724a75
配置不可被同步的文件内容列表
vi /data/rsync/conf/site.exclude.list
内容就像下面的这样就可以
test/user
login.php
login
修改各文件的权限
chmod 600 /data/rsync/conf/server.pass
chmod 600 /data/rsync/conf/client.pass
chmod 600 /data/rsync/conf/site.exclude.list
上述内容最好台服务器都配置上,这样一但主服务器出问题,任何一台服务器都可以作为主服务器来使用。
启动Rsync服务
主服务器服务端操作,只在192.168.1.222上配置
启动Rsync服务,等同于systemctl start rsyncd
service rsyncd start
设置开机启动Rsync服务
systemctl enable rsyncd
ps -aux | grep rsync #如果看到rsync的进程在,就说明启动成功了
能看到类似如下内容,就说明启动成功了
到这里务器端启动就完成了
service rsyncd start #等同于systemctl start rsyncd 启动Rsync服务
service rsyncd stop #等同于systemctl stop rsyncd 关闭Rsync服务
service rsyncd status #等同于systemctl status rsyncd 查看Rsync服务状态
systemctl enable rsyncd #设置开机启动Rsync服务
systemctl disable rsyncd #设置开机不启动Rsync服务
客户端操作并测试使用
设置客户端的可执行文件(拉取服务端文件的shell),在223、224和225上操作
vi /root/get.sh
内容如下(大意是获取服务端/wwwroot/下所有的文件):
#!/bin/bash
/usr/bin/rsync -vrtopg --password-file=/data/rsync/conf/client.pass --exclude-from=/data/rsync/conf/site.exclude.list --progress pusher@192.168.1.222::wwwroot /wwwroot/
给这个文件可执行的权限
chmod +x /root/get.sh #client.pass和site.exclude.list上面已经介绍了这里直接使用
测试同步文件
获取一下文件试试
./get.sh #同步一下试试 注:客户端的rsync配置最好和服务端一模一样
已经将服务器端(222)上的hello.php文件同步到本地服务器(228)上了。
配置服务器自动同步文件
执行命令:
crontab -e
crontab默认使用vi编辑,填入一下内容:
*/10 8-23 * * * /root/get.sh
0 0-7 * * * /root/get.sh
说明:8-23点每10分钟执行一次,0-7每一小时执行一次
至此我们已经将所有的安装配置操作完毕,222服务器上/wwwroot/目录下新增或修改的任何文件,223-225都会同步获取到。这里举的是4台服务器的例子,如果你的服务器能承受得了压力,可以扩展到任意台服务器上去。
在实际的使用过程中,如果/wwwroot/目录中的文件过多,可以会出现性能极具下降的情况,极端的情况是同步文件失败。当发生这种情况的时候,我们可以设置每一次同步只同步/wwwroot/下面的一个子目录,但是我们多设置多个同步脚本,也就是将/wwwroot/下的子目录每个设置一个同步脚本,这样就能解决这个问题。
相关推荐
- 一个不错的软件版本命名规范!
-
之前写了一篇如何自动生成版本号的文章,《让你的C程序,自动打印版本信息》初衷是让自己的程序在运行时自动打印与版本相关的信息,避免测试时因为版本信息不确定导致的一些功能对应不上去的问题,当时留了一个坑,...
- 国产操作系统迎来发展风口 公务领域更能培育起Linux生态
-
谷歌和微软在俄罗斯市场的一番套路猛如虎,就让我们深刻地意识到了,只有自己的东西才能靠得住。也由此,国内操作系统发展迎来了发展风口。我就看到有朋友就秀出了他们单位采购的纯国产的主机,一款华为的主机,纯国...
- 5个大有“前途”的Linux桌面发行版本
-
ZD至顶网CIO与应用频道08月27日专栏:Linux无处不在。你的服务器里,你的电话、汽车、手表、烤面包机、冰箱……和台式机里都有Linux的身影。虽然在桌面上见到Linux的用户比在自动调温...
- Linux 常用应用软件大全
-
编译自:https://www.fossmint.com/most-used-linux-applications/作者:MartinsD.Okoi译者:HankChow对于许多应用程序...
- Linux 4.1 系列的最大版本 4.1.18 LTS发布,带来大量修改
-
(LCTT译注:这是一则过期的消息,但是为了披露更新内容,还是发布出来给大家参考)著名的内核维护者GregKroah-Hartman貌似正在度假中,因为SashaLevin2016年2月16日的...
- Linux发行版需要杀软吗?卡巴斯基推出免费KVRT病毒扫描清理工具
-
IT之家6月4日消息,你认为使用Linux发行版,需要杀毒软件吗?或许很多用户认为Linux发行版偏小众,因此受到黑客攻击的风险也相对较小,不过卡巴斯基并不这么认为,近期推出了适用于...
- 适合开发人员的 5款 Linux 发行版
-
什么是Linux?Linux是基于Unix的操作系统。由LinusTorvalds开发于1991年首次发布其内核。因为Linux是开源软件,其发行版由不同组织发布,因此不同的发行版具有不同的风格...
- VMware Workstation 17.0 Pro 发布:新增 TPM 2.0 完美兼容Win11
-
IT之家11月18日消息,VMwareWorkstation17.0Pro现已发布,它带来了许多新特性,例如微软Windows11硬性要求:虚拟可信平台模块(TPM)2.0。...
- 你是否需要一个容器专用的Linux发行版本?
-
单单使用容器是不够的,提供商们认为你需要一个容器专用的Linux发行版本。我们可以让容器在不同的操作系统上运行,不同的操作系统都有自己的虚拟化服务,如:SolarisZones、BSDJails、...
- Tizen 3.0版本发布 采用Linux 4.1内核
-
2015-09-2111:31:39作者:马荣【中关村在线软件资讯】9月21日消息:尽管三星靠着Android系统设备在移动市场赚钱,但是仍然没有忘记自家的Tizen开发。现在Tizen3.0版...
- 欧拉操作系统演进:应用累计超130万套 支持鲲鹏、英特尔、飞腾等芯片
-
21世纪经济报道记者倪雨晴深圳报道4月15日,在欧拉开发者大会(openEulerDeveloperDay2022)的主论坛上,欧拉首个数字基础设施全场景长周期版openEuler22.03...
- Papyros:以Material Design为灵感的Linux发行版本
-
项目团队并不希望只是采用传统的桌面主题,而是致敬谷歌Android系统的MaterialDesign设计语言想要打造出某些不同以往足够吸引用户的Linux发行版本,自然该版本还在不断的更新和改进中,...
- 比特网早报:全国空间计量技术委员会成立,银河麒麟操作系统上架微信Linux4.0.0版本
-
2024年11月6日消息,昨夜今晨,科技圈都发生了哪些大事?行业大咖抛出了哪些新的观点?比特网为您带来值得关注的科技资讯:全国空间计量技术委员会在北京成立近日,经市场监管总局批准,全国空间计量技术委员...
- 2024年最稳定的5个Linux发行版,赶紧收藏!
-
Linux是最流行的免费开源平台之一。Linux已被广泛使用,因为它安全、可扩展和灵活。Linux发行版收集开源代码,对其进行编译,并将其组合成一个可以轻松启动和安装的操作系统。它们还提供不同的...
- 彰显Linux生态繁华,Ubuntu、Fedora等四发行版同时发布新版本
-
上周对于开源社区来说是忙碌的一周。EndeavourOS和TrueNASScale于周二(4月16日)发布,Fedora于周三(4月17日)发布,Ubuntu于周四(4月18日)发布。四个新版本中都...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- oracle忘记用户名密码 (59)
- oracle11gr2安装教程 (55)
- mybatis调用oracle存储过程 (67)
- oracle spool的用法 (57)
- oracle asm 磁盘管理 (67)
- 前端 设计模式 (64)
- 前端面试vue (56)
- linux格式化 (55)
- linux图形界面 (62)
- linux文件压缩 (75)
- Linux设置权限 (53)
- linux服务器配置 (62)
- mysql安装linux (71)
- linux启动命令 (59)
- 查看linux磁盘 (72)
- linux用户组 (74)
- linux多线程 (70)
- linux设备驱动 (53)
- linux自启动 (59)
- linux网络命令 (55)
- linux传文件 (60)
- linux打包文件 (58)
- linux查看数据库 (61)
- linux获取ip (64)
- linux进程通信 (63)