百度360必应搜狗淘宝本站头条
linux文件压缩linux用户组查看linux磁盘mysql安装linuxlinux多线程
当前位置：网站首页 > 优雅编程 > 正文

《github精选系列》——数据库同步中间件(DBSyncer)

sinye56 2024-10-01 20:03 5 浏览 0 评论

1 简单总结

1 应用场景

2 安装说明

3 增量同步配置

3.1 Mysql

3.2 Oracle

3.3 SqlServer

4 预览

5 流程图

6 使用说明

gitee地址:

https://gitee.com/ghi/dbsyncer

2 主要介绍

2.1 介绍

DBSyncer是一款开源的数据同步中间件，提供Mysql、Oracle、SqlServer、SQL结果集等同步场景。支持上传插件自定义同步转换业务，提供监控全量和增量数据统计图、应用性能预警等。

特点

1 组合驱动，自定义库同步到库组合，关系型数据库与非关系型之间组合，任意搭配表同步映射关系

2 实时监控，驱动全量或增量实时同步运行状态、结果、同步日志和系统日志

3 开发插件，自定义转化同步逻辑

2.2 应用场景

Every point is a DataBase

目标源


全量

增量


Mysql

Oracle

SqlServer

Mysql

Oracle

SqlServer


数据源

Mysql

√

√

√

√

√

√


Oracle

√

√

√

√

√

√


SqlServer

√

√

√

√

√

√


DQLMysql

√

√

√

√

√

√


DQLOracle

√

√

√

√

√

√


DQLSqlServer

√

√

√

√

√

√


版本支持

Mysql

5.7.19以上

Oracle

10g以上（Oracle-9i未测试）

SqlServer

2008以上

最近计划

kafka、es、postgrep


2.3 安装说明

准备

1 DBSyncer-1.0.0-Alpha.zip

2 （安装包）

3 JRE 1.8 +

步骤

1 安装JRE1.8版本以上（省略详细）

2 下载安装包DBSyncer-X.X.X-RELEASE.zip

3 解压，进入目录bin，启动脚本startup.bat（Windows）/startup.sh（Linux）

4 打开浏览器，输入访问地址：http://127.0.0.1:18686

5 默认账号和密码：admin/admin


2.4 增量同步配置

类型

配置

原理

Mysql

修改my.ini文件配置:

# 服务唯一ID

server_id=1

log-bin=mysql_bin

binlog-format=ROW

max_binlog_cache_size = 256M

max_binlog_size = 512M

expire_logs_days = 7

# 多个库使用英文逗号“,”拼接

replicate-do-db=test

Dump Binlog二进制日志。Master同步Slave, 创建IO线程读取数据，写入relaylog，基于消息订阅捕获增量数据。

Oracle

授予账号监听权限:

grant change notification to AE86

要求目标源表必须定义一个长度为18的varchar字段，用于接收rowid值，来实现增删改操作

CDN注册订阅。监听增删改事件，得到rowid，根据rowid执行SQL查询，得到变化数据

SqlServer

开启CDC:

要求2008版本以上, 启动代理服务（Agent服务）, 连接账号具有 sysadmin 固定服务器角色或 db_owner 固定数据库角色的成员身份。对于所有其他用户，具有源表SELECT 权限；如果已定义捕获实例的访问控制角色，则还要求具有该数据库角色的成员身份。

SQL Server 2008提供了内建的方法变更数据捕获（Change Data Capture 即CDC）以实现异步跟踪用户表的数据修改

Mysql增量示例

Oracle增量示例

定时示例


2.5 预览

驱动关系配置

驱动表关系配置

监控

上传插件

2.6 使用说明

驱动管理

1 创建一个连接器。选择数据源类型，比如：Mysql，填写配置，保存

2 添加驱动。配置数据源和目标源（数据源：数据的发送端，目标源：数据接收端），保存

3 模式支持全量同步（默认：全量复制）和增量同步（监听变化的数据）

4 基本配置里面，添加映射关系。添加数据源表同步到目标源表关系

5 单击映射关系，进入表字段详细页面，默认匹配相识字段，识别主键（主键用于增量同步，更新和删除使用），保存

6 高级配置省略

7 点击驱动右上角齿轮按钮，启动或删除

8 驱动面板下方显示同步的详细，如果有异常日志，点击日志可跳转至监控菜单查看详细

监控

1 查看驱动同步数据

2 查看系统性能指标

3 查看系统操作日志

其他

1 参数>修改系统参数

2 参数>修改管理员密码

3 注销



《github精选系列》，会持续更新，想了解的朋友可以关注 ，文章有帮助的话可以长按点赞有惊喜！！！文章比较长，大家可以先 收藏、转发后再看，有什么补充可以在下面评论，谢谢大家！

相关推荐

Linux在线安装JDK1.8

首先在服务器pingwww.baidu.com查看是否可以连网然后就可以在线下载一、下载安装JDK1.81、在下载安装的同时做好一些准备工作...

Linux安装JDK，超详细

1、了解RPMRPM是Red-HatPackageManager（RPM软件包管理器）的缩写，这一文件格式名称虽然打上了RedHat的标志，但是其原始设计理念是开放式的，现在包括OpenLinux...

Linux安装jdk1.8(超级详细)

前言最近刚购买了一台阿里云的服务器准备要搭建一个网站，正好将网站的一个完整搭建过程分享给大家！#一、下载jdk1.8首先我们需要去下载linux版本的jdk1.8安装包，我们有两种方式去下载安装...

Linux系统安装JDK教程

下载jdk-8u151-linux-x64.tar.gz下载地址：https://www.oracle.com/technetwork/java/javase/downloads/index.ht...

干货|JDK下载安装与环境变量配置图文教程「超详细」

1.JDK介绍1.1什么是JDK?SUN公司提供了一套Java开发环境，简称JDK(JavaDevelopmentKit)，它是整个Java的核心，其中包括Java编译器、Java运行工具、Jav...

Linux下安装jdk1.8

一、安装环境操作系统：CentOSLinuxrelease7.6.1810(Core)JDK版本：1.8二、安装步骤1.下载安装包...

Linux上安装JDK

以CentOS为例。检查是否已安装过jdk。yumlist--installed|grepjdk或者...

Linux系统的一些常用目录以及介绍

根目录（／）：“／”目录也称为根目录，位于Linux文件系统目录结构的顶层。在很多系统中，“／”目录是系统中的唯一分区。如果还有其他分区，必须挂载到“／”目录下某个位置。整个目录结构呈树形结构，因此也...

Linux系统目录结构

一、系统目录结构几乎所有的计算机操作系统都是使用目录结构组织文件。具体来说就是在一个目录中存放子目录和文件，而在子目录中又会进一步存放子目录和文件，以此类推形成一个树状的文件结构，由于其结构很像一棵树...

Linux文件查找

在Linux下通常find不很常用的，因为速度慢（find是直接查找硬盘），通常我们都是先使用whereis或者是locate来检查，如果真的找不到了，才以find来搜寻。为什么...

嵌入式linux基本操作之查找文件

对于很多初学者来说都习惯用windows操作系统，对于这个系统来说查找一个文件简直不在话下。而学习嵌入式开发行业之后，发现所用到的是嵌入式Linux操作系统，本想着跟windows类似，结果在操作的时...

linux系统查看软件安装目录的方法

linux系统下怎么查看软件安装的目录？方法1：whereis软件名以查询nginx为例子...

Linux下如何对目录中的文件进行统计

统计目录中的文件数量...

Linux常见文件目录管理命令

touch用于创建空白文件touch文件名称mkdir用于创建空白目录还可以通过参数-p创建递归的目录...

Linux常用查找文件方法总结

一、前言Linux系统提供了多种查找文件的命令，而且每种查找命令都具有其独特的优势，下面详细总结一下常用的几个Linux查找命令。二、which命令查找类型：二进制文件；...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表