百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 优雅编程 > 正文

OGG实现虚拟机-->阿里云单向同步全库数据(DML)--第I部分

sinye56 2024-10-11 17:29 6 浏览 0 评论

概述

GoldenGate软件是一种基于日志的结构化数据复制软件。GoldenGate 能够实现大量交易数据的实时捕捉、变换和投递,实现源数据库与目标数据库的数据同步,保持亚秒级的数据延迟。

GoldenGate能够支持多种拓扑结构,包括一对一,一对多,多对一,层叠和双向复制等等。

下面介绍下怎么通过ogg来实现虚拟机的数据库到阿里云数据库单向全库同步。(分几部分做介绍)


GoldenGate基本架构

Oracle GoldenGate主要由如下组件组成

● Extract

● Data pump

● Trails

● Collector

● Replicat

● Manager

Oracle GoldenGate 数据复制过程如下:

利用抽取进程(Extract Process)在源端数据库中读取Online Redo Log或者Archive Log,然后进行解析,只提取其中数据的变化信息,比如DML操作——增、删、改操作,将抽取的信息转换为GoldenGate自定义的中间格式存放在队列文件(trail file)中。再利用传输进程将队列文件(trail file)通过TCP/IP传送到目标系统。

目标端有一个进程叫Server Collector,这个进程接受了从源端传输过来的数据变化信息,把信息缓存到GoldenGate 队列文件(trail file)当中,等待目标端的复制进程读取数据。

GoldenGate 复制进程(replicat process)从队列文件(trail file)中读取数据变化信息,并创建对应的SQL语句,通过数据库的本地接口执行,提交到目标端数据库,提交成功后更新自己的检查点,记录已经完成复制的位置,数据的复制过程最终完成。


安装前准备

1、环境配置

2、进程配置:


3、创建源端和目标端的测试用户

3.1、源端

create user sender identified by oracle default tablespace users temporary tablespace temp;

grant connect,resource,unlimited tablespace to sender;

grant dba to sender;

grant imp_full_database to sender;

3.2、目的端

create user receiver identified by oracle default tablespace users temporary tablespace temp;

grant connect,resource,unlimited tablespace to receiver;

grant dba to receiver;

grant imp_full_database to receiver;


一、源端安装GoldenGate

1、解压软件

安装包为文件ggs_Linux_x64_ora11g_64bit_v11_1_1_0_0_078.tar

上传之后,然后再解压:

# tar -xvf ggs_Linux_x64_ora11g_64bit_v11_1_1_0_0_078.tar -C /opt/software/ogg/

2、创建用户

2.1创建目录

#mkdir -p /opt/software/ogg

#chmod -R 777 /opt/software/ogg

#chown -R oracle:oinstall /opt/software/ogg

2.2 创建ogg用户

#useradd -g oinstall -G dba ggate -d /home/ggate -m

3、设置环境变量

配置goldengate用户变量

#su - ggate

#vi ~/.bashrc

------------------------------------------------------------------------------------------
export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=/u01/app/oracle/product/11.2.0/db_1
export ORACLE_SID=orcl
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/u01/app/oracle/ggate
export GGATE=/opt/software/ogg
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib
export PATH=$PATH:$ORACLE_HOME/bin:$GGATE
-------------------------------------------------------------------------------------------

#source ~/.bashrc

4、安装GoldenGate

(1) 切换用户

#su - ggate
$cd /opt/software/ogg

(2) 运行./ggsci

[ggate@Oracle11g ogg]$ ./ggsci

(3) 新建子目录:

GGSCI (Oracle11g.ocp.hwb) 1> create subdirs

(4) 配置 GoldenGate 主进程参数

GGSCI (host2) 6> edit params mgr

输入:

PORT 7809

DYNAMICPORTLIST 7820-7830

然后保存

检查输入情况:

GGSCI (host2) 7> view params mgr

PORT 7809

(5)启动 GoldenGate 主控制进程:

GGSCI (Oracle11g.ocp.hwb) 4> start mgr

Manager started.

GGSCI (Oracle11g.ocp.hwb) 5> info mgr

Manager is running (IP port Oracle11g.ocp.hwb.7809).


二、目标端安装GoldenGate

1、解压软件

安装包为文件ggs_Linux_x64_ora11g_64bit_v11_1_1_0_0_078.tar

解压之后,然后再解压]

# tar -xvf ggs_Linux_x64_ora11g_64bit_v11_1_1_0_0_078.tar -C /opt/software/ogg/

2、创建用户

2.1创建目录

 #mkdir -p /opt/software/ogg 
 #chmod -R 777 /opt/software/ogg 
 #chown -R oracle:oinstall /opt/software/ogg 

2.2 创建ogg用户

 #useradd -g oinstall -G dba ggate -d /home/ggate -m

3、设置环境变量

配置goldengate用户变量

#su - ggate
#vi ~/.bashrc
export ORACLE_BASE=/home/oracle/app/oracle
export ORACLE_HOME=/home/oracle/app/oracle/product/11.2.0/dbhome_1
export ORACLE_SID=nwppdb
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/home/oracle/app/oracle/ggate
export GGATE=/opt/software/ogg
export=$ORACLE_HOME/lib:/lib:/usr/lib
export PATH=$PATH:$ORACLE_HOME/bin:$GGATE
#source ~/.bashrc

4、安装GoldenGate

(1) 切换用户

#su - ggate

$cd /opt/software/ogg

(2) 运行./ggsci

ggate@iZmfgnjkehk13uZ:/opt/software/ogg$ ./ggsci

(3) 新建子目录:

GGSCI (Oracle11g.ocp.hwb) 1> create subdirs

(4) 配置 GoldenGate 主进程参数

GGSCI (host2) 6> edit params mgr

输入: PORT 7809

DYNAMICPORTLIST 7820-7830

然后保存

检查输入情况:

GGSCI (host2) 7> view params mgr

PORT 7809

(5)启动 GoldenGate 主控制进程:

GGSCI (Oracle11g.ocp.hwb) 4> start mgr

Manager started.

GGSCI (Oracle11g.ocp.hwb) 5> info mgr

Manager is running (IP port Oracle11g.ocp.hwb.7809).


篇幅有限,只能分几部分做介绍了,后面会介绍下源端数据库的配置和进程组的配置,大家有兴趣可以跟着做下实验,这个是之前测试通过的,理论上行得通。

后面会分享更多关于DBA和devops方面的内容,感兴趣的朋友可以关注下!!

相关推荐

CTO偷偷传我的系统性能优化十大绝招(万字干货)

上篇引言:取与舍软件设计开发某种意义上是“取”与“舍”的艺术。关于性能方面,就像建筑设计成抗震9度需要额外的成本一样,高性能软件系统也意味着更高的实现成本,有时候与其他质量属性甚至会冲突,比如安全性、...

提升效率!VMware虚拟机性能优化十大实用技巧

我40岁,干跨境婚恋中介的。为服务各国用户,常得弄英语、日语、俄语系统环境,VMware虚拟机帮了不少忙。用久了发现优化下性能,效率能更高。今儿就来聊聊优化技巧和同类软件。一、VMware虚拟...

低延迟场景下的性能优化实践

本文摘录自「全球C++及系统软件技术大会」ScottMeyers曾说到过,如果你不在乎性能,为什么要在C++这里,而不去隔壁的Pythonroom呢?今天我们就从“低延迟的概述”、“低延迟系...

Linux性能调优之内存负载调优的一些笔记

写在前面整理一些Linux内存调优的笔记,分享给小伙伴博文没有涉及的Demo,理论方法偏多,可以用作内存调优入门博文内容涉及:Linux内存管理的基本理论寻找内存泄露的进程内存交换空间调优不同方式的...

优化性能套路:带你战胜这只后段程序员的拦路虎

来源|极客时间《卖桃者说》作者|池建强编辑|成敏你好,这里是卖桃者说。今天给大家推荐一篇文章,来自倪朋飞老师的专栏《Linux性能优化实战》,文章主要讲的是优化性能的套路,这几乎是每个后端程序员...

SK海力士CXL优化解决方案已成功搭载于Linux:带宽提升30%,性能提升12%以上

SK海力士宣布,已将用于优化CXL(ComputeExpressLink)存储器运行的自研软件异构存储器软件开发套件(HMSDK)中主要功能成功搭载于全球最大的开源操作系统Linux上,不但提升了...

Linux内核优化:提升系统性能的秘诀

Linux内核优化:提升系统性能的艺术在深入Linux内核优化的世界之前,让我们先来理解一下内核优化的重要性。Linux内核是操作系统的核心,负责管理系统资源和控制硬件。一个经过精心优化的内核可以显著...

Linux系统性能优化:七个实战经验

Linux系统的性能是指操作系统完成任务的有效性、稳定性和响应速度。Linux系统管理员可能经常会遇到系统不稳定、响应速度慢等问题,例如在Linux上搭建了一个web服务,经常出现网页无法打开、打开速...

腾讯面试:linux内存性能优化总结

【1】内存映射Linux内核给每个进程都提供了一个独立且连续的虚拟地址空间,以便进程可以方便地访问虚拟内存;虚拟地址空间的内部又被分为内核空间和用户空间两部分,不同字长的处理器,地址空间的范围也不同...

Linux文件系统性能调优《参数优化详解》

由于各种的I/O负载情形各异,Linux系统中文件系统的缺省配置一般来说都比较中庸,强调普遍适用性。然而在特定应用下,这种配置往往在I/O性能方面不能达到最优。因此,如果应用对I/O性能要求较高,除...

Nginx 性能优化(吐血总结)

一、性能优化考虑点当我需要进行性能优化时,说明我们服务器无法满足日益增长的业务。性能优化是一个比较大的课题,需要从以下几个方面进行探讨当前系统结构瓶颈了解业务模式性能与安全1、当前系统结构瓶颈首先需要...

Linux问题分析与性能优化

排查顺序整体情况:top/htop/atop命令查看进程/线程、CPU、内存使用情况,CPU使用情况;dstat2查看CPU、磁盘IO、网络IO、换页、中断、切换,系统I/O状态;vmstat2查...

大神级产品:手机装 Linux 运行 Docker 如此简单

本内容来源于@什么值得买APP,观点仅代表作者本人|作者:灵昱Termux作为一个强大的Android终端模拟器,能够运行多种Linux环境。然而,直接在Termux上运行Docker并不可行,需要...

新手必须掌握的Linux命令

Shell就是终端程序的统称,它充当了人与内核(硬件)之间的翻译官,用户把一些命令“告诉”终端程序,它就会调用相应的程序服务去完成某些工作。现在包括红帽系统在内的许多主流Linux系统默认使用的终端是...

Linux 系统常用的 30 个系统环境变量全解析

在Linux系统中,环境变量起着至关重要的作用,它们犹如隐藏在系统背后的“魔法指令”,掌控着诸多程序的运行路径、配置信息等关键要素。尤其在shell脚本编写时,巧妙运用环境变量,能让脚本如虎...

取消回复欢迎 发表评论: