百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 优雅编程 > 正文

产品切换数据库问题处理总结(数据库ha切换)

sinye56 2024-10-15 15:45 8 浏览 0 评论

数据库用于存放产品在使用过程中生成的数据,并用这些数据去支持产品完成功能的执行。随着数据库技术的发展,数据库产品越来越多,如Oracle、DB2、MongoDB、SQLServer、Mysql等。各种数据库之间互有差异,各有各的优势,在实际工作中,可根据具体情况选择适当的数据库。

以往数通畅联产品是基于Mysql进行开发,在实际项目中也是基于Mysql进行集成开发;在本次项目工作中,需要使用的数据库为Oracle数据库,但部分工作已通过Mysql环境完成开发,所以需要进行数据的迁移以及产品数据库切换,在这过程中出现了一些问题,在本篇文档中将对这过程中的问题进行整理,将问题的产生原因以及解决方式进行记录,以供后续回顾。

背景说明

本篇文档主要对本次切换数据库后进行功能测试的过程中遇到的问题进行整理记录,分析问题出现的原因、解决的办法以及后续如何能够避免出现同样的问题进行记录,以供后续通过本篇文档进行回顾。

1.项目架构

数据中台主要帮助进行全链路业务、全生命周期的数据管理,基于建立在数据仓库和数据平台之上,通过数据清洗导入、数据同步/分发、数据处理、分析等技术,对企业内外部海量数据进行采集、存储、计算、加工、分析等,从而为企业的业务决策提供数据方面的参考,用数据为公司业务、营销、管理赋能。

2.工作介绍

本次工作是在产品从Mysql切换为Oracle,同时完成以往配置迁移后,对产品功能进行测试,保障产品在完成数据库切换后,功能可以正常使用,使后续集成工作可以顺利开展。在测试的过程中,一定会出现一些问题,在处理问题的过程中,对问题进行记录,后续尽可能避免出现相同问题,也可以在后续出现相似问题时可以快速进行处理。

3.差异分析

Mysql和Oracle都是关系型数据库,可以应用于各种平台。在Oracle中创建一个数据库,数据库下有好多用户:sys,system,scott等,不同用户下还有好多表。但Mysql的默认用户是root,用户下可以创建好多数据库,每个数据库下还有好多表。同时两个数据库的SQL语法也有着差异,如:

1.Oracle中select语句后边的from是不能省略的,如果没有实际的表,可以用dual作为from的目的表,Mysql中from则是可以省略的;

2.Oracle中分组语句如果某列名不作为分组依据,及没有出现在group by后,则该列名是不允许放到select后边的,Mysql则没有此限制;

3.Oracle左连接,右连接可以使用(+)来实现. Mysql只能使用left join ,right join等关键字等等。

测试说明

每个产品乃至每个功能,在开发完成或是优化完成之后,都需要对其进行测试,用于发现问题点并进行处理,保障在实际使用的过程中,不会因为产品中出现的问题而影响到实际的工作效率。

1.测试目的

本篇文档主要对于主数据以及集成开发部分所需要使用到的功能点在测试过程中出现的问题以及解决办法进行介绍。由于产品是从Mysql数据库切换为Oracle数据库,由于两个数据库的SQL语句存在着差异,部分类型的数据在使用时也存在着不同,所以在切换过程中一定会存在处理不全面导致功能异常的问题;所以出现了本次的测试工作,本次测试的目的就是为了查找产品调整过程中考虑不全面的功能点,提高产品功能在实际使用中的可靠性。

2.测试重点

本次测试主要围绕着主数据平台进行,保障数据集成过程中所需要使用到的各项功能点,具体测试功能点如下:

1.页面显示效果,验证数据显示是否有异常;

2.页面新增、删除、启用、禁用等按钮功能是否正常;

3.MDC中数据建模是否能够生成对应的数据表,生成后的字段名称、字段类型、字段长度是否正确;

4.MDC功能建模能否进行创建,初始化的表单中字段与数据建模是否保持一致,以及SQL解析是否正确,数据管理页面能否根据解析出的SQL进行数据过滤查询;

5.验证数据同步接口功能是否正常,数据能否完成导入;

6.验证配置统一分发接口后,在BPM流程进行调用是否能够调用成功。

3.测试思路

在上文中对需要测试的功能点进行了介绍,在具体测试时可以按照实际使用步骤进行测试,将上述功能进行分类,并完成功能验证,具体如下:

1.进行数据建模、功能建模,在这过程中对这两个功能模块中的细节进行验证;

2.验证页面能否正常打开,打开后的显示效果有无异常;

3.进行源头系统数据同步,在这过程中验证数据同步接口的功能,同步后可验证数据详情页面以及各按钮的功能;

4.配置统一分发接口,使用手动创建的虚拟接口验证统一分发接口能否完成接口调用,数据下发有无异常。

测试过程

上文已对具体测试思路进行了介绍,并对需要测试的功能进行了分类;在本章节中,将具体介绍实际测试过程,本次测试过程也是主数据在数据集成工作中的实际使用步骤;未防止误解,在本章节中的截图都为经过调整后的最终效果。

1.模型构建

在MDC的基础数据建模中点击新增,配置主数据的基本信息、来源系统以及分发系统,如图:

双击新增的数据模型即可对该模型进行字段的配置,如图:

点击创建表即可完成对该主数据相关的数据表结构的创建,如图:

在MDC的功能配置中点击新增,如图:

在填写并配置完成主数据功能模型的基础信息之后,点击表单信息可以对该主数据的具体页面显示效果进行调整,位置如图:

打开管理列表对数据管理页面中的显示效果进行调整,如图:

打开管理表单调整数据详情页面的显示效果,如图:

在SQL中点击解析SQL并进行部署即可完成功能模型的调整,如图:

2.同步测试

本次主要用于接口功能测试,所以使用的流程为未调整的数据初始化流程,并进行一条数据的同步,如图:

查看临时表中是否有数据新增,如图:

查看真实表是否有数据写入,如图:

验证日志是否生成,如图:

点击禁用按钮,验证按钮功能,如图:

验证启用按钮功能,如图:

验证数据详情页面是否显示正常,如图:

3.统一分发

打开需要分发的下游业务系统,添加需要分发的主数据,如图:

双击主数据配置字段权限,如图:

点击接口配置,填写目标系统接收数据接口,本次为测试接口,如图:

选择数据,生成任务并提交,通过BPM流程调用统一分发接口,验证数据是否分发成功,如图:

在分发日志中验证数据是否分发成功,如图:

问题总结

在对产品功能进行使用、测试的过程中,遇到了一些问题,有预料之中的问题,也存在预料之外的问题;在本章节中,将对这些问题进行整理归纳,并描述这些问题是如何解决的。

1.问题描述

本次验证过程遇到的问题中,有SQL差异引起的问题、字段差异引起的问题、编写代码时考虑不足引起的问题,其中较为典型的问题如下:

1.数据建模添加字段后,无法对应修改数据表中的字段;

2.临时表以及真实表接口在数据同步过程中,无法完成数据的写入;

3.数据大量同步时,会出现无法进行数据同步的情况。

2.问题分析

在处理上述问题以及其他零散问题的过程中,发现有很多问题是由于Oracle以及Mysql数据库之间的差异引起的,这些问题大多是由于对Oracle的SQL处理不熟悉,在Mysql切换为Oracle时没有注意到引起的;其次就是由于不够细心,一些字段类型没有进行修改,导致功能使用出现异常;最后就是接口性能需要优化,以往的接口在开发时考虑不周,导致接口在大批量数据进行调用时出现异常。

3.解决方法

在测试过程中,出现了大大小小的问题,在出现的问题中,多为两个数据库之间的SQL差异或是字段使用差异引起的,在上文中列出了几个或是典型或是不该出现的问题,解决方式如下:

1.数据建模中预置的字段类型为Mysql的字段类型,切换为Oracle类型该问题解决

2.时间类型字段在数据同步到接口中后,在字符串以及时间相互转换的过程中,出现‘.0’导致数据同步失败;

3.数据在大量同步时,游标数超出了最大游标数,后调整代码将使用到链接的位置在不使用时进行关闭,该问题解决。

总结归纳

本次主要完成了主数据部分在数据集成过程中需要使用的功能点的测试,在测试过程中也出现了大大小小的问题,这些问题在测试的过程中暴露了出来,经过调试后,产品的性能得到了进一步的优化。

1.工作总结

本次主要进行产品功能测试,在本次工作中,对于主数据在数据集成的过程中需要使用到的数据建模、功能建模、数据管理、数据详情、统一分发等一系列功能进行了测试,将期间出现的问题进行反馈并协助完成功能调试,使产品接口的性能以及产品的功能点得到了完善;同时通过本次工作结果,产品如再次进行数据库的切换操作,需要考虑哪些位置已明确。

2.后续规划

在完成主数据这部分功能的测试后,经过对代码的调整,已经消除了比较容易出现的问题点,虽然后续很可能出现其他的问题,但这是一款软件所无法避免的,人工开展的工作必然会出现差错,像本次开展的测试工作,正是尽可能的去将问题更早的暴露出来并进行调试,提高产品功能的可靠性以及可用性,保障产品在实际使用时,问题尽可能少的出现乃至于不出现问题。通过本次工作的结果,后续在产品功能开发时,相信会考虑得更加全面,在保障功能可用性的同时优化产品性能

3.心得总结

任何一款产品,进行数据库的切换操作都是需要非常谨慎的,其中涉及到非常多的差异,如SQL写法差异、函数使用差异、字段处理差异等等,这点在实际集成开发、进行数据库读写时也是需要注意的,在本次测试时也为后续项目集成开发需要注意的位置打下了基础。

通过本次测试,发现了数据库切换引起的功能异常,也发现了产品性能有待优化之处,在后续的工作中,将对产品其余接口进行测试,如能保持在大量数据调用下的稳定,相信在后续实际使用的过程中,也不会出现问题,这也正是项目前期工作的一部分,在开发环境完成各项功能的测试,保障正式环境产品的可靠性。

本文由@数通畅联原创,欢迎转发,仅供学习交流使用,引用请注明出处!谢谢~

相关推荐

程序员:JDK的安装与配置(完整版)_jdk的安装方法

对于Java程序员来说,jdk是必不陌生的一个词。但怎么安装配置jdk,对新手来说确实头疼的一件事情。我这里以jdk10为例,详细的说明讲解了jdk的安装和配置,如果有不明白的小伙伴可以评论区留言哦下...

Linux中安装jdk并配置环境变量_linux jdk安装教程及环境变量配置

一、通过连接工具登录到Linux(我这里使用的Centos7.6版本)服务器连接工具有很多我就不一一介绍了今天使用比较常用的XShell工具登录成功如下:二、上传jdk安装包到Linux服务器jdk...

麒麟系统安装JAVA JDK教程_麒麟系统配置jdk

检查检查系统是否自带java在麒麟系统桌面空白处,右键“在终端打开”,打开shell对话框输入:java–version查看是否自带java及版本如图所示,系统自带OpenJDK,要先卸载自带JDK...

学习笔记-Linux JDK - 安装&配置

前提条件#检查是否存在JDKrpm-qa|grepjava#删除现存JDKyum-yremovejava*安装OracleJDK不分系统#进入安装文件目...

Linux新手入门系列:Linux下jdk安装配置

本系列文章是把作者刚接触和学习Linux时候的实操记录分享出来,内容主要包括Linux入门的一些理论概念知识、Web程序、mysql数据库的简单安装部署,希望能够帮到一些初学者,少走一些弯路。注意:L...

测试员必备:Linux下安装JDK 1.8你必须知道的那些事

1.简介在Oracle收购Sun后,Java的一系列产品就被整合到Oracle官网中,打开官网乍眼一看也不知道去哪里下载,还得一个一个的摸索尝试,而且网上大多数都是一些Oracle收购Sun前,或者就...

Linux 下安装JDK17_linux 安装jdk1.8 yum

一、安装环境操作系统:JDK版本:17二、安装步骤第一步:下载安装包下载Linux环境下的jdk1.8,请去官网(https://www.oracle.com/java/technologies/do...

在Ubuntu系统中安装JDK 17并配置环境变量教程

在Ubuntu系统上安装JDK17并配置环境变量是Java开发环境搭建的重要步骤。JDK17是Oracle提供的长期支持版本,广泛用于开发Java应用程序。以下是详细的步骤,帮助你在Ubuntu系...

如何在 Linux 上安装 Java_linux安装java的步骤

在桌面上拥抱Java应用程序,然后在所有桌面上运行它们。--SethKenlon(作者)无论你运行的是哪种操作系统,通常都有几种安装应用程序的方法。有时你可能会在应用程序商店中找到一个应用程序...

Windows和Linux环境下的JDK安装教程

JavaDevelopmentKit(简称JDK),是Java开发的核心工具包,提供了Java应用程序的编译、运行和开发所需的各类工具和类库。它包括了JRE(JavaRuntimeEnviro...

linux安装jdk_linux安装jdk软连接

JDK是啥就不用多介绍了哈,外行的人也不会进来看我的博文。依然记得读大学那会,第一次实验课就是在机房安装jdk,编写HelloWorld程序。时光飞逝啊,一下过了十多年了,挣了不少钱,买了跑车,娶了富...

linux安装jdk,全局配置,不同用户不同jdk

jdk1.8安装包链接:https://pan.baidu.com/s/14qBrh6ZpLK04QS8ogCepwg提取码:09zs上传文件解压tar-zxvfjdk-8u152-linux-...

运维大神教你在linux下安装jdk8_linux安装jdk1.7

1.到官网下载适合自己机器的版本。楼主下载的是jdk-8u66-linux-i586.tar.gzhttp://www.oracle.com/technetwork/java/javase/downl...

window和linux安装JDK1.8_linux 安装jdk1.8.tar

Windows安装JDK1.8的步骤:步骤1:下载JDK打开浏览器,找到JDK下载页面https://d.injdk.cn/download/oraclejdk/8在页面中找到并点击“下载...

最全的linux下安装JavaJDK的教程(图文详解)不会安装你来打我?

默认已经有了linux服务器,且有root账号首先检查一下是否已经安装过java的jdk任意位置输入命令:whichjava像我这个已经安装过了,就会提示在哪个位置,你的肯定是找不到。一般我们在...

取消回复欢迎 发表评论: