南宫NG·28

随着数字化转型的加速，业务部门针对南宫NG·28库南宫NG·28抽取的需求正在加大。但南宫NG·28库自带的同步工具存在无法进行异构操作系统和跨南宫NG·28库版本同步，也无法做到表级和用户级同步及供应链安全等问题。为此提出了基于SQL语句复制突破Oracle ADG异构环境下南宫NG·28抽取同步的难题，从真实应用需求出发，根据场景测试结果，到真实场景上线运行，以及对抽取南宫NG·28的记录，成功论证了其可行性。该实践满足企业在异构环境下南宫NG·28实时抽取、容灾高可用等需求，并可应用在国外南宫NG·28库到国产南宫NG·28库的异构信创库同步中。

关键词：南宫NG·28库同步；异构复制；同步速率；灾备

引言

进入南宫NG·28时代，企业要不断创造商业价值，就要更加重视南宫NG·28的作用，要对南宫NG·28进行全面的更及时的采集、转换、共享和深入的挖掘，就需要采用先进的南宫NG·28库同步技术。Oracle南宫NG·28库（以下简称“Oracle”）作为全球主流的关系型南宫NG·28库，对于其同步技术的研究与分析在业界较为普遍，文献1详细介绍了基于Oracle南宫NG·28库实时同步技术的几大主流方式，并对其中以Oracle为基础的南宫NG·28实时同步技术进行了分析。文献2则介绍了一种通过跨版本的南宫NG·28同步工具、同版本平台的实时容灾等共同构建南宫NG·28库升级方案的方法，提到南宫NG·28实时同步技术可以很好的应用到南宫NG·28库升级迁移过程。

随着南宫NG·28库领域的厂商及品牌的增加，同品牌及不同品牌异构环境下的南宫NG·28库复制应用场景越来越丰富，并在各行业逐步推广应用。如文献3提到了电力领域关于多源异构南宫NG·28库之间的实时同步复制技术的应用情况，提出了一种基于RabbitMQ的多源异构南宫NG·28库同步复制的方法，可以极大限度的提高南宫NG·28转发的效率和可靠度。但上述基于Oracle南宫NG·28库的自身南宫NG·28复制工具，虽然能够解决同构及异构场景下的南宫NG·28抽取同步的问题，但其适用场景有限。例如本文重点提到的Oracle ADG同步功能，就存在无法进行异构操作系统和跨南宫NG·28库版本同步，也无法做到表级和用户级同步及供应链安全等问题。

为解决这些问题，本文通过在金融行业的应用实践，检验了基于SQL语句（南宫NG·28库结构化查询语言）复制突破ADG异构环境下南宫NG·28抽取同步的难题，帮助企业提升南宫NG·28交换共享的效率。

1.应用需求

随着机构数字化转型的步伐加快，机构各业务部门对南宫NG·28的抽取同步的需求正在加大，南宫NG·28抽取同步的时效性也从定期取数向实时性取数转变。某头部机构（以下简称：机构）作为全国性大型综合公司，开展的业务种类齐全，各业务部门对南宫NG·28需求旺盛，如果不通过中间南宫NG·28站点进行缓冲，直接从生产南宫NG·28库进行取数，会对生产南宫NG·28库系统的安全性和性能造成重大的影响。

为了能够实现业务南宫NG·28实时抽取出来做南宫NG·28站点，供业务部门进行快速的南宫NG·28抽取和业务的决策分析，机构规划通过专业的南宫NG·28复制工具，将南宫NG·28实时从源端南宫NG·28库抽取出来建设南宫NG·28库站点。经过调研分析，机构的源端拥有OTC、O32、风控、CRM、融资融券、黄金系统等30多套Oracle南宫NG·28库系统站点，因为南宫NG·28库部署方式的不同，机构需要采取三种不同的南宫NG·28抽取方式：

第一种：Oracle RAC（南宫NG·28库系统集群）的节点通过其中一个节点将南宫NG·28抽取推送到目标端。

第二种：Oracle RAC的Standby（备用）节点作为源节点将南宫NG·28抽取推送到目标端。

第三种：Oracle南宫NG·28库源端还有多套单节点到目标端单节点的南宫NG·28推送。

同时，为了能够集约化建设，机构通过目标服务器复用的形式，在一台服务器安装多套南宫NG·28库作为目标节点。

2.挑战与可行性测试

针对上述调研的环境，行业传统的部署方案是采用Oracle RAC+ADG的架构，即在确保Oracle南宫NG·28库高可用性和高并发访问的同时，通过构建ADG Standby库来保障南宫NG·28层面的冗余和南宫NG·28实时同步到目标端。

ADG同步工具是Oracle南宫NG·28库提供的自带功能模块，用来实现南宫NG·28同步及南宫NG·28库高可用。根据实际情况，ADG既无法做到异构操作系统平台和跨南宫NG·28库版本同步，也无法做到表级和用户级同步。

本项目的主要需求是做南宫NG·28汇总和汇集，将不同版本的多个库统一汇集到X86环境的统一版本的南宫NG·28库。比如源端环境是Windows、Linux和AIX操作系统平台，需要集中同步到指定的Linux操作系统平台，而ADG由于技术限制无法实现这一目标。又比如某个南宫NG·28站点备库是Oracle11G的南宫NG·28库版本，但是其源端有Oracle11G和19C的版本，对此ADG同样无法满足跨版本传输的要求。

针对机构的现状与需求，技术人员总结了当前市场南宫NG·28库同步技术的优缺点，提出了基于SQL语句复制技术方案思路，以实现对不同部署方式的南宫NG·28库的南宫NG·28进行实时抽取同步。在方案实施前，技术组进行了页面测试、功能测试、性能测试、异常测试等测试项目。其中功能测试进行了全量南宫NG·28的测试，在全量南宫NG·28同步测试完成后，还进行了对象的一致性比对，比对结果符合预期。

表-1 对象一致性比对

最后，经过严格的测试，基于SQL语句复制技术方案进行的各个测试项目的测试结果符合预期，具备实施的条件。

表-2 可行性测试结果

3.基于SQL语句复制技术整库抽取同步方案

随着业务发展，机构南宫NG·28库逐渐形成 Oracle RAC集群的体系结构，ADG备库作为灾备南宫NG·28库。根据南宫NG·28库的建设现状与需求，技术人员采用了基于SQL语句复制技术方案，将生产南宫NG·28库实时同步出来作为南宫NG·28站点，方便各个业务部门快速获取南宫NG·28。具体方案如下：

3.1 SQL语句复制技术原理

SQL语句复制技术基于南宫NG·28库事务日志分析，在南宫NG·28库高并发事务场景下实现南宫NG·28实时同步；于目标端同步写入时序，严格确保源端和目标端的南宫NG·28库事务级最终一致性。既提供了备库接管、反向同步等高级功能，也帮助用户在复杂的生产环境下完成南宫NG·28库的容灾备份、异构平台迁移、应用负载均衡、构建大型南宫NG·28仓库等南宫NG·28管理工作，具有安全可靠、非侵入、简单便捷、高性能的特点。

SQL语句复制技术抽取同步过程涵盖全量和增量同步两个过程：

全量同步导出源库的南宫NG·28字典，包括用户、表空间、自定义类型、表结构、视图、包、存储过程、DBLINK信息；南宫NG·28字典先行同步至目标端，目标端检测无误后开始装载用户、表空间、自定义类型；接下来开始同步表南宫NG·28；表南宫NG·28同步完成之后会处理视图、包等其它对象。全量同步完成后自动进行增量同步模式，自动转换，无需人工干预。

增量同步开启后实时采集并解析南宫NG·28库事务日志，包括DDL(Data Definition Language，南宫NG·28定义语言)结构性变化和DML(Data Manipulation Language，南宫NG·28操纵语言)南宫NG·28性变化，分析、形成二进制南宫NG·28文件以进行网络传输。然后在目标端转换为SQL语句装载到目标库。

其中，全量同步和增量同步同时开启，在全量同步没有结束前，增量南宫NG·28会进行缓存，等全量结束后再传输南宫NG·28。

图-1 SQL语句复制技术抽取同步过程

整个过程，SQL语句复制技术运用了Oracle到Oracle南宫NG·28库同步的两种映射方式：

主键定位同步技术：通过捕获源端主键的方式，定位目标段所要删除和修改的南宫NG·28。此方式使用时生产南宫NG·28库中的表要有主键。此技术定位灵活多变，适合实时南宫NG·28转换等应用场景。在主键定位方式下可以实现主键级并发装载。

ROWID南宫NG·28定位同步技术：ROWID是南宫NG·28库的表中的一条记录的唯一标识，是南宫NG·28库中的表记录在南宫NG·28库中存放的物理地址，通过首次全量同步，软件可以建立源与目标的映射关系，因此基于该复制技术的复制工具能够准确、快速、高效的定位变化的南宫NG·28。此方式简单、方便，与业务相关性小，适合容灾，分担业务负载等应用场景。在ROWID定位方式下可以实现表级的并发装载。

其中主键映射是在南宫NG·28复制工具用于生产流程的环境中，比如银行等金融领域，主键映射技术占主流。

3.2整库南宫NG·28同步实施

SQL语句复制技术通过实时解析南宫NG·28库在线事务日志，细致到表级和用户级的南宫NG·28，然后根据Oracle南宫NG·28库不同的部署策略，实现从Oracle RAC中直接抽取南宫NG·28到目标库，或将ADG备库的南宫NG·28抽取出来，实时传输到目标库。最后在目标库执行解析指令，以保证主备两端的南宫NG·28一致。此外，针对多套单节点南宫NG·28库的部署方式，可以直接抽取南宫NG·28传输到相应的多套目标库，为用户实现多种策略的南宫NG·28库抽取和传输的目的。

该技术方案实现了不同版本的Oracle南宫NG·28库南宫NG·28的异构实时同步，如从源端的Oracle11G与Oracle 19C传输到Oracle11G，并且备端始终处于在线状态，可以为主端提供查询、业务分析等功能。最终在不影响生产端业务的情况下，实现了南宫NG·28库南宫NG·28的实时同步和读写分离，降低了主南宫NG·28库负荷。此外，当检测到生产库系统故障时，目标库还可一键接管生产库的业务，保障生产库业务的连续性。

图-2：根据Oracle南宫NG·28库的部署方式进行按需同步

3.3高性能的同步效率

在众多同构及异构南宫NG·28库抽取同步技术应用中，对于南宫NG·28抽取同步的性能极少提及，为此本次特意记录了南宫NG·28抽取同步的相关性能南宫NG·28。

由于SQL语句复制技术实现了备库的南宫NG·28抽取不依赖于Oracle接口，直接运用南宫NG·28库SQL语句同步技术进行实时南宫NG·28同步，因此突破了Oracle ADG无法跨操作系统及跨版本传输的技术难题。SQL语句复制相比其他同步技术，其同步性能的核心评价指标，在经过长期的稳定运行后，技术组记录了其最新的同步速率，结果显示平均时延在毫秒级别。

表3 全量性能同步效率（ASM块设备）

表4 增量性能同步效率（ASM实例南宫NG·28综合）

4.应用特征

整个技术方案具有如下应用特征：

（1）不停机部署，不影响业务。传统停机部署会给机构带来不可避免的损失，而本案无需暂停业务交易就能实现南宫NG·28迁移，系统割接时将分钟级启动恢复，部署和使用也非常方便。

（2）提升南宫NG·28库性能。本案具有简单灵活、高性能、低影响、低于秒级延迟、低成本的特点，可以有效分摊生产南宫NG·28库的读写压力，不影响南宫NG·28库的响应速度。

（3）支持跨平台跨版本南宫NG·28同步，满足未来升级需求。支持Oracle南宫NG·28库不同版本之间的迁移，支持源南宫NG·28库和目标南宫NG·28库运行在不同类型的操作系统和不同的Oracle南宫NG·28库版本上，同时能够支持不同类型的磁盘阵列；其不仅能够满足目前环境，还能适应未来升级迭代的需求。

（4）自主可控，同步性能强。采用国产化南宫NG·28复制同步技术工具，完全摆脱Oracle ADG原生同步工具，且具备了状态实时监控可控，支持非归档模式、全面支持DML/DDL、无缝南宫NG·28实时迁移、双向同步负载均衡等创新功能，无需具备专业的南宫NG·28库操作技能即可使用，南宫NG·28同步效率更高。

结语

2015年，国外南宫NG·28库占据我国90%以上的市场份额，其中Oracle占比56%[4]。2015-2020年，新成立的国产南宫NG·28库企业达33个，2020年国外南宫NG·28库合计在我国南宫NG·28库市场的市场份额已降至52.6%；截至2021年5月，国产南宫NG·28库企业共计80家[5]。南宫NG·28显示，南宫NG·28库国产替代和多源异构南宫NG·28库复制将可能呈现爆发式增长，因此异构环境下的南宫NG·28库复制技术将成为南宫NG·28抽取同步的重要技术，特别是在金融、电力能源等领域的大南宫NG·28应用和异地容灾保护方面，将可能带来深刻的影响。基于SQL语句复制突破异构南宫NG·28抽取同步难题是南宫NG·28库复制技术的重要应用之一，可在进口替代、国产化应用、异构平台南宫NG·28迁移等领域发挥重要作用。

[参 考 文 献]

[1]库尔班江·托乎提,于会松,段非.基于Oracle南宫NG·28库实时同步技术的研究与分析[J].信息系统工程,2016年12期1第112页.

[2]霍卓群.基于Oracle ***技术的南宫NG·28库平滑升级方案[J].佳木斯职业学院学报,2015年04期第352-353页.

[3]刘鹏,李宏敏,程清,刘镇京.多源异构南宫NG·28库之间的实时同步复制技术[J].中国科技信息.2018年16期第95-96页.

[4]RDBMS，IDC WW Software 2015H2 Tracker Data[R], Apr2016 Update.

[5]中国信息通信研究院云计算与大南宫NG·28研究所,南宫NG·28库发展研究报告（2021年）[R],2011年6月.