运检管控系统获取实时数据的研究应用

运检管控系统获取实时数据的研究应用

(国网青海电力信通公司青海西宁810008)

摘要:青海电力运检管控系统以现代信息网络技术为依托,具有大数据分析和运检管控功能,实现数据驱动运检业务创新发展和效率提升,该系统基础数据主要来源于PMS2.0系统。本文就如何获取PMS2.0系统实时数据及成效进行阐述。

关键词:数据同步;redo日志;数据结构

一、前言

运检管控系统通过对输电、变电、配电设备的状态分析、风险预警、故障研判,一方面提高设备检修工作的针对性和有效性,减少设备检修工作量和综合检修费用;另一方面减少因检修而带来的设备停电时间,降低主要输变电设备计划停运率,最终实现运检业务和管理信息化、自动化、智能化。

运检管控系统业务数据,绝大部分来自于PMS2.0系统,通过从PMS2.0系统中接入电网设备台帐和电网运维检修信息,并在此基础上进行数据的多维度分析及综合展示,实现提升设备状态管控力和运检管理穿透力,实现主网稳定、大检修体系高效运转的目标。

二、技术分析

PMS2.0数据库Redo日志中记录了数据库的所有变化操作与操作数据,通过自定义捕获进程对Redo日志进行实时分析,抽取变化的数据,还原执行SQL语句,并用统一格式暂存为队伍文件。将队列文件经过加密传输到运检管控端,由运检管控端将队列文件解析后,经过数据转换与数据处理,以SQL提交的方式提交到备库,实现数据库复制。数据复制如下图所示:

三、技术方案

通过PMS2.0生产库实时捕获技术集成相应的数据转后存储在管控系统数据库(Oracle),且在实时感知后异步驱动相关统计数据值的更新。

1.数据抽取层

数据抽取层在业务数据获取上采用了Oracle数据归档日志解析方式来获取基础数据,主要通过以下步骤实现:

(1)数据收集

数据抽取时,通过源端进程结合数据抽取接口来收集数据,此进程几乎不对源端数据库产生开销。

源端进程驻留在源数据库系统上,自动读取Oracle的归档日志文件。这种读操作是从操作系统的角度来完成的,而不是通过数据库。通过将日志文件作为获取变化信息的源泉,可以完成数据的收集而不会给PMS2.0系统带来额外开销。由于Oracle使用日志文件进行系统恢复,因此日志文件信息足够,其数据格式也足够稳定。

源端进程连续监控日志文件用以收集变化信息。源端进程将判断归档日志中的变更是否属于被收集对象,如果是。则将其加入数据文件中(数据文件存在于数据库之外)。数据文件将被发送到目标系统中,从而在目标系统中完成相应的操作。

(2)数据传输

数据抽取过程中,结合其自身的网络协议和TCP/IP协议来完成源和目标系统之间的数据文件传输。其相关进程会确保数据文件的正确接收和网络数据包的正确顺序,并提供网络传输冗余,以确保数据文件的完整。整个数据文件传输过程无需其他的中间件。

(3)数据应用

数据抽取目标端进程将传送到目标系统中的信息结合数据集成模型转化为SQL语句,然后发送给Oracle执行。

其中,能够实现精确数据同步的一个重要原因就是其能保证从源端数据库到目标数据库的Oracle读一致性,不但按顺序复制事务,而且也复制山下文信息,将源数据库中发生变化的全部事务信息都复制到目标数据库中。

2.部署架构

通过分布式设计,各进程模块相互独立,通过数据流进行交互,耦合度低。在系统部署上,各进程模块既支持独立部署模式又支持集中部署模式,具体部署架构根据运行环境负载与复制业务集成程度来决定,三种常规部署架构如下图所示。常规架构一的部署方式是通过新增预处理服务器和装载服务器的方式,分别提高数据预处理和装载的效率,同时可降低目标数据库服务器压力;常规架构二的部署方式是通过新增预处理/装载服务器的方式,在提高中间数据处理效率的同时,可以降低目标数据库服务器的压力;常规架构三的部署方式支持在不新增服务器的情况下,系统相关进程分别部署在源数据库服务器和目标数据库服务器上。系统管理web应用部分单独部署,网络可达即可。

为减轻PMS2.0系统数据库服务器压力,提高中间数据处理效率,结合管控系统实际,最终采用常规架构二进行部署,即新增预处理服务器实现数据同步。

四、应用效果

1.数据完整性高

本技术支持绝大多数的对象和操作类型,保证了每个数据库事务在源系统与目标系统间的一致性,保证从源数据库到目标数据库的Oracle读一致性,不但按顺序复制事务,而且也复制上下文信息。

2.数据实时性高

本技术通过优化业务逻辑,提升装载效率,数据追补筷,数据延迟较低。

3.资源占用低

数据抽取时数据的收集只通过数据的归档日志文件,并结合数据抽取接口,只获取需要的数据,同时通过TCP/IP方式而不是中间件方式,从而使得网络负载降至最低。

4.兼容性高

基于日志文件的同步原理,使其不受操作系统及数据库版本的限制,可支持各种不同平台、数据库版本之间的数据复制。

5.对数据库系统性能影响小

通过Oracle日志获得数据的变化信息,它所具有独特的技术优势在于它对源系统的资源占用小。在生产系统中,实际对源系统的影响和源系统复制事务的多少、事务的处理方式有关。

五、结论

通过研究和实际应用,实现PMS2.0增量数据同步抽取,实现多源数据的整合,全方位展现设备状态,实现设备状态分析、监测预警,并协助运检人员掌控设备及通道状态,优化运检资源配置,实现数据驱动运检业务创新发展和效率提升。

参考文献:

[1]肖伟,赵嵩正.异构环境下Oracle数据移植问题研究,中国电力教育2004(2)

[2]张晓刚,潘久辉.日志分析方法的研究与实现[J].计算机工程与设计,2006,27(19)

作者简介:

王丹(1987年生)、女、国网青海省电力公司信息通信公司,工程师,从事信息系统运维检修。

标签:;  ;  ;  

运检管控系统获取实时数据的研究应用
下载Doc文档

猜你喜欢