国网黑龙江电力利用“人工智能”技术 提升数据质量

国网黑龙江电力以数字化示范为契机,率先利用人工智能平台识别数据深层次关系,自动形成数据中台贴源层各表之间的关系图谱,并利用算法模型发现数据异常情况,挖掘出新的数据质量核对规则,有效的提高了数据质量。

一是数据关系自动识别。基于公司数据中台贴源层数据,通过字段特征识别、数据抽样比较等算法,自动识别数据中台现有数据之间的拓扑关系,为后续数据质量比对奠定基础。

二是构建数据质量模型。设计了多套有监督及无监督数据质量算法模型,并开展了模型验证工作,通过模型自动发现数据质量疑似问题。采用了线性回归、支持向量机和决策树等模型,通过深度学习进行模型集训练,监测单字段间和字段与字段间的异常数据,降低误差。

三是对数据质量问题进行确认和完善。通过数据主人视图模块,将疑似数据质量问题直接推送至数据主人视图,并通过奖励的方式让数据主人对疑似数据质量问题进行确认,对于确认较快的数据进行额外奖励。人工智能数据治理模块上线以来,训练、拟合数据内部规律得到了数据模型9个,发现了13种数据质量核查规则,确认3.9万个数据质量问题,有效提升了公司数据质量。