皮盼资讯网移动版

皮盼资讯网 > 潮流时尚 >

Cleanits:制造业时序数据清洗系统(4)

本系统的页面设计主要分四部分:顶部导航栏区分不同的数据清洗具体算法,左侧列举三种数据清洗方法功能。页面中部为数据展示处,右侧为算法参数配置区域,也是系统与用户交互的重要页面部分。图4显示了缺失值填充的清洗结果。对不完整序列部分采用统计学上的自回归修复,蓝色线即为经系统计算后得到的修复结果。

图5显示了序列上的异常检测与修复功能。红色点即为被系统检测到的发生异常的数据点,蓝色为修复结果。用户可以通过右侧的参数配置栏选择具体的修复算法和数据导出路径。

图6显示了高维时间序列中错列部位的检查页面,系统处理数据后,将会把发生错列的列名称、错列具体位置返回到系统页面上,经用户确认后,通过点击相应按钮,可得到错列的修复结果。

6. 研究成果总结

本文提出了一个制造业时序数据的清洗系统,实现了对制造业大数据中普遍存在的三种重要的数据质量问题的检测和修复。真实的制造业数据上的实验表明了本文所提出方法的有效性和可靠性。本文研究内容共完成学术论文3篇,其中包括已发表论文1篇,修改后待录用论文1篇,在投论文1篇。

(1) Xiaoou Ding, Hongzhi Wang, Jiaxuan Su, Zijue Li, Jianzhong Li, and Hong Gao. Cleanits: A Data Cleaning System for Industrial Time Series. PVLDB, 12(12): 1786-1789, 2019. (中国计算机学会推荐的A类学术会议).

(2) 丁小欧, 于晟健, 王沐贤, 王宏志,高宏, 杨东华. 基于相关性分析的智能化工业时序数据异常检测.软件学报. (中国计算机学会推荐的A类国内期刊, 修改待录用,已受邀在2019年全国数据库会议上做报告).

(3) Xiaoou Ding, Hongzhi Wang, Jiaxuan Su, Muxian Wang, Hong Gao. Inconsistent Data Cleaning on High Dimensional Industrial Time Series. IEEE Internet of Things Journal 2019. (中科院期刊分区:信息系统1区,已投稿).

(责编:刘扬、赵光霞)

(责任编辑:admin)