查询数据质量报告¶
通过对数据标记质量信息,你可以查询数据的质量报告。数据质量报告提供完备性、准确性、及时性三个维度的质量信息查询,帮助你快速了解资产的数据质量情况。
前提条件¶
查询数据质量报告的前提条件如下:
设备测点数据已配置TSDB存储策略
设备测点已使用Streamsets质量规则Stage对数据进行了质量标记
设置质量报告查询条件¶
进入EnOS管理门户,从左侧导航栏中选择 数据质量,输入以下查询条件后,点击 查询 按钮:
模型:选择待查询的模型。支持选择当前组织下所有私有模型和公有模型。
测点:选择模型下待查询的测点。目前支持单测点按天统计的质量报告查询。
资产:选择单个或多个资产。支持批量查询同模型下多个资产的质量报告。
时间:选择或自定义查询某个时间段内(天数)的数据质量报告。为防止查询数据量过大,目前查询限制为:资产数量*天数≤600。
查看质量报告¶
数据质量报告生成后,查看以下维度的数据质量详情:
质量维度¶
完备性
查看按天统计的测点完备性数据。目前只统计每天到达的测点数(由存入TSDB的数据点数量确定)。
准确性
查看按天统计的测点数据准确率。准确率 = 实到准确点数 / 实到总点数
准确性是通过判断测点value是否超出其阈值区间来进行判断的。当value超出阈值上限,则打上越上限标签;当value超出阈值下限,则打上越下限标签。越上限和越下限都是数据不准确的表现。
及时性
查看按天统计的测点数据及时率。及时率 = 实到及时点数 / 实到总点数
及时性是通过对比每一条上送数据的时间戳与测点latest数据的时间戳来判断的。如果比latest数据的时间戳晚,则打上迟到标签;如果比latest数据的时间戳早,则不打迟到标签,同时latest数据更新为当前数据。
质量异常颜色标记¶
数据质量报告对不同等级的数据质量进行颜色标注,方便对异常数据情况进行快速识别,具体如下:
0 -20%:红色
20 -50%:橘色
50 - 80%:蓝色
≥80%:透明
记录点数 / 百分比切换¶
点击 点数 或 准确度,切换数据质量报告数据的查看方式。
质量报告下载¶
点击 下载 图标 ,可下载保存数据质量报告。