查询数据质量报告

通过对数据标记质量信息,你可以查询数据的质量报告。数据质量报告提供完备性、准确性、及时性三个维度的质量信息查询,帮助你快速了解资产的数据质量情况。

前提条件

查询数据质量报告的前提条件如下:

  • 设备测点数据已配置TSDB存储策略

  • 设备测点已使用Streamsets质量规则Stage对数据进行了质量标记

设置质量报告查询条件

进入EnOS管理门户,从左侧导航栏中选择 数据质量,输入以下查询条件后,点击 查询 按钮:

../../_images/data_quality_filter.png
  • 模型:选择待查询的模型。支持选择当前组织下所有私有模型和公有模型。

  • 测点:选择模型下待查询的测点。目前支持单测点按天统计的质量报告查询。

  • 资产:选择单个或多个资产。支持批量查询同模型下多个资产的质量报告。

  • 时间:选择或自定义查询某个时间段内(天数)的数据质量报告。为防止查询数据量过大,目前查询限制为:资产数量*天数≤600。

查看质量报告

数据质量报告生成后,查看以下维度的数据质量详情:

质量维度

  • 完备性

    查看按天统计的测点完备性数据。目前只统计每天到达的测点数(由存入TSDB的数据点数量确定)。

    ../../_images/data_quality_completeness.png
  • 准确性

    查看按天统计的测点数据准确率。准确率 = 实到准确点数 / 实到总点数

    准确性是通过判断测点value是否超出其阈值区间来进行判断的。当value超出阈值上限,则打上越上限标签;当value超出阈值下限,则打上越下限标签。越上限和越下限都是数据不准确的表现。

    ../../_images/data_quality_accuracy.png
  • 及时性

    查看按天统计的测点数据及时率。及时率 = 实到及时点数 / 实到总点数

    及时性是通过对比每一条上送数据的时间戳与测点latest数据的时间戳来判断的。如果比latest数据的时间戳晚,则打上迟到标签;如果比latest数据的时间戳早,则不打迟到标签,同时latest数据更新为当前数据。

    ../../_images/data_quality_timeliness.png

质量异常颜色标记

数据质量报告对不同等级的数据质量进行颜色标注,方便对异常数据情况进行快速识别,具体如下:

  • 0 -20%:红色

  • 20 -50%:橘色

  • 50 - 80%:蓝色

  • ≥80%:透明

记录点数 / 百分比切换

点击 点数准确度,切换数据质量报告数据的查看方式。

质量报告下载

点击 下载 图标 download_icon ,可下载保存数据质量报告。

后续操作

改善数据质量