配置指标质量和分析规则


对特定指标进行数据质量分析前，需要配置以下模板：

  • 质量规则配置：指定各个指标的质量评估规则，包含指标标识符、规则适用的资产颗粒度与资产类型、规则模板以及具体规则配置等信息。
  • 质量分析配置：指定目标指标关联的模型及测点信息，用于对指标的数据质量问题根因分析。

质量规则配置


指标规则配置用于指定各个指标的质量评估规则，从而判断指标的完整性和有效性。其中，质量规则配置分为质量评估基础规则和高级规则，基础规则默认对用户开放，可进行指标的缺失和越限问题检查，高级规则按需开放（如需该能力请联系产品经理开通），可进行指标相关性问题检查。

质量评估基础规则配置

质量评估基础规则通过以下步骤下载、配置并上传指标规则模板：

  1. 在应用门户的左侧导航栏中选择 数据质量 > 指标数据质量 > 指标规则配置。

  2. 在 质量规则配置 部分中选择 质量评估基础规则 卡片的下载模板。

  3. 打开已下载的模板文件，并配置以下字段。


    字段 必需/可选 描述
    Metric ID 必需 需要进行数据质量评估的指标的标识符。
     支持输入已在 EnOS 指标管理中注册的派生指标或衍生指标的标识符。
    Domain 必需 此指标规则适用的资产类型。
     支持输入 wind（风电）、solar（光伏）、building（楼宇）、storage（储能） 或 ark（碳管理）。
    Asset Granularity 必需 此指标规则适用的资产颗粒度。
     支持输入 site（场站）。
    Rule Template 必需 此指标规则应用的数据质量规则模板。
     支持输入 Out of Range（越限）。
    Rule Configuration 必需 用于评估指标数据质量的表达式。
     支持的运算符：&&、||、<、<=、>=、+、-、*、/ 和 ()。
     支持的参数：a[属性id] 表示场站属性，m[指标id] 表示指标，[target] 表示指标数据。
     例如 [target]>100 && [target]<a[attr]*100 表示当指标数据大于 100 且小于 attr 属性值的 100 倍时，此指标出现 Rule Template 中指定的数据质量问题。


  4. 在 数据质量 > 指标数据质量 > 指标规则配置 的质量评估基础规则 卡片中选择 选择文件 并上传已配置的模板。


如需修改当前应用中已存在的指标规则配置，可在 数据质量 > 指标数据质量 > 指标规则配置 中的质量评估基础规则 卡片中选择 替换 并上传新模板。


质量评估高级规则配置

质量评估高级规则中，当前主要为指标相关性检测，属于指标有效性维度。支持以下问题检测场景：例如平均风速和利用小时，大致呈正相关关系，当平均风速较大，利用小时的值也应相对较大，当平均风速和利用小时都在合理阈值范围内时，可能会存在平均风速很小，但利用小时很大的异常情况，这种情况仅通过越限检查无法发现，所以需要通过指标相关性检查来发现此类问题。


通过领域知识沉淀，现支持的相关性检测模板包括：通用模板、风领域-平均风速与利用小时相关性检测模板、风领域-能量可利用率与风电场可利用率相关性检测模板


质量评估高级规则（指标相关性检测）通过以下步骤下载、配置并上传指标规则模板：

  1. 在应用门户的左侧导航栏中选择 数据质量 > 指标数据质量 > 指标规则配置。

  2. 在 质量规则配置 部分中选择 高级规则：相关性检测 卡片的 下载模板。

  3. 打开已下载的模板文件，并配置以下字段。


    字段 必需/可选 描述
    Domain 必需 此指标规则适用的资产类型。
     支持输入 wind（风电）、solar（光伏）、building（楼宇）、storage（储能） 或 ark（碳管理）。
    Asset Granularity 必需 此指标规则适用的资产颗粒度。
     支持输入 site（场站）。
    Rule Template 必需 此指标规则应用的数据质量规则模板。
     支持输入 Correlation_generic（相关性检测通用模板） Correlation_wind（风领域相关性检测模板）。
    Rule Configuration 必需 用于评估指标数据相关性的表达式。
     Correlation_generic（相关指标 ID-1, 相关指标 ID-2, 相关指标 ID-3,……）。Correlation_generic（）方法中填入具有相关性的指标 ID，最多填入5个指标 ID，多个 ID 间用英文逗号（,）分隔，填入的指标均会进行相关性性检测（例如：Correlation（windspeed_m，hours_m），分别对风速和利用小时的月度指标进行相关性检测，检测结果会得到风速数据异常/利用小时数据异常）。
     Correlation_wind[领域模板, (相关指标 ID-1, 相关指标 ID-2, 相关指标 ID-3,……)]，Correlation_wind（）方法中填入领域模板和具有相关性的指标 ID，其中领域模板有 WS_EY 和 PBA_TBA，支持填入多个指标 ID，多个 ID 间用英文逗号（,）分隔，填入的指标均会进行相关性性检测（例如：Correlation_wind[WS_EY, (wind_speed_avg_m,equivalentyield_m)]，使用 WS_EY 领域模板，分别对风速和利用小时的月度指标进行相关性检测，检测结果会得到风速数据异常/利用小时数据异常）。


  4. 在 数据质量 > 指标数据质量 > 指标规则配置 的 高级规则：相关性检测 卡片中选择 选择文件 并上传已配置的模板。


如需修改当前应用中已存在的指标规则配置，可在 数据质量 > 指标数据质量 > 指标规则配置 中的 高级规则：相关性检测 卡片中选择 替换 并上传新模板。


质量分析配置


质量分析配置用于指定目标指标关联的模型及测点信息，用于对指标的数据质量问题根因分析。质量分析配置支持以下场景：

  • 指定指标关联的测点。例如“日发电量”这一指标是由“风机基础”模型的“有功发电量总计”测点计算获得的，当“日发电量”有问题时，需要检查“有功发电量总计”测点是否存在质量问题，从而导致“日发电量”指标有问题。
  • 指定指标关联的测点范围较大，需要进一步确定进行指标计算时真正用到的测点。例如计算光伏场站发电量时，“发电量”这一指标会根据场站的“总发电量计算源”属性值决定用于计算的测点。因此，为确保指标数据质量根因分析结果真实、准确，可利用质量评估配置指定用于计算目标指标的模型和关联测点，避免无关测点影响根因分析结果。该场景可使用 Attr（属性ID=枚举值） 表达式。
  • 指定指标关联的指标，在进行根因分析时需要检查与指定指标相关联的指标。例如“月发电量”这一指标由“日发电量”数据汇总而成，因此在进行根因分析时，需要检查“日发电量”指标以及与“日发电量”指标相关联的原始测点，从而确保根因分析准确。该场景可使用 Metric（指标ID）(关联指标) 。


通过以下步骤下载、配置并上传指标质量分析模板：

  1. 在应用门户的左侧导航栏中选择 数据质量 > 指标数据质量 > 指标规则配置。

  2. 在 质量分析配置 部分中选择 下载模板。

  3. 打开已下载的模板文件，并配置以下字段。


    字段 必需/可选 描述
    Metric ID 必需 需要进行数据质量分析的指标的标识符。
     支持输入已在质量规则配置中配置质量评估规则的指标。
    Model ID 可选 指标关联测点所属的模型。
     支持输入存在于 EnOS 设备连接与管理（DCM）中的模型 ID。
    Point ID 可选 指标关联的测点。
     支持输入 Model ID 中指定的模型下的测点。
    Additional Conditions 可选 用于指定与指标分析相关的属性过滤条件或其他关联指标的表达式。
     支持输入 Attr（场站属性ID=枚举值）（作为属性过滤条件）或 Metric（指标ID）(指定关联指标)。


    注解

    使用 Metric（指标ID） 表达式时，应确保 Model ID 和 Point ID 为空且此指标 ID 存在于指标规则配置文件中。

  4. 在 数据质量 > 指标数据质量 > 指标规则配置 的 质量分析配置 中选择 选择文件 并上传已配置的模板。


如需修改当前应用中已存在的质量分析配置，可在 数据质量 > 指标数据质量 > 指标分析配置 中选择 替换 并上传新模板。