配置指标质量和分析规则


对特定指标进行数据质量分析前,需要配置以下模板:

  • 质量规则配置:指定各个指标的质量评估规则,包含指标标识符、规则适用的资产颗粒度与资产类型、规则模板以及具体规则配置等信息。

  • 质量分析配置:指定目标指标关联的模型及测点信息,用于对指标的数据质量问题根因分析。

质量规则配置


指标规则配置用于指定各个指标的质量评估规则,从而判断指标的完整性和有效性。其中,质量规则配置分为质量评估基础规则和高级规则,基础规则默认对用户开放,可进行指标的缺失和越限问题检查,高级规则按需开放(如需该能力请联系产品经理开通),可进行指标相关性问题检查。

质量评估基础规则配置

质量评估基础规则通过以下步骤下载、配置并上传指标规则模板:

  1. 在应用门户的左侧导航栏中选择 数据质量 > 指标数据质量 > 指标规则配置

  2. 质量规则配置 部分中选择 质量评估基础规则 卡片的下载模板

  3. 打开已下载的模板文件,并配置以下字段。


    字段

    必需/可选

    描述

    Metric ID

    必需

    需要进行数据质量评估的指标的标识符。
    支持输入已在 EnOS 指标管理中注册的派生指标或衍生指标的标识符。

    Domain

    必需

    此指标规则适用的资产类型。
    支持输入 wind(风电)、solar(光伏)、building(楼宇)、storage(储能) 或 ark(碳管理)。

    Asset Granularity

    必需

    此指标规则适用的资产颗粒度。
    支持输入 site(场站)。

    Rule Template

    必需

    此指标规则应用的数据质量规则模板。
    支持输入 Out of Range(越限)。

    Rule Configuration

    必需

    用于评估指标数据质量的表达式。
    支持的运算符:&&||<<=>=+-*/()
    支持的参数:a[属性id] 表示场站属性,m[指标id] 表示指标,[target] 表示指标数据。
    例如 [target]>100 && [target]<a[attr]*100 表示当指标数据大于 100 且小于 attr 属性值的 100 倍时,此指标出现 Rule Template 中指定的数据质量问题。


  4. 数据质量 > 指标数据质量 > 指标规则配置质量评估基础规则 卡片中选择 选择文件 并上传已配置的模板。


如需修改当前应用中已存在的指标规则配置,可在 数据质量 > 指标数据质量 > 指标规则配置 中的质量评估基础规则 卡片中选择 替换 并上传新模板。


质量评估高级规则配置

质量评估高级规则中,当前主要为指标相关性检测,属于指标有效性维度。支持以下问题检测场景:例如平均风速和利用小时,大致呈正相关关系,当平均风速较大,利用小时的值也应相对较大,当平均风速和利用小时都在合理阈值范围内时,可能会存在平均风速很小,但利用小时很大的异常情况,这种情况仅通过越限检查无法发现,所以需要通过指标相关性检查来发现此类问题。


通过领域知识沉淀,现支持的相关性检测模板包括:通用模板、风领域-平均风速与利用小时相关性检测模板、风领域-能量可利用率与风电场可利用率相关性检测模板


质量评估高级规则(指标相关性检测)通过以下步骤下载、配置并上传指标规则模板:

  1. 在应用门户的左侧导航栏中选择 数据质量 > 指标数据质量 > 指标规则配置

  2. 质量规则配置 部分中选择 高级规则:相关性检测 卡片的 下载模板

  3. 打开已下载的模板文件,并配置以下字段。


    字段

    必需/可选

    描述

    Domain

    必需

    此指标规则适用的资产类型。
    支持输入 wind(风电)、solar(光伏)、building(楼宇)、storage(储能) 或 ark(碳管理)。

    Asset Granularity

    必需

    此指标规则适用的资产颗粒度。
    支持输入 site(场站)。

    Rule Template

    必需

    此指标规则应用的数据质量规则模板。
    支持输入 Correlation_generic(相关性检测通用模板) Correlation_wind(风领域相关性检测模板)。

    Rule Configuration

    必需

    用于评估指标数据相关性的表达式。
    Correlation_generic(相关指标 ID-1, 相关指标 ID-2, 相关指标 ID-3,……)。Correlation_generic()方法中填入具有相关性的指标 ID,最多填入5个指标 ID,多个 ID 间用英文逗号(,)分隔,填入的指标均会进行相关性性检测(例如:Correlation(windspeed_m,hours_m),分别对风速和利用小时的月度指标进行相关性检测,检测结果会得到风速数据异常/利用小时数据异常)。
    Correlation_wind[领域模板, (相关指标 ID-1, 相关指标 ID-2, 相关指标 ID-3,……)],Correlation_wind()方法中填入领域模板和具有相关性的指标 ID,其中领域模板有 WS_EYPBA_TBA,支持填入多个指标 ID,多个 ID 间用英文逗号(,)分隔,填入的指标均会进行相关性性检测(例如:Correlation_wind[WS_EY, (wind_speed_avg_m,equivalentyield_m)],使用 WS_EY 领域模板,分别对风速和利用小时的月度指标进行相关性检测,检测结果会得到风速数据异常/利用小时数据异常)。


  4. 数据质量 > 指标数据质量 > 指标规则配置高级规则:相关性检测 卡片中选择 选择文件 并上传已配置的模板。


如需修改当前应用中已存在的指标规则配置,可在 数据质量 > 指标数据质量 > 指标规则配置 中的 高级规则:相关性检测 卡片中选择 替换 并上传新模板。


质量分析配置


质量分析配置用于指定目标指标关联的模型及测点信息,用于对指标的数据质量问题根因分析。质量分析配置支持以下场景:

  • 指定指标关联的测点。例如“日发电量”这一指标是由“风机基础”模型的“有功发电量总计”测点计算获得的,当“日发电量”有问题时,需要检查“有功发电量总计”测点是否存在质量问题,从而导致“日发电量”指标有问题。

  • 指定指标关联的测点范围较大,需要进一步确定进行指标计算时真正用到的测点。例如计算光伏场站发电量时,“发电量”这一指标会根据场站的“总发电量计算源”属性值决定用于计算的测点。因此,为确保指标数据质量根因分析结果真实、准确,可利用质量评估配置指定用于计算目标指标的模型和关联测点,避免无关测点影响根因分析结果。该场景可使用 Attr(属性ID=枚举值) 表达式。

  • 指定指标关联的指标,在进行根因分析时需要检查与指定指标相关联的指标。例如“月发电量”这一指标由“日发电量”数据汇总而成,因此在进行根因分析时,需要检查“日发电量”指标以及与“日发电量”指标相关联的原始测点,从而确保根因分析准确。该场景可使用 Metric(指标ID)(关联指标) 。


通过以下步骤下载、配置并上传指标质量分析模板:

  1. 在应用门户的左侧导航栏中选择 数据质量 > 指标数据质量 > 指标规则配置

  2. 质量分析配置 部分中选择 下载模板

  3. 打开已下载的模板文件,并配置以下字段。


    字段

    必需/可选

    描述

    Metric ID

    必需

    需要进行数据质量分析的指标的标识符。
    支持输入已在质量规则配置中配置质量评估规则的指标。

    Model ID

    可选

    指标关联测点所属的模型。
    支持输入存在于 EnOS 设备连接与管理(DCM)中的模型 ID。

    Point ID

    可选

    指标关联的测点。
    支持输入 Model ID 中指定的模型下的测点。

    Additional Conditions

    可选

    用于指定与指标分析相关的属性过滤条件或其他关联指标的表达式。
    支持输入 Attr(场站属性ID=枚举值)(作为属性过滤条件)或 Metric(指标ID)(指定关联指标)。


    备注

    使用 Metric(指标ID) 表达式时,应确保 Model IDPoint ID 为空且此指标 ID 存在于指标规则配置文件中。

  4. 数据质量 > 指标数据质量 > 指标规则配置质量分析配置 中选择 选择文件 并上传已配置的模板。


如需修改当前应用中已存在的质量分析配置,可在 数据质量 > 指标数据质量 > 指标分析配置 中选择 替换 并上传新模板。