配置指标质量和分析规则¶
对特定指标进行数据质量分析前,需要配置以下模板:
质量规则配置:指定各个指标的质量评估规则,包含指标标识符、规则适用的资产颗粒度与资产类型、规则模板以及具体规则配置等信息。
质量分析配置:指定目标指标关联的模型及测点信息,用于对指标的数据质量问题根因分析。
质量规则配置¶
指标规则配置用于指定各个指标的质量评估规则,从而判断指标的完整性和有效性。其中,质量规则配置分为质量评估基础规则和高级规则,基础规则默认对用户开放,可进行指标的缺失和越限问题检查,高级规则按需开放(如需该能力请联系产品经理开通),可进行指标相关性问题检查。
质量评估基础规则配置¶
质量评估基础规则通过以下步骤下载、配置并上传指标规则模板:
在应用门户的左侧导航栏中选择 数据质量 > 指标数据质量 > 指标规则配置。
在 质量规则配置 部分中选择 质量评估基础规则 卡片的下载模板。
打开已下载的模板文件,并配置以下字段。
字段
必需/可选
描述
Metric ID
必需
需要进行数据质量评估的指标的标识符。
支持输入已在 EnOS 指标管理中注册的派生指标或衍生指标的标识符。Domain
必需
此指标规则适用的资产类型。
支持输入wind
(风电)、solar
(光伏)、building
(楼宇)、storage
(储能) 或ark
(碳管理)。Asset Granularity
必需
此指标规则适用的资产颗粒度。
支持输入site
(场站)。Rule Template
必需
此指标规则应用的数据质量规则模板。
支持输入Out of Range
(越限)。Rule Configuration
必需
用于评估指标数据质量的表达式。
支持的运算符:&&
、||
、<
、<=
、>=
、+
、-
、*
、/
和()
。
支持的参数:a[属性id]
表示场站属性,m[指标id]
表示指标,[target]
表示指标数据。
例如[target]>100 && [target]<a[attr]*100
表示当指标数据大于 100 且小于attr
属性值的 100 倍时,此指标出现 Rule Template 中指定的数据质量问题。在 数据质量 > 指标数据质量 > 指标规则配置 的质量评估基础规则 卡片中选择 选择文件 并上传已配置的模板。
如需修改当前应用中已存在的指标规则配置,可在 数据质量 > 指标数据质量 > 指标规则配置 中的质量评估基础规则 卡片中选择 替换 并上传新模板。
质量评估高级规则配置¶
质量评估高级规则中,当前主要为指标相关性检测,属于指标有效性维度。支持以下问题检测场景:例如平均风速和利用小时,大致呈正相关关系,当平均风速较大,利用小时的值也应相对较大,当平均风速和利用小时都在合理阈值范围内时,可能会存在平均风速很小,但利用小时很大的异常情况,这种情况仅通过越限检查无法发现,所以需要通过指标相关性检查来发现此类问题。
通过领域知识沉淀,现支持的相关性检测模板包括:通用模板、风领域-平均风速与利用小时相关性检测模板、风领域-能量可利用率与风电场可利用率相关性检测模板
质量评估高级规则(指标相关性检测)通过以下步骤下载、配置并上传指标规则模板:
在应用门户的左侧导航栏中选择 数据质量 > 指标数据质量 > 指标规则配置。
在 质量规则配置 部分中选择 高级规则:相关性检测 卡片的 下载模板。
打开已下载的模板文件,并配置以下字段。
字段
必需/可选
描述
Domain
必需
此指标规则适用的资产类型。
支持输入wind
(风电)、solar
(光伏)、building
(楼宇)、storage
(储能) 或ark
(碳管理)。Asset Granularity
必需
此指标规则适用的资产颗粒度。
支持输入site
(场站)。Rule Template
必需
此指标规则应用的数据质量规则模板。
支持输入Correlation_generic
(相关性检测通用模板)Correlation_wind
(风领域相关性检测模板)。Rule Configuration
必需
用于评估指标数据相关性的表达式。
Correlation_generic(相关指标 ID-1, 相关指标 ID-2, 相关指标 ID-3,……)。Correlation_generic()方法中填入具有相关性的指标 ID,最多填入5个指标 ID,多个 ID 间用英文逗号(,)分隔,填入的指标均会进行相关性性检测(例如:Correlation(windspeed_m,hours_m),分别对风速和利用小时的月度指标进行相关性检测,检测结果会得到风速数据异常/利用小时数据异常)。
Correlation_wind[领域模板, (相关指标 ID-1, 相关指标 ID-2, 相关指标 ID-3,……)],Correlation_wind()方法中填入领域模板和具有相关性的指标 ID,其中领域模板有WS_EY
和PBA_TBA
,支持填入多个指标 ID,多个 ID 间用英文逗号(,)分隔,填入的指标均会进行相关性性检测(例如:Correlation_wind[WS_EY, (wind_speed_avg_m,equivalentyield_m)],使用 WS_EY 领域模板,分别对风速和利用小时的月度指标进行相关性检测,检测结果会得到风速数据异常/利用小时数据异常)。在 数据质量 > 指标数据质量 > 指标规则配置 的 高级规则:相关性检测 卡片中选择 选择文件 并上传已配置的模板。
如需修改当前应用中已存在的指标规则配置,可在 数据质量 > 指标数据质量 > 指标规则配置 中的 高级规则:相关性检测 卡片中选择 替换 并上传新模板。
质量分析配置¶
质量分析配置用于指定目标指标关联的模型及测点信息,用于对指标的数据质量问题根因分析。质量分析配置支持以下场景:
指定指标关联的测点。例如“日发电量”这一指标是由“风机基础”模型的“有功发电量总计”测点计算获得的,当“日发电量”有问题时,需要检查“有功发电量总计”测点是否存在质量问题,从而导致“日发电量”指标有问题。
指定指标关联的测点范围较大,需要进一步确定进行指标计算时真正用到的测点。例如计算光伏场站发电量时,“发电量”这一指标会根据场站的“总发电量计算源”属性值决定用于计算的测点。因此,为确保指标数据质量根因分析结果真实、准确,可利用质量评估配置指定用于计算目标指标的模型和关联测点,避免无关测点影响根因分析结果。该场景可使用
Attr(属性ID=枚举值)
表达式。指定指标关联的指标,在进行根因分析时需要检查与指定指标相关联的指标。例如“月发电量”这一指标由“日发电量”数据汇总而成,因此在进行根因分析时,需要检查“日发电量”指标以及与“日发电量”指标相关联的原始测点,从而确保根因分析准确。该场景可使用
Metric(指标ID)
(关联指标) 。
通过以下步骤下载、配置并上传指标质量分析模板:
在应用门户的左侧导航栏中选择 数据质量 > 指标数据质量 > 指标规则配置。
在 质量分析配置 部分中选择 下载模板。
打开已下载的模板文件,并配置以下字段。
字段
必需/可选
描述
Metric ID
必需
需要进行数据质量分析的指标的标识符。
支持输入已在质量规则配置中配置质量评估规则的指标。Model ID
可选
指标关联测点所属的模型。
支持输入存在于 EnOS 设备连接与管理(DCM)中的模型 ID。Point ID
可选
指标关联的测点。
支持输入 Model ID 中指定的模型下的测点。Additional Conditions
可选
用于指定与指标分析相关的属性过滤条件或其他关联指标的表达式。
支持输入Attr(场站属性ID=枚举值)
(作为属性过滤条件)或Metric(指标ID)
(指定关联指标)。备注
使用
Metric(指标ID)
表达式时,应确保Model ID
和Point ID
为空且此指标 ID 存在于指标规则配置文件中。在 数据质量 > 指标数据质量 > 指标规则配置 的 质量分析配置 中选择 选择文件 并上传已配置的模板。
如需修改当前应用中已存在的质量分析配置,可在 数据质量 > 指标数据质量 > 指标分析配置 中选择 替换 并上传新模板。