Record Formatter

支持对输入数据的格式进行转换,在转换时,会根据配置信息查询相应的 Asset Tags 和 Measurement Tags,并将这些标签信息附加在记录上。

配置详情

该算子的配置包括 GeneralBasicInput/Output,和 CacheConfig 的详细信息,各字段的配置如下:

General

名称 是否必须 描述
Name Yes 算子名称
Description No 算子描述
Stage Library Yes 算子所属的库
Required Fields No 数据必须包含的字段,如果未包含指定字段,则 record 将被过滤掉
Preconditions No 数据必须满足的前提条件,如果不满足指定条件,则 record 将被过滤掉。例如:${record:value('/value') > 0}。有关 EL 语句的使用方法,参考 Expression Language
On Record Error Yes

对错误数据的处理方式,可选:

  • Discard:直接丢弃
  • Send to Error:发送至错误中心
  • Stop Pipeline:停止流任务运行

Basic

名称 是否必须 描述
Input Format Yes

选择输入数据的格式,目前支持 3 种格式:

Output Format Yes

选择输出数据的格式,目前支持 3 种格式:

Asset Tag Groups No 需要配置在数据资产目录 - 标签管理中定义的标签分组 ID,算子将使用 assetId 去查询数据资产目录中相应资产有没有属于配置的 Assert Tag Groups 的标签
Measurement Tag Groups No 需要配置在数据资产目录 - 标签管理中定义的标签分组 ID,算子将使用 measurementId 去查询数据资产目录中相应测点有没有属于配置的 Measurement Tag Groups 的标签

注解

当需要转换为 DCM Format 格式,并输出到下游,存储到时序数据库或者其他服务时,需要提前确保 modelId、modelIdPath、pointId 及 hasQuality 字段正确。hasQuality 为仅由 Record Formatter 算子使用的特殊字段,表示转换为 DCM 格式时,是否需要包含输入数据中的 quality 字段值。其中,modelId、modelIdPath可以通过 Asset Lookup 算子查询,hasQuality 字段可以通过 Point Lookup 查询。

输出结果

输出示例

配置信息:

../../../_images/record_formatter2.png ../../../_images/record_formatter.png