Dev Raw Data Source

根据用户提供的数据,生成原始数据。仅支持Debug阶段使用。

该算子为StreamSets原生算子,更多信息,可参考 。

配置详情

使用该算子时,需要将pipeline的Execution Mode设置为 Standalone,如下图所示:

../../../_images/dev_raw_data_source_config.png

该算子的配置包括 GeneralRaw DataData Format 的详细信息,各字段的配置如下:

General

名称

是否必须

描述

Name

Yes

算子名称

Description

No

算子描述

On Record Error

Yes

对错误数据的处理方式,可选:

  • Discard:直接丢弃

  • Send to Error:发送至错误中心

  • Stop Pipeline:停止流任务运行

Raw Data

名称

是否必须

描述

Raw Data

Yes

输入原始数据,例如:{“orgId”:”xxx”,”modelId”:”Model”,”modelIdPath”:”/rootModel/Model”,”assetId”:”qXupozjG”,”pointId”:”Point_A”,”time”:1567292293000,”value”:1.2,”quality”:0,”attr”:{}}

Stop After First Batch

No

指定是否在生成第一批数据后即停止

Data Format

名称

是否必须

描述

Data Format

Yes

选择生成数据的格式,可选JSON,Log,Text,XML等,推荐选择JSON

Compression Format

Yes

选择数据压缩格式,推荐选择None

其它选项

No

根据输入的原始数据和选择生成数据的格式,完成相应的配置

输出结果

根据输入的原始数据和设置的数据格式,输出结果。

输出示例

../../../_images/dev_raw_data_source_result.png