Dev Raw Data Source

根据用户提供的数据,生成原始数据。仅支持Debug阶段使用。

该算子为 StreamSets 原生算子,更多信息,可参考 Development Stages

配置详情

使用该算子时,需要将pipeline的Execution Mode设置为 Standalone,如下图所示:

../../../_images/dev_raw_data_source_config1.png

该算子的配置包括 GeneralRaw DataData Format 的详细信息,各字段的配置如下:

General

名称

是否必须

描述

Name

Yes

算子名称

Description

No

算子描述

On Record Error

Yes

对错误数据的处理方式,可选:

  • Discard:直接丢弃

  • Send to Error:发送至错误中心

  • Stop Pipeline:停止流任务运行

Raw Data

名称

是否必须

描述

Raw Data

Yes

输入原始数据(格式可参考以下示例)

Stop After First Batch

No

指定是否在生成第一批数据后即停止

原始数据示例

{
   "orgId": "xxx",
   "modelId": "Model",
   "modelIdPath": "/rootModel/Model",
   "assetId": "qXupozjG",
   "pointId": "Point_A",
   "time": 1567292293000,
   "value": 1.2,
   "quality": 0,
   "attr": {}
}{
   "orgId": "xxx",
   "modelId": "Model",
   "modelIdPath": "/rootModel/Model",
   "assetId": "qXupozjG",
   "pointId": "Point_B",
   "time": 1567292292000,
   "value": 1.2,
   "quality": 0,
   "attr": {}
}

Data Format

名称

是否必须

描述

Data Format

Yes

选择生成数据的格式,可选JSON,Log,Text,XML等,推荐选择JSON

Compression Format

Yes

选择数据压缩格式,推荐选择None

其它选项

No

根据输入的原始数据和选择生成数据的格式,完成相应的配置

输出结果

根据输入的原始数据和设置的数据格式,输出结果。

输出示例

../../../_images/dev_raw_data_source_result1.png