Dev Raw Data Source

根据用户提供的数据,生成原始数据。仅支持Debug阶段使用。

该算子为 StreamSets 原生算子,更多信息,可参考 StreamSets 文档

配置详情

使用该算子时,需要将pipeline的Execution Mode设置为 Standalone,如下图所示:

../../../_images/dev_raw_data_source_config.png

该算子的配置包括 GeneralRaw DataData Format 的详细信息,各字段的配置如下:

General

名称 是否必须 描述
Name Yes 算子名称
Description No 算子描述
On Record Error Yes

对错误数据的处理方式,可选:

  • Discard:直接丢弃
  • Send to Error:发送至错误中心
  • Stop Pipeline:停止流任务运行

Raw Data

名称 是否必须 描述
Raw Data Yes 输入原始数据(格式可参考以下示例)
Stop After First Batch No 指定是否在生成第一批数据后即停止

原始数据示例

{
   "orgId": "xxx",
   "modelId": "Model",
   "modelIdPath": "/rootModel/Model",
   "assetId": "qXupozjG",
   "pointId": "Point_A",
   "time": 1567292293000,
   "value": 1.2,
   "quality": 0,
   "attr": {}
}{
   "orgId": "xxx",
   "modelId": "Model",
   "modelIdPath": "/rootModel/Model",
   "assetId": "qXupozjG",
   "pointId": "Point_B",
   "time": 1567292292000,
   "value": 1.2,
   "quality": 0,
   "attr": {}
}

Data Format

名称 是否必须 描述
Data Format Yes 选择生成数据的格式,可选JSON,Log,Text,XML等,推荐选择JSON
Compression Format Yes 选择数据压缩格式,推荐选择None
其它选项 No 根据输入的原始数据和选择生成数据的格式,完成相应的配置

输出结果

根据输入的原始数据和设置的数据格式,输出结果。

输出示例

../../../_images/dev_raw_data_source_result.png