转换流数据处理任务类型


在设计态下，可根据业务需要将常规流数据处理任务转换为高阶流数据处理任务。

前提条件

  • 确保组织已通过 EnOS 管理控制台 > 资源管理 页面申请高阶流数据处理任务需要的 流数据处理-消息队列 资源。

操作步骤

转换常规流数据处理任务为高阶流数据处理任务的步骤如下：

  1. 点击 流数据处理 > 流开发，查看已创建的流数据处理任务。可通过任务名称前的图标识别任务类型。

  2. 在流数据处理任务列表中，右击待转换的常规流数据处理任务，选择 转换为高级流。

    _images/upgrading_pipeline.png

  3. 在弹窗中确认转换操作，完成流数据处理任务类型转换。可通过任务名称前的图标识别任务类型。

    _images/upgraded_pipeline.png

无缝迁移流数据处理任务

在迁移流数据处理任务时，如果配置了自定义 Topic Reader 流任务取代自动生成的系统流任务 Data Reader，需要联系 EnOS 运维进行 Kafka Offset 迁移操作，以免丢失数据。操作流程如下图所示：

_images/migrating_pipeline.png

操作步骤

  1. 系统 Data Reader 流停止。
  2. 常规流和系统 Data Reader 流在没有 Lag 时停止。
  3. 按需修改常规流的输入输出源 Kafka Topic，并启动。
  4. 联系 EnOS 运维进行 Kafka Offset 迁移操作。
  5. 按需修改自定义 Topic Reader 流的输出源 Kafka Topic，并启动。