线下设计开发作业流


本章节介绍如何在作业流设计页面的编辑画布中,设计开发作业流。

浏览线下设计页面

点击实验列表中目标实验的 线下设计,可进入到线下设计编辑画布,开始作业流设计和开发。线下设计页面由以下部分组成:


算子列表

线下设计页面左侧为各类算子列表,提供逻辑算子、模型算子、SQL算子、处理算子、自定义算子等,并可在页面顶端的搜索框中搜索算子。


编辑画布

线下设计页面中部为作业流编辑画布,可将需要使用的算子拖拽到编辑画布中,编排作业流。


参数配置

线下设计页面右侧为参数配置区,可对作业流或算子进行基础信息配置和参数配置。


功能操作

线下设计页面顶部为功能操作区,可对作业流进行以下操作:

  • 自动保存:开启或关闭编辑中的作业流信息。

  • 保存:保存当前画布中的作业流信息。

  • 撤销/重做:回退或重做画布中的作业流信息。

  • 运行:测试运行当前作业流。

  • 发布生产:将当前作业流发布至生产环境。首次发布作业流时需要设置生产环境调度,作业流发布至生产环境后,其状态由编辑态变为生产中状态。如果生产环境已有运行中的实例,新发布的作业流将覆盖生产环境中的作业流。

  • 查看运行实例:可查看线上运行中的作业流实例列表。

  • 导出:导出并保存当前作业流配置信息。

  • 导入:导入外部保存的作业流配置文件,在编辑画布上编辑。


../_images/workflow_desgin_page.png

编排作业流

通过拖拽算子至作业流编辑画布、设置每个算子的配置信息、使用箭头将算子连接起来表示算子间的逻辑依赖关系,编排为作业流。最后通过配置整个作业流的调度周期,实现作业流自动运行。


本章节以 “抛硬币” 场景为例,使用 flip-coin-op、Condition、和 print-op 算子,编排作业流,输出结果为硬币的正面。


通过以下步骤,完成作业流和算子的参数配置,并将算子编排为作业流。

  1. 将需要使用的算子(1个 flip-coin-op 算子和2个 Condition 算子)拖拽到编辑画布中。

  2. 选中 Condition 算子,在其参数配置中,引用 flip-coin-op 算子的 output 值作为 Condition 算子的表达式:flip-coin-op.output == heads

    ../_images/workflow_config_1.png
  3. 选中 Condition(1) 算子,在其参数配置中,引用 flip-coin-op 算子的 output 值作为 Condition(1) 算子的表达式:flip-coin-op.output == tails

    ../_images/workflow_config_2.png
  4. 双击 Condition 算子,打开其子画布,将 print-op 算子拖拽到编辑画布中,引用 flip-coin-op 算子的 output 值,用于打印 flip-coin-op.output 的值。

    ../_images/workflow_config_3.png
  5. 参照步骤4,双击 Condition(1) 算子,在其子画布中配置 print-op 算子。

  6. 在主画布中,拖拽 flip-coin-op 算子的输出点,用箭头将其连接到2个 Condition 算子的输入点,表示算子之间的逻辑依赖关系,完成作业流的编排。

    ../_images/workflow_config_4.png

运行作业流

  1. 保存作业流后,点击功能操作区中的 运行 图标。在弹窗中,完成运行作业流的资源配置后,点击 运行

    ../_images/workflow_config_5.png
  2. 作业流运行成功后,点击功能操作区中的 查看运行实例 图标,在 运行实例列表 中,查看成功运行的作业流实例。

    ../_images/workflow_list.png
  3. 点击运行名称,查看作业流实例的运行结果。

    ../_images/workflow_running_results.png

将作业流发布生产

作业流测试运行成功后,可将作业流发布生产并调度。

  1. 在实验列表中,从实验名称卡片右上角的 菜单中选择 发布生产

  2. 发布生产 弹窗中,完成基础配置后,点击 下一步

    ../_images/publishing_workflow_1.png
  3. 完成生产调度配置:

    • 触发类型:选择按固定频率周期调度作业流或按指定时间(通过Cron表达式配置)调度作业流

    • 设定调度作业流的开始时间和结束时间

    • 若按固定频率周期调度作业流,设定运行时间间隔

    • 若按指定时间调度作业流,输入Cron表达式

    ../_images/publishing_workflow_2.png
  4. 完成作业流调度配置后,点击 确认,将作业流发布上线生产,实验的状态将变为 已调度

    ../_images/publishing_workflow_3.png
  5. 从实验名称卡片右上角的 菜单中选择 查看调度,即可查看调度的详细信息。

    ../_images/publishing_workflow_4.png