Developing and Managing Workflows¶
本章节介绍如何在作业流设计页面的编辑画布中,设计开发作业流。
浏览线下设计页面¶
点击实验列表中目标实验的 线下设计,可进入到线下设计编辑画布,开始作业流设计和开发。线下设计页面由以下部分组成:
算子列表
线下设计页面左侧为各类算子列表,提供逻辑算子、模型算子、SQL算子、处理算子、自定义算子等,并可在页面顶端的搜索框中搜索算子。
编辑画布
线下设计页面中部为作业流编辑画布,可将需要使用的算子拖拽到编辑画布中,编排作业流。
参数配置
线下设计页面右侧为参数配置区,可对作业流或算子进行基础信息配置和参数配置。
功能操作
线下设计页面顶部为功能操作区,可对作业流进行以下操作:
自动保存:开启或关闭编辑中的作业流信息。
保存:保存当前画布中的作业流信息。
撤销/重做:回退或重做画布中的作业流信息。
运行:测试运行当前作业流。
发布生产:将当前作业流发布至生产环境。首次发布作业流时需要设置生产环境调度,作业流发布至生产环境后,其状态由编辑态变为生产中状态。如果生产环境已有运行中的实例,新发布的作业流将覆盖生产环境中的作业流。
查看运行实例:可查看线上运行中的作业流实例列表。
导出:导出并保存当前作业流配置信息。
导入:导入外部保存的作业流配置文件,在编辑画布上编辑。
编排作业流 ¶
通过拖拽算子至作业流编辑画布、设置每个算子的配置信息、使用箭头将算子连接起来表示算子间的逻辑依赖关系,编排为作业流。最后通过配置整个作业流的调度周期,实现作业流自动运行。
本章节以 “抛硬币” 场景为例,使用 flip-coin-op、Condition、和 print-op 算子,编排作业流,输出结果为硬币的正面。
通过以下步骤,完成作业流和算子的参数配置,并将算子编排为作业流。
将需要使用的算子(1个 flip-coin-op 算子和2个 Condition 算子)拖拽到编辑画布中。
选中 Condition 算子,在其参数配置中,引用 flip-coin-op 算子的
output
值作为 Condition 算子的表达式:flip-coin-op.output == heads
。选中 Condition(1) 算子,在其参数配置中,引用 flip-coin-op 算子的
output
值作为 Condition(1) 算子的表达式:flip-coin-op.output == tails
。双击 Condition 算子,打开其子画布,将 print-op 算子拖拽到编辑画布中,引用 flip-coin-op 算子的
output
值,用于打印flip-coin-op.output
的值。参照步骤4,双击 Condition(1) 算子,在其子画布中配置 print-op 算子。
在主画布中,拖拽 flip-coin-op 算子的输出点,用箭头将其连接到2个 Condition 算子的输入点,表示算子之间的逻辑依赖关系,完成作业流的编排。
运行作业流¶
保存作业流后,点击功能操作区中的 运行 图标。在弹窗中,完成运行作业流的资源配置后,点击 运行。
作业流运行成功后,点击功能操作区中的 查看运行实例 图标,在 运行实例列表 中,查看成功运行的作业流实例。
点击运行名称,查看作业流实例的运行结果。
将作业流发布生产¶
作业流测试运行成功后,可将作业流发布生产并调度。
在实验列表中,从实验名称卡片右上角的 … 菜单中选择 发布生产。
在 发布生产 弹窗中,完成基础配置后,点击 下一步。
完成生产调度配置:
触发类型:选择按固定频率周期调度作业流或按指定时间(通过Cron表达式配置)调度作业流
设定调度作业流的开始时间和结束时间
若按固定频率周期调度作业流,设定运行时间间隔
若按指定时间调度作业流,输入Cron表达式
完成作业流调度配置后,点击 确认,将作业流发布上线生产,实验的状态将变为 已调度。
从实验名称卡片右上角的 … 菜单中选择 查看调度,即可查看调度的详细信息。