单元 5: 运行任务流并查看预测结果


运行任务流


本教程中你需要运行两次任务流,分别执行训练任务与预测任务。通过以下步骤运行任务流:

  1. 保存任务流后,点击功能操作区中的 运行 图标打开运行弹窗。

  2. 将 tasktype 的参数值设置为 training, 点击 确认 执行模型训练任务。

  3. 模型训练任务完成后再次点击 运行 图标,并将 tasktype 的参数值设置为 prediction

  4. 将 predictiontype 的参数值设置为 servicefile

    • service:执行基于已上线模型服务的预测任务。

    • file:执行基于 Mlflow 模型文件的预测任务。

  5. 指定 HDFS_source 和 hive_source 的参数值,将预测结果保存至 HDFS 与 EnOS Hive。

  6. 点击 确定,执行模型预测任务。

查看任务流运行状态以及预测结果


任务流运行后,你可以通过以下步骤查看运行状态:

  1. 点击 运行实例 打开任务流运行实例列表。

  2. 点击预测任务的实例名称以查看该实例的运行结果。

  3. 在运行结果页面左上切换三个标签页可分别查看 DAG 图详情甘特 信息。

    • DAG 图 标签页下,可查看任务流实例的运行结果,包括运行流程、输入输出、日志以及算子 Pod 信息。

    • 详情 标签页下,可查看任务流运行的基本详情、运行参数和高级配置信息。

    • 甘特 标签页下,可查看算子运行的时间分布状况以及算子运行状态。

  4. 任务流运行成功后可在 DAG 图 标签页下查看算子输出:

    • 当全局参数 predictiontype 的值为 service 时任务流执行模型服务预测,点击 Write results 算子查看其输入输出参数信息。

    • 当全局参数 predictiontype 的值为 file 时任务流执行 Mlflow 模型文件预测,点击 Write results 2 算子查看其输入输出参数信息。

  5. 通过以下方式查看任务流预测结果:

    • 点击根据输入创建任务集图标 create_dataset,基于算子运行结果创建数据集并分析任务流数据。详细信息可参考 数据集管理

    • 点击复制图标 copy_icon,在 MI Lab 中打开 Notebook 实例,在 terminal 中复制代码并运行。

    • 如果预测结果储存至 EnOS Hive 中,你可以通过 EnOS 数据可视化服务将预测结果可视化。

(可选) 通过 DTV 将预测结果可视化


EnOS 数据可视化服务(Digital Twin Visualization,DTV)为企业提供数据可视化解决方案。通过 DTV 将预测结果可视化需要满足以下条件:

  • 可访问 EnOS 管理控制台的数据联邦以及 EnOS 应用门户的 DTV 模块。

  • 当前 OU 已请求 EnOS Hive 以及数据联邦资源。


详细信息可参考 数据可视化服务

创建数据联邦通道


创建数据联邦通道为可视化工具提供任务流运行数据:

  1. 登录至 EnOS 管理控制台,点击 企业数据平台 - 数据治理 > 数据联邦 > 联邦通道管理

  2. 点击 新建通道,输入通道名称 wind_demo,并点击 数据源 > 添加 在弹窗中配置以下信息:

    属性名称

    属性值

    选择类型

    HIVE (EnOS)

    选择数据源

    HIVE (EnOS)

    设置别名

    hive_enos

    执行队列

    root.eaptest01

  3. 点击 保存并下一步

  4. 在授权应用列表中点击 DTViz 应用的 授权/撤销,授权 DTViz 访问此数据联邦通道。

  5. 点击 完成 创建数据联邦通道,注意保存通道 ID。

将数据接入 DTV


创建 DTV 数据源将任务流运行数据接入 DTV 应用:

  1. 登录 EnOS 应用门户,点击左侧导航栏中的 指标工具 > 数据源

  2. 在外部数据标签页中点击 新建数据源,并在弹窗中配置以下信息:

    属性名称

    属性值

    类别

    Data Federation

    名称

    wind_demo

    ChannelId

    新建数据联邦通道的 ID

  3. 点击 确定 创建数据源。

创建 DTV 项目与页面


创建 DTV 项目与页面用于存放可视化组件:

  1. 在 EnOS 应用门户左侧导航栏中点击 指标工具 > 指标页面,打开项目列表。

  2. 点击 新建项目,在弹窗中输入项目名称 Power Forecasting,并点击 确定

  3. 点击 新建页面,在弹窗中配置以下信息,并点击 确定

    • 名称: Wind

    • 项目: Power Forecasting

创建 DTV 组件


创建 DTV 组件将预测结果可视化:

  1. 在页面编辑器中点击顶部工具栏的添加图标 add_button,并在下拉菜单中点击 组件(新建)

  2. 在顶部工具栏右侧点击 高级模式,启用更多组件配置项。

  3. 选择图表类型 中选择混合图 mix_chart

  4. 选择基本信息 > 标题 中输入 Wind Power Forecast

  5. 选择数据项 中配置以下信息:

    属性名称

    属性值

    数据源

    EAP

    类别

    符合预测

    聚合方式

    原始

    维度

    x_basic_time

    度量

    r_speed, f_power, r_power, f_speed

  6. 选择图表样式 > 度量样式 中配置以下信息:

    度量名称

    双 Y 轴

    图表类型

    r_speed

    启用

    线型

    f_speed

    启用

    线型

    r_power

    禁用

    面积

    f_power

    禁用

    面积

  7. 点击 保存,在图表中查看预测值与真实值等信息。


配置完成的 Wind Power Forecast 组件示例:

../_images/wind_power_forecast.png