单元 5: 运行任务流并查看预测结果¶
运行任务流¶
本教程中你需要运行两次任务流,分别执行训练任务与预测任务。通过以下步骤运行任务流:
保存任务流后,点击功能操作区中的 运行 图标打开运行弹窗。
将 tasktype 的参数值设置为
training
, 点击 确认 执行模型训练任务。模型训练任务完成后再次点击 运行 图标,并将 tasktype 的参数值设置为
prediction
。将 predictiontype 的参数值设置为
service
或file
。service:执行基于已上线模型服务的预测任务。
file:执行基于 Mlflow 模型文件的预测任务。
指定 HDFS_source 和 hive_source 的参数值,将预测结果保存至 HDFS 与 EnOS Hive。
点击 确定,执行模型预测任务。
查看任务流运行状态以及预测结果¶
任务流运行后,你可以通过以下步骤查看运行状态:
点击 运行实例 打开任务流运行实例列表。
点击预测任务的实例名称以查看该实例的运行结果。
在运行结果页面左上切换三个标签页可分别查看 DAG 图、详情 和 甘特 信息。
在 DAG 图 标签页下,可查看任务流实例的运行结果,包括运行流程、输入输出、日志以及算子 Pod 信息。
在 详情 标签页下,可查看任务流运行的基本详情、运行参数和高级配置信息。
在 甘特 标签页下,可查看算子运行的时间分布状况以及算子运行状态。
任务流运行成功后可在 DAG 图 标签页下查看算子输出:
当全局参数 predictiontype 的值为
service
时任务流执行模型服务预测,点击 Write results 算子查看其输入输出参数信息。当全局参数 predictiontype 的值为
file
时任务流执行 Mlflow 模型文件预测,点击 Write results 2 算子查看其输入输出参数信息。
通过以下方式查看任务流预测结果:
点击根据输入创建任务集图标 ,基于算子运行结果创建数据集并分析任务流数据。详细信息可参考 数据集管理。
点击复制图标 ,在 MI Lab 中打开 Notebook 实例,在 terminal 中复制代码并运行。
如果预测结果储存至 EnOS Hive 中,你可以通过 EnOS 数据可视化服务将预测结果可视化。
(可选) 通过 DTV 将预测结果可视化¶
EnOS 数据可视化服务(Digital Twin Visualization,DTV)为企业提供数据可视化解决方案。通过 DTV 将预测结果可视化需要满足以下条件:
可访问 EnOS 管理控制台的数据联邦以及 EnOS 应用门户的 DTV 模块。
当前 OU 已请求 EnOS Hive 以及数据联邦资源。
详细信息可参考 数据可视化服务。
创建数据联邦通道¶
创建数据联邦通道为可视化工具提供任务流运行数据:
登录至 EnOS 管理控制台,点击 企业数据平台 - 数据治理 > 数据联邦 > 联邦通道管理。
点击 新建通道,输入通道名称
wind_demo
,并点击 数据源 > 添加 在弹窗中配置以下信息:属性名称
属性值
选择类型
HIVE (EnOS)
选择数据源
HIVE (EnOS)
设置别名
hive_enos
执行队列
root.eaptest01
点击 保存并下一步。
在授权应用列表中点击 DTViz 应用的 授权/撤销,授权 DTViz 访问此数据联邦通道。
点击 完成 创建数据联邦通道,注意保存通道 ID。
将数据接入 DTV¶
创建 DTV 数据源将任务流运行数据接入 DTV 应用:
登录 EnOS 应用门户,点击左侧导航栏中的 指标工具 > 数据源。
在外部数据标签页中点击 新建数据源,并在弹窗中配置以下信息:
属性名称
属性值
类别
Data Federation
名称
wind_demo
ChannelId
新建数据联邦通道的 ID
点击 确定 创建数据源。
创建 DTV 项目与页面¶
创建 DTV 项目与页面用于存放可视化组件:
在 EnOS 应用门户左侧导航栏中点击 指标工具 > 指标页面,打开项目列表。
点击 新建项目,在弹窗中输入项目名称
Power Forecasting
,并点击 确定。点击 新建页面,在弹窗中配置以下信息,并点击 确定:
名称: Wind
项目: Power Forecasting
创建 DTV 组件¶
创建 DTV 组件将预测结果可视化:
在页面编辑器中点击顶部工具栏的添加图标 ,并在下拉菜单中点击 组件(新建)。
在顶部工具栏右侧点击 高级模式,启用更多组件配置项。
在 选择图表类型 中选择混合图 。
在 选择基本信息 > 标题 中输入
Wind Power Forecast
。在 选择数据项 中配置以下信息:
属性名称
属性值
数据源
EAP
类别
符合预测
聚合方式
原始
维度
x_basic_time
度量
r_speed, f_power, r_power, f_speed
在 选择图表样式 > 度量样式 中配置以下信息:
度量名称
双 Y 轴
图表类型
r_speed
启用
线型
f_speed
启用
线型
r_power
禁用
面积
f_power
禁用
面积
点击 保存,在图表中查看预测值与真实值等信息。
配置完成的 Wind Power Forecast 组件示例: