监控模型生产指标¶
模型指标在线监控是在模型生产过程中对模型的性能参数的实时在线分析。模型版本部署上线并开始运行后，可通过监控以下模型生产指标，了解模型的运行表现：
- 系统服务指标
- 服务访问信息
- 底层系统信息
- 模型性能指标
- 评价指标
- 与真实值的比较
- 与业务指标的比较
模型的生产指标直接影响模型的生命周期阶段判断，也作为模型上线、调整模型服务权重、和模型退役的重要依据。
模型指标监控会消耗 InfluxDB 的存储资源和指标平滑的计算资源。模型版本部署上线后，指标监控功能默认为不开放。对于相对简单的模型，可选择不开放指标监控的功能，以达到资源的最大优化。
查看模型生产指标¶
通过以下步骤，查看处于 生产中 状态的模型版本的生产指标：
在模型列表中，点击模型名称，打开 模型版本管理 页面。
在 云端部署 标签下的部署实例列表中开启监控功能。
点击监控图标
查看系统服务监控数据，包括服务调用总数、平均调用频率、调用成功率和服务响应延时等数据。
点击 添加自定义指标，可新增更多自定义的指标监控项。
反馈值与预测值¶
在 模型部署 画布的 Predictor 卡片中，你可以获取推送反馈值的URL，然后根据业务需求将响应的参数通过该URL推送。
当Feedback接口调用成功后，会生成 predictor 和 observer 指标源。你可以通过指标监控页面查看反馈值与预测值的曲线对比。
在模型指标监控页面中点击 添加自定义指标。
在弹窗中输入指标名称，在 指标类型 下拉菜单中选择 反馈值与预测值。
为
predictor和observer指标源指定变量名称。
点击 确认，添加反馈值与预测值指标，并查看反馈值与预测值的曲线对比（X轴为时间维度；Y轴为指标的值）。
奖励值¶
模型 Reward 是指通过引入模型的业务 Feedback 值，并与 Predictor 值进行计算，确定当前预测的结果给予适当奖励，为下一次模型预测提供推荐参考。你可以通过指标监控页面查看 Reward 值的折线图。
在模型指标监控页面中点击 添加自定义指标。
在弹窗中输入指标名称，在 指标类型 下拉菜单中选择 奖励值。
系统将自动匹配模型版本的
feedback指标源和reward变量。
点击 确认，添加奖励值指标，并查看
Reward值的折线图（X轴为时间维度；Y轴为reward输入指标值）。
拟合指标¶
在现有的模型生产指标监控的前提下，可为拟合模型算子增加以下监控指标：
| 指标名称 | 取值范围 |
|---|---|
| RMSE | Root Mean Squared Error：均方根误差 |
| MAE | Mean Absolute Error：平均绝对误差 |
| MPE | Mean Percentage Error：平均百分比误差 |
| R^2 | R-square：决定系数 |
| MAPE | Mean Absolute Percentage Error：平均绝对百分比误差 |
在模型指标监控页面中点击 添加自定义指标。
在弹窗中输入指标名称，在 指标类型 下拉菜单中选择 rmse / mae / mpe / r2 / mape。
为
predictor和observer指标源指定变量名称。在 滑动窗口 一栏中，指定窗口时间，用于在动态中监控指标的变化。
点击 确认，添加拟合指标，并查看指标折线图。
分类指标¶
在现有的模型生产指标监控的前提下，可为分类模型算子增加以下监控指标：
| 指标名称 | 描述 |
|---|---|
| Precision | 查准率，即预测正确的正例数占预测为正例总量的比率，TP/(TP+FP) |
| Recall | 召回率，TP/(TP+FN) |
| F1-score | 查准率和查全率的加权调和平均数 |
在模型指标监控页面中点击 添加自定义指标。
在弹窗中输入指标名称，在 指标类型 下拉菜单中选择 precision / recall / f1score。
为
predictor和observer指标源指定变量名称。在 滑动窗口 一栏中，指定窗口时间，用于在动态中监控指标的变化。
点击 确认，添加分类指标。