Monitoring Model Production Indicators


模型版本部署上线并开始运行后,可通过监控以下模型生产指标,了解模型的运行表现:

  • 系统服务指标

    • 服务访问信息

    • 底层系统信息

  • 模型性能指标

    • 评价指标

    • 与真实值的比较

    • 与业务指标的比较


模型的生产指标直接影响模型的生命周期阶段判断,也作为模型上线、调整模型服务权重、和模型退役的重要依据。

查看模型生产指标

通过以下步骤,查看处于 生产中 状态的模型以及模型版本的生产指标:

  1. 在模型列表中,点击模型名称,打开 模型版本管理 页面。

  2. 模型版本管理 页面,点击 部署查看,然后在 模型部署 画布栏中点击 指标监控

    ../_images/monitor_indicator.png
  3. 模型指标监控 页面中,查看系统服务监控数据,包括服务调用总数、平均调用频率、调用成功率、和服务响应延时等数据。

    ../_images/system_indicator.png
  4. 点击 添加自定义指标,可新增更多自定义的指标监控项。

拟合指标

分类指标

Reward

生产监控页面的时间窗口