管理 Notebook 实例


智能实验室整合了 Jupyter Notebook,为数据科学家提供模型开发和创作环境。进入智能实验室后,你可以对 Notebook 实例进行以下管理操作:

  • 查看 Notebook 实例

  • 新建 Notebook 实例

  • 编辑 Notebook 实例

  • 删除 Notebook 实例

  • 打开 Notebook 实例进入 JupyterLab 实验环境

前提条件

  • 组织已通过 EnOS 管理控制台 > 资源管理 页面,申请 Notebook 实例所需的 ML模型 - 容器计算 资源(资源池)。

  • 已通过 资源配置 > 存储配置 页面,添加 Notebook 实例所需的工作空间存储和数据存储。

新建 Notebook 实例

智能实验室 Notebook 实例支持不同类型的资源池(启用或关闭 HDFS 和数据仓库数据读写权限的资源池)。在新建 Notebook 实例时,可根据业务需要选择不同类型的资源池。

关闭HDFS和数据仓库的数据读写权限

通过以下步骤新建 Notebook 实例(不使用 HDFS 和数据仓库):

  1. 登录 EnOS 管理控制台,从左侧导航栏中选择 企业分析平台 > 机器智能中心 > 智能实验室,打开 Notebook 实例首页。

  2. 点击 新建实例,完成 Notebook 实例的基本信息、镜像、和所需资源配置:

    • 实例名称:输入 Notebook 实例的名称

    • 资源池:选择在 资源管理 中已申请的资源池,用于运行 Notebook 实例

    • 镜像:选择 Notebook 实例需使用的镜像或手动输入镜像路径,智能实验室内置了以下框架的镜像可供选择:

      • MXNet

      • Keras

      • PyTorch

      • XGBoost

      • LightGBM

      • TensorFlow

      • PySpark

      • Spark

      • R

    • CPU/内存:根据业务需要,修改 Notebook 实例运行所需的 CPU 和内存资源的请求值和上限值,企业分析平台中消耗的请求值和上限值总和不得超过资源池在 资源管理 中设置的请求值和上限值

    • 工作空间存储:选择与资源池对应的存储,作为供 Notebook 实例运行所需的工作空间存储

      • 可点击下拉菜单旁的刷新按钮,以显示新创建的PVC存储;也可选择不使用工作空间存储,但在 NoteBook 里保存的代码或文件重启后会丢失

      • 可在下拉菜单中点击 Add item,快速创建需要的工作空间存储

    • 数据存储:选择与资源池对应的存储,用于存储实验数据,并指定数据挂载点

      • 可点击下拉菜单旁的刷新按钮,以显示新创建的PVC存储

      • 可在下拉菜单中点击 Add item,快速创建需要的数据存储

    • 如果底层资源支持 GPU,选中 GPUs 复选框并指定厂商和数量即可使用 GPU。

  3. 点击 确认,完成创建 Notebook 实例后,Notebook 实例将开始运行。

开启 HDFS 和数据仓库的数据读写权限

开始前准备:

  1. 确保组织已通过 资源管理 页面申请 ML模型 - 容器计算 资源,并且申请的资源已启用HDFS和数据仓库读写权限。

  2. 通过 资源配置 > 存储配置 页面,使用申请的资源池,添加 Notebook 实例所需的工作空间存储和数据存储。如下图所示:

    ../_images/adding_storage.png


通过以下步骤新建 Notebook 实例(启用 HDFS 和数据仓库):

  1. 登录 EnOS 管理控制台,从左侧导航栏中选择 企业分析平台 > 机器智能中心 > 智能实验室,打开 Notebook 首页。

  2. 点击 新建实例,完成 Notebook 实例的基本信息、镜像和所需资源配置:

    • 实例名称:输入 Notebook 实例的名称

    • 资源池:选择在 资源管理 中已申请的资源池,用于运行 Notebook 实例

    • 镜像:选择 Notebook 实例需使用的镜像(仅可选择 pyspark 或 spark 镜像)

    • CPU/内存:如业务需要,修改 Notebook 实例运行所需的 CPU 和内存资源的请求值和上限值,注意 企业分析平台 中消耗的请求值和上限值总和不得超过资源池在 资源管理 中设置的请求值和上限值

    • 工作空间存储:选择与资源池对应的存储,作为供 Notebook 实例运行所需的工作空间存储

      • 可点击下拉菜单旁的刷新按钮,以显示新创建的PVC存储;也可选择不使用工作空间存储,但在 NoteBook 里保存的代码或文件重启后会丢失

      • 可在下拉菜单中点击 Add item,快速创建需要的工作空间存储

    • 数据存储:勾选 挂载Hadoop PVC,开启HDFS和数据仓库的数据读写权限,并添加与资源池对应的存储用于存储实验数据

    • (可选)使用其他keytab文件:上传自定义keytab文件(需确保文件名不能为 data_ouid.keytab 格式)

    • 如果底层资源支持 GPU,选中 GPUs 复选框并指定厂商和数量即可使用 GPU。

    ../_images/creating_notebook_3.png ../_images/creating_notebook_4.png
  3. 点击 确认,完成创建 Notebook 实例后,Notebook 实例将开始运行。

打开 Notebook 实例进入 JupyterLab

Notebook 实例开始运行后,在 Notebook 实例列表中点击实例名称或在 Notebook 实例详情页点击 进入 即可进入 JupyterLab 环境开始数据探索和开发。


../_images/jupyterlab.png


有关使用 JupyterLab 进行数据探索和开发的详细信息,参见 JupyterLab Documentation

编辑 Notebook 实例

在 Notebook 实例列表中,点击 view_icon 可打开 Notebook 实例详情页,点击详情页右上角的 编辑 按钮即可编辑 Notebook 实例的以下信息:

  • Notebook 实例需使用的镜像

  • Notebook 实例运行所需的 CPU 和内存资源

  • 添加数据存储空间

  • 设置是否挂载 Hadoop PVC(已开启HDFS和数据仓库的数据读写权限时)

删除 Notebook 实例

当完成模型实验开发,不再需要 Notebook 实例时,可在 Notebook 实例列表中,选中 Notebook 实例后点击 删除 按钮删除 Notebook 实例释放资源。

备注

删除 Notebook 实例之前,需确保 Notebook 上存储的文件可被删除,文件删除后不可恢复,请谨慎操作。