管理 Notebook 实例¶
智能实验室整合了 Jupyter Notebook,为数据科学家提供模型开发和创作环境。进入智能实验室后,你可以对 Notebook 实例进行以下管理操作:
查看 Notebook 实例
新建 Notebook 实例
编辑 Notebook 实例
删除 Notebook 实例
打开 Notebook 实例进入 JupyterLab 实验环境
前提条件¶
组织已通过 EnOS 管理控制台 > 资源管理 页面,申请 Notebook 实例所需的 ML模型 - 容器计算 资源(资源池)。
已通过 资源配置 > 存储配置 页面,添加 Notebook 实例所需的工作空间存储和数据存储。
新建 Notebook 实例¶
智能实验室 Notebook 实例支持不同类型的资源池(启用或关闭 HDFS 和数据仓库数据读写权限的资源池)。在新建 Notebook 实例时,可根据业务需要选择不同类型的资源池。
关闭HDFS和数据仓库的数据读写权限¶
通过以下步骤新建 Notebook 实例(不使用 HDFS 和数据仓库):
登录 EnOS 管理控制台,从左侧导航栏中选择 企业分析平台 > 机器智能中心 > 智能实验室,打开 Notebook 实例首页。
点击 新建实例,完成 Notebook 实例的基本信息、镜像、和所需资源配置:
实例名称:输入 Notebook 实例的名称
资源池:选择在 资源管理 中已申请的资源池,用于运行 Notebook 实例
镜像:选择 Notebook 实例需使用的镜像或手动输入镜像路径,智能实验室内置了以下框架的镜像可供选择:
MXNet
Keras
PyTorch
XGBoost
LightGBM
TensorFlow
PySpark
Spark
R
CPU/内存:根据业务需要,修改 Notebook 实例运行所需的 CPU 和内存资源的请求值和上限值,企业分析平台中消耗的请求值和上限值总和不得超过资源池在 资源管理 中设置的请求值和上限值
工作空间存储:选择与资源池对应的存储,作为供 Notebook 实例运行所需的工作空间存储
可点击下拉菜单旁的刷新按钮,以显示新创建的PVC存储;也可选择不使用工作空间存储,但在 NoteBook 里保存的代码或文件重启后会丢失
可在下拉菜单中点击 Add item,快速创建需要的工作空间存储
数据存储:选择与资源池对应的存储,用于存储实验数据,并指定数据挂载点
可点击下拉菜单旁的刷新按钮,以显示新创建的PVC存储
可在下拉菜单中点击 Add item,快速创建需要的数据存储
如果底层资源支持 GPU,选中 GPUs 复选框并指定厂商和数量即可使用 GPU。
点击 确认,完成创建 Notebook 实例后,Notebook 实例将开始运行。
开启 HDFS 和数据仓库的数据读写权限¶
开始前准备:
确保组织已通过 资源管理 页面申请 ML模型 - 容器计算 资源,并且申请的资源已启用HDFS和数据仓库读写权限。
通过 资源配置 > 存储配置 页面,使用申请的资源池,添加 Notebook 实例所需的工作空间存储和数据存储。如下图所示:
通过以下步骤新建 Notebook 实例(启用 HDFS 和数据仓库):
登录 EnOS 管理控制台,从左侧导航栏中选择 企业分析平台 > 机器智能中心 > 智能实验室,打开 Notebook 首页。
点击 新建实例,完成 Notebook 实例的基本信息、镜像和所需资源配置:
实例名称:输入 Notebook 实例的名称
资源池:选择在 资源管理 中已申请的资源池,用于运行 Notebook 实例
镜像:选择 Notebook 实例需使用的镜像(仅可选择 pyspark 或 spark 镜像)
CPU/内存:如业务需要,修改 Notebook 实例运行所需的 CPU 和内存资源的请求值和上限值,注意 企业分析平台 中消耗的请求值和上限值总和不得超过资源池在 资源管理 中设置的请求值和上限值
工作空间存储:选择与资源池对应的存储,作为供 Notebook 实例运行所需的工作空间存储
可点击下拉菜单旁的刷新按钮,以显示新创建的PVC存储;也可选择不使用工作空间存储,但在 NoteBook 里保存的代码或文件重启后会丢失
可在下拉菜单中点击 Add item,快速创建需要的工作空间存储
数据存储:勾选 挂载Hadoop PVC,开启HDFS和数据仓库的数据读写权限,并添加与资源池对应的存储用于存储实验数据
(可选)使用其他keytab文件:上传自定义keytab文件(需确保文件名不能为
data_ouid.keytab
格式)如果底层资源支持 GPU,选中 GPUs 复选框并指定厂商和数量即可使用 GPU。
点击 确认,完成创建 Notebook 实例后,Notebook 实例将开始运行。
打开 Notebook 实例进入 JupyterLab¶
Notebook 实例开始运行后,在 Notebook 实例列表中点击实例名称或在 Notebook 实例详情页点击 进入 即可进入 JupyterLab 环境开始数据探索和开发。
有关使用 JupyterLab 进行数据探索和开发的详细信息,参见 JupyterLab Documentation。
编辑 Notebook 实例¶
在 Notebook 实例列表中,点击 可打开 Notebook 实例详情页,点击详情页右上角的 编辑 按钮即可编辑 Notebook 实例的以下信息:
Notebook 实例需使用的镜像
Notebook 实例运行所需的 CPU 和内存资源
添加数据存储空间
设置是否挂载 Hadoop PVC(已开启HDFS和数据仓库的数据读写权限时)
删除 Notebook 实例¶
当完成模型实验开发,不再需要 Notebook 实例时,可在 Notebook 实例列表中,选中 Notebook 实例后点击 删除 按钮删除 Notebook 实例释放资源。
备注
删除 Notebook 实例之前,需确保 Notebook 上存储的文件可被删除,文件删除后不可恢复,请谨慎操作。