处理算子


智能任务流提供以下任务处理相关算子：

  • Python 算子
  • PythonEx 算子
  • PythonCode 算子
  • Shell 算子
  • ShellEx 算子
  • ShellCode 算子
  • Notebook 算子
  • NotebookEx 算子
  • ParallelFor Status List 算子
  • Pipeline Trigger 算子
  • APIM 算子
  • Email 算子
  • EnOS Mail 算子
  • EnOS SMS 算子

Python 算子


Python 算子用于处理 Python 脚本任务，与 Git Directory 算子组合使用。Python 算子的参数分为固定参数和动态参数，固定参数不能被删除，动态参数可根据使用的需要新增、修改、删除和排序。

输入参数说明


以下为 Python 算子的固定参数。

名称 必需/可选 类型 描述
workspace 必需 Directory 指定代码所在的文件目录，通常来自 Git Directory 算子。
entrypoint 必需 String 指定入口程序文件名称，文件名称需包含路径。
requirements_file_path 可选 String 指定需要安装的依赖包所在的文件路径。

输出参数说明


Python 算子没有固定的输出参数，输出参数可根据使用的需求动态增加。

PythonEx 算子


PythonEx 算子用于处理已保存在平台内部存储中的 Python 脚本任务。PythonEx 算子的参数分为固定参数和动态参数，固定参数不允许删除，动态参数可根据使用的需要新增、修改和删除。

输入参数说明


下表列出了 PythonEx 算子的固定参数。

名称 必需/可选 类型 描述
workspace 必需 notebook_dir 指定代码所在的文件目录。
entrypoint 必需 notebook_file 指定入口程序文件名称，文件名称需包含路径。
requirements 可选 notebook_file 指定需要安装的依赖包。

输出参数说明


PythonEx 算子没有固定的输出参数，输出参数可根据使用的需求动态增加。

PythonCode 算子


PythonCode 算子用于运行 Python 代码。

输入参数说明


名称 必需/可选 类型 描述
code 必需 python 输入 Python 代码。
requirements 可选 list 指定依赖包。

输出参数说明


名称 类型 描述
mlflow_model_file_paths list Mlflow 模型文件的目录列表。

Shell 算子


Shell 算子用于处理 Shell 脚本任务，与 Git Directory 算子组合使用。其输入输出参数配置与 Python 算子相同，可参考 Python 算子的说明。

ShellEx 算子


ShellEx 算子用于处理已保存在平台内部存储中的 Shell 脚本。其输入输出参数配置与 PythonEx 算子相同，可参考 PythonEx 算子的说明。

ShellCode 算子


ShellCode 算子用于运行 Shell 代码。

输入参数说明


名称 必需/可选 类型 描述
code 必需 shell 输入 Shell 代码。
requirements 可选 list 指定依赖包。

输出参数说明


ShellCode 算子没有固定的输出参数，输出参数可根据使用的需求动态增加。

Notebook 算子


Notebook 算子常用于处理在 Notebook 中验证通过并保存下来的 ipynb 类型的任务。Notebook 算子常与 Git Directory 算子组合使用，通常开发的模型代码文件会保存到 Git 上，Notebook 算子会从 Git Directory 算子获取代码文件并执行。典型的场景是执行 Python 任务，运行 Python 代码文件，训练机器学习模型，产生的模型文件通过 MLflow 的 logmodel 方式记录并输出。


Notebook 算子的输入输出参数为动态参数，可按需要添加输入输出参数，或对参数进行排序。

输入参数说明


以下为常用输入参数示例：

名称 必需/可选 类型 描述
workspace 必需 Directory 指定代码所在的文件目录，通常来自 Git Directory 算子指定的 directory。
entrypoint 必需 String 指定入口程序文件名称，文件名称需包含路径（因为不同的目录下可能存在相同名称的文件）。
requirements_file_path 可选 String 指定需要安装的依赖包所在的文件路径。
env 可选 List 指定需要传递的参数列表。

输出参数说明


以下为常用输出参数示例：

名称 类型 描述
mlflow_model_file_paths List 通过 MLflow 的 logmodel 方式记录并输出的模型文件路径列表。

NotebookEx 算子


NotebookEx 算子常用于处理在 Notebook 中验证通过并保存下来的 ipynb 类型的任务。NotebookEx 会从内部存储中获取代码文件并执行，典型的场景是执行 Python 任务，运行 Python 代码文件，训练机器学习模型，产生的模型文件通过 MLflow 的 logmodel 方式记录并输出。关于如何上传代码文件到内部存储，可参考 上传模型代码到内部存储。


NotebookEx 算子的输入输出参数为动态参数，可按需要添加输入输出参数，或对参数进行排序。

输入参数说明


以下为常用输入参数示例：

名称 必需/可选 类型 描述
workspace 必需 notebook_dir 指定代码所在的内部存储文件目录。
entrypoint 必需 notebook_file 指定内部存储入口程序文件名称，文件名称需包含路径。
requirements 可选 notebook_file 指定需要安装的依赖包。
env 可选 List 指定需要传递的参数列表，默认为空。

输出参数说明


以下为常用输出参数示例：

名称 类型 描述
mlflow_model_file_paths List 通过 MLflow 的 logmodel 方式记录并输出的模型文件路径列表。

Pipeline Trigger 算子


Pipeline Trigger 算子仅可作为退出算子使用，可用于调用其它任务流。

输入参数说明


名称 必需/可选 类型 描述
experiment 必需 pipeline_experiment 选择被调用的任务流。可选本 OU 下除了本算子所在任务流以外的所有其他任务流。

输出参数说明


名称 类型 描述
pipeline_run_id String 被调用的任务流运行名称。
pipeline_run_info String 被调用的任务流运行信息。

ParallelFor Status List 算子


ParallelFor Status List 算子用于获取 ParallelFor 运行后每个 Item 的运行结果相关信息。

输入参数说明


名称 必需/可选 类型 描述
run_id 必需 String 输入运行实例名称，可选择本 OU 下的所有任务流。
parallelfor_path 必需 String 算子位置。

输出参数说明


名称 类型 描述
result List 输出信息。

APIM 算子


APIM 算子用于从指定 API 连接中获取数据。

输入参数说明


名称 必需/可选 类型 描述
url 必需 String 输入需要调用的 API 地址。
access_key 必需 String 输入调用 API 的 AccessKey。
secret_key 必需 password 输入调用 API 的 SecretKey。填写或修改后保存，再次进入任务流设计页面查看此算子时此处会显示为空。
http_method 必需 http_method 指定请求方式。可选值为：GET、POST、PUT 和 DELETE。
body 可选 String 输入请求体。
headers 可选 String 输入请求头。

输出参数说明


名称 类型 描述
result File 输出 API 调用结果。

Email 算子


Email 算子用于实现邮件告警功能。

输入参数说明


名称 必需/可选 类型 描述
mail_host 必需 String 邮件服务器IP地址或域名，例如 smtp.163.com、smtp.office365.com。
mail_user 必需 String 邮件服务用户名。
mail_pass 可选 Password 与用户名对应的密码。
sender 必需 String 发件人。
receivers 必需 List 收件人列表，可来自组织内用户列表。
content 必需 String 发送邮件内容。
subject 必需 String 发送邮件主题。
on_condition 可选 Run_status 在指定值为 succeed，completed，或 failed 时，该算子可作为退出算子使用。当任务流为指定的状态时，触发邮件发送。

输出参数说明


名称 类型 描述
status String 邮件发送状态。
content_out String 邮件发送内容。

EnOS Mail 算子


EnOS Email 算子用于通过 envision-digital 邮箱发送通知邮件。

输入参数说明


名称 必需/可选 类型 描述
sender_identifier 必需 String 指定发件邮箱地址。
receivers 必需 user_contact_list 指定收件邮箱地址。
copyto 可选 user_contact_list 指定抄送邮箱地址。
locale 可选 locale 选择邮件语言。
module 必需 module 选择相关的智能工作室模块。
target 必需 string 输入邮件通知的目标信息，例如模型名称、实例名称、数据集名称等。
incident 必需 string 输入与邮件通知相关联的事件信息。
detail 必需 string 输入事件的细节描述或其它相关信息。
priority 必需 string 选择邮件通知的优先级。
on_condition 可选 Run_status 在指定值为 succeed，completed，或 failed 时，该算子可作为退出算子使用。当任务流为指定的状态时，触发邮件发送。

输出参数说明


EnOS Mail 算子无输出参数。

EnOS SMS 算子


EnOS SMS 算子用于发送短信通知。

输入参数说明


名称 必需/可选 类型 描述
recipients 必需 user_contact_list 指定短信接收人的手机号码和区号。
tunnel 必需 tunnel 指定发送短信的运营商。
signature 可选 string 输入短信的签名信息。
locale 可选 locale 选择短信通知的语言。
module 必需 module 选择与短信通知相关的智能工作室模块。
target 必需 string 输入消息通知的目标信息，例如模型名称、实例名称、数据集名称等。
incident 必需 string 输入与通知相关联的事件信息。
priority 必需 string 指定通知的优先级。
on_condition 可选 Run_status 在指定值为 succeed，completed，或 failed 时，该算子可作为退出算子使用。当任务流为指定的状态时，触发短信发送。

输出参数说明


EnOS SMS 算子无输出参数。