维护流数据处理任务

当流数据处理任务发布上线后,可在 流运维 页面上对最新的任务进行各种运维操作,比如计算资源准备、任务预跑、启动、暂停、停止任务、查看任务运行状态等操作。

申请计算资源

启动任务之前,需确保OU已经申请分配流数据处理资源。申请资源的步骤,请参考 资源申请及扩容

调试流数据处理任务

在启动流数据处理任务之前,可对任务进行预跑(Preview)操作。

  1. 点击任务名称,打开任务查看页面。

  2. 点击 Preview 图标,设置任务预跑参数。

  3. 查看任务是否能正常运行。

预跑会截取最新时间切片上的实时数据进行处理,处理后的结果不会进入最终的数据库。当预跑结果符合预期后,可直接启动任务。

运维流数据处理任务

流运维 页面任务列表中,可对流数据处理任务进行如下运维操作:

  • 启动:点击 启动start_icon 开始运行任务。任务开启后,即可在流数据处理系统中开始持续运行。

    备注

    启动任务时,如有运行中的流数据处理任务,可暂停一个或多个运行中的任务,然后一并启动需要运行的任务。系统会为启动的任务重新分配计算资源。

  • 暂停:对运行中的任务,点击 暂停pause_icon 。暂停任务后,缓存的数据会被暂时保留。当重新启动任务时,会继续暂停前的状态开始计算,但暂停时间不得超过24小时。

  • 停止:对运行中的任务,点击 停止stop_icon 。停止任务后,缓存的数据会被清除。当重新启动任务时,会继续从任务停止前的数据开始处理,但是任务停止前的计算结果不会被保存。

  • 查看任务配置:在操作栏中,点击 更多 > 查看配置,查看任务的详细配置。

  • 导出任务配置:在操作栏中,点击 更多 > 导出配置,可下载任务配置文件。

  • 一键启动/暂停:选中多个任务,点击 启动暂停 按钮,可一键启动或暂停多个任务。

查看流任务运行结果

流运维 页面,在 名称 一栏中,点击已启动的任务名称,可查看任务的运行情况:

  • Summary: 查看任务运行情况总结,比如整体处理记录统计、各个时间段聚合情况。

  • Log: 点击页面右上角View Logs图标,可查看任务运行日志。