维护流数据处理任务¶
当流数据处理任务发布上线后,可在 流运维 页面上对最新的任务进行各种运维操作,比如计算资源准备、任务预跑、启动、暂停、停止任务、查看任务运行状态等操作。
申请计算资源¶
启动任务之前,需确保OU已经申请分配流数据处理资源。申请资源的步骤,请参考 资源申请及扩容。
调试流数据处理任务¶
在启动流数据处理任务之前,可对任务进行预跑(Preview)操作。
点击任务名称,打开任务查看页面。
点击 Preview 图标,设置任务预跑参数。
查看任务是否能正常运行。
预跑会截取最新时间切片上的实时数据进行处理,处理后的结果不会进入最终的数据库。当预跑结果符合预期后,可直接启动任务。
运维流数据处理任务¶
在 流运维 页面任务列表中,可对流数据处理任务进行如下运维操作:
启动:点击 启动 键 开始运行任务。任务开启后,即可在流数据处理系统中开始持续运行。
备注
启动任务时,如有运行中的流数据处理任务,可暂停一个或多个运行中的任务,然后一并启动需要运行的任务。系统会为启动的任务重新分配计算资源。
暂停:对运行中的任务,点击 暂停 键 。暂停任务后,缓存的数据会被暂时保留。当重新启动任务时,会继续暂停前的状态开始计算,但暂停时间不得超过24小时。
停止:对运行中的任务,点击 停止 键 。停止任务后,缓存的数据会被清除。当重新启动任务时,会继续从任务停止前的数据开始处理,但是任务停止前的计算结果不会被保存。
查看任务配置:在操作栏中,点击 更多 > 查看配置,查看任务的详细配置。
导出任务配置:在操作栏中,点击 更多 > 导出配置,可下载任务配置文件。
一键启动/暂停:选中多个任务,点击 启动 或 暂停 按钮,可一键启动或暂停多个任务。
查看流任务运行结果¶
在 流运维 页面,在 名称 一栏中,点击已启动的任务名称,可查看任务的运行情况:
Summary: 查看任务运行情况总结,比如整体处理记录统计、各个时间段聚合情况。
Log: 点击页面右上角View Logs图标,可查看任务运行日志。