流数据处理常见问题


有关开发流数据处理任务的常见问题如下:

问:在对流数据处理任务进行运行配置时,什么场景选择集群模式,什么场景选择Standalone模式?

答:Standalone模式下,底层资源不可横向扩展,运行资源有限,但其资源使用效率高,适用于处理小流量数据。集群模式下,底层资源可横向扩展,资源充足,适用于处理大流量数据。

问:在申请流数据处理任务资源时,需要申请多少资源?

答:可参考 算子性能说明 文档中给出的每个算子对应的性能指标,结合实际数据流量大小与任务的详细配置,估算出整个任务需要的资源。最推荐的做法是在测试环境中模拟生产数据上送情况,根据运行监控数据对流数据处理任务运行资源进行调整,再将相应的配置应用到生产环境中。

问:启动流数据处理任务时,为什么会启动失败?

答:流数据处理任务启动运行失败,可能有多种原因。请排查以下可能的原因:

  1. 确保网络通信正常,对流数据处理任务进行运维操作时,必须保证网络通信正常。
  2. 确保任务资源配置未超出配额,可对任务运行资源进行调整,使其不超过整体资源配额。
  3. 若流数据处理计算系统出错,可尝试重启任务或者联系EnOS运维人员。

问:流数据处理任务已启动并运行,但是为什么看不到计算数据?

答:当流数据处理任务已正常启动,却无法在监控页面看到计算结果数据,请排查以下可能的原因:

  1. 流数据处理任务配置不正确,比如输入测点填写错误等。
  2. 流数据处理任务需要的输入数据没有正常上送,无法产生计算结果数据。
  3. 相关的系统流任务没有正常启动,导致数据的消费及输出不能正常进行。
  4. 输出测点没有在模型中注册,导致计算结果数据无法正常输出。

问:单个组织下可创建的流数据处理任务数有无限制?

答:单个组织账号可创建50个流数据处理任务。