流式计算

边缘流式计算提供了基于Apache Streamsets框架的流式计算服务，降低流式计算使用门槛，提供通用算子和领域定制化高性能算子帮助开发者生成复杂且高性能的领域计算逻辑。
 相比于集中部署的云计算而言，边缘端的流式计算解决了时延过长、汇聚流量过大等问题，同时也能为实时性和带宽密集型业务提供更好的支持。
 EnOS Edge 致力于沉淀 IoT 领域流处理常用算法，提供一整套底层封装好的 StreamSets 算子，供开发者配置定制化的流数据处理任务，满足复杂的业务需求。

../_images/edge_computing_struc.png

EnOS Edge 流式计算服务具备以下特点：

  • 低延时，流式计算聚焦实时、短周期的数据分析，能够更好地支撑本地业务实时处理与执行；
  • 更安全，流式计算中的数据仅在源数据设备和 Edge之间交换，不再全部上传至云计算平台，防范了数据泄露的风险；
  • 缓解流量压力，在边缘提前对数据进行过滤和预处理，减少上传云端的流量压力。

应用场景

EnOS Edge 流式计算服务可以应用于如下场景：

  • 边缘快速处理，提升数据分析处理的时效性。
  • 边缘就近计算，缓解原始数据全量上云压力。
  • 避免数据泄漏风险，核心数据只在边缘处理。

具体应用场景举例：

  • 光伏逆变器有功功率计算，支持计算单设备单遥测点5分钟窗口平均值。
  • 风机10分钟平均有功功率，支持计算单设备单遥测点10分钟窗口平均值。
  • 设备状态统计，根据设备状态（遥信点）统计某种状态下的设备数量。

功能特性

  • 支持直接导入并执行云端已有的pipeline
  • 支持拖拉拽新建pipeline
  • 提供丰富的通用算子库和领域高性能定制算子

关键概念

流数据处理流程

  • 原始数据处理：测点原始数据由规约采集后，按照点映射模板转换为模型测点，再发送至流式计算模块。流式计算服务按指定的阈值过滤数据。
  • 数据计算：经过阈值过滤之后的数据，由数据处理策略中定义的算法进行聚合计算。
  • 输出计算结果：经流数据处理模块处理之后的数据会流入下游模块，并按照预先配置的存储策略，将其记录到时序数据库（TSDB）或其它目标存储系统中。用户可通过 API 查询存储的数据。

连续的实时数据流

流数据处理引擎需要处理的数据是实时和连续的，数据流按时间顺序由流数据处理服务订阅和消费。数据是连续生成的，数据流被连续地集成到流数据处理系统中。因此，流数据始终是实时的和连续的。

连续高效的计算

EnOS Edge 流式计算服务的计算模式是“事件触发”式的。触发器是前面提到的连续流数据。每当新的流数据发送到流数据处理系统，系统立即启动并执行计算任务。

实时流数据集成

流数据触发流数据处理之后，计算结果按照预配的存储策略，被连续记录到目标数据存储器中。

StreamSets 算子

EnOS Edge 流式计算服务提供一整套底层封装好的 StreamSets 算子，供开发者基于业务需求开发定制化的流数据处理任务。有关 EnOS Edge 支持的 StreamSets 算子的详细信息，参见 支持的StreamSets算子列表。