流式计算

边缘流式计算提供了基于Apache Streamsets框架的流式计算服务，降低流式计算的使用门槛，同时提供通用算子和领域定制化高性能算子，帮助开发者生成复杂且高性能的领域计算逻辑。
 相比于集中部署的云计算而言，边缘端的流式计算不仅解决了时延过长、汇聚流量过大等问题，同时为实时性和带宽密集型的业务提供更好的支持。
 EnOS Edge 致力于沉淀 IoT 领域的流处理常用算法，开发者通过配置即可完成流数据处理任务的开发及运维。此外，EnOS Edge 流式计算服务还提供一整套底层封装好的 StreamSets 算子，供开发者开发定制化的流数据处理任务，满足复杂的业务需求。

../_images/edge_computing_struc.png

EnOS Edge 流式计算服务具备以下特点：

  • 低延时，流式计算聚焦实时、短周期数据的分析，能够更好地支撑本地业务的实时智能化处理与执行；

  • 更安全，流式计算中的数据仅在源数据设备和 Edge 设备之间交换，不再全部上传至云计算平台，防范了数据泄露的风险；

  • 缓解流量压力，在边缘提前对数据进行过滤和预处理，减少上传的流量压力。

应用场景

EnOS Edge 流式计算服务可以应用于如下场景：

  • 边缘快速处理，提升数据分析处理的时效性。

  • 边缘就近计算，缓解原始数据全量上云压力。

  • 核心数据只在边缘处理，避免数据泄漏风险。

具体应用场景如：

  • 光伏逆变器有功功率计算，支持计算单设备的单遥测点的5分钟窗口平均值。

  • 风机10分钟平均有功功率，支持计算单设备的单遥测点的10分钟窗口平均。

  • 设备状态统计，根据设备状态（遥信点）统计某种状态下的设备数量。

功能特性

  • 支持直接导入并执行云端已有的pipeline

  • 提供丰富的算子库

  • 优化流式计算框架提升单节点计算性能50%

  • 提供领域高性能算子打破单节点接入上限

连续的实时数据流

流数据处理引擎需要处理的数据是实时和连续的。数据流按时间顺序由流数据处理服务订阅和消费。数据是连续生成的，所以数据流被连续地集成到流数据处理系统中。因此，流数据始终是实时的和连续的。

连续高效的计算

EnOS Edge 流式计算服务的计算模式是“事件触发”式的。触发器是前面提到的连续流数据。每当新的流数据发送到流数据处理系统，系统立即启动并执行计算任务。

实时流数据集成

流数据触发流数据处理之后，计算结果按照预配的存储策略，被连续记录到目标数据存储器中。

关键概念

流数据处理流程

  • 原始数据处理：测点原始数据由规约采集后，按照点映射模板转换为模型测点，再发送至流式计算模块。流式计算服务按指定的阈值过滤数据。

  • 数据计算：经过阈值过滤之后的数据，由数据处理策略中定义的算法进行聚合计算。

  • 输出计算结果：经流数据处理模块处理之后的数据会流入下游模块，并按照预先配置的存储策略，将其记录到时序数据库（TSDB）或其它目标存储系统中。用户可通过 API 查询存储的数据。

StreamSets 算子

EnOS Edge 流式计算服务提供一整套底层封装好的 StreamSets 算子，供开发者基于业务需求开发定制化的流数据处理任务。有关 EnOS Edge 支持的 StreamSets 算子的详细信息，参见 支持的StreamSets算子列表。