企业数据平台¶
备注
标有“（预览）”的功能为可供试用和评估的可选功能，不建议用于商业用途。如果您对预览功能感兴趣，请联系您的销售代表。
在 EnOS 2.3 Release 中，我们对企业数据平台的产品菜单进行了全新分类，同时在数据资产目录、数据联邦、时序数据管理、流数据处理、批数据处理等产品中，新增了多项功能。详细信息如下：
产品菜单分类变更¶
从 EnOS 2.3 Release 发布起，企业数据平台 将分为 数据治理 和 数据工厂 两类，具体菜单设置如下：
2.2 产品菜单 |
2.3 产品菜单 |
|---|---|
|
|
数据资产目录¶
在 EnOS 2.3 Release 中，我们改进了 数据资产目录（Data Catalog）服务，更好地满足了企业数据治理的需求。
数据资产目录打通了数据源、数据处理、数据存储、数据服务、数据应用，记录了数据从产生到消费的全过程。这个过程中，数据资产目录会涉及管理企业的业务元数据、运营元数据及技术元数据、主数据等，为企业的数据治理团队、数据科学家、数据分析师、数据开发者和应用开发者，提供了围绕着企业内外部核心数据资产的协作能力。
有关数据资产目录的更多信息，参见 数据资产目录。
数据建模¶
支持元数据对象、主数据对象、对象关系规范化建模，并内置多种数据模型。
数据同步¶
支持多种元/主数据同步方式，同步接入侧以及其他多种数据源的数据，并支持在同步时进行映射配置、数据质量校验。
资产检索¶
支持基于类型、类型属性条件、标签条件等进行检索。
标签/术语管理¶
通过标签/术语帮助数据使用者更好地理解与检索数据。支持对标签/术语进行分组管理，并支持给数据对象手动、自动关联标签和术语。
数据分析¶
支持查看数据资产之间的关系，为数据分析提供分析决策服务。
流数据处理¶
算子库¶
平台抽象多个流数据处理基础算子，支持开发者自由拖拽式任务编排，满足更多业务场景的流数据处理任务开发。当前版本除了支持 0.3.0 版本所有功能外，新增功能如下：
支持新的数据流转格式
新增支持新版数据格式的算子（功能与旧版格式保持一致）
支持对数据中的测点和资产打 Tag（Tag 信息来自 Data Catalog）
新增数据过滤算子，支持通过表达式对数据进行过滤后重命名
更多信息，参考 Operator Library 0.4.0 参考文档。
高阶流数据处理任务¶
通过算子开发的常规流数据处理任务需要消费 Kafka Internal Topic 中的全部消息，然后通过 Point Selector 算子过滤出需要使用的数据。常规流数据处理任务消耗的计算资源较大。
在高阶流数据处理任务中，系统任务流能将流数据处理任务需要的数据分别输出到不同的 Kafka Topic 中。在下游流数据处理任务的配置项中，按需配置输入数据源 Kafka Topic，从而有效地节约计算资源。
更多信息，参考 开发高阶流数据处理任务。
自定义算子包¶
流数据处理服务新增了对自定义算子包的支持，数据开发者可以安装和使用自定算子包来开发定制化的流数据处理任务。
更多信息，参考 安装自定义算子包。
时序数据管理¶
配置最后变更记录数据存储策略¶
时序数据管理服务新增了配置测点的最后变更记录数据存储策略，用于判断设备通信状态、测点死数状态等场景。
更多信息，参考 配置最后变更记录存储策略。
清理最后变更记录数据¶
时序数据管理服务新增了清理存储在 TSDB 中的资产最后变更记录数据功能，以释放存储资源。
更多信息，参考 清理 Last Changed Record 数据。
支持非标准化数据存储与时序洞察¶
对于设备端直接上送的原始数据，有些是非核心的、未进行模型和测点定义的，无法存在 TSDB 的各类数据桶中，但这些数据又是需要被存储、查看和获取的，时序数据管理服务新增了非标准化数据存储策略，用专门的桶来存储这部分非标准化的数据，以支持后期的分析或标准化。
更多信息，参考 配置非标准化数据存储策略 与 开启非标准化数据时序洞察。
数据联邦¶
通道类型和通道创建流程优化¶
在创建数据联邦通道时，可选择创建的通道类型，即 READ、WRITE、和 DOWNLOAD 通道类型；且在创建通道时，即可直接完成通道授权。
更多信息，参考 新建数据联邦通道。
支持跨 OU 的数据查询、下载¶
现已支持跨 OU 访问 HDFS 与 HIVE 数据源。若该数据源分类下有其他已授权 OU 下的该数据源，可查询所有已授权 OU 下的该数据源。
更多信息，参考 在线查询数据。
支持通道运行日志查看与下载¶
支持用户在通道处于启动中、运行、异常时查看和下载日志（包括 containerName、k8sLog、podName 和 podLog 信息）。
更多信息，参考 查看通道日志。
批数据处理¶
脚本开发¶
脚本开发的功能新增了对 Shell 脚本的支持。你可以使用脚本开发功能在线编辑和调试 Shell 脚本。
更多信息，参考 脚本开发。
任务流运维优化¶
新增了对任务流运维的功能进行了以下优化：
支持按流负责人查询任务流和任务流实例
支持按实例计划运行日期或实例创建日期查询任务流实例
支持查看实例创建时间一年内的任务流实例
数据源注册¶
新增 ClickHouse 数据源¶
数据源注册服务新增了注册 ClickHouse 数据源，支持从 EnOS Hive 同步数据到 ClickHouse 数据源。
更多信息，参考 注册ClickHouse数据源。
新增 Open API 数据源¶
数据源注册服务新增了注册 Open API 数据源的功能，支持通过 Open API 的方式接入数据。
更多信息，参考 注册 Open API 数据源。
Blob 源增加 SAS Token 认证方式¶
新增注册 Azure Blob 数据源认证方式，可通过账号名称 + 秘钥或 SAS Token 方式进行认证。
更多信息，参考 注册 Azure Blob 数据源。
数据同步¶
新增 ClickHouse 数据源¶
新增了从 EnOS Hive 同步数据到 ClickHouse 数据源。
更多信息，参考 从 EnOS Hive 同步数据到目的数据库。
导出已完成配置项的任务¶
在导出数据同步任务时，仅能导出已完成所有配置项的数据同步任务。
更多信息，参考 导出任务配置文件。
数据订阅¶
订阅设备事件上报¶
数据订阅服务新增了订阅设备事件上报功能，可订阅指定模型上报的事件数据，以及订阅指定的事件类型（Info、Warning、或 Error）。
数据沙箱¶
数据沙箱服务将在 EnOS 2.3 版本中下线。当产品升级至 EnOS 2.3后，沙箱下线，资源释放，不可恢复。