数据管理与分析¶
注解
标有“（预览）”的功能为可供试用和评估的可选功能，不建议用于商业用途。如果您对预览功能感兴趣，请联系您的销售代表。
在 EnOS 2.4 中，我们对数据管理与分析的产品菜单进行了全新分类，数据管理与分析现包括数据集成、数据管理和数据分析 3 个分类。同时在设备数据集成服务、数据订阅、数据归档、数据资产目录等产品模块中，新增了多项功能。
数据集成¶
在 EnOS 2.4 中，我们新增了数据集成分类，数据集成中包括设备数据集成服务、数据源注册和数据同步，同时为设备数据集成服务新增了多项功能。
设备数据集成服务¶
在 EnOS 2.4 中，设备数据集成服务新增了以下内容。
通用
支持在 EnOS 资源管理中查看、申请和管理 设备数据集成资源。
连接配置
新增了 S3 的连接类型，用于配置与 AWS S3 服务器的连接。
代理配置
新增了配置代理 运行实例数 的功能，实例数范围为 1-4。
设计集成流
- 在 流设计器 页面为云端集成流新增按状态筛选功能，将云端集成流划分为 6 种状态：未发布、发布中、运行中、发布失败、已下线 和 运行异常。
- 新增自定义节点授权验证功能，在上传自定义节点时需要输入组织管理员收到的验证码。
监控集成流
在流日志和节点日志中新增 Trace ID，用于查询与流日志相对应的各节点日志。
在流日志和节点日志中新增 运行时长，用于查看流/节点在处理每条消息时所花费的时间。
新增一条云端流的告警规则，Flow 空转时间过长，当流在指定时段内没有任何输入/输出时，该规则将触发告警。
在 审计服务 中新增流的节点变更日志，在每次保存流时，记录流内节点的新增、修改和删除操作。
在 概览 页面新增 运行失败详情 弹窗，点击 运行失败次数 可查看指定时间段内全部/指定云端集成流的运行失败记录。
节点¶
在 EnOS 2.4 中，设备数据集成服务全新上线了 3 个新节点，并在部分原有节点中新增了多项功能。
新增节点¶
| 节点 | 描述 |
|---|---|
| S3 File | 根据设置的时间间隔，自动扫描 S3 服务器上的指定存储桶，下载指定文件。 |
| 节点 | 描述 |
|---|---|
| Split End | 标记上游 Split 节点到该节点之间的处理逻辑全部结束，并合并输出已全部处理完毕的消息到下游。 |
| 节点 | 描述 |
|---|---|
| Open API | 调用 EnOS 的 Open API 接口访问系统内的资源。 |
原有节点¶
| 节点 | 新增功能 |
|---|---|
| Update Device Status | 新增可更新设备下线状态的选项。 |
| MQTT Sub | 新增 QoS 定义订阅 MQTT 服务器消息时可用的最大消息服务质量等级。新增并发数提升消息处理的速度。 |
| Inject | 新增 Msg 数据格式中的文件选项。 |
| Timer | 新增以秒为单位间隔的选项。 |
| Store Context | 新增 TTL 的最大限制，为 864000 秒，新增键值对的最大数量为 20 对。 |
| Kafka Sub | 新增并发数配置 Kafka 客户端的最大连接数。 |
| Subflow | 新增包含 Subflow 的流支持复制、导入和导出。 |
| File | 新增支持多文件读取，支持查看和下载通过 File 节点保存的文件。写入文件时，新增为已存在文件追加内容的功能。 |
数据管理¶
在 EnOS 2.4 中，我们新增了数据管理分类，同时在数据订阅、数据归档与数据资产目录中，新增了多项功能。
数据归档¶
对于归档源数据类型，实时消息通道与离线消息通道现均已支持对 数据模型 的数据归档。对于指定标签下的设备采集数据、经流计算处理后的数据以及历史数据，均可按自定义格式生成文件，并存储至 HDFS 或外部的 Blob Storage。更多信息，参见 新建数据归档任务。
数据资产目录¶
指标
支持查看指标的基础信息，包括指标 ID、名称、指标类型、单位、业务主体、主题域、指标库、数据来源、数据类型及更新信息。
支持查看与指标关联的标签分组和标签。
支持查看指标的操作审计日志。
MysqlTable
支持查看 MysqlTable 的基础信息，包括 ID、名称、描述、数据源名称、数据源描述、数据库名称及更新信息。
支持查看 MysqlTable 的列名称、数据类型、描述、是否主键、非空及是否外键。
支持查看与 MysqlTable 关联的标签分组和标签。
支持预览 MysqlTable 中的数据。
支持查看 MysqlTable 的操作审计日志。
对象类型
支持根据类型标识符、属性、主键创建主数据对象类型，并支持添加校验规则对创建的对象类型字段进行校验。支持删除、修改和查看主数据对象类型。
支持创建、删除、修改及查看两个对象类型间的关系，对象类型关系包括一对一、一对多、多对一和多对多。
支持创建、删除、修改和查看数据对象实例。
支持创建、删除、修改及查看两个对象实例间的关系，对象实例关系包括一对一、一对多、多对一和多对多。
支持查看主数据对象类型及对象关系列表。
支持根据标准属性模板和通用属性模板来创建术语表。
更多信息，参见 数据资产目录。
数据分析¶
在 EnOS 2.4 中，我们为数据集管理、智能实验室、智能集市、智能任务流、资源配置以及智能分析套件新增了多项功能。
数据集管理¶
数据集管理新增了以下样例数据集及功能：
- 新增帮助用户快速入门智能分析套件负荷预测和价格预测功能的样例数据集。
- 支持在基于 Mysql 和 HIVE 创建数据集时输入带变量的 SQL 查询语句，从而引入动态数据。更多信息，参见 从 MySQL 或 Hive 数据源连接创建数据集。
智能实验室¶
智能实验室新增了以下功能：
支持查看 Notebook 实例实际使用的 CPU 和内存资源。
支持启动或停止 Notebook 实例。
Notebook 实例支持在保存更改后自动重启并应用更改。
有关 Notebook 实例的更多信息，参见 管理 Notebook 实例。
智能集市¶
智能集市新增了以下功能：
支持查看模型部署实例的日志，并可按时间段或通过 ES 查询语句检索日志。有关模型部署实例日志的更多信息，参见 查看部署实例日志。
支持在部署实例时通过前处理统一模型输入格式，或通过 API 调用记录保存 API 调用日志。有关前处理和 API 调用记录的更多信息，参见 部署上线模型的第一个版本。
支持在部署实例列表中停用已上线的模型版本部署实例从而减少资源占用。更多信息，参见 下线模型版本。
