配置 TSDB 存储


EnOS TSDB 可帮助你快速存储和读取重要且访问频次较高的业务数据。针对不同类型的业务数据,TSDB 也提供多种存储类型供你选择。每种存储类型提供的存储和读取能力有所不同,你可根据业务需求进行选择,目前 TSDB 提供的数据存储类型如下:

  1. 标准化数据存储:标准化数据为核心的、经过模型和测点定义的,需要被存储在 TSDB 的各类数据桶中的,以进行后续查看、获取与分析处理的数据。支持的标准化数据存储类型如下:
    • AI原始数据
    • AI分钟级规一化数据
    • DI数据
    • PI数据
    • 通用数据
  2. 非标准化数据存储:对于设备端直接上送的原始数据,有些是非核心的、未进行模型和测点定义的,无法存在 TSDB 的各类数据桶中,但这些数据又是需要被存储、查看和获取的,后期可能会被用于分析或标准化,所以需要专门的桶来存储这部分非标准化的数据。

配置标准化数据存储策略

登录 EnOS 管理控制台,选择 时序数据管理 > 存储策略,选择 Formatted record 进入标准化数据存储策略页面。

配置AI原始数据存储

AI(Analogy Input)即模拟量输入,模拟量输入的物理量有温度、压力、流量等,这些物理量由相应的传感器感应测得,往往经过变送器转变为电信号送入控制器的模拟输入口,为反应真实的数据变化,这类数据一般采集频率高,通常是秒级采集,因此数据量巨大。在真实使用过程中,一般会对这些秒级数据进行分钟级规整处理后使用,所以这类原始秒级数据一般不需要存储过长时间。TSDB 存储策略支持这类原始秒级AI数据的存储。


AI原始数据存储类型的功能特性如下:

功能特性 描述
数据类型 仅支持AI数据存储(在定义测点时选择数据类型)
数据源 上传到 EnOS Cloud 的测点原始数据,或经过流数据处理之后的分钟级归一化数据
保留时长 根据业务需求选择(因数据量巨大,建议选择较短的存储时长)
数据读取API 调用 Get Asset AI Raw Data,获取指定设备的某些测点在某段时间内的AI原始数据


按照以下步骤配置AI原始数据存储:

  1. 登录 EnOS 管理控制台,选择 时序数据管理 > 存储策略,选择已创建的存储策略分组。

  2. 将光标移到 AI原始数据 板块上,点击浮现的 编辑 图标,打开 编辑存储策略 页面。

  3. 数据存储时效 下拉菜单中,选择需要存储数据的时长。

  4. AI存储点选择 一栏中,选择相应的模型和测点。

  5. 点击 确认,保存AI原始数据存储配置。参考如下配置示例:

    ../_images/storage_policy_config_1.png

配置AI分钟级规一化数据存储

上述提到的在真实使用过程中,一般会对AI原始数据进行分钟级聚合处理后使用,TSDB支持将这些分钟级规一化处理后的数据进行另外处理。且在读取数据时,提供自动规一化处理,对这些数据量大大缩小的分钟级数据能提供聚合读取的能力。


AI分钟级规一化数据存储类型的功能特性如下:

功能特性 描述
数据类型 仅支持AI数据存储(在定义测点时选择数据类型)
数据源 经过流数据处理之后的分钟级归一化数据,或上传到 EnOS Cloud 的测点原始数据
归一化处理 如果数据源是测点原始数据,当AI原始数据进入TSDB时,数据时间戳的秒级后缀会被去除。因此某一分钟只会存最后一条入库的数据。
保留时长 根据业务需求选择(因数据量大幅减少,可选择较长的存储时长)
数据读取API 调用 Get Asset AI Data with Aggregation Logic, 获取指定设备的某些测点在某段时间内的分钟级归一化AI数据
集合函数 由于做了分钟级规整,数据量大大减少,分钟级规整TSDB提供聚合函数,供开发者在调用 Get Asset AI Data with Aggregation Logic 接口读取数据时对数据进行聚合处理。目前支持的聚合函数有:cntavgsummaxminfirstlast。注:如果不使用数据聚合逻辑,参数``interval``的值必须设为0。


配置 AI分钟级规一化数据 存储类型的步骤与配置 AI原始数据 存储类型的步骤类似。参考如下配置示例:

../_images/storage_policy_config_2.png

配置DI数据存储

DI(Digital Input)即状态量输入, 亦称数字量输入。例如:以开关状态为输出的传感器,如水流开关、风速开关、压差开关等,将高/低电平(相当于开关)两种状态输入到控制器,控制器将其转换为数字量1或0,进而对其进行逻辑分析和计算,这种控制器通道即为DI通道。DI量一般是可枚举的状态量,上送的频率不固定,一般只有变位了才会上送或存储。针对这类数据,TSDB提供对应的特殊存储及读取。


DI数据存储类型的功能特性如下:

功能特性 描述
数据类型 仅支持DI数据存储(在定义测点时选择数据类型)
数据源 上传到 EnOS Cloud 的测点原始数据
保留时长 根据业务需求选择(因数据量很小,建议选择较长的存储时长)
数据读取API 调用 Get Asset DI Data,获取指定设备在某段时间内的状态数据,支持变位返回指定时间段内的DI数据


配置 DI数据 存储类型的步骤与配置 AI原始数据 存储类型的步骤类似。

配置PI数据存储

PI(Pulse Input)量一般为基于电能表读数计算出的一段时间内的电量数据。针对这类数据,TSDB提供对应的特殊存储及读取。


PI数据存储类型的功能特性如下:

功能特性 描述
数据类型 仅支持PI数据存储(在定义测点时选择数据类型)
数据源 分钟级归一化后的电量数据(如果数据为测点秒级数据,存储时自动去掉数据时间戳的秒级后缀;若归一化后的数据出现重复时,存储最后一条到达的数据)
保留时长 根据业务需求选择(因数据量大幅减少,可选择较长的存储时长)
数据读取API 调用 Get Asset Electric Power Data,获取指定设备在某段时间内的电量数据;调用 Get Asset Current Day Electric Power,获取指定设备当日已累计电量数据


配置 PI数据 存储类型的步骤与配置 AI原始数据 存储类型的步骤类似。

配置通用数据存储

在配置模型测点时,可以配置AI、DI、PI、通用这四类数据点。TSDB对通用数据类型提供独立的存储,支持对这类数据配置对应的存储时长和存储点。


通用数据存储类型的功能特性如下:

功能特性 描述
数据类型 仅支持通用数据存储(在定义测点时选择数据类型)
数据源 上传到 EnOS Cloud 的测点原始数据
保留时长 根据业务需求选择
数据读取API 调用 Get Asset Generic Data,获取指定设备的某些测点在某段时间内通用类型的数据


配置 通用数据 存储类型的步骤与配置 AI原始数据 存储类型的步骤类似。

配置非标准化数据存储策略

按照以下步骤配置非标准化数据存储:

  1. 登录 EnOS 管理控制台,选择 时序数据管理 > 存储策略,选择 Unformatted record 进入标准化数据存储策略页面。
  2. 将光标移到 非标准数据 板块上,点击浮现的 编辑 图标,打开 编辑存储策略 页面。
  3. 在 数据存储时效 下拉菜单中,选择需要存储数据的时长。
  4. 点击 确认,保存非标准数据存储配置。