数据归档¶
对访问频率较低且占用存储空间很大的业务数据可进行归档存储。
Edge平台提供了简单的数据归档,支持异步方式将数据库中的数据归档到分布式文件系统中,包括:
- 原始数据归档:
- 归档AI原始数据:仅可用于归档原始遥测数据
- 归档DI原始数据:仅可用于归档原始遥信数据
- 归档PI原始数据:仅可用于归档原始电度数据
- 归档General原始数据:仅可用于归档原始通用数据
- 归档RAW原始数据:用于合并归档包括AI、PI、和通用数据类型的数据
- 告警数据归档
- 归档历史告警数据:用于归档历史告警记录数据
- 自定义归档:
- 归档AI 5分钟数据:用于归档遥测5分钟数据
- 归档AI 10分钟数据:用于归档遥测10分钟数据
注解
因为归档会消耗很大的计算和存储资源,所以,Edge平台上可以创建的归档数量存在限制:除了RAW原始数据归档可以最多创建5个以外,其他种类的归档最多只能创建1个。
原始数据归档¶
归档配置一览表¶
归档配置参数 | 参数值 |
---|---|
归档开始时间 | 创建归档时指定,指定后不可修改。默认值为创建归档的前一天 |
归档周期 | 1天 |
归档模型和测点选择 | 可自行选择模型和测点 |
归档路径 | 格式为:数据类型/日期/模型ID。例如,AI/20200202/EnOS_Solar_Inverter |
归档文件名 | 文件以资产的Asset ID命名 |
文件编码 | UTF-8 |
归档文件类型 | .csv文件 |
归档文件格式 | 见下文说明 |
列分隔符 | 创建归档时指定,不可修改,默认逗号 |
归档文件大小上限 | 无限制 |
是否压缩 | 创建归档时指定,不可修改,默认压缩 |
压缩算法 | GZIP |
归档存储时效 | 默认1个月,超过设定的时效,数据自动删除 |
AI、PI、Generic、RAW数据归档文件格式¶
以下用一个例子来说明归档文件的格式:
用户选择归档以下测点:
测点ID | 英文名称 | 中文名称 |
---|---|---|
WTUR.GenActivePW | Reactive Power Production | 有功功率 |
WTUR.WindSpeed | Wind Speed | 风速 |
在归档文件中,表头占据前三行,格式如下:
Asset ID | Asset Name | Data Time | Data Time UTC | WTUR.GenActivePW | WTUR.WindSpeed |
---|---|---|---|---|---|
Asset ID | Asset Name | Data Time | Data Time UTC | Reactive Power Production | Wind Speed |
资产 ID | 资产名称 | 时间 | UTC时间 | 有功功率 | 风速 |
WindturbineA | Wind Turbine A in China | 2020-01-01 00:00:00 | 2020-01-01 00:00:00 | 123.123 | 4.444 |
在该样例表中,前三行是表头,测点名称分别用ID方式、英文方式、中文方式来描述。前四列为固定内容,从第五列开始为测点列。
测点的排列顺序,根据其priority值升序排列。测点的priority值由用户在模型上配置tag实现。没有priority标签的测点,默认排在最后。
DI数据归档文件格式¶
以下用一个例子来说明归档文件的格式:
用户选择归档以下测点:
测点ID | 英文名称 | 中文名称 |
---|---|---|
WTUR.STA1 | Status #1 | 状态1 |
WTUR.STA2 | Status #2 | 状态2 |
在归档文件中,表头占据前三行,格式如下:
Asset ID | Asset Name | Data Time | Data Time UTC | Point ID | Point Value |
---|---|---|---|---|---|
Asset ID | Asset Name | Data Time | Data Time UTC | Point ID | Point Value |
资产 ID | 资产名称 | 时间 | UTC时间 | 测点ID | 数值 |
WindturbineA | Windturbine A in China | 2020-01-01 00:00:00 | 2020-01-01 00:00:00 | WTUR.STA1 | 1 |
WindturbineA | Windturbine A in China | 2020-01-01 00:00:00 | 2020-01-01 00:00:00 | WTUR.STA2 | 0 |
WindturbineB | Windturbine B in China | 2020-01-01 00:00:00 | 2020-01-01 00:00:00 | WTUR.STA1 | 0 |
WindturbineB | Windturbine B in China | 2020-01-01 00:00:00 | 2020-01-01 00:00:00 | WTUR.STA2 | 1 |
样例归档文件中,前三行是采用测点ID、测点英文名称、测点中文名称描述测点的基本信息。第四行开始是数据行。第五列开始为测点,测点排列方式同AI、PI、Generic数据归档文件。
告警数据归档¶
归档配置一览表¶
归档配置参数 | 参数值 |
---|---|
归档开始时间 | 创建归档时指定,不可修改,默认创建归档的前一天 |
归档周期 | 1天 |
归档模型和测点选择 | 所有模型、所有测点 |
归档路径 | 格式为:数据类型/日期。例如:AI/20190909,DI/20190909 |
归档文件名 | 文件以资产的Asset ID命名 |
文件编码 | UTF-8 |
归档文件类型 | .csv文件 |
归档文件格式 | 见下文说明 |
列分隔符 | 创建归档时指定,不可修改,默认逗号 |
归档文件大小上限 | 无限制 |
是否压缩 | 创建归档时指定,不可修改,默认压缩 |
压缩算法 | GZIP |
归档文件格式¶
Edge平台采用与EnOS完全兼容的方式归档历史告警库中的告警。
归档字段名称 | 原始数据 | 备注 |
---|---|---|
eventId | eventId | 告警id,全局唯一,不可变 |
orgId | orgId | 资产所属id |
assetId | deviceId | 资产id |
modelId | modelId | 资产所属模型id |
modelIdPath | modelIdPath | 模型所属路径 |
measurepointId | pointId | 资产测点,告警内容中配置的测点,用于判断告警 |
hitRuleId | RuleBid | 触发的告警规则编号,用户自定义 |
value | value | 测点值 |
occurTime | time | 告警发生时间,utc |
localOccurTime | localTime | 告警发生时间,本地时间,es中存储的是13位的timestamp,告警提供的API,会将数据转化成yyyy-mm-dd hh:mm:ss的格式,即精确到秒 |
recoverTime | recoverTime | 告警恢复时间,utc |
recoverLocalTime | recoverLocalTime | 告警发生时间,本地时间,es中存储的是13位的timestamp,告警提供的API,会将数据转化成yyyy-mm-dd hh:mm:ss的格式,即精确到秒 |
recoverReason | recoverReason | 告警恢复原因 |
createTime | createTime | 该告警记录的入库时间,utc |
updateTime | updateTime | 该告警记录的更新时间,utc |
severityId | severityId | 告警级别标识符,用户自定义 |
severityDesc | severityDesc | 告警级别描述 |
typeId | typeBid | 告警类别标识符,用户自定义 |
typeDesc | typeDesc | 告警类型的具体描述 |
subTypeId | subTypeBid | 告警子类型标识符,用户自定义 |
subTypeDesc | subTypeDesc | 告警子类型描述 |
contentId | contentBid | 告警内容标识符,用户自定义 |
contentDesc | contentDesc | 告警内容描述 |
eventType | eventType | 事件类型:0:系统恢复的告警;1:系统触发的告警;2:手动恢复的告警;3:手动插入的告警 |
tag | tag | 告警标签,告警提供的API,会将tag转化成json的标准格式,即[key1:V1,key2:V2] |
ruleDesc | ruleDesc | 规则描述 |
assetPaths | assetPath | 根据告警规则的作用域,返回告警资产在资产树上的路径列表。返回格式为:[“treeId1:/assetId1/assetId2/assetIdx”, “treeId2:/assetId3/assetIdx”] |
maskedBy | maskedBy | 如果该告警条目是衍生告警,返回导致该告警被屏蔽的根源告警信息。若资产树中,当前资产节点上游有多层的告警屏蔽,则会返回当前节点上游的所有配置告警屏蔽节点,且生成的eventId。返回格式为:[“treeId1:eventId1”, “treeId1:eventId2”] |
注解
- 对于localOccurTime,recoverLocalTime两个字段,mysql中存储的是timestamp,告警API会将其转成datetime类型,归档时直接存储,格式为yyyy-mm-dd hh:mm:ss
- 若出现结构体,比如{},[]类型,存储时统一处理为string,且字符串前后保留{},[]。
- 若当前归档周期,没有归档任何一条数据,仍然会生成一个包含列头的文件
- 生成文件时,默认使用GZIP方法压缩,文件扩展名为 .gz 。
5分钟、10分钟遥测数据归档¶
归档配置一览表¶
归档配置参数 | 参数值 |
---|---|
归档开始时间 | 创建归档时指定,不可修改,默认创建归档的前一天 |
归档周期 | 1天 |
归档模型和测点选择 | 所有模型、所有测点 |
归档路径 | 格式为:数据类型/日期。例如:AI/20190909,DI/20190909 |
归档文件名 | 文件以资产的Asset ID命名 |
文件编码 | UTF-8 |
归档文件类型 | .csv文件 |
归档文件格式 | 见下文说明 |
列分隔符 | 创建归档时指定,不可修改,默认逗号 |
归档文件大小上限 | 无限制 |
是否压缩 | 创建归档时指定,不可修改,默认压缩 |
压缩算法 | GZIP |
归档文件格式¶
Edge平台提供了特有的5分钟、10分钟遥测数据数据归档,用于从时序数据管理中将5分钟或10分钟的遥测数据归档为CSV文件。
归档后的文件格式如以下示例所示:
Asset ID | Asset Name | Data Time | Data Time UTC | WTUR.GenActivePW_AVG_5m | WTUR.WindSpeed_AVG_5m |
---|---|---|---|---|---|
Asset ID | Asset Name | Data Time | Data Time UTC | Reactive Power Production(avg 5m) | WindSpeed(avg 5m) |
资产 ID | 资产名称 | 时间 | UTC时间 | 有功功率五分钟平均值 | 风速五分钟平均值 |
windTurbineC | windTurbine C in China | 2020-01-01 00:00:00 | 2020-01-01 00:00:00 | 123.123 | 4.444 |
在以上示例归档文件中,前三行是列头的三种描述方式,分别是:ID方式、英文方式、中文方式;第四行开始是归档数据行。
前四列是固定列,分别是:资产ID列、资产名称列、本地时间列、UTC时间列;第五行开始是测点列。测点排列的顺序同AI、PI、Generic数据归档文件。
使用的文件服务的默认路径¶
数据类型 | 路径 |
---|---|
AI原始数据 | /EDGE/ARCHIVE/ORIGINAL_AI/ |
DI原始数据 | /EDGE/ARCHIVE/ORIGINAL_DI/ |
PI原始数据 | /EDGE/ARCHIVE/ORIGINAL_PI/ |
GENERAL原始数据 | /EDGE/ARCHIVE/ORIGINAL_GENERIC/ |
RAW原始数据 | /EDGE/ARCHIVE/ORIGINAL_RAW_*n*/ (n=1~5) |
AI 5分钟数据 | /EDGE/ARCHIVE/FIVE_MIN_AI/ |
AI 10分钟数据 | /EDGE/ARCHIVE/TEN_MIN_AI/ |
告警数据 | /EDGE/ARCHIVE/ALARM/ |