归档服务¶
对访问频率较低且占用存储空间很大的业务数据可进行归档存储。
EnOS Edge提供了简单的归档服务,支持异步方式将数据库中的数据归档到分布式文件系统中,包括:
原始数据归档:
AI原始数据
DI原始数据
PI原始数据
General原始数据
告警数据归档
自定义归档:
AI 5分钟数据:用于归档遥测5分钟数据
AI 10分钟数据:用于归档遥测10分钟数据
原始数据归档¶
归档配置一览表¶
归档配置参数 |
参数值 |
---|---|
用户 |
通用 |
归档开始时间 |
创建归档时指定,指定后不可修改。默认值为创建归档的前一天 |
归档周期 |
1天 |
归档模型和测点选择 |
可自行选择模型和测点 |
归档路径 |
格式为:数据类型/日期/模型ID。例如,AI/20200202/EnOS_Solar_Inverter |
归档文件名 |
文件以资产的Asset ID命名 |
文件编码 |
UTF-8 |
归档文件类型 |
.csv文件 |
归档文件格式 |
见下文说明 |
列分隔符 |
创建归档时指定,不可修改,默认逗号 |
归档文件大小上限 |
无限制 |
是否压缩 |
创建归档时指定,不可修改,默认压缩 |
压缩算法 |
GZIP |
合并同型号文件 |
默认不合并 |
AI、PI、Generic数据归档文件格式¶
以下用一个例子来说明归档文件的格式:
用户选择归档以下测点:
测点ID |
英文名称 |
中文名称 |
---|---|---|
WTUR.GenActivePW |
Reactive Power Production |
有功功率 |
WTUR.WindSpeed |
Wind Speed |
风速 |
在归档文件中,表头占据前三行,格式如下:
Asset ID |
Asset Name |
Data Time |
Data Time UTC |
WTUR.GenActivePW |
WTUR.WindSpeed |
---|---|---|---|---|---|
Asset ID |
Asset Name |
Data Time |
Data Time UTC |
Reactive Power Production |
Wind Speed |
资产 ID |
资产名称 |
时间 |
UTC时间 |
有功功率 |
风速 |
WindturbineA |
Wind Turbine A in China |
2020-01-01 00:00:00 |
2020-01-01 00:00:00 |
123.123 |
4.444 |
在该样例表中,前三行是表头,测点名称分别用ID方式、英文方式、中文方式来描述。前四列为固定内容,从第五列开始为测点列。
测点的排列顺序,根据其priority值升序排列。测点的priority值由用户在模型上配置tag实现。没有priority标签的测点,默认排在最后。
DI数据归档文件格式¶
以下用一个例子来说明归档文件的格式:
用户选择归档以下测点:
测点ID |
英文名称 |
中文名称 |
---|---|---|
WTUR.STA1 |
Status #1 |
状态1 |
WTUR.STA2 |
Status #2 |
状态2 |
在归档文件中,表头占据前三行,格式如下:
Asset ID |
Asset Name |
Data Time |
Data Time UTC |
Point ID |
Point Value |
---|---|---|---|---|---|
Asset ID |
Asset Name |
Data Time |
Data Time UTC |
Point ID |
Point Value |
资产 ID |
资产名称 |
时间 |
UTC时间 |
测点ID |
数值 |
WindturbineA |
Windturbine A in China |
2020-01-01 00:00:00 |
2020-01-01 00:00:00 |
WTUR.STA1 |
1 |
WindturbineA |
Windturbine A in China |
2020-01-01 00:00:00 |
2020-01-01 00:00:00 |
WTUR.STA2 |
0 |
WindturbineB |
Windturbine B in China |
2020-01-01 00:00:00 |
2020-01-01 00:00:00 |
WTUR.STA1 |
0 |
WindturbineB |
Windturbine B in China |
2020-01-01 00:00:00 |
2020-01-01 00:00:00 |
WTUR.STA2 |
1 |
样例归档文件中,前三行是采用测点ID、测点英文名称、测点中文名称描述测点的基本信息。第四行开始是数据行。第五列开始为测点,测点排列方式同AI、PI、Generic数据归档文件。
告警数据归档¶
归档配置一览表¶
归档配置参数 |
参数值 |
---|---|
用户 |
通用 |
归档开始时间 |
创建归档时指定,不可修改,默认创建归档的前一天 |
归档周期 |
1天 |
归档模型和测点选择 |
所有模型、所有测点 |
归档路径 |
格式为:数据类型/日期。例如:AI/20190909,DI/20190909 |
归档文件名 |
文件以资产的Asset ID命名 |
文件编码 |
UTF-8 |
归档文件类型 |
.csv文件 |
归档文件格式 |
见下文说明 |
列分隔符 |
创建归档时指定,不可修改,默认逗号 |
归档文件大小上限 |
无限制 |
是否压缩 |
创建归档时指定,不可修改,默认压缩 |
压缩算法 |
GZIP |
合并同型号文件 |
默认不合并 |
归档文件自动清理策略 |
创建归档时指定,不可修改,默认1% |
归档文件格式¶
EnOS Edge采用与EnOS™完全兼容的方式归档历史告警库中的告警。
归档文件 |
原始数据 |
备注 |
---|---|---|
eventId |
eventId |
告警id,全局唯一,不可变 |
orgId |
orgId |
资产所属id |
assetId |
deviceId |
资产id |
modelId |
modelId |
资产所属模型id |
modelIdPath |
modelIdPath |
模型所属路径 |
measurepointId |
pointId |
资产测点,告警内容中配置的测点,用于判断告警 |
hitRuleId |
RuleBid |
触发的告警规则编号,用户自定义 |
value |
value |
测点值 |
occurTime |
time |
告警发生时间,utc |
localOccurTime |
localTime |
告警发生时间,本地时间,es中存储的是13位的timestamp,告警提供的API,会将数据转化成yyyy-mm-dd hh:mm:ss的格式,即精确到秒 |
recoverTime |
recoverTime |
告警恢复时间,utc |
recoverLocalTime |
recoverLocalTime |
告警发生时间,本地时间,es中存储的是13位的timestamp,告警提供的API,会将数据转化成yyyy-mm-dd hh:mm:ss的格式,即精确到秒 |
recoverReason |
recoverReason |
告警恢复原因 |
createTime |
createTime |
该告警记录的入库时间,utc |
updateTime |
updateTime |
该告警记录的更新时间,utc |
severityId |
severityId |
告警级别标识符,用户自定义 |
severityDesc |
severityDesc |
告警级别描述 |
typeId |
typeBid |
告警类别标识符,用户自定义 |
typeDesc |
typeDesc |
告警类型的具体描述 |
subTypeId |
subTypeBid |
告警子类型标识符,用户自定义 |
subTypeDesc |
subTypeDesc |
告警子类型描述 |
contentId |
contentBid |
告警内容标识符,用户自定义 |
contentDesc |
contentDesc |
告警内容描述 |
eventType |
eventType |
事件类型:0:系统恢复的告警;1:系统触发的告警;2:手动恢复的告警;3:手动插入的告警 |
tag |
tag |
告警标签,告警提供的API,会将tag转化成json的标准格式,即[key1:V1,key2:V2] |
ruleDesc |
ruleDesc |
规则描述 |
assetPaths |
assetPath |
根据告警规则的作用域,返回告警资产在资产树上的路径列表。返回格式为:[“treeId1:/assetId1/assetId2/assetIdx”, “treeId2:/assetId3/assetIdx”] |
maskedBy |
maskedBy |
如果该告警条目是衍生告警,返回导致该告警被屏蔽的根源告警信息。若资产树中,当前资产节点上游有多层的告警屏蔽,则会返回当前节点上游的所有配置告警屏蔽节点,且生成的eventId。返回格式为:[“treeId1:eventId1”, “treeId1:eventId2”] |
备注
对于localOccurTime,recoverLocalTime两个字段,mysql中存储的是timestamp,告警API会将其转成datetime类型,归档时直接存储,格式为yyyy-mm-dd hh:mm:ss
若出现结构体,比如{},[]类型,存储时统一处理为string,且字符串前后保留{},[]。
若当前归档周期,没有归档任何一条数据,仍然会生成一个包含列头的文件
生成文件时,默认使用GZIP方法压缩,文件扩展名为 .gz 。
5分钟、10分钟遥测数据归档¶
归档配置一览表¶
归档配置参数 |
参数值 |
---|---|
用户 |
通用 |
归档开始时间 |
创建归档时指定,不可修改,默认创建归档的前一天 |
归档周期 |
1天 |
归档模型和测点选择 |
所有模型、所有测点 |
归档路径 |
格式为:数据类型/日期。例如:AI/20190909,DI/20190909 |
归档文件名 |
文件以资产的Asset ID命名 |
文件编码 |
UTF-8 |
归档文件类型 |
.csv文件 |
归档文件格式 |
见下文说明 |
列分隔符 |
创建归档时指定,不可修改,默认逗号 |
归档文件大小上限 |
无限制 |
是否压缩 |
创建归档时指定,不可修改,默认压缩 |
压缩算法 |
GZIP |
合并同型号文件 |
默认不合并 |
归档文件自动清理策略 |
创建归档时指定,不可修改,默认1% |
归档文件格式¶
EnOS Edge提供了特有的5分钟、10分钟遥测数据归档服务,用于从时序数据管理中将5分钟或10分钟的遥测数据归档为CSV文件。
归档后的文件格式如以下示例所示:
Asset ID |
Asset Name |
Data Time |
Data Time UTC |
WTUR.GenActivePW_AVG_5m |
WTUR.WindSpeed_AVG_5m |
---|---|---|---|---|---|
Asset ID |
Asset Name |
Data Time |
Data Time UTC |
Reactive Power Production(avg 5m) |
WindSpeed(avg 5m) |
资产 ID |
资产名称 |
时间 |
UTC时间 |
有功功率五分钟平均值 |
风速五分钟平均值 |
windTurbineC |
windTurbine C in China |
2020-01-01 00:00:00 |
2020-01-01 00:00:00 |
123.123 |
4.444 |
在以上示例归档文件中,前三行是列头的三种描述方式,分别是:ID方式、英文方式、中文方式;第四行开始是归档数据行。
前四列是固定列,分别是:资产ID列、资产名称列、本地时间列、UTC时间列;第五行开始是测点列。测点排列的顺序同AI、PI、Generic数据归档文件。
使用的文件服务的默认路径¶
数据类型 |
路径 |
---|---|
AI原始数据 |
/EDGE/ARCHIVE/ORIGINAL_AI/ |
DI原始数据 |
/EDGE/ARCHIVE/ORIGINAL_DI/ |
PI原始数据 |
/EDGE/ARCHIVE/ORIGINAL_PI/ |
GENERAL原始数据 |
/EDGE/ARCHIVE/ORIGINAL_GENERIC/ |
AI 5分钟数据 |
/EDGE/ARCHIVE/FIVE_MIN_AI/ |
AI 10分钟数据 |
/EDGE/ARCHIVE/TEN_MIN_AI/ |
告警数据 |
/EDGE/ARCHIVE/ALARM/ |