数据联邦概述

备注

该功能适用于 EnOS 2.1 Update 或更新版本。


面向应用开发和数据分析人员，数据联邦服务提供了多源异构数据存储系统的数据查询及文件写入服务。


用户按照统一的 SQL 语法标准，即可实现基于全景数据的混合查询，而不用关心各类数据系统查询语言的差异。只需通过简单配置，即可将本地文件快速写入各类存储系统。同时，数据联邦服务还支持 OData 及 JDBC 连接，帮助用户快速对接 Tableau、PowerBI 等主流 BI 分析工具，而不用关心源数据存储系统的不同。


数据联邦服务的架构如下图所示：


../_images/data_federation_arch.png

主要概念

通道

在不移动或同步数据的情况下，数据联邦服务提供了一个统一的数据访问层，屏蔽了异构数据源的差异性。不同角色的用户能够通过标准 SQL、JDBC 或 OData 等统一查询方式高效地访问数据，从而节省了建立集中数据仓库的成本，避免海量数据复制的工作量和资源浪费。

通道类型

数据联邦支持创建两类通道，分别是读通道及写通道。读通道支持在指定数据源中的进行数据查询，写通道支持向指定数据源中写入数据。


读通道

  • 用户配置并启动读通道后，即可通过生成的API来实现对已关联数据源的数据读取功能

  • 读通道支持的数据源类型包括：MySQL、Blob、HDFS(EnOS)、HIVE(EnOS)、KAFKA(EnOS)、Redis、S3


写通道

  • 用户配置并启动写通道后，即可通过SDK来实现对已关联数据源的数据写入功能

  • 写通道支持的数据源类型包括：KAFKA(EnOS)、MySQL、HDFS(EnOS)、Redis

通道授权

数据联邦通道支持授权及访问鉴权功能。创建通道后，可通过通道授权管理页面，授权指定服务账号对该通道的访问权限。

资源准备

数据联邦资源

新建数据联邦通道前，需确保组织已经通过 EnOS管理门户 > 资源管理 页面申请 数据联邦 资源。不同的资源规格对应着不同的数据处理能力。对于某一个资源，同一时刻只能与一个通道进行关联。有关申请 数据联邦 资源的详细信息，参见 数据联邦资源规格说明。

使用限制

使用数据联邦服务时，需要注意以下使用限制：


通道数量

数据联邦中可分别创建读、写通道，单个组织最多共可创建10个通道。


授权应用数量

单个通道最多可被授权给20个应用进行访问。


单通道可添加数据源数量

单个通道最多可添加10个数据源。