从EnOS™ Hive同步数据到目的数据库

你可以将EnOS™ Hive中的数据同步至目标数据库用于数据分析等目的。

当前支持从EnOS™ Hive同步数据至以下目标数据库：

  • 外部MySQL数据库

  • 外部PostgreSQL数据库

备注

因EnOS已不再提供和支持数据报表服务，数据同步服务不再支持将数据从EnOS Hive同步至ReportDB。

开始前准备

同步数据前需创建目标表：

  • 如果你需要将数据同步至外部MySQL数据库，需要先通过 数据源注册 在EnOS内配置数据库连接信息，保证访问正常，并预先创建好目标表。

  • 如果你需要将数据同步至外部PostgreSQL数据库，需要先通过 数据源注册 服务在EnOS内配置数据库连接信息，保证访问正常，并预先创建好目标表。

步骤1：创建数据同步任务

  1. 登录EnOS管理门户，选择 数据同步。

  2. 点击目录树上方的 +，新建数据同步任务。

  3. 在 新建数据同步任务 窗口中，完成数据同步任务的基本设置。

    • 方式：选择 新建 以从头开始创建集成任务流。如果选择 导入任务配置，参考 基于已有任务流创建新任务流。

    • 名称：输入数据同步任务的名称。

    • 同步类型：选择 结构化数据。

    • 调度类型：选择 手动调度。

    • 描述：输入对数据同步任务的描述信息。

    • 选择目录：选择保存数据同步任务的目录。

  4. 单击 确定 完成创建。

步骤2: 选择Hive数据源

选择Hive数据源，同步到MySQL或PostgreSQL，需要完成如下配置：

  1. 在 数据源类型 中，选择Hive类型的数据源。

  2. 在 源表 中，选择需要同步的数据表。

  3. 在 分区 中，指定目标分区，可选。如果为空，表示将同步全部数据到目标表。若指定分区，可以通过如下两种方式设定分区值：

    • 固定值：以20180101为例，将自动同步分区为20180101的数据到目标表；

    • 占位符：可以添加系统调度参数，如${cal_dt}，或者自定义参数。请参考 系统变量。

  4. 点击 数据预览，可选。随机，且默认最多显示5行数据。

  5. 点击 下一步，选择目标表。

步骤3：选择目标表

支持Hive数据同步到外部MySQL数据库或者PostgreSQL数据库。

  • 当目标表为MySQL时，具体配置如下：

    1. 在数据源类型中，选择MYSQL。

    2. 在数据源中，选择目标数据库。

    3. 在表名中，选择目标表，Hive数据将同步至所选目标表。

    4. 选择数据写入规则，直接覆盖已有的全部数据，或者在现有数据后追加写入。

    5. 点击 下一步。

  • 当目标表为PostgreSQL时，具体配置如下：

    1. 在数据源类型中，选择POSTGRESQL。

    2. 在数据源中，选择目标数据库。

    3. 在Schema中，选择目标数据库Schema。

    4. 在表名中，选择目标表，Hive数据将同步至所选目标表。

    5. 选择数据写入规则，直接覆盖已有的全部数据，或者在现有数据后追加写入。

    6. 点击 下一步。

后续步骤

有关调度配置，参数配置，关字段映射，通道控制的配置，参考：