GitLab

一对多关系的子表入库

注意，本节所描述的功能。只在不开启兼容选项（compatible）时才能使用。

该功能用于处理一对多关系的数据。 这种数据通常被设计为存储在两个关联的表中。 主表用于存储基本信息，关联表用于存储详情。主表与关联表为一对多关系。 该功能可以实现将一条涉及主表及关联表的数据，一次性完成所有相关表的入库操作。

如下图的所展示的表结构用于存储团队（team）及其成员（member）。

@startuml

' hide the spot
hide circle

entity "tb_team" {
  *id : number <<generated>>
  --
  *name : text
}

entity "tb_members" {
  *id : number <<generated>>
  --
  *team_id : number <<FK>>
  *name : text
}

tb_team  --|{ tb_members

@enduml

通过本模块对如下记录进行入表操作。

tb_team

tb_members

需要按如下结构组装数据包作为输入传给本模块：

{
    "id": 1,
    "name": "marvel",
    "members": [
        {
            "id": 1,
            "member_name": "Iron Man"
        },
        {
            "id": 2,
            "member_name": "Spider Man"
        }
    ],

    "sync_condition": {
        "data_type": "teams",
        "operation":"upsert"
    }
}

数据展开(table_explode)

table_explode是data_type的子配置项，用于指明将输入数据的特定字段内容展开到相应的数据表中。

    table_explode:                          #(3) 
      - table: "tb_members"                 #(4) 
        explode_field: "members"            #(5)
        attach_fields:                      #(6) 
           - field: "team_id"
             refer: "id"
        overwrite:                          #(7)
           foreign_keys:                    #(8)
               - field: "team_id"
                 refer: "id"
           logical_delete: True             #(9)
           deleted_field: "deleted"
           deleted_field_value: 1,

子表需要附加主表的一些数据(attach_fields)

覆盖更新(overwrite)

在数据维护中会有一种场景：需要把子表中相关记录整体替换为输入数据中的内容。如前面的例子中：

marvel团队原来的团队成员为：

• Iron Man
• Spider Man

输入数据如下：

{
    "id": 1,
    "name": "marvel",
    "members": [
        {
            "id": 2,
            "member_name": "Spider Man"
        },
        {
            "id": 3,
            "member_name": "Bat Man"
        }
    ]
}

希望更新后Iron Man被删除. 团队成员变为：

• Spider Man
• Bat Man

实现覆盖更新需要在配置使用overwrite选项来完成。

    table_explode:                          #(3) 
      - table: "tb_members"                 #(4) 
        explode_field: "members"            #(5)
        attach_fields:                      #(6) 
           - field: "team_id"
             refer: "id"
        overwrite:                          #(7)
           foreign_keys:                    #(8)
               - field: "team_id"
                 refer: "id"
           logical_delete: True             #(9)
           deleted_field: "deleted"
           deleted_field_value: 1,

配置文件示例

配置文件中，名为teams的data_type定义如下：

catalogues: 
  - data_type:                              #(1)
      - name: "teams"                       #(2)
        tables: ['tb_team', "tb_members"]   

    table_explode:                          #(3) 
      - table: "tb_members"                 #(4) 
        explode_field: "members"            #(5)
        attach_fields:                      #(6) 
           - field: "team_id"
             refer: "id"
        overwrite:                          #(7)
           foreign_keys:                    #(8)
               - field: "team_id"
                 refer: "id"
           logical_delete: True             #(9)
           deleted_field: "deleted"
           deleted_field_value: 1,



#(1) data_type为列表类型，在一个catalog下可以定义多个data_type
#(2) 名为teams的data_type涉及两个表：tb_team及tb_members，
#(3) 定义哪些表的数据是从输入数据的特定字段展开得到的。 table_explode是列表类型。
#(4) 表tb_members需要根据输入数据中的字段 members，进行展开
#(6) 在展开的数据中，要加上字段team_id,该字段的值为输入数据中字段id的值
#(7) 使用覆盖方式更新
#(8) 以team_id字段tb_members选择要覆盖的数据，该字段的值为输入数据中字段id的值
#(9) 执行逻辑删除。删除标志字段为 deleted, 其值为1表示删除