Skip to content

GitLab

  • Projects
  • Groups
  • Snippets
  • Help
    • Loading...
  • Help
    • Help
    • Support
    • Community forum
    • Submit feedback
    • Contribute to GitLab
  • Sign in / Register
K
kb
  • Project overview
    • Project overview
    • Details
    • Activity
    • Releases
  • Repository
    • Repository
    • Files
    • Commits
    • Branches
    • Tags
    • Contributors
    • Graph
    • Compare
  • Issues 2
    • Issues 2
    • List
    • Boards
    • Labels
    • Service Desk
    • Milestones
  • Merge requests 0
    • Merge requests 0
  • Operations
    • Operations
    • Incidents
  • Analytics
    • Analytics
    • Repository
    • Value Stream
  • Wiki
    • Wiki
  • Members
    • Members
  • Activity
  • Graph
  • Create a new issue
  • Commits
  • Issue Boards
Collapse sidebar
  • granite
  • kb
  • Wiki
    • Udms
    • Sync_mysql_new
  • catalog

Last edited by 吴一博 Mar 15, 2021
Page history

catalog

配置项目 是否必填 数据类型 说明
data_type 必填 数组
db_connection 必填 字典
table_explode 选填 数组
db_start_transaction 选填
add_return_keys 选填
table_match 选填

data_type

定义某一种要处理的数据。它与前续处理模块输出的数据类型相对应。 这个数据类型通常是业务层面的一种数据。如,一条被执行人信息。 通常这样一条业务数据以一个确定的JSON格式在数据系统中传递。 但业务层面的一条数据在存储到数据库时,可能对应的是一张表也可能是多张表。 而data_type的定义,就是指明入库模块收到的某一种数据类型所对应的数据库表是哪些。

配置项目 是否必填 数据类型 说明
name 必填 字符串
tables 必填 数组

table_explode

table_explode中定义了要炸开数据 表table_b的b_list的字段在输入的一条数据上要炸开,table_b产生一变多的效果入库 表table_c的c_list的字段在输入的一条数据上要炸开,table_c产生一变多的效果入库

table_match

table_match中定义了数据要匹配条件(符合Python逻辑表达式语法)才可以入库,配置中键为数据库表名,值为要匹配的条件。:

数据库表 table_b 要匹配条件才可以入库

table_b: "b1=='5' and b2=='5'"

数据库表 table_c匹配list中任意一个条件就可以入库(条件之间或的关系)

table_c: ["c1=='5'", "c3=='4'"], 

注意

  • release_20210315_02 之前的版本,匹配规则中的字段必需为数据库表中出现的字段。
  • release_20210315_02 之后的版本,匹配规则中的字段可以是输入数据中出现的任意字段。

db_start_transaction:

db_start_transaction定义事务的级别信息,isolation_level: "READ COMMITTED"主要解决的INSERT INTO on duplicate key update 会产生死锁的现象

add_return_keys

add_return_keys定义的返回的结果上需要新加一列,键名为company_name_digest

Clone repository
  • README
  • basic_guidelines
  • basic_guidelines
    • basic_guidelines
    • dev_guide
    • project_build
    • 开发流程
  • best_practice
  • best_practice
    • AlterTable
    • RDS
    • azkaban
    • create_table
    • design
    • elasticsearch
    • elasticsearch
      • ES运维
    • logstash
View All Pages