Skip to content

GitLab

  • Projects
  • Groups
  • Snippets
  • Help
    • Loading...
  • Help
    • Help
    • Support
    • Community forum
    • Submit feedback
    • Contribute to GitLab
  • Sign in / Register
K
kb
  • Project overview
    • Project overview
    • Details
    • Activity
    • Releases
  • Repository
    • Repository
    • Files
    • Commits
    • Branches
    • Tags
    • Contributors
    • Graph
    • Compare
  • Issues 2
    • Issues 2
    • List
    • Boards
    • Labels
    • Service Desk
    • Milestones
  • Merge requests 0
    • Merge requests 0
  • Operations
    • Operations
    • Incidents
  • Analytics
    • Analytics
    • Repository
    • Value Stream
  • Wiki
    • Wiki
  • Members
    • Members
  • Activity
  • Graph
  • Create a new issue
  • Commits
  • Issue Boards
Collapse sidebar
  • granite
  • kb
  • Wiki
    • Udms
    • Sync_mysql_new
  • catalog

Last edited by 吴一博 Mar 15, 2021
Page history
This is an old version of this page. You can view the most recent version or browse the history.

catalog

配置项目 是否必填 数据类型 说明
data_type 必填 数组
db_connection 必填 字典
table_explode 选填 数组
db_start_transaction 选填
add_return_keys 选填
table_match 选填

data_type

定义某一种要处理的数据。它与前续处理模块输出的数据类型相对应。 这个数据类型通常是业务层面的一种数据。如,一条被执行人信息。 通常这样一条业务数据以一个确定的JSON格式在数据系统中传递。 但业务层面的一条数据在存储到数据库时,可能对应的是一张表也可能是多张表。 而data_type的定义,就是指明入库模块收到的某一种数据类型所对应的数据库表是哪些。

配置项目 是否必填 数据类型 说明
name 必填 字符串
tables 必填 数组

table_explode

table_explode中定义了要炸开数据 表table_b的b_list的字段在输入的一条数据上要炸开,table_b产生一变多的效果入库 表table_c的c_list的字段在输入的一条数据上要炸开,table_c产生一变多的效果入库

table_match

table_match中定义了数据要匹配条件(符合Python逻辑表达式语法)才可以入库:

table_b: "b1=='5' and b2=='5'", table_b要匹配正则才可以入库
table_c: ["c1=='5'", "c3=='4'"], table_c匹配list中任意一个正则就可以入库(正则之间或的关系)

db_start_transaction:

db_start_transaction定义事务的级别信息,isolation_level: "READ COMMITTED"主要解决的INSERT INTO on duplicate key update 会产生死锁的现象

add_return_keys

add_return_keys定义的返回的结果上需要新加一列,键名为company_name_digest

Clone repository
  • README
  • basic_guidelines
  • basic_guidelines
    • basic_guidelines
    • dev_guide
    • project_build
    • 开发流程
  • best_practice
  • best_practice
    • AlterTable
    • RDS
    • azkaban
    • create_table
    • design
    • elasticsearch
    • elasticsearch
      • ES运维
    • logstash
View All Pages