Skip to content

GitLab

  • Projects
  • Groups
  • Snippets
  • Help
    • Loading...
  • Help
    • Help
    • Support
    • Community forum
    • Submit feedback
    • Contribute to GitLab
  • Sign in / Register
K
kb
  • Project overview
    • Project overview
    • Details
    • Activity
    • Releases
  • Repository
    • Repository
    • Files
    • Commits
    • Branches
    • Tags
    • Contributors
    • Graph
    • Compare
  • Issues 2
    • Issues 2
    • List
    • Boards
    • Labels
    • Service Desk
    • Milestones
  • Merge requests 0
    • Merge requests 0
  • Operations
    • Operations
    • Incidents
  • Analytics
    • Analytics
    • Repository
    • Value Stream
  • Wiki
    • Wiki
  • Members
    • Members
  • Activity
  • Graph
  • Create a new issue
  • Commits
  • Issue Boards
Collapse sidebar
  • granite
  • kb
  • Wiki
    • Data_stream
    • Equity_penetration
  • update_nebula

update_nebula · Changes

Page history
update: nebula增量例行 authored Jan 06, 2022 by 李子健's avatar 李子健
Hide whitespace changes
Inline Side-by-side
Showing with 16 additions and 0 deletions
+16 -0
  • data_stream/equity_penetration/update_nebula.md data_stream/equity_penetration/update_nebula.md +16 -0
  • No files found.
data_stream/equity_penetration/update_nebula.md
View page @ f5127230
......@@ -5,6 +5,7 @@
## tag_firm
### 逻辑
```plantuml
@startuml
database nebula的tag_firm
file 爬虫数据
......@@ -25,6 +26,7 @@ kafka --> 中间表nebula_tag_firm: 例行入表
融合库 --> 中间表nebula_tag_firm: 存量入表后例行
@enduml
```
```
从mongo和融合库中提前将数据准备至nebula中间表,mongo保持所需字段存量入表,后续通过kafka增量入中间表;将company_name_digest作为唯一键,融合库数据补充入表,只入关联关系字段;后续更新nebula时,采用监控binlog的方式,当所更新记录的fid字段不为null时,例行同步的程序中才将对应记录入nebula
```
......@@ -151,6 +153,7 @@ CREATE TABLE `nebula_tag_firm` (
## tag_person
### 逻辑
```plantuml
@startuml
database nebula的tag_person
file 爬虫数据
......@@ -173,6 +176,7 @@ tb_person --> 中间表nebula_tag_person: 存量入表后例行
中间表nebula_tag_person --> nebula的tag_person: 存量入表后例行
@enduml
```
```
从融合库中提前将数据准备至nebula中间表,所需字段通过binlog增量入中间表;将ppid作为唯一键,由于其他表中有的ppid表tb_person里一定有,所以用ac_partner_num、ac_employee_num、ac_legalperson_num三个字段都不为null当做是否更新nebula的标志。
```
......@@ -265,6 +269,7 @@ CREATE TABLE `nebula_tag_person` (
## edge_serve
### 逻辑
```plantuml
@startuml
database nebula的edge_serve
file 爬虫数据
......@@ -285,6 +290,7 @@ kafka --> 中间表nebula_edge_serve: 例行入表
融合库 --> 中间表nebula_edge_serve: 存量入表后例行
@enduml
```
```
从mongo和融合库中提前将数据准备至nebula中间表,mongo所需字段存量入表,后续通过kafka增量入中间表;将company_name_digest和employee_name作为唯一键,融合库数据补充入表,只入关联关系字段;后续更新nebula时,采用监控binlog的方式,当所更新记录的pid和fid字段都不为null时,例行同步的程序中才将对应记录更新入nebula
```
......@@ -353,6 +359,7 @@ CREATE TABLE `nebula_edge_serve` (
## edge_invest_h
### 逻辑
```plantuml
@startuml
database nebula的edge_invest_h
file 爬虫数据
......@@ -373,6 +380,7 @@ kafka --> 中间表nebula_edge_invest_h: 例行入表
融合库 --> 中间表nebula_edge_invest_h: 存量入表后例行
@enduml
```
```
从mongo和融合库中提前将数据准备至nebula中间表,mongo保持所需字段存量入表,后续通过kafka增量入表;将company_name_digest和partner_name作为唯一键,融合库数据补充入表,只入关联关系字段;后续更新nebula时,采用监控binlog的方式,当所更新记录的pid和fid字段都不为null时,例行同步的程序中才将对应记录更新入nebula
```
......@@ -446,6 +454,7 @@ CREATE TABLE `nebula_edge_invest_h` (
## edge_invest_c
### 逻辑
```plantuml
@startuml
database nebula的edge_invest_c
file 爬虫数据
......@@ -466,6 +475,7 @@ kafka --> 中间表nebula_edge_invest_c: 例行入表
融合库 --> 中间表nebula_edge_invest_c: 存量入表后例行
@enduml
```
```
从mongo和融合库中提前将数据准备至nebula中间表,mongo保持所需字段存量入表,后续通过kafka增量入表;将company_name_digest和partner_company_name_digest作为唯一键,融合库数据补充入表,只入关联关系字段;后续更新nebula时,采用监控binlog的方式,当所更新记录的s_fid和e_fid字段都不为null时,例行同步的程序中才将对应记录更新入nebula
```
......@@ -537,6 +547,7 @@ CREATE TABLE `nebula_edge_invest_c` (
## edge_own
### 逻辑
```plantuml
@startuml
database nebula的edge_own
file 爬虫数据
......@@ -546,6 +557,7 @@ database 融合库
融合库 --> nebula的edge_own: binlog更新
@enduml
```
```
直接通过监控融合库tb_company_legalperson表的binlog更新
```
......@@ -578,6 +590,7 @@ CREATE EDGE `edge_own` (
## edge_own_c
### 逻辑
```plantuml
@startuml
database nebula的edge_own_c
file 爬虫数据
......@@ -587,6 +600,7 @@ database 融合库
融合库 --> nebula的edge_own_c: binlog更新
@enduml
```
```
直接通过监控融合库tb_company_legalperson表的binlog更新
```
......@@ -618,6 +632,7 @@ CREATE EDGE `edge_own_c` (
## edge_branch
### 逻辑
```plantuml
@startuml
database nebula的edge_branch
database 中间表nebula_edge_branch
......@@ -634,6 +649,7 @@ utn_ic.company_branch --> kafka: 增量写kafka
kafka --> 中间表nebula_edge_branch: 例行入表
@enduml
```
```
从mongo提前将数据准备至nebula中间表,mongo保持所需字段存量入表,后续通过kafka增量入表
```
......
Clone repository
  • README
  • basic_guidelines
  • basic_guidelines
    • basic_guidelines
    • dev_guide
    • project_build
    • 开发流程
  • best_practice
  • best_practice
    • AlterTable
    • RDS
    • azkaban
    • create_table
    • design
    • elasticsearch
    • elasticsearch
      • ES运维
    • logstash
View All Pages