... | ... | @@ -5,6 +5,7 @@ |
|
|
## tag_firm
|
|
|
|
|
|
### 逻辑
|
|
|
```plantuml
|
|
|
@startuml
|
|
|
database nebula的tag_firm
|
|
|
file 爬虫数据
|
... | ... | @@ -25,6 +26,7 @@ kafka --> 中间表nebula_tag_firm: 例行入表 |
|
|
融合库 --> 中间表nebula_tag_firm: 存量入表后例行
|
|
|
@enduml
|
|
|
```
|
|
|
```
|
|
|
从mongo和融合库中提前将数据准备至nebula中间表,mongo保持所需字段存量入表,后续通过kafka增量入中间表;将company_name_digest作为唯一键,融合库数据补充入表,只入关联关系字段;后续更新nebula时,采用监控binlog的方式,当所更新记录的fid字段不为null时,例行同步的程序中才将对应记录入nebula
|
|
|
```
|
|
|
|
... | ... | @@ -151,6 +153,7 @@ CREATE TABLE `nebula_tag_firm` ( |
|
|
## tag_person
|
|
|
|
|
|
### 逻辑
|
|
|
```plantuml
|
|
|
@startuml
|
|
|
database nebula的tag_person
|
|
|
file 爬虫数据
|
... | ... | @@ -173,6 +176,7 @@ tb_person --> 中间表nebula_tag_person: 存量入表后例行 |
|
|
中间表nebula_tag_person --> nebula的tag_person: 存量入表后例行
|
|
|
@enduml
|
|
|
```
|
|
|
```
|
|
|
从融合库中提前将数据准备至nebula中间表,所需字段通过binlog增量入中间表;将ppid作为唯一键,由于其他表中有的ppid表tb_person里一定有,所以用ac_partner_num、ac_employee_num、ac_legalperson_num三个字段都不为null当做是否更新nebula的标志。
|
|
|
```
|
|
|
|
... | ... | @@ -265,6 +269,7 @@ CREATE TABLE `nebula_tag_person` ( |
|
|
## edge_serve
|
|
|
|
|
|
### 逻辑
|
|
|
```plantuml
|
|
|
@startuml
|
|
|
database nebula的edge_serve
|
|
|
file 爬虫数据
|
... | ... | @@ -285,6 +290,7 @@ kafka --> 中间表nebula_edge_serve: 例行入表 |
|
|
融合库 --> 中间表nebula_edge_serve: 存量入表后例行
|
|
|
@enduml
|
|
|
```
|
|
|
```
|
|
|
从mongo和融合库中提前将数据准备至nebula中间表,mongo所需字段存量入表,后续通过kafka增量入中间表;将company_name_digest和employee_name作为唯一键,融合库数据补充入表,只入关联关系字段;后续更新nebula时,采用监控binlog的方式,当所更新记录的pid和fid字段都不为null时,例行同步的程序中才将对应记录更新入nebula
|
|
|
```
|
|
|
|
... | ... | @@ -353,6 +359,7 @@ CREATE TABLE `nebula_edge_serve` ( |
|
|
## edge_invest_h
|
|
|
|
|
|
### 逻辑
|
|
|
```plantuml
|
|
|
@startuml
|
|
|
database nebula的edge_invest_h
|
|
|
file 爬虫数据
|
... | ... | @@ -373,6 +380,7 @@ kafka --> 中间表nebula_edge_invest_h: 例行入表 |
|
|
融合库 --> 中间表nebula_edge_invest_h: 存量入表后例行
|
|
|
@enduml
|
|
|
```
|
|
|
```
|
|
|
从mongo和融合库中提前将数据准备至nebula中间表,mongo保持所需字段存量入表,后续通过kafka增量入表;将company_name_digest和partner_name作为唯一键,融合库数据补充入表,只入关联关系字段;后续更新nebula时,采用监控binlog的方式,当所更新记录的pid和fid字段都不为null时,例行同步的程序中才将对应记录更新入nebula
|
|
|
```
|
|
|
|
... | ... | @@ -446,6 +454,7 @@ CREATE TABLE `nebula_edge_invest_h` ( |
|
|
## edge_invest_c
|
|
|
|
|
|
### 逻辑
|
|
|
```plantuml
|
|
|
@startuml
|
|
|
database nebula的edge_invest_c
|
|
|
file 爬虫数据
|
... | ... | @@ -466,6 +475,7 @@ kafka --> 中间表nebula_edge_invest_c: 例行入表 |
|
|
融合库 --> 中间表nebula_edge_invest_c: 存量入表后例行
|
|
|
@enduml
|
|
|
```
|
|
|
```
|
|
|
从mongo和融合库中提前将数据准备至nebula中间表,mongo保持所需字段存量入表,后续通过kafka增量入表;将company_name_digest和partner_company_name_digest作为唯一键,融合库数据补充入表,只入关联关系字段;后续更新nebula时,采用监控binlog的方式,当所更新记录的s_fid和e_fid字段都不为null时,例行同步的程序中才将对应记录更新入nebula
|
|
|
```
|
|
|
|
... | ... | @@ -537,6 +547,7 @@ CREATE TABLE `nebula_edge_invest_c` ( |
|
|
## edge_own
|
|
|
|
|
|
### 逻辑
|
|
|
```plantuml
|
|
|
@startuml
|
|
|
database nebula的edge_own
|
|
|
file 爬虫数据
|
... | ... | @@ -546,6 +557,7 @@ database 融合库 |
|
|
融合库 --> nebula的edge_own: binlog更新
|
|
|
@enduml
|
|
|
```
|
|
|
```
|
|
|
直接通过监控融合库tb_company_legalperson表的binlog更新
|
|
|
```
|
|
|
|
... | ... | @@ -578,6 +590,7 @@ CREATE EDGE `edge_own` ( |
|
|
## edge_own_c
|
|
|
|
|
|
### 逻辑
|
|
|
```plantuml
|
|
|
@startuml
|
|
|
database nebula的edge_own_c
|
|
|
file 爬虫数据
|
... | ... | @@ -587,6 +600,7 @@ database 融合库 |
|
|
融合库 --> nebula的edge_own_c: binlog更新
|
|
|
@enduml
|
|
|
```
|
|
|
```
|
|
|
直接通过监控融合库tb_company_legalperson表的binlog更新
|
|
|
```
|
|
|
|
... | ... | @@ -618,6 +632,7 @@ CREATE EDGE `edge_own_c` ( |
|
|
## edge_branch
|
|
|
|
|
|
### 逻辑
|
|
|
```plantuml
|
|
|
@startuml
|
|
|
database nebula的edge_branch
|
|
|
database 中间表nebula_edge_branch
|
... | ... | @@ -634,6 +649,7 @@ utn_ic.company_branch --> kafka: 增量写kafka |
|
|
kafka --> 中间表nebula_edge_branch: 例行入表
|
|
|
@enduml
|
|
|
```
|
|
|
```
|
|
|
从mongo提前将数据准备至nebula中间表,mongo保持所需字段存量入表,后续通过kafka增量入表
|
|
|
```
|
|
|
|
... | ... | |