Skip to content

GitLab

  • Projects
  • Groups
  • Snippets
  • Help
    • Loading...
  • Help
    • Help
    • Support
    • Community forum
    • Submit feedback
    • Contribute to GitLab
  • Sign in / Register
K
kb
  • Project overview
    • Project overview
    • Details
    • Activity
    • Releases
  • Repository
    • Repository
    • Files
    • Commits
    • Branches
    • Tags
    • Contributors
    • Graph
    • Compare
  • Issues 2
    • Issues 2
    • List
    • Boards
    • Labels
    • Service Desk
    • Milestones
  • Merge requests 0
    • Merge requests 0
  • Operations
    • Operations
    • Incidents
  • Analytics
    • Analytics
    • Repository
    • Value Stream
  • Wiki
    • Wiki
  • Members
    • Members
  • Activity
  • Graph
  • Create a new issue
  • Commits
  • Issue Boards
Collapse sidebar
  • granite
  • kb
  • Wiki
    • Data_stream
    • Ic
  • zongju_data_update

zongju_data_update · Changes

Page history
add zongju_data_update authored Apr 18, 2022 by 杨龙斌's avatar 杨龙斌
Hide whitespace changes
Inline Side-by-side
Showing with 79 additions and 0 deletions
+79 -0
  • data_stream/ic/zongju_data_update.md data_stream/ic/zongju_data_update.md +79 -0
  • No files found.
data_stream/ic/zongju_data_update.md 0 → 100644
View page @ 2169c988
## 工商数据更新任务目标
- 各个维度定期更新
- 各个维度的更新数量可直观观测
- 各个维度任务提交方法统一
## 各个维度定期更新(例行任务)
- t1:企业7天侦测更新一轮次:8维度(照面信息、股东、主要人员、变更记录、行政处罚,年报信息, 分支机构信息,企业自主公示股东信息)
- t2:个体户1月更新一轮次:(3)维度(照面信息、变更记录、年报, 行政处罚?)
- t3:依照工商表中各个维度的例行更新7天一轮次
- t4:各个维度的找新,有公告则依照公告
- t5:各个维度的找新,无公告则全量企业,一月更新一轮
- t6:其他一次性任务
### 任务类型
- t1/t2
- t3
- t4
- t5
- t6
## 各个维度的更新数量可直观观测
- 主要结合es,kibana,mysql统计
## 提交维度任务的统一
-
# 工商维度
| data_type | 名称 | 找新任务 | 例行更新任务| 任务来源(找新/例行) | 任务周期/天(找新/例行更新) | 注释 | 数据量|
| --- | --- | --- | --- | --- | --- | --- | --- |
|base|照面基本信息|-|t1/t2| es |7| 通过es筛选在营企业,任务为8维度,不区分个体户 |
|change|变更信息|-|t1/t2| es |7| -同上- |
|annual_report|年报信息|-|t1/t2| es|7| -同上- |
|branch|分支机构信息|-|t1|es|7| -同上- |
|employee|主要人员信息|-|t1|es|7| -同上- |
|partner|股东信息|-|t1|es|7| -同上- |
|qy_partner|企业自主公示股东信息|-|t1|es|7| -同上- |
|simple_cancel|简易注销信息|-|t1|es|7| -同上- |
|punish|行政处罚信息|t4|t3/t2|ic_notice/company_punish|1/7| 找新提交公告表的新增任务,根据维度表提交例行任务 |
|abnormal|经营异常信息|t4|t3|ic_notice/company_abnormal|1/7| -同上- |
|illegal|严重违法信息|t4|t3|ic_notice/company_illegal|1/7| -同上- |
|justice|司法信息|t4|t3|ic_notice/company_justice|1/7| -同上- |
|random_check|双随机抽查检查|t4|t3|ic_notice/company_random_check|1/7| -同上- |
|cancel_notice|注销备案、公告|t4|t3|ic_notice/company_cancel_notice|1/7| -同上- |
|intellectual|知识产权出质信息|t5|t3|es/company_intellectual|30/7| 找新通过es提交6维度任务,根据维度表提交例行任务 |
|clear|清算信息|t5|t3|es/company_clear|30/7| -同上- |
|check|抽查检查信息|t5|t3|es/company_check|30/7| -同上- |
|pledge|股权出质信息|t5|t3|es/company_pledge|30/7| -同上- |
|allow|行政许可信息|t5|t3|es/company_allow|30/7| -同上- |
|chattel|动产抵押信息|t5|t3|es/company_chattel|30/7| -同上- |
# ent_type&data_type
|*|base|shareholder|keyperson|branch|neRecItem|clear|alter|mort|stock|intellectual|check|proquacheck|supervisionCheckres|foodChkInfo|drranins|assist|susnate|promisefake|annualreport|instant|other|punish|abnormal|ill|trademark|copyright|simplecancer|elicenseNullfy|ePubGroupMenberInfo|eNliq|eselfinfo|stopBusi|cancleStopInfo|
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|data_type||partner|employee|branch|多证合一公示|clear|change|chattel|pledge|intellectual|check|产品质量监督抽查|认证监管司抽查检查|食品抽查检查信息|random_check|justice|涉嫌冒用他人身份登记公示|承诺不实情况|annual_report|知识产权出质||punish|abnormal|illegal|商标注册信息|知识产权出质|simple_cancel|营业执照作废|集团成员信息|cancel_notice|执行标准自我声明信息|市场主体歇业公告|终止歇业公告|
|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|
|101|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|
|2|1|0|0|0|1|0|1|1|0|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|
|3|1|1|0|0|1|0|1|1|0|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|
|4|1|0|0|0|1|0|1|1|0|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|
|5|1|1|0|1|1|1|1|1|0|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|
|6|1|0|0|0|1|0|1|1|0|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|
|7|1|1|0|1|1|0|1|1|0|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|
|8|1|0|0|0|1|0|1|1|0|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|
|9|1|0|0|0|1|0|1|1|0|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|
|10|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|
|1001|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|
|11|1|0|0|0|1|0|1|1|0|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|
|12|1|1|0|1|1|1|1|1|0|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|
|13|1|0|0|0|1|0|1|1|0|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|
|14|1|0|0|0|1|0|1|1|0|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|
|15|1|1|0|0|1|0|1|1|0|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|1|
|16|1|0|1|0|1|0|1|1|0|0|1|1|1|1|1|1|1|1|1|1|1|1|1|0|1|1|1|1|0|1|1|1|1|
|17|1|0|1|0|1|0|1|1|0|0|1|1|1|1|1|0|1|1|1|1|1|1|1|0|1|1|1|1|0|1|1|1|1|
|18|1|0|0|0|1|0|1|1|0|0|1|1|1|1|1|0|1|1|0|0|1|1|1|0|1|1|1|1|0|0|1|1|1|
\ No newline at end of file
Clone repository
  • README
  • basic_guidelines
  • basic_guidelines
    • basic_guidelines
    • dev_guide
    • project_build
    • 开发流程
  • best_practice
  • best_practice
    • AlterTable
    • RDS
    • azkaban
    • create_table
    • design
    • elasticsearch
    • elasticsearch
      • ES运维
    • logstash
View All Pages