data_stream/itjuzi_investevent.md

+# **基本信息**
+```
+投资事件
+```
+
+
+## 数据名称（中文）
+<!-- 该项数据的中文标准名称，后续沟通交流使用的规范名称，如：工商公示股东信息、失信被执行人、一般纳税人等-->
+### 
+```
+投资事件
+```
+
+## 数据英文名称
+<!--英文名称，后续流程中所有涉及到英文名称均以此为准，如：partner、shixin、general_taxpayer等-->
+```
+itjuzi_investevent
+```
+
+## 采集网站（采集入口）
+<!--采集的入口地址，不能只是一个网站域名，具体到该网站的数据入口-->
+```
+详情页: https://www.itjuzi.com/investevent/12093283
+
+```
+
+
+
+## 采集频率及采集策略
+<!--说明该项数据更新频率，存量数据的更新频率及策略、新增数据的采集频率及策略-->
+
+### 存量更新策略
+<!--无需更新？每天全量更新？逐条轮询更新？多久更新完一轮？或其他-->
+```
+https://www.itjuzi.com/investevent/12093283
+详情页链接从1~12093283 (绝大部分是404),后续累加
+预计有9w+个投资事件
+```
+
+
+### 增量采集策略
+<!--新增数据怎么来？无需单独采集新增数据？-->
+```
+待更新
+```
+
+---
+
+# **爬虫**
+```
+itjuzi_investevent
+```
+
+
+## 责任人
+```
+袁波
+```
+
+## 爬虫名称
+```
+itjuzi_investevent
+```
+
+<!--spider_name-->
+
+## 代码地址
+```
+项目地址:http://192.168.109.110/granite/project-gravel/-/tree/itjuzi_20211119/scrapy_spiders/gravel_spiders/spiders/itjuzi_reqs
+
+
+## 队列名称及队列地址
+<!--redis host port db key 优先级说明-->
+-
+* redis host: redis://:utn@0818@bdp-mq-001.redis.rds.aliyuncs.com:6379/7
+* redis port: 6379
+* redis db: 7
+* redis key: 
+    * itjuzi_investevent:10
+
+```
+
+## 任务输入参数（样例）
+```json
+{
+  "platform": "itjuzi_investevent",
+  "invest_event_id": "12093283"
+}
+```
+
+
+## data_type说明
+<!--可能产生的data_type说明-->
+```
+data_type: detail   # 结果数据类型
+```
+
+## 实际爬虫结果的数据结构
+<!--可能与超级数据一致，可能不同的data_type的爬虫结果结构不同，超级数据是把所有data_type的结果组合在一起-->
+```json
+{
+    "data": [{
+        "investevent": {
+            "invest_event_id": "12093283",
+            "finance_company_juzi_id": "44889",
+            "finance_company_short_name": "卡尤迪生物",
+            "invest_date": "2020-12-23",
+            "event_title": "卡尤迪生物完成6亿人民币D轮融资",
+            "event_desc": "卡尤迪生物致力于研发世界一流的新型基因分子诊断平台，并使其服务于各级医疗机构。作为具有核心技术的生物医药企业，卡尤迪拥有快速核酸现场检测平台，并已申请近三十项国际PCT专利。该平台在分子检测行业享有国际声誉，至今已受到世界卫生组织（WHO）、Nature期刊等机构的权威肯定。近日完成6亿人民币D轮融资，投资方为高瓴创投领投，金阖资本、惠远资本、峰瑞资本跟投。",
+            "finance_rounds": "D轮",
+            "finance_currency": "人民币",
+            "finance_amount": "6亿",
+            "after_invest_valuation_currency": "人民币",
+            "after_invest_valuation_amount": "未透露",
+            "equity_ratio": "未透露",
+            "report_list": [{
+                "report_title": "卡尤迪完成近6亿元D轮融资，高瓴创投领投",
+                "report_date": "2020-12-23",
+                "report_url": "http://pe.hexun.com/2020-12-23/202679515.html",
+                "report_domain": "pe.hexun.com"
+            }],
+            "investor_list": [{
+                "round_investor_short_name": "高瓴创投",
+                "round_investor_id": "8981",
+                "investor_type": ""
+            },
+            {
+                "round_investor_short_name": "金阖资本",
+                "round_investor_id": "7976",
+                "investor_type": ""
+            },
+            {
+                "round_investor_short_name": "峰瑞资本",
+                "round_investor_id": "1835",
+                "investor_type": ""
+            },
+            {
+                "round_investor_short_name": "惠远资本",
+                "round_investor_id": "11668",
+                "investor_type": ""
+            }],
+            "finance_advisor_short_name": null,
+            "finance_advisor_id": null,
+            "invest_officer_name": "张珊珊",
+            "invest_officer_id": "2754"
+        }
+    }],
+    "http_code": 200,
+    "error_msg": "",
+    "task_result": 1000,
+    "data_type": "detail",
+    "spider_start_time": "2021-11-19 17:45:55.565",
+    "spider_end_time": "2021-11-19 17:45:57.392",
+    "task_params": {
+        "platform": "itjuzi_investevent",
+        "invest_event_id": "12093283"
+    },
+    "metadata": {},
+    "spider_name": "itjuzi_investevent",
+    "spider_ip": "10.8.1.42",
+    "proxy_ip": "http://10.8.6.219:1805"
+}
+```
+
+## 爬虫运行环境
+<!--udm模块？scrapy？或其他-->
+```buildoutcfg
+scrapy
+```
+
+
+## 爬虫部署信息
+<!--部署在哪些机器？每个机器多少进程？项目名称是什么？-->
+```
+crontab任务对应机器collie用户:   待添加
+爬虫部署机器:  10.8.6.62   20个进程
+```
+
+
+## Taskhub地址
+```
+暂不需要
+```
+
+## Taskhub调度规则说明
+```
+
+```
+
+
+## 爬虫监控指标设计
+<!--监控爬虫正常运行的指标是什么？报警规则是什么？-->
+```
+待完善
+```
+
+## 爬虫待采集结果目录
+```
+/data/gravel_spiders/itjuzi_investevent
+```
+
+---
+
+# **数据归集**
+
+## 责任人
+```
+范召贤
+```
+
+## 数据归集方式
+
+- [ ] 爬虫直接写kafka
+
+- [x] 爬虫写文件logstash采集
+
+## 爬虫结果目录
+```
+/data/gravel_spiders/itjuzi_investevent
+```
+
+## 归集后存放目录
+```
+/data2_227/grvael_spider_result/itjuzi_investevent
+```
+
+## logstash配置文件名称
+```
+project-deploy/logstash/10.8.6.246/conf.d/collie_spider_data_to_kfk.conf(入topic)
+project-deploy/logstash/10.8.6.229/conf.d/grvael_spider_to_es.conf(入es)
+```
+
+## logstash文件采集type
+```
+type=>"itjuzi_investevent"
+```
+
+## 数据归集的topic
+```
+topic_id => "general-taxpayer"
+```
+
+## ES日志索引及筛选条件
+```
+index => "gravel-spider-data-%{log_date}"
+```
+
+## 监控指标看板
+
+
+## 数据保留策略
+
+
+---
+
+# **数据清洗**
+
+## 责任人
+
+
+## 代码地址
+
+
+## 部署地址
+<!--机器及线上代码地址-->
+
+
+## 部署方法及说明
+<!--运行方法及运行命令、supervisor配置、supervisor的program等-->
+- [ ] crontab + data_pump
+- [ ] supervisor + data_pump
+- [ ] supervisor + consumer
+
+## 数据接收来源
+<!--来源于kafka还是归集的文件、topic的group？-->
+
+
+## 数据存储表地址
+
+* 数据库地址：
+* 表名：
\ No newline at end of file