itjuzi_investevent

基本信息

投资事件-字段说明

class InvesteventReportItem(Item):
    """
    投资事件-报道
    """
    report_title = Field()  # 相关报道标题
    report_date = Field()   # 相关报道日期
    report_url = Field()    # 相关报道url
    report_domain = Field() # 相关报道域名

class InvesteventInvestorItem(Item):
    """
    投资事件-投资机构
    """
    round_investor_short_name = Field() # 本轮投资机构简称
    round_investor_id = Field() # 本轮投资机构id
    investor_type = Field()     # 投资机构类型

class InvesteventItem(Item):
    """
    投资事件
    """
    invest_event_id = Field()   # 投融资事件id
    finance_company_juzi_id = Field()   # 融资公司橘子id
    finance_company_short_name = Field()    # 融资公司简称
    invest_date = Field()   # 投资日期
    event_title = Field()   # 通融资事件标题
    event_desc = Field()    # 通融资事件描述
    finance_rounds = Field()    # 融资轮次
    finance_currency = Field()  # 融资币种
    finance_amount = Field()    # 融资金额(可为文字)
    after_invest_valuation_currency = Field()   # 投资后估值币种(可为文字)
    after_invest_valuation_amount = Field() # 投资后估值金额(可为文字)
    equity_ratio = Field()  # 股权占比
    report_list = Field()    # 投资事件报告列表
    investor_list = Field() # 投资机构列表
    finance_advisor_short_name = Field()    # 融资顾问简称
    finance_advisor_id = Field()    # 融资顾问id(属于投资机构)
    invest_officer_name = Field()   # 投资负责人名字
    invest_officer_id = Field()     # 投资负责人id

数据名称（中文）

投资事件

数据英文名称

itjuzi_investevent

采集网站（采集入口）

详情页: https://www.itjuzi.com/investevent/12093283

采集频率及采集策略

存量更新策略

https://www.itjuzi.com/investevent/12093283
详情页链接从1~12093283 (绝大部分是404),后续累加
预计有9w+个投资事件

增量采集策略

待更新

爬虫

itjuzi_investevent

责任人

袁波

爬虫名称

itjuzi_investevent

代码地址

项目地址:http://192.168.109.110/granite/project-gravel/-/tree/itjuzi_20211119/scrapy_spiders/gravel_spiders/spiders/itjuzi_reqs


## 队列名称及队列地址
<!--redis host port db key 优先级说明-->
-
* redis host: redis://:utn@0818@bdp-mq-001.redis.rds.aliyuncs.com:6379/7
* redis port: 6379
* redis db: 7
* redis key: 
    * itjuzi_investevent:10

任务输入参数（样例）

{
  "platform": "itjuzi_investevent",
  "invest_event_id": "12093283"
}

data_type说明

data_type: detail   # 结果数据类型

实际爬虫结果的数据结构

{
    "data": [{
        "investevent": {
            "invest_event_id": "12093283",
            "finance_company_juzi_id": "44889",
            "finance_company_short_name": "卡尤迪生物",
            "invest_date": "2020-12-23",
            "event_title": "卡尤迪生物完成6亿人民币D轮融资",
            "event_desc": "卡尤迪生物致力于研发世界一流的新型基因分子诊断平台，并使其服务于各级医疗机构。作为具有核心技术的生物医药企业，卡尤迪拥有快速核酸现场检测平台，并已申请近三十项国际PCT专利。该平台在分子检测行业享有国际声誉，至今已受到世界卫生组织（WHO）、Nature期刊等机构的权威肯定。近日完成6亿人民币D轮融资，投资方为高瓴创投领投，金阖资本、惠远资本、峰瑞资本跟投。",
            "finance_rounds": "D轮",
            "finance_currency": "人民币",
            "finance_amount": "6亿",
            "after_invest_valuation_currency": "人民币",
            "after_invest_valuation_amount": "未透露",
            "equity_ratio": "未透露",
            "report_list": [{
                "report_title": "卡尤迪完成近6亿元D轮融资，高瓴创投领投",
                "report_date": "2020-12-23",
                "report_url": "http://pe.hexun.com/2020-12-23/202679515.html",
                "report_domain": "pe.hexun.com"
            }],
            "investor_list": [{
                "round_investor_short_name": "高瓴创投",
                "round_investor_id": "8981",
                "investor_type": ""
            },
            {
                "round_investor_short_name": "金阖资本",
                "round_investor_id": "7976",
                "investor_type": ""
            },
            {
                "round_investor_short_name": "峰瑞资本",
                "round_investor_id": "1835",
                "investor_type": ""
            },
            {
                "round_investor_short_name": "惠远资本",
                "round_investor_id": "11668",
                "investor_type": ""
            }],
            "finance_advisor_short_name": null,
            "finance_advisor_id": null,
            "invest_officer_name": "张珊珊",
            "invest_officer_id": "2754"
        }
    }],
    "http_code": 200,
    "error_msg": "",
    "task_result": 1000,
    "data_type": "detail",
    "spider_start_time": "2021-11-19 17:45:55.565",
    "spider_end_time": "2021-11-19 17:45:57.392",
    "task_params": {
        "platform": "itjuzi_investevent",
        "invest_event_id": "12093283"
    },
    "metadata": {},
    "spider_name": "itjuzi_investevent",
    "spider_ip": "10.8.1.42",
    "proxy_ip": "http://10.8.6.219:1805"
}

爬虫运行环境

scrapy

爬虫部署信息

crontab任务对应机器collie用户:   待添加
爬虫部署机器:  10.8.6.62   20个进程

Taskhub地址

暂不需要

Taskhub调度规则说明

爬虫监控指标设计

待完善

爬虫待采集结果目录

/data/gravel_spiders/itjuzi_investevent

数据归集

责任人

范召贤

数据归集方式

爬虫直接写kafka
爬虫写文件logstash采集

爬虫结果目录

/data/gravel_spiders/itjuzi_investevent

归集后存放目录

/data2_227/grvael_spider_result/itjuzi_investevent

logstash配置文件名称

project-deploy/logstash/10.8.6.246/conf.d/collie_spider_data_to_kfk.conf(入topic)
project-deploy/logstash/10.8.6.229/conf.d/grvael/grvael_spider_to_es.conf(入es)

logstash文件采集type

type=>"itjuzi_investevent"

数据归集的topic

topic_id => "general-taxpayer"

ES日志索引及筛选条件

index => "gravel-spider-data-%{log_date}"

监控指标看板

数据保留策略

数据清洗

责任人

李子健

代码地址

project-collie-app/app_juzi_data/udms/juzi_investevent

部署地址

10.8.6.228

/home/collie/product/app_juzi_data

部署方法及说明

crontab + data_pump
supervisor + data_pump
supervisor + consumer

数据接收来源

归集的文件

数据存储表地址

数据库地址：bdp-rds-005.mysql.rds.aliyuncs.com
库名：utn_ng_qmp_info
表名：juzi_rongzi_event