Skip to content

GitLab

  • Projects
  • Groups
  • Snippets
  • Help
    • Loading...
  • Help
    • Help
    • Support
    • Community forum
    • Submit feedback
    • Contribute to GitLab
  • Sign in / Register
K
kb
  • Project overview
    • Project overview
    • Details
    • Activity
    • Releases
  • Repository
    • Repository
    • Files
    • Commits
    • Branches
    • Tags
    • Contributors
    • Graph
    • Compare
  • Issues 2
    • Issues 2
    • List
    • Boards
    • Labels
    • Service Desk
    • Milestones
  • Merge requests 0
    • Merge requests 0
  • Operations
    • Operations
    • Incidents
  • Analytics
    • Analytics
    • Repository
    • Value Stream
  • Wiki
    • Wiki
  • Members
    • Members
  • Activity
  • Graph
  • Create a new issue
  • Commits
  • Issue Boards
Collapse sidebar
  • granite
  • kb
  • Wiki
    • Data_stream
  • itjuzi_investfirm

Last edited by lizj Dec 09, 2021
Page history

itjuzi_investfirm

基本信息

投资机构-字段说明

class InvestfirmBelongListItem(Item):
    """
    投资机构-所在榜单
    """
    list_date = Field()  # 榜单日期(后续可以根据这个日期排名)
    list_title = Field()    # 榜单标题

class InvestfirmItem(Item):
    """
    投资机构-主表
    """
    invest_firm_id = Field()    # 桔子机构ID
    invest_firm_short_name = Field()    # 机构简称
    invest_firm_ic_fullname = Field()   # 机构工商全称
    invest_firm_logo_url = Field()  # 机构logo
    invest_firm_desc = Field()  # 机构简介
    invest_firm_establish_date = Field()    # 成立日期
    invest_firm_type = Field()  # 类型
    capital_management_scale = Field()  # 管理资本规模
    capital_management_composition = Field()    # 管理资本构成
    single_project_invest_scale = Field()   # 单个项目投资规模
    focus_area = Field()    # 关注领域
    invest_rounds = Field() # 投资轮次
    belong_list = Field()   # 所在榜单
    official_website = Field()  # 官网
    wechat_official_account = Field()   # 微信公众号
    phone = Field() # 联系电话
    email = Field() # 邮箱
    investor_number = Field()   #(怀疑是)投资人电话


class InvestfirmMemberItem(Item):
    """
    投资机构-机构成员
    """
    rank = Field()  # 页面展示顺序
    number_id = Field()    # 桔子人员id
    name = Field()  # 姓名
    invest_firm_id = Field()    # 公司id
    company_type = Field()  # 公司类型(这个字段是多余的,等同于invest_firm_type)
    company_short_name = Field()
    position = Field()  # 职位
    is_demission = Field()  # 是否离职
    individual_resume = Field() # 个人简介


class InvestfirmAddressItem(Item):
    """
    投资机构-联系信息
    """
    invest_firm_id = Field()    # 桔子机构id
    invest_firm_short_name = Field()    # 机构简称
    office_province = Field()  # 办公地址-省
    office_city = Field()   # 办公地址-市
    office_address = Field()    # 办公地址
    office_phone = Field()  # 办公地址联系电话

数据名称(中文)

投资机构

数据英文名称

itjuzi_investfirm

采集网站(采集入口)

详情页: https://www.itjuzi.com/investfirm/100

采集频率及采集策略

存量更新策略

https://www.itjuzi.com/investfirm/100
详情页链接从1~13000 ,后续累加
预计有12000+个投资机构

增量采集策略

待更新

爬虫

itjuzi_investfirm

责任人

袁波

爬虫名称

itjuzi_investfirm

代码地址

项目地址:http://192.168.109.110/granite/project-gravel/-/tree/itjuzi_20211119/scrapy_spiders/gravel_spiders/spiders/itjuzi_reqs


## 队列名称及队列地址
<!--redis host port db key 优先级说明-->
-
* redis host: redis://:utn@0818@bdp-mq-001.redis.rds.aliyuncs.com:6379/7
* redis port: 6379
* redis db: 7
* redis key: 
    * itjuzi_investfirm:10

任务输入参数(样例)

{
  "platform": "itjuzi_investfirm",
  "invest_event_id": "100"
}

data_type说明

data_type: detail   # 结果数据类型

实际爬虫结果的数据结构

{
	"data": [{
		"investfirm_detail": {
			"invest_firm_id": "265",
			"invest_firm_short_name": "啟赋资本",
			"invest_firm_ic_fullname": "深圳市启赋资本管理有限公司",
			"invest_firm_logo_url": "https://cdn.itjuzi.com/images/8709bf5acbf0c7ee0f12376983ae6080.png",
			"invest_firm_desc": "啟赋资本成立于2013年10月,是专注于早期投资和产业投资的创投机构。行业覆盖工业互联网、新服务、新消费等产业互联网,和以新材料为核心的先进制造两大领域。受托管理的资金主要来自于国内顶级的机构投资人,包括国有出资平台,政府引导基金,专业母基金投资人、上市公司等。",
			"invest_firm_establish_date": "2013",
			"invest_firm_type": ["VC", "天使机构"],
			"capital_management_scale": "28亿人民币 28亿人民币",
			"capital_management_composition": "",
			"single_project_invest_scale": ["数十万人民币(86家)", "数百万人民币(171家)", "数千万人民币(46家)"],
			"focus_area": ["互联网", "移动互联网", "医疗健康", "环保能源", "制造业", "本地生活", "教育", "金融", "文化娱乐", "硬件", "农业", "游戏", "企业服务", "电子商务", "汽车交通", "房产服务", "旅游", "广告营销", "工具软件", "消费升级", "新材料", "TMT", "物流运输"],
			"invest_rounds": ["种子轮(2家,约58万元)", "天使轮(78家,约1亿元)", "A轮(171家,约13亿元)", "B轮(27家,约3亿元)", "C轮及以后(17家,约2亿元)", "战略投资(8家,约1亿元)"],
			"belong_list": [{
				"list_date": "2021-10-25",
				"list_title": "2021年中国早期投资机构30强"
			}, {
				"list_date": "2021-05-13",
				"list_title": "投中2020年度中国最佳早期创业投资机构TOP50"
			}, {
				"list_date": "2020-10-15",
				"list_title": "2020年中国早期投资机构30强"
			}, {
				"list_date": "2020-06-11",
				"list_title": "投中2019年度中国互联网产业最佳互联网领域投资机构TOP20"
			}, {
				"list_date": "2019-12-09",
				"list_title": "2019年中国创业投资机构50强"
			}, {
				"list_date": "2019-04-17",
				"list_title": "投中2018年度中国最佳创业投资机构TOP100"
			}, {
				"list_date": "2018-12-07",
				"list_title": "2018年中国创业投资机构50强"
			}, {
				"list_date": "2018-06-10",
				"list_title": "2018机构胡润区块链投资机构Top30"
			}],
			"official_website": "http://www.qfvc.cn/",
			"wechat_official_account": "gh_ec08bf8cf62c",
			"phone": "0755-8695-9481",
			"email": "",
			"investor_number": null
		},
		"investfirm_members": [{
			"rank": 1,
			"invest_firm_id": "265",
			"number_id": "41117",
			"name": "傅哲宽",
			"company_type": "investfirm",
			"company_short_name": "啟赋资本",
			"is_demission": "在职",
			"position": "创始合伙人",
			"individual_resume": "傅哲宽,深圳启赋资本创始合伙人,中国知名的创业投资家,自2000年6月起服务于达晨创投有十三年之久,任合伙人、副总裁职务,先后负责过达晨创投南方片区和北方片区两个最重要的大区业务,是达晨创投最重要的业务合伙人之一\r\n傅先生在达晨创投发展最快的三年(2006年—2008年)中,个人的投资贡献率在50%以上,直接和主导投资的投资额约占达晨创投所有投资额的近40%,并已有十家公司成功上市,为达晨创投的发展做出了巨大贡献\r\n傅先生有十多年的资本市场和投资经验以及广泛的人脉资源的积累,先后主导了60多家公司的投资,投资领域涉及TMT、消费服务、现代农业、清洁技术等行业\r\n傅先生是本土创投最早将现代农业作为战略投资方向的投资人,其投资的圣农发展、煌上煌均成为现代农业投资的经典案例,开创了PE基金投资现代农业的新时代,被创投行业誉为\"打开农业PE之门\"的人"
		}, {
			"rank": 2,
			"invest_firm_id": "265",
			"number_id": "43883",
			"name": "蒋利平",
			"company_type": "investfirm",
			"company_short_name": "啟赋资本",
			"is_demission": "在职",
			"position": "投资总监",
			"individual_resume": "蒋利平,启赋投资总监。\r\n山东大学微生物技术国家重点实验室硕士。毕业后加盟先声药业(2007年纽交所上市),从事新药研发和项目合作技术评估,在国内外学术期刊发表论文数篇\r\n2013年加盟启赋资本,主导或参与投资了近20个项目"
		}, {
			"rank": 3,
			"invest_firm_id": "265",
			"number_id": "45212",
			"name": "兰洪明",
			"company_type": "investfirm",
			"company_short_name": "啟赋资本",
			"is_demission": "在职",
			"position": "合伙人",
			"individual_resume": "兰洪明,现任深圳市启赋资本管理有限公司行业合伙人,拥有十多年的创业投资和财务工作经验,在对先进制造、医药医疗、信息技术等行业有着丰富的投资经验。江西财经大学会计及工商管理硕士毕业,行业经验丰富,具备管理和财务双重学科背景,投资管理与财务管理双重实战经验,曾任北京立达资本股权投资管理有限公司投资总监,泰豪科技集团--南昌创业投资有限公司投资经理,精成电子科技集团财务经理。"
		}, {
			"rank": 4,
			"invest_firm_id": "265",
			"number_id": "45216",
			"name": "陈苏里",
			"company_type": "investfirm",
			"company_short_name": "啟赋资本",
			"is_demission": "在职",
			"position": "投资总监",
			"individual_resume": "陈苏里,启赋资本投资副总监。毕业于中南大学材料学院,获工科硕士学位。十多年新材料研发及实业管理经验,先后服务于湖南有色集团及比亚迪股份有限公司。与诺基亚,摩托罗拉,万科,美敦力合作开发新材料项目并担任负责人,在消费类电子,锂离子电池、建筑材料,医疗器械及生物材料有丰富的人脉及实业经验,曾任比亚迪股份有限公司材料研究部负责人。\r\n\r\n      投资项目案例:广州晶优电子(高端晶振电子元器件)、艾博恩科技(等离子抛光)、南京肯特(密封元器件)、艾丽荣化工(离子液体)、日高能源(磷酸铁锂电池)。"
		}, {
			"rank": 5,
			"invest_firm_id": "265",
			"number_id": "45312",
			"name": "龙志成",
			"company_type": "investfirm",
			"company_short_name": "啟赋资本",
			"is_demission": "在职",
			"position": "投资副总监",
			"individual_resume": "龙志成,启赋资本投资副总监。曾在腾讯、华为工作多年,担任华为开发者联盟 合作产品总监,负责过腾讯QQ创意相机等产品。"
		}, {
			"rank": 6,
			"invest_firm_id": "265",
			"number_id": "45316",
			"name": "方妍妍",
			"company_type": "investfirm",
			"company_short_name": "啟赋资本",
			"is_demission": "在职",
			"position": "投资总监",
			"individual_resume": "方妍妍,启赋资本投资总监。美国材料科学与工程博士,曾参与国内外多个半导体领域重大研究项目,拥有半导体材料领域、金属材料领域的丰富研发经验。曾作为核心人员参与两家创业公司的组建和运营。2015年加盟启赋资本。"
		}, {
			"rank": 7,
			"invest_firm_id": "265",
			"number_id": "45322",
			"name": "顾凯",
			"company_type": "investfirm",
			"company_short_name": "啟赋资本",
			"is_demission": "在职",
			"position": "合伙人",
			"individual_resume": "顾凯先生现任启赋资本合伙人。1994年毕业于北京商学院,之后进入投资行业,创办北京弘道投资顾问公司并出任总经理,上海精诚投资公司董事副总经理,深圳达晨创投河南分公司总经理,在达晨工作期间,组建并带领河南分公司成为公司最佳团队,曾主持组织某科技公司的融资和上市工作,并任其董事、董事会秘书、上市办主任,拥有资本市场和实体产业多层次的工作经历,在企业投融资、改制上市等方面拥有丰富的经验和资源。"
		}, {
			"rank": 8,
			"invest_firm_id": "265",
			"number_id": "45323",
			"name": "王长振",
			"company_type": "investfirm",
			"company_short_name": "啟赋资本",
			"is_demission": "在职",
			"position": "合伙人",
			"individual_resume": "王长振先生现任启赋资本合伙人。曾任职于达晨创投行业投资管理总部,专注于新材料行业投资及行业研究,曾任职国内某知名大型高科技上市公司从事新材料研发管理工作,新材料研发经验丰富,企业管理及团队建设经验丰富,熟悉金属材料、无机非金属材料、高分子材料、复合材料和前沿新材料、新技术新工艺等各细分领域。毕业于中南大学材料学专业,获美国材料学博士学位。"
		}, {
			"rank": 9,
			"invest_firm_id": "265",
			"number_id": "66059",
			"name": "刘永佳",
			"company_type": "investfirm",
			"company_short_name": "啟赋资本",
			"is_demission": "在职",
			"position": "投资副总监",
			"individual_resume": "刘永佳,启赋资本投资副总监。关注人工智能、物联网、产业互联网、消费升级\r\n毕业于华南理工大学,工学硕士,计算机与通信信息系统专业,机器学习算法方向,曾在数学建模、ACM、微软创新杯等多个大赛获奖。\r\n曾就职于中国电信、IBM、深圳市投资控股等公司,主导与腾讯、华为、平安、工行等企业项目合作,熟悉互联网和IT产业。\r\n拥有创办两家公司的创业经验,2014年起在英诺基金、深投控从事创业投资工作,是深圳湾创业广场、深圳湾天使基金创始成员。\r\n喜欢研究技术与产业,在技术、投资、市场和企业管理拥有近十年经验,互联网和产业领域有丰富人脉,参与多家AI、大数据、先进制造领域企业投资。"
		}, {
			"rank": 10,
			"invest_firm_id": "265",
			"number_id": "158368",
			"name": "苏彬雄",
			"company_type": "investfirm",
			"company_short_name": "啟赋资本",
			"is_demission": "在职",
			"position": "投资经理",
			"individual_resume": "苏彬雄,投资经理,伦敦卡斯商学院投资管理硕士、德国欧洲商学院汽车工业管理硕士毕业,曾于德国Digital River电商服务平台担任商业数据分析师,擅长市场调研、数据分析等工作;目前于深圳启赋资本担任投资经理,主要关注产业互联网、企业服务等领域。投资案例:运个货,智慧保。"
		}, {
			"rank": 11,
			"invest_firm_id": "265",
			"number_id": 43876,
			"name": "刘海棠",
			"company_type": "investfirm",
			"company_short_name": "啟赋资本",
			"is_demission": "已离职",
			"position": "投资经理",
			"individual_resume": "刘海棠,启赋资本投资经理。"
		}, {
			"rank": 12,
			"invest_firm_id": "265",
			"number_id": 43877,
			"name": "劳雅各",
			"company_type": "investfirm",
			"company_short_name": "啟赋资本",
			"is_demission": "已离职",
			"position": "投资经理",
			"individual_resume": "劳雅各,启赋资本投资经理。"
		}, {
			"rank": 13,
			"invest_firm_id": "265",
			"number_id": 43878,
			"name": "吴慧敏",
			"company_type": "investfirm",
			"company_short_name": "啟赋资本",
			"is_demission": "已离职",
			"position": "投资经理",
			"individual_resume": "吴慧敏,启赋投资经理。"
		}, {
			"rank": 14,
			"invest_firm_id": "265",
			"number_id": 43879,
			"name": "宋昶",
			"company_type": "investfirm",
			"company_short_name": "啟赋资本",
			"is_demission": "已离职",
			"position": "投资经理",
			"individual_resume": "宋昶,启赋资本投资经理。"
		}, {
			"rank": 15,
			"invest_firm_id": "265",
			"number_id": 43880,
			"name": "屠铮",
			"company_type": "investfirm",
			"company_short_name": "啟赋资本",
			"is_demission": "已离职,现蜂巧资本 创始合伙人",
			"position": "合伙人",
			"individual_resume": "屠铮,启赋合伙人。在达晨创投任职8年,达晨华东副总经理兼浙江总经理兼公司互联网消费服务负责人兼公司华东TMT负责人;\r\n曾在外资基金从事对中国消费服务行业扩张期和Pre-IPO项目分析和运作。 从2004年起从事收购中国银行不良资产业务。曾在美国华盛顿智囊团AEI(America Enterprise Institute)参与亚洲贸易与WTO关系的研究;\r\n创业邦“2013年度20名最具潜力青年风险投资人”;\r\n美国芝加哥大学MPP"
		}, {
			"rank": 16,
			"invest_firm_id": "265",
			"number_id": 43881,
			"name": "彭数学",
			"company_type": "investfirm",
			"company_short_name": "啟赋资本",
			"is_demission": "已离职,现旭源资本 董事长",
			"position": "投资总监",
			"individual_resume": "彭数学,旭源资本董事长,曾任启赋投资总监。湘潭大学会计学硕士,曾联合创办某大型健康门户电商网、任职二甲医院财务主管、邦盟汇骏顾问(深圳)公司投融部经理、盈峰资本高级投资经理。\r\n主导和参与了多起股权融资财务顾问、审计,数个消费类、影视文化剧、化工类项目股权投资。\r\n具有多年的会计、审计、财务顾问、互联网电商、医疗行业从业经验。\r\n2014年加盟启赋资本"
		}, {
			"rank": 17,
			"invest_firm_id": "265",
			"number_id": 43882,
			"name": "李鑫",
			"company_type": "investfirm",
			"company_short_name": "啟赋资本",
			"is_demission": "已离职,现睿鼎资本 董事长",
			"position": "副总裁",
			"individual_resume": "李鑫,睿鼎资本董事长,曾任大正元资本(TDR Capital)高级副总裁和深圳启赋资本投资总监,资深投资履历;曾创造大众点评网、信威通信(600485.SH)、步长制药(603858.SH)、万洲国际(00288.HK)、勤上股份(002638.SZ)、酒仙网(833919)、德泓国际(834086)、精智达(836990)、海格物流(430377)等经典投资案例。"
		}, {
			"rank": 18,
			"invest_firm_id": "265",
			"number_id": 43884,
			"name": "谢波",
			"company_type": "investfirm",
			"company_short_name": "啟赋资本",
			"is_demission": "已离职,现原象基金 主管合伙人",
			"position": "投资总监",
			"individual_resume": "谢波,原象基金创始人、投资主管合伙人。曾担任暴龙资本合伙人、启赋资本投资总监。中山大学MBA,第四届中国MBA新锐100,美国项目管理协会PMP。连续创业者,10多年软件行业经历,先后任职软件工程师,系统分析师,项目经理,运营总监,CEO等职位,曾创办两家高科技IT企业。2013年进入投资行业,任职大成博信医药产业投资基金投资经理、总经理助理主导和参与了多起股权融资,数个消费类、医疗类项目股权投资。"
		}, {
			"rank": 19,
			"invest_firm_id": "265",
			"number_id": 45214,
			"name": "曾峥 ",
			"company_type": "investfirm",
			"company_short_name": "啟赋资本",
			"is_demission": "已离职,现原象基金 创始合伙人",
			"position": "合伙人",
			"individual_resume": "曾峥,原象基金创始主管合伙人、董事长。毕业于清华大学经济管理学院,获得EMBA学位。曾担任启赋资本合伙人。更早之前先后任职平安信托投资总监,负责华南地区项目投融资工作;创办广州岭南佳园连锁酒店有限公司,任职总经理助理,负责战略规划、酒店投融资、财务管理、市场营销等工作,任职世界500强胜腾集团(CENDENT)旗下连锁房产中介集团——21世纪不动产中国区市场总监,负责战略规划、市场营销工作;任职广州银行总行,从事公司银行业务和战略规划工作。拥有超过14年金融和投资行业从业经验,具有银行信贷、企业项目投融资、企业重组及顾问、收购合并、股票上市以及私人股本投资的经验。"
		}, {
			"rank": 20,
			"invest_firm_id": "265",
			"number_id": 45313,
			"name": "樊建楚",
			"company_type": "investfirm",
			"company_short_name": "啟赋资本",
			"is_demission": "已离职",
			"position": "投资副总监",
			"individual_resume": "樊建楚,启赋资本投资副总监。2014年加盟启赋资本。 北京大学软件工程硕士。先后在IBM的中国研究院(CRL)、全球业务咨询服务部(GBS)、中国开发中心(CDL)实习和工作过,期间参与中国银行总行卡中心项目实施,以及WebSphere Front Office、WebSphere Lombardi Edition等产品的全球技术支持。2011年离开IBM后,与朋友合伙创办北京知众智汇网络科技有限公司,主要从事基于社交网络的大数据分析与应用,获得国内知名天使投资人、新浪技术高管的两轮天使投资。拥有较深的IT技术背景、互联网行业背景。"
		}, {
			"rank": 21,
			"invest_firm_id": "265",
			"number_id": 45320,
			"name": "杨程",
			"company_type": "investfirm",
			"company_short_name": "啟赋资本",
			"is_demission": "已离职",
			"position": "投资经理",
			"individual_resume": "杨程,启赋资本投经理。上海交通大学工学学士,上海交通大学工学硕士。参与多项国家级科研项目,合作发明多项科学专利,发表学术论文数篇。有很深的学术功底和研究能力,对TMT、现代服务业有深刻的理解。曾在湖南湘投高科技创业投资有限公司实习,担任投资助理。2014年加盟启赋资本,已参与投资精智达、点睛创视、天地汇等项目。"
		}, {
			"rank": 22,
			"invest_firm_id": "265",
			"number_id": 45318,
			"name": "郑浩",
			"company_type": "investfirm",
			"company_short_name": "啟赋资本",
			"is_demission": "已离职",
			"position": "投资经理",
			"individual_resume": "郑浩,启赋资本投资经理。中山大学理学硕士。2012年开始从事咨询工作,具有丰富的行业分析经验,曾经参与顺丰快递、广汽集团等多家大型企业的市场研究和行业调查。为多家企业市场拓展和战略规划提供了建设性意见和方案,并获得认可2014年加入启赋资本,已参与投资EQ童学等项目。"
		}, {
			"rank": 23,
			"invest_firm_id": "265",
			"number_id": 45317,
			"name": "张兵",
			"company_type": "investfirm",
			"company_short_name": "啟赋资本",
			"is_demission": "已离职",
			"position": "投资经理",
			"individual_resume": "张兵,启赋资本投资经理。2011年7月毕业于中国科学院研究生院,获硕士学位。同年,加入某中央企业上市子公司,历经技术、管理等工作岗位,对上市公司整体运营和管理有较深的理解。在材料学领域具有较深的研究背景和较强的技术实力;在中科院、有色金属等系统拥有丰富的人脉资源和行业经验。2014年2月加盟启赋资本,已参与投资数字绿土、苏州第一元素、无极慧通、远为科技、星言爱普等优秀项目。"
		}, {
			"rank": 24,
			"invest_firm_id": "265",
			"number_id": 43565,
			"name": "常欣",
			"company_type": "investfirm",
			"company_short_name": "啟赋资本",
			"is_demission": "已离职,现蜂巧资本 创始合伙人",
			"position": "投资总监",
			"individual_resume": "常欣,蜂巧资本创始合伙人,曾担任启赋资本投资总监、德同投资经理。有英国谢菲尔德大学新闻专业硕士学位。常欣女士是橙湾大学特聘讲师。"
		}],
		"investfirm_address": [{
			"invest_firm_id": "265",
			"invest_firm_short_name": "啟赋资本",
			"office_province": "广东",
			"office_city": "深圳",
			"office_address": "深圳市南山区中铁南方总部大厦中心路(深圳湾段)3333号",
			"office_phone": "0755 - 8670 0021"
		}]
	}],
	"http_code": 200,
	"error_msg": "",
	"task_result": 1000,
	"data_type": "detail",
	"spider_start_time": "2021-11-22 17:40:00.587",
	"spider_end_time": "2021-11-22 17:40:01.860",
	"task_params": {
		"platform": "itjuzi_investfirm",
		"invest_firm_id": "265"
	},
	"metadata": {},
	"spider_name": "itjuzi_investfirm",
	"spider_ip": "10.8.1.54",
	"proxy_ip": ""
}
}

爬虫运行环境

scrapy

爬虫部署信息

crontab任务对应机器collie用户:   待添加
爬虫部署机器:  10.8.6.62   1个进程

Taskhub地址

暂不需要

Taskhub调度规则说明

爬虫监控指标设计

待完善

爬虫待采集结果目录

/data/gravel_spiders/itjuzi_investfirm

数据归集

责任人

范召贤

数据归集方式

  • 爬虫直接写kafka

  • 爬虫写文件logstash采集

爬虫结果目录

/data/gravel_spiders/itjuzi_investfirm

归集后存放目录

/data2_227/grvael_spider_result/itjuzi_investfirm

logstash配置文件名称

project-deploy/logstash/10.8.6.246/conf.d/collie_spider_data_to_kfk.conf(入topic)
project-deploy/logstash/10.8.6.229/conf.d/grvael/grvael_spider_to_es.conf(入es)

logstash文件采集type

type=>"itjuzi_investfirm"

数据归集的topic

topic_id => "general-taxpayer"

ES日志索引及筛选条件

index => "gravel-spider-data-%{log_date}"

监控指标看板

数据保留策略


数据清洗

责任人

李子健

代码地址

project-collie-app/app_juzi_data/udms/juzi_investfirm_address

project-collie-app/app_juzi_data/udms/juzi_investfirm_detail

project-collie-app/app_juzi_data/udms/juzi_investfirm_members

部署地址

10.8.6.228

/home/collie/product/app_juzi_data

部署方法及说明

  • crontab + data_pump
  • supervisor + data_pump
  • supervisor + consumer

数据接收来源

归集的文件

数据存储表地址

  • 数据库地址:bdp-rds-005.mysql.rds.aliyuncs.com
  • 库名:utn_ng_qmp_info
  • 表名:juzi_investfirm_address、juzi_investfirm_detail、juzi_investfirm_members
Clone repository
  • README
  • basic_guidelines
  • basic_guidelines
    • basic_guidelines
    • dev_guide
    • project_build
    • 开发流程
  • best_practice
  • best_practice
    • AlterTable
    • RDS
    • azkaban
    • create_table
    • design
    • elasticsearch
    • elasticsearch
      • ES运维
    • logstash
View All Pages