基本信息

同花顺财经-基本信息

数据名称（中文）

同花顺财经-基本信息

数据英文名称

public_company_jqka

采集网站（采集入口）

列表入口是东方财富网

沪深市场
列表:   http://quote.eastmoney.com/center/gridlist.html#hs_a_board
详情:   http://stockpage.10jqka.com.cn/300095/company/#detail

新三板
列表:  http://quote.eastmoney.com/center/gridlist.html#neeq_stocks
详情:  http://stockpage.10jqka.com.cn/430305/company/#detail

港股
列表:  http://quote.eastmoney.com/center/gridlist.html#hk_stocks
详情:  http://stockpage.10jqka.com.cn/HK1919/company/

存量更新策略

每日5:30例行更新
更新全量
根据16000左右上市公司列表进行更新
大约9:30以前更新完成

爬虫

同花顺财经爬虫(public_company_jqka)

责任人

袁波

爬虫名称

public_company_jqka

代码地址

项目地址:http://tech.pingansec.com/granite/project-gravel.git

项目入口脚本
http://192.168.109.110/granite/project-gravel/blob/develop_app_10jqka_20210121/scrapy_spiders/gravel_spiders/spiders/public_company_jqka.py

代码具体实现板块: 
http://192.168.109.110/granite/project-gravel/tree/develop_app_10jqka_20210121/scrapy_spiders/gravel_spiders/spiders/pub_company_reqs

队列名称及队列地址

• redis host: redis://:utn@0818@bdp-mq-001.redis.rds.aliyuncs.com:6379/7
• redis port: 6379
• redis db: 7
• redis key:
  • public_company_jqka:10

优先级队列说明

• public_company_jqka (默认优先级:10)

任务来源

任务输入参数（样例）

{
    "platform_name": "jqka", 
    "stock_type": "gg", 
    "stock_code": "00001", 
    "stock_name": "长和", 
    "data_type": "list"
}

任务样例

任务参数说明

{
    "platform_name": "jqka",   # 平台名称
    "stock_type": "gg",             # 股票类型(沪深A股、新三板、港股)
    "stock_code": "00001",          # 股票code
    "stock_name": "长和",            # 股票简称
    "data_type": "list"      # 数据类型
}

data_type说明

list:  获取列表任务
detail: 获取详情的任务

爬虫结果的超级数据

每个字段的含义见一下链接的BaseInfoItem:

http://192.168.109.110/granite/project-gravel/-/blob/develop_app_10jqka_20210121/scrapy_spiders/gravel_spiders/items.py

{
	"data": {
		"jbzl_jqka": {
			"zqlb": "",
			"ssdchy": "",
			"ssjys": "",
			"sszjhhy": "",
			"zqswdb": "",
			"dlds": "",
			"gsdj": "",
			"glryrs": "",
			"gsmc": "安徽一天电气技术股份有限公司",
			"ywmc": "Anhui Onesky Electrical Technology Co.,Ltd.",
			"cym": "-",
			"gpdm": "870583",
			"gpjc": "一天电气",
			"gpbk": "xsb",
			"zjl": "芮骏",
			"frdb": "芮骏",
			"dm": "陈生学",
			"dsz": "芮骏",
			"lxdh": "86-0551-62799027",
			"dzxx": "",
			"cz": "86-0551-62799001",
			"gswz": "http://www.ytdianqi.com",
			"bgdz": "安徽省合肥市蜀山区高新区永和路99",
			"zcdz": "",
			"yzbm": "230088",
			"zczb": "5150万元",
			"gyrs": "406",
			"lssws": "",
			"kjssws": "",
			"gsjj": "安徽一天电气技术股份有限公司是一家从事过电压防护系列、配电网智能接地系统系列、电能质量改进及节电系列以及其他产品的研发、生产和销售，并提供相应的技术服务的公司。公司主要产品是六柱全相双安全保护装置、低残压比母线过电压保护装置、浪涌保护器、氧化锌非线性电阻元件系列、防雷工程及产品、脉冲电流选线装置、智能单相接地故障综合处理装置、暂态电压在线监测装置、智能软开关触点消弧装置、电能质量测试OSSINE有源电力滤波装置、高低压无功补偿装置、光伏智能节电柜、变电站设备运维服务。2019年1月28日“一天电气”商标被国家知识产权局商标局认定为驰名商标。",
			"jyfw": "过电压防护系列、配电网智能接地系统系列、电能质量改进及节电系列以及其他产品的研发、生产和",
			"ssdy": "安徽省",
			"sshy": "电力设备 — 电网设备",
			"cpmc": "过电压防护系列、配电网智能接地系统系列、电源质量改进及节电系列",
			"kggd": "上海一天电气有限公司",
			"sjkzr": "芮骏",
			"zzkzr": "芮骏",
			"clrq": "",
			"njr": "",
			"qy": ""
		},
		"fhqk": [{
			"bgq": "2021中报",
			"dshrq": "2021-08-17",
			"gddhyaggrq": "--",
			"ssggr": "--",
			"fhfasm": "不分配不转增",
			"aggqdjr": "--",
			"agcqcxr": "--",
			"fhze": "--",
			"fajd": "董事会预案",
			"glzfl": "--",
			"sqfhl": "--"
		}, {
			"bgq": "2020年报",
			"dshrq": "2021-04-26",
			"gddhyaggrq": "2021-05-18",
			"ssggr": "2021-06-21",
			"fhfasm": "10派5.83元(含税)",
			"aggqdjr": "2021-06-29",
			"agcqcxr": "2021-06-30",
			"fhze": "3002.45万",
			"fajd": "实施方案",
			"glzfl": "68.59%",
			"sqfhl": "--"
		}, {
			"bgq": "2020中报",
			"dshrq": "2020-08-24",
			"gddhyaggrq": "--",
			"ssggr": "--",
			"fhfasm": "不分配不转增",
			"aggqdjr": "--",
			"agcqcxr": "--",
			"fhze": "--",
			"fajd": "董事会预案",
			"glzfl": "--",
			"sqfhl": "--"
		}, {
			"bgq": "2019年报",
			"dshrq": "2020-05-13",
			"gddhyaggrq": "2020-05-28",
			"ssggr": "2020-06-01",
			"fhfasm": "10派6.40元(含税)",
			"aggqdjr": "2020-06-05",
			"agcqcxr": "2020-06-08",
			"fhze": "3296.00万",
			"fajd": "实施方案",
			"glzfl": "87.67%",
			"sqfhl": "--"
		}, {
			"bgq": "2019中报",
			"dshrq": "2019-08-28",
			"gddhyaggrq": "--",
			"ssggr": "--",
			"fhfasm": "不分配不转增",
			"aggqdjr": "--",
			"agcqcxr": "--",
			"fhze": "--",
			"fajd": "董事会预案",
			"glzfl": "--",
			"sqfhl": "--"
		}, {
			"bgq": "2018年报",
			"dshrq": "2019-04-22",
			"gddhyaggrq": "2019-05-14",
			"ssggr": "2019-05-16",
			"fhfasm": "10派7元(含税)",
			"aggqdjr": "2019-05-29",
			"agcqcxr": "2019-05-30",
			"fhze": "3500.00万",
			"fajd": "实施方案",
			"glzfl": "104.48%",
			"sqfhl": "--"
		}, {
			"bgq": "2018中报",
			"dshrq": "2018-08-23",
			"gddhyaggrq": "--",
			"ssggr": "--",
			"fhfasm": "不分配不转增",
			"aggqdjr": "--",
			"agcqcxr": "--",
			"fhze": "--",
			"fajd": "董事会预案",
			"glzfl": "--",
			"sqfhl": "--"
		}, {
			"bgq": "2017年报",
			"dshrq": "2018-04-17",
			"gddhyaggrq": "2018-05-09",
			"ssggr": "2018-05-25",
			"fhfasm": "10派2.00元(含税)",
			"aggqdjr": "2018-05-31",
			"agcqcxr": "2018-06-01",
			"fhze": "1000.00万",
			"fajd": "实施方案",
			"glzfl": "40%",
			"sqfhl": "--"
		}, {
			"bgq": "2017中报",
			"dshrq": "2017-08-17",
			"gddhyaggrq": "--",
			"ssggr": "--",
			"fhfasm": "不分配不转增",
			"aggqdjr": "--",
			"agcqcxr": "--",
			"fhze": "--",
			"fajd": "董事会预案",
			"glzfl": "--",
			"sqfhl": "--"
		}, {
			"bgq": "2016年报",
			"dshrq": "2017-04-06",
			"gddhyaggrq": "2017-04-27",
			"ssggr": "2017-05-12",
			"fhfasm": "10派1.2元(含税)",
			"aggqdjr": "2017-05-19",
			"agcqcxr": "2017-05-22",
			"fhze": "600.00万",
			"fajd": "实施方案",
			"glzfl": "41.38%",
			"sqfhl": "--"
		}],
		"sdgd": [{
			"gdmc": "\n    \t\t\t\t\t\t\t\t上海一天电气有限公司\t\t\t\t\t\t\t\t\t",
			"gflx": "三板流通A股",
			"cgs": "3604.49万",
			"cgbl": "69.99%",
			"zzsygf": "",
			"zj": "不变",
			"bdbl": "不变",
			"kzr": "\n    \t\t\t\t\t\t\t\t上海一天电气有限公司\t\t\t\t\t\t\t\t\t"
		}, {
			"gdmc": "芮骏",
			"gflx": "自然人持股,三板流通A股",
			"cgs": "778.53万",
			"cgbl": "15.12%",
			"zzsygf": "",
			"zj": "不变",
			"bdbl": "不变",
			"kzr": "芮骏"
		}, {
			"gdmc": "\n    \t\t\t\t\t\t\t\t合肥同昊企业管理咨询合伙企业(有限合伙)\t\t\t\t\t\t\t\t\t",
			"gflx": "三板流通A股",
			"cgs": "641.28万",
			"cgbl": "12.45%",
			"zzsygf": "",
			"zj": "0.0016%",
			"bdbl": "100.00",
			"kzr": "\n    \t\t\t\t\t\t\t\t合肥同昊企业管理咨询合伙企业(有限合伙)\t\t\t\t\t\t\t\t\t"
		}, {
			"gdmc": "李磊",
			"gflx": "自然人持股,三板流通A股",
			"cgs": "72.10万",
			"cgbl": "1.40%",
			"zzsygf": "",
			"zj": "不变",
			"bdbl": "不变",
			"kzr": "李磊"
		}, {
			"gdmc": "马传刚",
			"gflx": "自然人持股,三板流通A股",
			"cgs": "45.32万",
			"cgbl": "0.88%",
			"zzsygf": "",
			"zj": "不变",
			"bdbl": "不变",
			"kzr": "马传刚"
		}, {
			"gdmc": "何云南",
			"gflx": "三板流通A股",
			"cgs": "2.70万",
			"cgbl": "0.05%",
			"zzsygf": "",
			"zj": "不变",
			"bdbl": "不变",
			"kzr": "何云南"
		}, {
			"gdmc": "蔡希擎",
			"gflx": "三板流通A股",
			"cgs": "8000.00",
			"cgbl": "0.02%",
			"zzsygf": "",
			"zj": "不变",
			"bdbl": "不变",
			"kzr": "蔡希擎"
		}, {
			"gdmc": "李春春",
			"gflx": "三板流通A股",
			"cgs": "6000.00",
			"cgbl": "0.01%",
			"zzsygf": "",
			"zj": "不变",
			"bdbl": "不变",
			"kzr": "李春春"
		}, {
			"gdmc": "刘敦银",
			"gflx": "三板流通A股",
			"cgs": "3000.00",
			"cgbl": "0.0058%",
			"zzsygf": "",
			"zj": "不变",
			"bdbl": "不变",
			"kzr": "刘敦银"
		}, {
			"gdmc": "董俊",
			"gflx": "三板流通A股",
			"cgs": "2500.00",
			"cgbl": "0.0049%",
			"zzsygf": "",
			"zj": "新进",
			"bdbl": "新进",
			"kzr": "董俊"
		}],
		"sdltgd": [{
			"gdmc": "\n    \t\t\t\t\t\t\t\t上海一天电气有限公司\t\t\t\t\t\t\t\t\t",
			"gdxz": "",
			"gflx": "三板流通A股",
			"cgs": "3604.49万",
			"zltgfcgbl": "80.82%",
			"zj": "不变",
			"bdbl": "不变"
		}, {
			"gdmc": "\n    \t\t\t\t\t\t\t\t合肥同昊企业管理咨询合伙企业(有限合伙)\t\t\t\t\t\t\t\t\t",
			"gdxz": "",
			"gflx": "三板流通A股",
			"cgs": "641.28万",
			"zltgfcgbl": "14.38%",
			"zj": "100.00",
			"bdbl": "0.0016%"
		}, {
			"gdmc": "芮骏",
			"gdxz": "",
			"gflx": "三板流通A股",
			"cgs": "176.58",
			"zltgfcgbl": "3.96%",
			"zj": "不变",
			"bdbl": "不变"
		}, {
			"gdmc": "李磊",
			"gdxz": "",
			"gflx": "三板流通A股",
			"cgs": "18.03万",
			"zltgfcgbl": "0.40%",
			"zj": "不变",
			"bdbl": "不变"
		}, {
			"gdmc": "马传刚",
			"gdxz": "",
			"gflx": "三板流通A股",
			"cgs": "11.33万",
			"zltgfcgbl": "0.25%",
			"zj": "不变",
			"bdbl": "不变"
		}, {
			"gdmc": "何云南",
			"gdxz": "",
			"gflx": "三板流通A股",
			"cgs": "2.70万",
			"zltgfcgbl": "0.06%",
			"zj": "不变",
			"bdbl": "不变"
		}, {
			"gdmc": "蔡希擎",
			"gdxz": "",
			"gflx": "三板流通A股",
			"cgs": "8000.00",
			"zltgfcgbl": "0.02%",
			"zj": "不变",
			"bdbl": "不变"
		}, {
			"gdmc": "李春春",
			"gdxz": "",
			"gflx": "三板流通A股",
			"cgs": "6000.00",
			"zltgfcgbl": "0.01%",
			"zj": "不变",
			"bdbl": "不变"
		}, {
			"gdmc": "刘敦银",
			"gdxz": "",
			"gflx": "三板流通A股",
			"cgs": "3000.00",
			"zltgfcgbl": "0.0067%",
			"zj": "不变",
			"bdbl": "不变"
		}, {
			"gdmc": "董俊",
			"gdxz": "",
			"gflx": "三板流通A股",
			"cgs": "2500.00",
			"zltgfcgbl": "0.0056%",
			"zj": "新进",
			"bdbl": "新进"
		}],
		"ggjs": [{
			"type": "dsh",
			"xm": "芮骏",
			"zw": "董事长,董事",
			"zjcgs": "778.5万",
			"jjcgs": "3260万(估)",
			"ggrq": "2016-12-30",
			"bjrq": "2016-08-08                                                至 今",
			"intro": "男44岁本科",
			"xc": "--                                            ",
			"xxms": "芮骏,男,1977年8月出生,中国国籍,无境外永久居留权,本科学历。1996年9月至1998年6月,就职于安徽欣意电��厂,担任销售经理;1998年7月至2001年4月,就职于凯立科技,担任销售经理;2001年5月至2004年12月在合肥凯立快速开断技术有限公司,担任副总经理;2005年1月至2016年7月,就职于有限公司,担任执行董事、总经理。2005年8月至今,就职于上海一天,担任执行董事;2006年3月至今,就职于金力电子,担任监事;2006年4月至2007年12月,就职于潍坊超力电子有限公司,担任董事长;2011年11月至今,就职于一天电能,担任执行董事;2011年12月至今,就职于同昊投资,担任执行事务合伙人;2016年8月至今,就职于股份公司,担任董事长、总经理。"
		}, {
			"type": "dsh",
			"xm": "马传刚",
			"zw": "董事",
			"zjcgs": "45.32万",
			"jjcgs": "109.4万(估)",
			"ggrq": "2016-12-30",
			"bjrq": "2016-08-08                                                至 今",
			"intro": "男44岁大专",
			"xc": "--                                            ",
			"xxms": "马传刚,男,1977年10月出生,中国国籍,无境外永久居留权,大专学历。1997年3月至2000年12月,就职于中国台湾罗马瓷砖合肥经营部,担任销售经理;2001年1月至2003年2月,就职于安徽松联通讯器材有限公司,担任渠道经理;2003年3月至2004年12月,就职于凯立科技,担任销售经理;2005年1月至2011年1月,就职于有限公司,担任销售经理;2011年1月至今,就职于新力电气,担任执行董事、总经理;2014年12月至今,就职于幸福舌尖,担任监事;20168月至今,就职于股份公司,担任董事。"
		}, {
			"type": "dsh",
			"xm": "张涛",
			"zw": "董事",
			"zjcgs": "-",
			"jjcgs": "51.49万(估)",
			"ggrq": "2018-07-18",
			"bjrq": "2018-07-18                                                至 今",
			"intro": "男49岁大专",
			"xc": "--                                            ",
			"xxms": "张涛,男,1972年5月出生,中国国籍,无境外永久居留权,大专学历。1990年1月至1995年6月,就职于安徽省供销合作社严店乡供销社,担任经理;1995年7月至1998年5月,就职于严店自立经营部,担任经理;1998年6月至2000年10月,就职于上海帮扣食品公司,担任销售经理;2000年11月至2003年2月,就职于合肥三宇电气有限公司,担任销售经理;2003年3月至2005年12月,就职于凯立科技,担任销售经理;2006年1月至2016年7月,就职于安徽一天电气技术有限公司,历任销售经理,副总经理;2016年8月至2018年1月,就职于安徽一天电气技术股份有限公司,担任副总经理;2018年3月至今,就职于安徽金力防雷工程技术有限公司,担任总经理。"
		}, {
			"type": "dsh",
			"xm": "李磊",
			"zw": "董事",
			"zjcgs": "72.1万",
			"jjcgs": "304.2万(估)",
			"ggrq": "2016-12-30",
			"bjrq": "2016-08-08                                                至 今",
			"intro": "男45岁本科",
			"xc": "--                                            ",
			"xxms": "李磊,男,1976年8月出生,中国国籍,无境外永久居留权,本科学历。1996年6月至2002年12月,就职于安徽金种子集团,担任销售经理;2003年1月至2004年12月,就职于凯立科技,担任销售经理;2005年1月至2016年7月,就职于有限公司,担任副总经理;2007年5月至今,就职于上海一天,担任监事;2011年5月至今,就职于金力防雷,担任董事长;2014年10月至2016年9月,就职于智汇联保,担任执行董事、;2014年10月至今,就职于智汇联保,担任执行董事;2014年12月至2016年9月,就职于幸福舌尖,担任执行董事、总经理;2014年12月至今,就职于幸福舌尖,担任执行董事;2016年8月至今,就职于股份公司,担任董事、副总经理。"
		}, {
			"type": "dsh",
			"xm": "李瑜",
			"zw": "董事",
			"zjcgs": "-",
			"jjcgs": "51.49万(估)",
			"ggrq": "2016-12-30",
			"bjrq": "2016-08-08                                                至 今",
			"intro": "男39岁大专",
			"xc": "--                                            ",
			"xxms": "李瑜,男,1982年4出生,中国国籍,无境外永久居留权,大专学历。2002年8月至2004年12月,就职于劲牌有限公司,担任销售员;2005年1月至2016年7月,就职��有限公司,历任销售经理、研发项目经理;2011年11月至今,就职于一天电能,担任总经理;2016年8月至今,就职于股份公司,担任董事。"
		}, {
			"type": "jsh",
			"xm": "胡长军",
			"zw": "监事会主席",
			"zjcgs": "-",
			"jjcgs": "51.49万(估)",
			"ggrq": "2018-08-23",
			"bjrq": "2018-08-22                                                至 今",
			"intro": "男43岁大专",
			"xc": "--                                            ",
			"xxms": "胡长军,男,1978年7月出生,中国国籍,无境外永久居住权,大专学历;1997年7月至1999年10月,就职于安徽省马鞍山当涂粮食局,担任车间管理员;1999年11月-2000年1月,待业;2000年2月至2001年12月,就职于合肥帕力泵业公司,担任经理一职;2002年1月-2002年2月,待业;2002年3月-2004年12月,就职于安徽凯立集团,担任销售经理职务;2005年1月-2018年6月,就职于安徽一天电气技术股份有限公司,先后担任销售经理,大区经理,销售总监等职务。"
		}, {
			"type": "jsh",
			"xm": "桑元荣",
			"zw": "职工代表监事",
			"zjcgs": "-",
			"jjcgs": "5.886(估)",
			"ggrq": "2016-12-30",
			"bjrq": "2016-08-08                                                至 今",
			"intro": "女43岁本科",
			"xc": "--                                            ",
			"xxms": "桑元荣,女,1978年3月出生,中国国籍,无境外永久居留权,本科学历。2003年4月至2006年9月,就职于安徽省瑞特通讯技术有限公司,担任出纳;2006年10月至2016年7月,就职于有限公司,担任商务部部长;2016年8月至今,就职于股份公司,担任商务部部长、监事。"
		}, {
			"type": "jsh",
			"xm": "朱运珍",
			"zw": "监事",
			"zjcgs": "-",
			"jjcgs": "6.978万(估)",
			"ggrq": "2017-04-27",
			"bjrq": "2017-04-26                                                至 今",
			"intro": "女45岁",
			"xc": "--                                            ",
			"xxms": "朱运珍,女,出生于1976年11月,曾任职于中国石化安徽蚌埠石油分公司、安徽一电气技术有限公司、安徽新力电气设备有限责任公司;多次获得“优秀管理者“优秀团队”“优秀个人”称号。"
		}, {
			"type": "gg",
			"xm": "芮骏",
			"zw": "总经理",
			"zjcgs": "778.5万",
			"jjcgs": "3260万(估)",
			"ggrq": "2016-12-30",
			"bjrq": "2016-08-08                                                至 今",
			"intro": "男44岁本科",
			"xc": "--                                            ",
			"xxms": "芮骏,男,1977年8月出生,中国国籍,无境外永久居留权,本科学历。1996年9月至1998年6月,就职于安徽欣意电缆厂,;1998年7月至2001年4月,就职于凯立科技,担任销售经理;2001年5月至2004年12月在合肥凯立快速开断技术有限公司,担任副总经理;2005年1月至2016年7月,就职于有限公司,担任执行董事、总经理。2005年8月至今,就职于上海一天,担任执行董事;2006年3月至今,就职于金力电子,担任监事;2006年4月至2007年12月,就职于潍坊超力电子有限公司,担任董事长;2011年11月至今,就职于一天电能,担任执行董事;2011年12月至今,就职于同昊投资,担任执行事务合伙人;2016年8月至今,就职于股份公司,担任董事长、总经理。"
		}, {
			"type": "gg",
			"xm": "李磊",
			"zw": "副总经理",
			"zjcgs": "72.1万",
			"jjcgs": "304.2万(估)",
			"ggrq": "2016-12-30",
			"bjrq": "2016-08-08                                                至 今",
			"intro": "男45岁本科",
			"xc": "--                                            ",
			"xxms": "李,男,1976年8月出生,中国国籍,无境外永久居留权,本科学历。1996年6月至2002年12月,就职于安徽金种子集团,担任销售经理;2003年1月至2004年12月,就职于凯立科技,担任销售经理;2005年1月至2016年7月,就职于有限公司,担任副总经理;2007年5月至今,就职于上海一天,担任监事;2011年5月至今,就职于金力防雷,担任董事长;2014年10月至2016年9月,就职于智汇联保,担任执行董事、总经理;2014年10月至今,就职于智汇联保,担任执行董事;2014年12月至2016年9月,就职于幸福舌尖,担任执行董事、总经理;2014年12月至今,就职于幸福舌尖,担任执行董事;2016年8月至今,就职于股份公司,担任董事、副总经理。"
		}, {
			"type": "gg",
			"xm": "陈生学",
			"zw": "董事会秘书,副总经理,财务总监",
			"zjcgs": "-",
			"jjcgs": "31.5万(估)",
			"ggrq": "2016-12-30",
			"bjrq": "2016-08-08                                                至 今",
			"intro": "男51岁硕士",
			"xc": "--                                            ",
			"xxms": "陈生学,男,1970年11月出生,中国国籍,无境外永久居留权,本科学历,在职MBA。注册会计师、高级会计师,高级经济师。1995年7月至2002年12月,就职于中国建设银行安庆分行太湖支行,担任信贷员、客户经理;2003年1月至2004年12月,就职于安徽富煌钢构股份有限公司,担任财务负责人;2005年1月至2008年1月,就职于阳光电源股份有限公司,担任财务负责人;2008年2月至2009年4月,就职于安徽瑶海钢结构股份有限公司,担任副总经理、财务负责人;2009年5月至2011年12月,就职于有限公司,担任财务总监;2012年1月至2016年7月,就职于有限公司,担任财务总监、副总经理。2015年3月至今,就职于敏感陶瓷,担任监事;2016年8月至今,就职于股份公司,担任副总经理、财务总监、董事会秘书。"
		}],
		"kggs": [{
			"zxggrq": "2020-04-22",
			"glgsmc": "安徽新力电气设备有限责任公司",
			"ckgx": "子公司",
			"ckbl": "100.00%",
			"tzje": "2149.84万元",
			"bckgsjlr": "48.33万",
			"sfbbhb": "是",
			"bcggszyyw": "\n\t\t\t\t\t\t\t\t\t\t变电站成套设备、电力自动控制装置、...  "
		}, {
			"zxggrq": "2020-04-22",
			"glgsmc": "安徽一天电能质量技术有限公司",
			"ckgx": "子公司",
			"ckbl": "100.00%",
			"tzje": "2000.00万元",
			"bckgsjlr": "19.30万",
			"sfbbhb": "是",
			"bcggszyyw": "\n\t\t\t\t\t\t\t\t\t\t从事电能质量技术、电力电子技术及应...  "
		}, {
			"zxggrq": "2020-04-22",
			"glgsmc": "安徽金力防雷工程有限公司",
			"ckgx": "子公司",
			"ckbl": "100.00%",
			"tzje": "500.00万元",
			"bckgsjlr": "-37.10万",
			"sfbbhb": "是",
			"bcggszyyw": "\n\t\t\t\t\t\t\t\t\t\t防雷工程、综合防雷解决方案设计、施...  "
		}, {
			"zxggrq": "2020-04-22",
			"glgsmc": "安徽金力电气技术有限公司",
			"ckgx": "子公司",
			"ckbl": "73.50%",
			"tzje": "374.85万元",
			"bckgsjlr": "328.25万",
			"sfbbhb": "是",
			"bcggszyyw": "\n\t\t\t\t\t\t\t\t\t\t电气、电子、电力自动化产品及软件、...  "
		}, {
			"zxggrq": "2020-04-22",
			"glgsmc": "安徽一天敏感陶瓷科技有限公司",
			"ckgx": "子公司",
			"ckbl": "70.00%",
			"tzje": "350.00万元",
			"bckgsjlr": "78.26万",
			"sfbbhb": "是",
			"bcggszyyw": "\n\t\t\t\t\t\t\t\t\t\t金属氧化物电阻、压敏电阻、热敏电阻...  "
		}, {
			"zxggrq": "2020-04-22",
			"glgsmc": "安徽一新计量检测技术有限公司",
			"ckgx": "孙公司",
			"ckbl": "100.00%",
			"tzje": "-",
			"bckgsjlr": "-28.79万",
			"sfbbhb": "是",
			"bcggszyyw": "\n\t\t\t\t\t\t\t\t\t\t计量检测;电力安全工器具、高低压电...  "
		}],
		"pgqk": [],
		"cwfx": null,
		"fxxx": null,
		"gbbd": null,
		"hxtc": null,
		"gg": null
	},
	"http_code": 200,
	"error_msg": "",
	"task_result": 1000,
	"data_type": "jbzl_jqka",
	"spider_start_time": "2021-11-18 06:52:55.726",
	"spider_end_time": "2021-11-18 06:54:45.913",
	"task_params": {
		"data_type": "detail",
		"platform_name": "jqka",
		"stock_type": "xsb",
		"stock_code": "870583",
		"stock_name": "一天电气",
		"outbound": "public_company_detail",
		"routed_count": 1,
		"submitter": "taskhub",
		"group_retry_times": 0,
		"submit_time": "2021-11-18 05:30:27",
		"token_scope": "eastmoney_detail",
		"retry_limits": 2,
		"rt": false,
		"priority": null,
		"task_uuid": "fe940888-29ad-4877-abcf-f6dc27157346",
		"retry_times": 0
	},
	"metadata": {},
	"spider_name": "public_company_jqka",
	"spider_ip": "10.8.6.35",
	"proxy_ip": "http://10.8.6.219:1805"
}

爬虫运行环境

scrapy

爬虫部署信息

同花顺财经:    10.8.6.35 10个进程

Taskhub地址

http://192.168.109.110/granite/project-taskhub/-/blob/master/taskhub/config/gravel/config.d/public_company.yaml

Taskhub调度规则说明

爬虫监控指标设计

索引: public-company-spider-data-*
监控频率: 每天一次11:00
监控起止时间: 11:00调度一次
报警条件: public_jqka_jqka爬虫,过去6个小时task_result=1000的数据量低于13000条
报警群:  "线上报警"群
报警内容: 上市公司数据量监测_近6小时成功数低于13000条

---

数据归集

责任人

范召贤

数据归集方式

• 爬虫直接写kafka

• 爬虫写文件logstash采集

爬虫结果目录

/data/gravel_spiders/public_company_jqka

归集后存放目录

/data2_227/grvael_spider_result/public_company_jqka

logstash配置文件名称

project-deploy/logstash/10.8.6.246/conf.d/collie_spider_data_to_kfk.conf(入topic)
project-deploy/logstash/10.8.6.229/conf.d/grvael_spider_to_es.conf(入es)

logstash文件采集type

type=>"jqka-spider-data"

数据归集的topic

topic_id => "public-company-spider-data"

ES日志索引及筛选条件

index => "public-company-spider-data-%{log_date}"

监控指标看板

数据保留策略

---

数据清洗

责任人

代码地址

部署地址

部署方法及说明

• crontab + data_pump
• supervisor + data_pump
• supervisor + consumer

数据接收来源

数据存储表地址

• 数据库地址：
• 表名：