|
|
|
# **基本信息**
|
|
|
|
```
|
|
|
|
同花顺财经-基本信息
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
|
|
## 数据名称（中文）
|
|
|
|
<!-- 该项数据的中文标准名称，后续沟通交流使用的规范名称，如：工商公示股东信息、失信被执行人、一般纳税人等-->
|
|
|
|
###
|
|
|
|
```
|
|
|
|
同花顺财经-基本信息
|
|
|
|
```
|
|
|
|
|
|
|
|
## 数据英文名称
|
|
|
|
<!--英文名称，后续流程中所有涉及到英文名称均以此为准，如：partner、shixin、general_taxpayer等-->
|
|
|
|
```
|
|
|
|
public_company_jqka
|
|
|
|
```
|
|
|
|
|
|
|
|
## 采集网站（采集入口）
|
|
|
|
<!--采集的入口地址，不能只是一个网站域名，具体到该网站的数据入口-->
|
|
|
|
```
|
|
|
|
列表入口是东方财富网
|
|
|
|
|
|
|
|
沪深市场
|
|
|
|
列表: http://quote.eastmoney.com/center/gridlist.html#hs_a_board
|
|
|
|
详情: http://stockpage.10jqka.com.cn/300095/company/#detail
|
|
|
|
|
|
|
|
新三板
|
|
|
|
列表: http://quote.eastmoney.com/center/gridlist.html#neeq_stocks
|
|
|
|
详情: http://stockpage.10jqka.com.cn/430305/company/#detail
|
|
|
|
|
|
|
|
港股
|
|
|
|
列表: http://quote.eastmoney.com/center/gridlist.html#hk_stocks
|
|
|
|
详情: http://stockpage.10jqka.com.cn/HK1919/company/
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
|
|
### 存量更新策略
|
|
|
|
<!--无需更新？每天全量更新？逐条轮询更新？多久更新完一轮？或其他-->
|
|
|
|
```
|
|
|
|
每日5:30例行更新
|
|
|
|
更新全量
|
|
|
|
根据16000左右上市公司列表进行更新
|
|
|
|
大约9:30以前更新完成
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
|
|
# **爬虫**
|
|
|
|
```
|
|
|
|
同花顺财经爬虫(public_company_jqka)
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
|
|
## 责任人
|
|
|
|
```
|
|
|
|
袁波
|
|
|
|
```
|
|
|
|
|
|
|
|
## 爬虫名称
|
|
|
|
```
|
|
|
|
public_company_jqka
|
|
|
|
```
|
|
|
|
|
|
|
|
<!--spider_name-->
|
|
|
|
|
|
|
|
## 代码地址
|
|
|
|
```buildoutcfg
|
|
|
|
项目地址:http://tech.pingansec.com/granite/project-gravel.git
|
|
|
|
|
|
|
|
项目入口脚本
|
|
|
|
http://192.168.109.110/granite/project-gravel/blob/develop_app_10jqka_20210121/scrapy_spiders/gravel_spiders/spiders/public_company_jqka.py
|
|
|
|
|
|
|
|
代码具体实现板块:
|
|
|
|
http://192.168.109.110/granite/project-gravel/tree/develop_app_10jqka_20210121/scrapy_spiders/gravel_spiders/spiders/pub_company_reqs
|
|
|
|
```
|
|
|
|
|
|
|
|
## 队列名称及队列地址
|
|
|
|
<!--redis host port db key 优先级说明-->
|
|
|
|
-
|
|
|
|
* redis host: redis://:utn@0818@bdp-mq-001.redis.rds.aliyuncs.com:6379/7
|
|
|
|
* redis port: 6379
|
|
|
|
* redis db: 7
|
|
|
|
* redis key:
|
|
|
|
* public_company_jqka:10
|
|
|
|
|
|
|
|
### 优先级队列说明
|
|
|
|
* public_company_jqka (默认优先级:10)
|
|
|
|
|
|
|
|
## 任务来源
|
|
|
|
<!--说明爬虫任务的输入。如：来自某个数据库表等。如果来自某个数据库表则应该简要说明该表内的数据是如何维护的。-->
|
|
|
|
```
|
|
|
|
```
|
|
|
|
|
|
|
|
## 任务输入参数（样例）
|
|
|
|
```json
|
|
|
|
{
|
|
|
|
"platform_name": "jqka",
|
|
|
|
"stock_type": "gg",
|
|
|
|
"stock_code": "00001",
|
|
|
|
"stock_name": "长和",
|
|
|
|
"data_type": "list"
|
|
|
|
}
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
|
|
### 任务样例
|
|
|
|
<!--注意是爬虫拿到的完整任务，而不仅仅是task_params-->
|
|
|
|
```
|
|
|
|
```
|
|
|
|
|
|
|
|
### 任务参数说明
|
|
|
|
<!--特有参数说明，通用参数比如spider_name,task_params,task_src,task_result等不需说明-->
|
|
|
|
```json
|
|
|
|
{
|
|
|
|
"platform_name": "jqka", # 平台名称
|
|
|
|
"stock_type": "gg", # 股票类型(沪深A股、新三板、港股)
|
|
|
|
"stock_code": "00001", # 股票code
|
|
|
|
"stock_name": "长和", # 股票简称
|
|
|
|
"data_type": "list" # 数据类型
|
|
|
|
}
|
|
|
|
```
|
|
|
|
|
|
|
|
## data_type说明
|
|
|
|
<!--可能产生的data_type说明-->
|
|
|
|
```buildoutcfg
|
|
|
|
list: 获取列表任务
|
|
|
|
detail: 获取详情的任务
|
|
|
|
```
|
|
|
|
|
|
|
|
## 爬虫结果的超级数据
|
|
|
|
<!--包含所有字段的json数据，每个value都要有样例值-->
|
|
|
|
#### 每个字段的含义见一下链接的BaseInfoItem:
|
|
|
|
#### http://192.168.109.110/granite/project-gravel/-/blob/develop_app_10jqka_20210121/scrapy_spiders/gravel_spiders/items.py
|
|
|
|
|
|
|
|
```json
|
|
|
|
{
|
|
|
|
"data": {
|
|
|
|
"jbzl_jqka": {
|
|
|
|
"zqlb": "",
|
|
|
|
"ssdchy": "",
|
|
|
|
"ssjys": "",
|
|
|
|
"sszjhhy": "",
|
|
|
|
"zqswdb": "",
|
|
|
|
"dlds": "",
|
|
|
|
"gsdj": "",
|
|
|
|
"glryrs": "",
|
|
|
|
"gsmc": "安徽一天电气技术股份有限公司",
|
|
|
|
"ywmc": "Anhui Onesky Electrical Technology Co.,Ltd.",
|
|
|
|
"cym": "-",
|
|
|
|
"gpdm": "870583",
|
|
|
|
"gpjc": "一天电气",
|
|
|
|
"gpbk": "xsb",
|
|
|
|
"zjl": "芮骏",
|
|
|
|
"frdb": "芮骏",
|
|
|
|
"dm": "陈生学",
|
|
|
|
"dsz": "芮骏",
|
|
|
|
"lxdh": "86-0551-62799027",
|
|
|
|
"dzxx": "",
|
|
|
|
"cz": "86-0551-62799001",
|
|
|
|
"gswz": "http://www.ytdianqi.com",
|
|
|
|
"bgdz": "安徽省合肥市蜀山区高新区永和路99",
|
|
|
|
"zcdz": "",
|
|
|
|
"yzbm": "230088",
|
|
|
|
"zczb": "5150万元",
|
|
|
|
"gyrs": "406",
|
|
|
|
"lssws": "",
|
|
|
|
"kjssws": "",
|
|
|
|
"gsjj": "安徽一天电气技术股份有限公司是一家从事过电压防护系列、配电网智能接地系统系列、电能质量改进及节电系列以及其他产品的研发、生产和销售，并提供相应的技术服务的公司。公司主要产品是六柱全相双安全保护装置、低残压比母线过电压保护装置、浪涌保护器、氧化锌非线性电阻元件系列、防雷工程及产品、脉冲电流选线装置、智能单相接地故障综合处理装置、暂态电压在线监测装置、智能软开关触点消弧装置、电能质量测试OSSINE有源电力滤波装置、高低压无功补偿装置、光伏智能节电柜、变电站设备运维服务。2019年1月28日“一天电气”商标被国家知识产权局商标局认定为驰名商标。",
|
|
|
|
"jyfw": "过电压防护系列、配电网智能接地系统系列、电能质量改进及节电系列以及其他产品的研发、生产和",
|
|
|
|
"ssdy": "安徽省",
|
|
|
|
"sshy": "电力设备 — 电网设备",
|
|
|
|
"cpmc": "过电压防护系列、配电网智能接地系统系列、电源质量改进及节电系列",
|
|
|
|
"kggd": "上海一天电气有限公司",
|
|
|
|
"sjkzr": "芮骏",
|
|
|
|
"zzkzr": "芮骏",
|
|
|
|
"clrq": "",
|
|
|
|
"njr": "",
|
|
|
|
"qy": ""
|
|
|
|
},
|
|
|
|
"fhqk": [{
|
|
|
|
"bgq": "2021中报",
|
|
|
|
"dshrq": "2021-08-17",
|
|
|
|
"gddhyaggrq": "--",
|
|
|
|
"ssggr": "--",
|
|
|
|
"fhfasm": "不分配不转增",
|
|
|
|
"aggqdjr": "--",
|
|
|
|
"agcqcxr": "--",
|
|
|
|
"fhze": "--",
|
|
|
|
"fajd": "董事会预案",
|
|
|
|
"glzfl": "--",
|
|
|
|
"sqfhl": "--"
|
|
|
|
}, {
|
|
|
|
"bgq": "2020年报",
|
|
|
|
"dshrq": "2021-04-26",
|
|
|
|
"gddhyaggrq": "2021-05-18",
|
|
|
|
"ssggr": "2021-06-21",
|
|
|
|
"fhfasm": "10派5.83元(含税)",
|
|
|
|
"aggqdjr": "2021-06-29",
|
|
|
|
"agcqcxr": "2021-06-30",
|
|
|
|
"fhze": "3002.45万",
|
|
|
|
"fajd": "实施方案",
|
|
|
|
"glzfl": "68.59%",
|
|
|
|
"sqfhl": "--"
|
|
|
|
}, {
|
|
|
|
"bgq": "2020中报",
|
|
|
|
"dshrq": "2020-08-24",
|
|
|
|
"gddhyaggrq": "--",
|
|
|
|
"ssggr": "--",
|
|
|
|
"fhfasm": "不分配不转增",
|
|
|
|
"aggqdjr": "--",
|
|
|
|
"agcqcxr": "--",
|
|
|
|
"fhze": "--",
|
|
|
|
"fajd": "董事会预案",
|
|
|
|
"glzfl": "--",
|
|
|
|
"sqfhl": "--"
|
|
|
|
}, {
|
|
|
|
"bgq": "2019年报",
|
|
|
|
"dshrq": "2020-05-13",
|
|
|
|
"gddhyaggrq": "2020-05-28",
|
|
|
|
"ssggr": "2020-06-01",
|
|
|
|
"fhfasm": "10派6.40元(含税)",
|
|
|
|
"aggqdjr": "2020-06-05",
|
|
|
|
"agcqcxr": "2020-06-08",
|
|
|
|
"fhze": "3296.00万",
|
|
|
|
"fajd": "实施方案",
|
|
|
|
"glzfl": "87.67%",
|
|
|
|
"sqfhl": "--"
|
|
|
|
}, {
|
|
|
|
"bgq": "2019中报",
|
|
|
|
"dshrq": "2019-08-28",
|
|
|
|
"gddhyaggrq": "--",
|
|
|
|
"ssggr": "--",
|
|
|
|
"fhfasm": "不分配不转增",
|
|
|
|
"aggqdjr": "--",
|
|
|
|
"agcqcxr": "--",
|
|
|
|
"fhze": "--",
|
|
|
|
"fajd": "董事会预案",
|
|
|
|
"glzfl": "--",
|
|
|
|
"sqfhl": "--"
|
|
|
|
}, {
|
|
|
|
"bgq": "2018年报",
|
|
|
|
"dshrq": "2019-04-22",
|
|
|
|
"gddhyaggrq": "2019-05-14",
|
|
|
|
"ssggr": "2019-05-16",
|
|
|
|
"fhfasm": "10派7元(含税)",
|
|
|
|
"aggqdjr": "2019-05-29",
|
|
|
|
"agcqcxr": "2019-05-30",
|
|
|
|
"fhze": "3500.00万",
|
|
|
|
"fajd": "实施方案",
|
|
|
|
"glzfl": "104.48%",
|
|
|
|
"sqfhl": "--"
|
|
|
|
}, {
|
|
|
|
"bgq": "2018中报",
|
|
|
|
"dshrq": "2018-08-23",
|
|
|
|
"gddhyaggrq": "--",
|
|
|
|
"ssggr": "--",
|
|
|
|
"fhfasm": "不分配不转增",
|
|
|
|
"aggqdjr": "--",
|
|
|
|
"agcqcxr": "--",
|
|
|
|
"fhze": "--",
|
|
|
|
"fajd": "董事会预案",
|
|
|
|
"glzfl": "--",
|
|
|
|
"sqfhl": "--"
|
|
|
|
}, {
|
|
|
|
"bgq": "2017年报",
|
|
|
|
"dshrq": "2018-04-17",
|
|
|
|
"gddhyaggrq": "2018-05-09",
|
|
|
|
"ssggr": "2018-05-25",
|
|
|
|
"fhfasm": "10派2.00元(含税)",
|
|
|
|
"aggqdjr": "2018-05-31",
|
|
|
|
"agcqcxr": "2018-06-01",
|
|
|
|
"fhze": "1000.00万",
|
|
|
|
"fajd": "实施方案",
|
|
|
|
"glzfl": "40%",
|
|
|
|
"sqfhl": "--"
|
|
|
|
}, {
|
|
|
|
"bgq": "2017中报",
|
|
|
|
"dshrq": "2017-08-17",
|
|
|
|
"gddhyaggrq": "--",
|
|
|
|
"ssggr": "--",
|
|
|
|
"fhfasm": "不分配不转增",
|
|
|
|
"aggqdjr": "--",
|
|
|
|
"agcqcxr": "--",
|
|
|
|
"fhze": "--",
|
|
|
|
"fajd": "董事会预案",
|
|
|
|
"glzfl": "--",
|
|
|
|
"sqfhl": "--"
|
|
|
|
}, {
|
|
|
|
"bgq": "2016年报",
|
|
|
|
"dshrq": "2017-04-06",
|
|
|
|
"gddhyaggrq": "2017-04-27",
|
|
|
|
"ssggr": "2017-05-12",
|
|
|
|
"fhfasm": "10派1.2元(含税)",
|
|
|
|
"aggqdjr": "2017-05-19",
|
|
|
|
"agcqcxr": "2017-05-22",
|
|
|
|
"fhze": "600.00万",
|
|
|
|
"fajd": "实施方案",
|
|
|
|
"glzfl": "41.38%",
|
|
|
|
"sqfhl": "--"
|
|
|
|
}],
|
|
|
|
"sdgd": [{
|
|
|
|
"gdmc": "\n \t\t\t\t\t\t\t\t上海一天电气有限公司\t\t\t\t\t\t\t\t\t",
|
|
|
|
"gflx": "三板流通A股",
|
|
|
|
"cgs": "3604.49万",
|
|
|
|
"cgbl": "69.99%",
|
|
|
|
"zzsygf": "",
|
|
|
|
"zj": "不变",
|
|
|
|
"bdbl": "不变",
|
|
|
|
"kzr": "\n \t\t\t\t\t\t\t\t上海一天电气有限公司\t\t\t\t\t\t\t\t\t"
|
|
|
|
}, {
|
|
|
|
"gdmc": "芮骏",
|
|
|
|
"gflx": "自然人持股,三板流通A股",
|
|
|
|
"cgs": "778.53万",
|
|
|
|
"cgbl": "15.12%",
|
|
|
|
"zzsygf": "",
|
|
|
|
"zj": "不变",
|
|
|
|
"bdbl": "不变",
|
|
|
|
"kzr": "芮骏"
|
|
|
|
}, {
|
|
|
|
"gdmc": "\n \t\t\t\t\t\t\t\t合肥同昊企业管理咨询合伙企业(有限合伙)\t\t\t\t\t\t\t\t\t",
|
|
|
|
"gflx": "三板流通A股",
|
|
|
|
"cgs": "641.28万",
|
|
|
|
"cgbl": "12.45%",
|
|
|
|
"zzsygf": "",
|
|
|
|
"zj": "0.0016%",
|
|
|
|
"bdbl": "100.00",
|
|
|
|
"kzr": "\n \t\t\t\t\t\t\t\t合肥同昊企业管理咨询合伙企业(有限合伙)\t\t\t\t\t\t\t\t\t"
|
|
|
|
}, {
|
|
|
|
"gdmc": "李磊",
|
|
|
|
"gflx": "自然人持股,三板流通A股",
|
|
|
|
"cgs": "72.10万",
|
|
|
|
"cgbl": "1.40%",
|
|
|
|
"zzsygf": "",
|
|
|
|
"zj": "不变",
|
|
|
|
"bdbl": "不变",
|
|
|
|
"kzr": "李磊"
|
|
|
|
}, {
|
|
|
|
"gdmc": "马传刚",
|
|
|
|
"gflx": "自然人持股,三板流通A股",
|
|
|
|
"cgs": "45.32万",
|
|
|
|
"cgbl": "0.88%",
|
|
|
|
"zzsygf": "",
|
|
|
|
"zj": "不变",
|
|
|
|
"bdbl": "不变",
|
|
|
|
"kzr": "马传刚"
|
|
|
|
}, {
|
|
|
|
"gdmc": "何云南",
|
|
|
|
"gflx": "三板流通A股",
|
|
|
|
"cgs": "2.70万",
|
|
|
|
"cgbl": "0.05%",
|
|
|
|
"zzsygf": "",
|
|
|
|
"zj": "不变",
|
|
|
|
"bdbl": "不变",
|
|
|
|
"kzr": "何云南"
|
|
|
|
}, {
|
|
|
|
"gdmc": "蔡希擎",
|
|
|
|
"gflx": "三板流通A股",
|
|
|
|
"cgs": "8000.00",
|
|
|
|
"cgbl": "0.02%",
|
|
|
|
"zzsygf": "",
|
|
|
|
"zj": "不变",
|
|
|
|
"bdbl": "不变",
|
|
|
|
"kzr": "蔡希擎"
|
|
|
|
}, {
|
|
|
|
"gdmc": "李春春",
|
|
|
|
"gflx": "三板流通A股",
|
|
|
|
"cgs": "6000.00",
|
|
|
|
"cgbl": "0.01%",
|
|
|
|
"zzsygf": "",
|
|
|
|
"zj": "不变",
|
|
|
|
"bdbl": "不变",
|
|
|
|
"kzr": "李春春"
|
|
|
|
}, {
|
|
|
|
"gdmc": "刘敦银",
|
|
|
|
"gflx": "三板流通A股",
|
|
|
|
"cgs": "3000.00",
|
|
|
|
"cgbl": "0.0058%",
|
|
|
|
"zzsygf": "",
|
|
|
|
"zj": "不变",
|
|
|
|
"bdbl": "不变",
|
|
|
|
"kzr": "刘敦银"
|
|
|
|
}, {
|
|
|
|
"gdmc": "董俊",
|
|
|
|
"gflx": "三板流通A股",
|
|
|
|
"cgs": "2500.00",
|
|
|
|
"cgbl": "0.0049%",
|
|
|
|
"zzsygf": "",
|
|
|
|
"zj": "新进",
|
|
|
|
"bdbl": "新进",
|
|
|
|
"kzr": "董俊"
|
|
|
|
}],
|
|
|
|
"sdltgd": [{
|
|
|
|
"gdmc": "\n \t\t\t\t\t\t\t\t上海一天电气有限公司\t\t\t\t\t\t\t\t\t",
|
|
|
|
"gdxz": "",
|
|
|
|
"gflx": "三板流通A股",
|
|
|
|
"cgs": "3604.49万",
|
|
|
|
"zltgfcgbl": "80.82%",
|
|
|
|
"zj": "不变",
|
|
|
|
"bdbl": "不变"
|
|
|
|
}, {
|
|
|
|
"gdmc": "\n \t\t\t\t\t\t\t\t合肥同昊企业管理咨询合伙企业(有限合伙)\t\t\t\t\t\t\t\t\t",
|
|
|
|
"gdxz": "",
|
|
|
|
"gflx": "三板流通A股",
|
|
|
|
"cgs": "641.28万",
|
|
|
|
"zltgfcgbl": "14.38%",
|
|
|
|
"zj": "100.00",
|
|
|
|
"bdbl": "0.0016%"
|
|
|
|
}, {
|
|
|
|
"gdmc": "芮骏",
|
|
|
|
"gdxz": "",
|
|
|
|
"gflx": "三板流通A股",
|
|
|
|
"cgs": "176.58",
|
|
|
|
"zltgfcgbl": "3.96%",
|
|
|
|
"zj": "不变",
|
|
|
|
"bdbl": "不变"
|
|
|
|
}, {
|
|
|
|
"gdmc": "李磊",
|
|
|
|
"gdxz": "",
|
|
|
|
"gflx": "三板流通A股",
|
|
|
|
"cgs": "18.03万",
|
|
|
|
"zltgfcgbl": "0.40%",
|
|
|
|
"zj": "不变",
|
|
|
|
"bdbl": "不变"
|
|
|
|
}, {
|
|
|
|
"gdmc": "马传刚",
|
|
|
|
"gdxz": "",
|
|
|
|
"gflx": "三板流通A股",
|
|
|
|
"cgs": "11.33万",
|
|
|
|
"zltgfcgbl": "0.25%",
|
|
|
|
"zj": "不变",
|
|
|
|
"bdbl": "不变"
|
|
|
|
}, {
|
|
|
|
"gdmc": "何云南",
|
|
|
|
"gdxz": "",
|
|
|
|
"gflx": "三板流通A股",
|
|
|
|
"cgs": "2.70万",
|
|
|
|
"zltgfcgbl": "0.06%",
|
|
|
|
"zj": "不变",
|
|
|
|
"bdbl": "不变"
|
|
|
|
}, {
|
|
|
|
"gdmc": "蔡希擎",
|
|
|
|
"gdxz": "",
|
|
|
|
"gflx": "三板流通A股",
|
|
|
|
"cgs": "8000.00",
|
|
|
|
"zltgfcgbl": "0.02%",
|
|
|
|
"zj": "不变",
|
|
|
|
"bdbl": "不变"
|
|
|
|
}, {
|
|
|
|
"gdmc": "李春春",
|
|
|
|
"gdxz": "",
|
|
|
|
"gflx": "三板流通A股",
|
|
|
|
"cgs": "6000.00",
|
|
|
|
"zltgfcgbl": "0.01%",
|
|
|
|
"zj": "不变",
|
|
|
|
"bdbl": "不变"
|
|
|
|
}, {
|
|
|
|
"gdmc": "刘敦银",
|
|
|
|
"gdxz": "",
|
|
|
|
"gflx": "三板流通A股",
|
|
|
|
"cgs": "3000.00",
|
|
|
|
"zltgfcgbl": "0.0067%",
|
|
|
|
"zj": "不变",
|
|
|
|
"bdbl": "不变"
|
|
|
|
}, {
|
|
|
|
"gdmc": "董俊",
|
|
|
|
"gdxz": "",
|
|
|
|
"gflx": "三板流通A股",
|
|
|
|
"cgs": "2500.00",
|
|
|
|
"zltgfcgbl": "0.0056%",
|
|
|
|
"zj": "新进",
|
|
|
|
"bdbl": "新进"
|
|
|
|
}],
|
|
|
|
"ggjs": [{
|
|
|
|
"type": "dsh",
|
|
|
|
"xm": "芮骏",
|
|
|
|
"zw": "董事长,董事",
|
|
|
|
"zjcgs": "778.5万",
|
|
|
|
"jjcgs": "3260万(估)",
|
|
|
|
"ggrq": "2016-12-30",
|
|
|
|
"bjrq": "2016-08-08 至 今",
|
|
|
|
"intro": "男44岁本科",
|
|
|
|
"xc": "-- ",
|
|
|
|
"xxms": "芮骏,男,1977年8月出生,中国国籍,无境外永久居留权,本科学历。1996年9月至1998年6月,就职于安徽欣意电��厂,担任销售经理;1998年7月至2001年4月,就职于凯立科技,担任销售经理;2001年5月至2004年12月在合肥凯立快速开断技术有限公司,担任副总经理;2005年1月至2016年7月,就职于有限公司,担任执行董事、总经理。2005年8月至今,就职于上海一天,担任执行董事;2006年3月至今,就职于金力电子,担任监事;2006年4月至2007年12月,就职于潍坊超力电子有限公司,担任董事长;2011年11月至今,就职于一天电能,担任执行董事;2011年12月至今,就职于同昊投资,担任执行事务合伙人;2016年8月至今,就职于股份公司,担任董事长、总经理。"
|
|
|
|
}, {
|
|
|
|
"type": "dsh",
|
|
|
|
"xm": "马传刚",
|
|
|
|
"zw": "董事",
|
|
|
|
"zjcgs": "45.32万",
|
|
|
|
"jjcgs": "109.4万(估)",
|
|
|
|
"ggrq": "2016-12-30",
|
|
|
|
"bjrq": "2016-08-08 至 今",
|
|
|
|
"intro": "男44岁大专",
|
|
|
|
"xc": "-- ",
|
|
|
|
"xxms": "马传刚,男,1977年10月出生,中国国籍,无境外永久居留权,大专学历。1997年3月至2000年12月,就职于中国台湾罗马瓷砖合肥经营部,担任销售经理;2001年1月至2003年2月,就职于安徽松联通讯器材有限公司,担任渠道经理;2003年3月至2004年12月,就职于凯立科技,担任销售经理;2005年1月至2011年1月,就职于有限公司,担任销售经理;2011年1月至今,就职于新力电气,担任执行董事、总经理;2014年12月至今,就职于幸福舌尖,担任监事;20168月至今,就职于股份公司,担任董事。"
|
|
|
|
}, {
|
|
|
|
"type": "dsh",
|
|
|
|
"xm": "张涛",
|
|
|
|
"zw": "董事",
|
|
|
|
"zjcgs": "-",
|
|
|
|
"jjcgs": "51.49万(估)",
|
|
|
|
"ggrq": "2018-07-18",
|
|
|
|
"bjrq": "2018-07-18 至 今",
|
|
|
|
"intro": "男49岁大专",
|
|
|
|
"xc": "-- ",
|
|
|
|
"xxms": "张涛,男,1972年5月出生,中国国籍,无境外永久居留权,大专学历。1990年1月至1995年6月,就职于安徽省供销合作社严店乡供销社,担任经理;1995年7月至1998年5月,就职于严店自立经营部,担任经理;1998年6月至2000年10月,就职于上海帮扣食品公司,担任销售经理;2000年11月至2003年2月,就职于合肥三宇电气有限公司,担任销售经理;2003年3月至2005年12月,就职于凯立科技,担任销售经理;2006年1月至2016年7月,就职于安徽一天电气技术有限公司,历任销售经理,副总经理;2016年8月至2018年1月,就职于安徽一天电气技术股份有限公司,担任副总经理;2018年3月至今,就职于安徽金力防雷工程技术有限公司,担任总经理。"
|
|
|
|
}, {
|
|
|
|
"type": "dsh",
|
|
|
|
"xm": "李磊",
|
|
|
|
"zw": "董事",
|
|
|
|
"zjcgs": "72.1万",
|
|
|
|
"jjcgs": "304.2万(估)",
|
|
|
|
"ggrq": "2016-12-30",
|
|
|
|
"bjrq": "2016-08-08 至 今",
|
|
|
|
"intro": "男45岁本科",
|
|
|
|
"xc": "-- ",
|
|
|
|
"xxms": "李磊,男,1976年8月出生,中国国籍,无境外永久居留权,本科学历。1996年6月至2002年12月,就职于安徽金种子集团,担任销售经理;2003年1月至2004年12月,就职于凯立科技,担任销售经理;2005年1月至2016年7月,就职于有限公司,担任副总经理;2007年5月至今,就职于上海一天,担任监事;2011年5月至今,就职于金力防雷,担任董事长;2014年10月至2016年9月,就职于智汇联保,担任执行董事、;2014年10月至今,就职于智汇联保,担任执行董事;2014年12月至2016年9月,就职于幸福舌尖,担任执行董事、总经理;2014年12月至今,就职于幸福舌尖,担任执行董事;2016年8月至今,就职于股份公司,担任董事、副总经理。"
|
|
|
|
}, {
|
|
|
|
"type": "dsh",
|
|
|
|
"xm": "李瑜",
|
|
|
|
"zw": "董事",
|
|
|
|
"zjcgs": "-",
|
|
|
|
"jjcgs": "51.49万(估)",
|
|
|
|
"ggrq": "2016-12-30",
|
|
|
|
"bjrq": "2016-08-08 至 今",
|
|
|
|
"intro": "男39岁大专",
|
|
|
|
"xc": "-- ",
|
|
|
|
"xxms": "李瑜,男,1982年4出生,中国国籍,无境外永久居留权,大专学历。2002年8月至2004年12月,就职于劲牌有限公司,担任销售员;2005年1月至2016年7月,就职��有限公司,历任销售经理、研发项目经理;2011年11月至今,就职于一天电能,担任总经理;2016年8月至今,就职于股份公司,担任董事。"
|
|
|
|
}, {
|
|
|
|
"type": "jsh",
|
|
|
|
"xm": "胡长军",
|
|
|
|
"zw": "监事会主席",
|
|
|
|
"zjcgs": "-",
|
|
|
|
"jjcgs": "51.49万(估)",
|
|
|
|
"ggrq": "2018-08-23",
|
|
|
|
"bjrq": "2018-08-22 至 今",
|
|
|
|
"intro": "男43岁大专",
|
|
|
|
"xc": "-- ",
|
|
|
|
"xxms": "胡长军,男,1978年7月出生,中国国籍,无境外永久居住权,大专学历;1997年7月至1999年10月,就职于安徽省马鞍山当涂粮食局,担任车间管理员;1999年11月-2000年1月,待业;2000年2月至2001年12月,就职于合肥帕力泵业公司,担任经理一职;2002年1月-2002年2月,待业;2002年3月-2004年12月,就职于安徽凯立集团,担任销售经理职务;2005年1月-2018年6月,就职于安徽一天电气技术股份有限公司,先后担任销售经理,大区经理,销售总监等职务。"
|
|
|
|
}, {
|
|
|
|
"type": "jsh",
|
|
|
|
"xm": "桑元荣",
|
|
|
|
"zw": "职工代表监事",
|
|
|
|
"zjcgs": "-",
|
|
|
|
"jjcgs": "5.886(估)",
|
|
|
|
"ggrq": "2016-12-30",
|
|
|
|
"bjrq": "2016-08-08 至 今",
|
|
|
|
"intro": "女43岁本科",
|
|
|
|
"xc": "-- ",
|
|
|
|
"xxms": "桑元荣,女,1978年3月出生,中国国籍,无境外永久居留权,本科学历。2003年4月至2006年9月,就职于安徽省瑞特通讯技术有限公司,担任出纳;2006年10月至2016年7月,就职于有限公司,担任商务部部长;2016年8月至今,就职于股份公司,担任商务部部长、监事。"
|
|
|
|
}, {
|
|
|
|
"type": "jsh",
|
|
|
|
"xm": "朱运珍",
|
|
|
|
"zw": "监事",
|
|
|
|
"zjcgs": "-",
|
|
|
|
"jjcgs": "6.978万(估)",
|
|
|
|
"ggrq": "2017-04-27",
|
|
|
|
"bjrq": "2017-04-26 至 今",
|
|
|
|
"intro": "女45岁",
|
|
|
|
"xc": "-- ",
|
|
|
|
"xxms": "朱运珍,女,出生于1976年11月,曾任职于中国石化安徽蚌埠石油分公司、安徽一电气技术有限公司、安徽新力电气设备有限责任公司;多次获得“优秀管理者“优秀团队”“优秀个人”称号。"
|
|
|
|
}, {
|
|
|
|
"type": "gg",
|
|
|
|
"xm": "芮骏",
|
|
|
|
"zw": "总经理",
|
|
|
|
"zjcgs": "778.5万",
|
|
|
|
"jjcgs": "3260万(估)",
|
|
|
|
"ggrq": "2016-12-30",
|
|
|
|
"bjrq": "2016-08-08 至 今",
|
|
|
|
"intro": "男44岁本科",
|
|
|
|
"xc": "-- ",
|
|
|
|
"xxms": "芮骏,男,1977年8月出生,中国国籍,无境外永久居留权,本科学历。1996年9月至1998年6月,就职于安徽欣意电缆厂,;1998年7月至2001年4月,就职于凯立科技,担任销售经理;2001年5月至2004年12月在合肥凯立快速开断技术有限公司,担任副总经理;2005年1月至2016年7月,就职于有限公司,担任执行董事、总经理。2005年8月至今,就职于上海一天,担任执行董事;2006年3月至今,就职于金力电子,担任监事;2006年4月至2007年12月,就职于潍坊超力电子有限公司,担任董事长;2011年11月至今,就职于一天电能,担任执行董事;2011年12月至今,就职于同昊投资,担任执行事务合伙人;2016年8月至今,就职于股份公司,担任董事长、总经理。"
|
|
|
|
}, {
|
|
|
|
"type": "gg",
|
|
|
|
"xm": "李磊",
|
|
|
|
"zw": "副总经理",
|
|
|
|
"zjcgs": "72.1万",
|
|
|
|
"jjcgs": "304.2万(估)",
|
|
|
|
"ggrq": "2016-12-30",
|
|
|
|
"bjrq": "2016-08-08 至 今",
|
|
|
|
"intro": "男45岁本科",
|
|
|
|
"xc": "-- ",
|
|
|
|
"xxms": "李,男,1976年8月出生,中国国籍,无境外永久居留权,本科学历。1996年6月至2002年12月,就职于安徽金种子集团,担任销售经理;2003年1月至2004年12月,就职于凯立科技,担任销售经理;2005年1月至2016年7月,就职于有限公司,担任副总经理;2007年5月至今,就职于上海一天,担任监事;2011年5月至今,就职于金力防雷,担任董事长;2014年10月至2016年9月,就职于智汇联保,担任执行董事、总经理;2014年10月至今,就职于智汇联保,担任执行董事;2014年12月至2016年9月,就职于幸福舌尖,担任执行董事、总经理;2014年12月至今,就职于幸福舌尖,担任执行董事;2016年8月至今,就职于股份公司,担任董事、副总经理。"
|
|
|
|
}, {
|
|
|
|
"type": "gg",
|
|
|
|
"xm": "陈生学",
|
|
|
|
"zw": "董事会秘书,副总经理,财务总监",
|
|
|
|
"zjcgs": "-",
|
|
|
|
"jjcgs": "31.5万(估)",
|
|
|
|
"ggrq": "2016-12-30",
|
|
|
|
"bjrq": "2016-08-08 至 今",
|
|
|
|
"intro": "男51岁硕士",
|
|
|
|
"xc": "-- ",
|
|
|
|
"xxms": "陈生学,男,1970年11月出生,中国国籍,无境外永久居留权,本科学历,在职MBA。注册会计师、高级会计师,高级经济师。1995年7月至2002年12月,就职于中国建设银行安庆分行太湖支行,担任信贷员、客户经理;2003年1月至2004年12月,就职于安徽富煌钢构股份有限公司,担任财务负责人;2005年1月至2008年1月,就职于阳光电源股份有限公司,担任财务负责人;2008年2月至2009年4月,就职于安徽瑶海钢结构股份有限公司,担任副总经理、财务负责人;2009年5月至2011年12月,就职于有限公司,担任财务总监;2012年1月至2016年7月,就职于有限公司,担任财务总监、副总经理。2015年3月至今,就职于敏感陶瓷,担任监事;2016年8月至今,就职于股份公司,担任副总经理、财务总监、董事会秘书。"
|
|
|
|
}],
|
|
|
|
"kggs": [{
|
|
|
|
"zxggrq": "2020-04-22",
|
|
|
|
"glgsmc": "安徽新力电气设备有限责任公司",
|
|
|
|
"ckgx": "子公司",
|
|
|
|
"ckbl": "100.00%",
|
|
|
|
"tzje": "2149.84万元",
|
|
|
|
"bckgsjlr": "48.33万",
|
|
|
|
"sfbbhb": "是",
|
|
|
|
"bcggszyyw": "\n\t\t\t\t\t\t\t\t\t\t变电站成套设备、电力自动控制装置、... "
|
|
|
|
}, {
|
|
|
|
"zxggrq": "2020-04-22",
|
|
|
|
"glgsmc": "安徽一天电能质量技术有限公司",
|
|
|
|
"ckgx": "子公司",
|
|
|
|
"ckbl": "100.00%",
|
|
|
|
"tzje": "2000.00万元",
|
|
|
|
"bckgsjlr": "19.30万",
|
|
|
|
"sfbbhb": "是",
|
|
|
|
"bcggszyyw": "\n\t\t\t\t\t\t\t\t\t\t从事电能质量技术、电力电子技术及应... "
|
|
|
|
}, {
|
|
|
|
"zxggrq": "2020-04-22",
|
|
|
|
"glgsmc": "安徽金力防雷工程有限公司",
|
|
|
|
"ckgx": "子公司",
|
|
|
|
"ckbl": "100.00%",
|
|
|
|
"tzje": "500.00万元",
|
|
|
|
"bckgsjlr": "-37.10万",
|
|
|
|
"sfbbhb": "是",
|
|
|
|
"bcggszyyw": "\n\t\t\t\t\t\t\t\t\t\t防雷工程、综合防雷解决方案设计、施... "
|
|
|
|
}, {
|
|
|
|
"zxggrq": "2020-04-22",
|
|
|
|
"glgsmc": "安徽金力电气技术有限公司",
|
|
|
|
"ckgx": "子公司",
|
|
|
|
"ckbl": "73.50%",
|
|
|
|
"tzje": "374.85万元",
|
|
|
|
"bckgsjlr": "328.25万",
|
|
|
|
"sfbbhb": "是",
|
|
|
|
"bcggszyyw": "\n\t\t\t\t\t\t\t\t\t\t电气、电子、电力自动化产品及软件、... "
|
|
|
|
}, {
|
|
|
|
"zxggrq": "2020-04-22",
|
|
|
|
"glgsmc": "安徽一天敏感陶瓷科技有限公司",
|
|
|
|
"ckgx": "子公司",
|
|
|
|
"ckbl": "70.00%",
|
|
|
|
"tzje": "350.00万元",
|
|
|
|
"bckgsjlr": "78.26万",
|
|
|
|
"sfbbhb": "是",
|
|
|
|
"bcggszyyw": "\n\t\t\t\t\t\t\t\t\t\t金属氧化物电阻、压敏电阻、热敏电阻... "
|
|
|
|
}, {
|
|
|
|
"zxggrq": "2020-04-22",
|
|
|
|
"glgsmc": "安徽一新计量检测技术有限公司",
|
|
|
|
"ckgx": "孙公司",
|
|
|
|
"ckbl": "100.00%",
|
|
|
|
"tzje": "-",
|
|
|
|
"bckgsjlr": "-28.79万",
|
|
|
|
"sfbbhb": "是",
|
|
|
|
"bcggszyyw": "\n\t\t\t\t\t\t\t\t\t\t计量检测;电力安全工器具、高低压电... "
|
|
|
|
}],
|
|
|
|
"pgqk": [],
|
|
|
|
"cwfx": null,
|
|
|
|
"fxxx": null,
|
|
|
|
"gbbd": null,
|
|
|
|
"hxtc": null,
|
|
|
|
"gg": null
|
|
|
|
},
|
|
|
|
"http_code": 200,
|
|
|
|
"error_msg": "",
|
|
|
|
"task_result": 1000,
|
|
|
|
"data_type": "jbzl_jqka",
|
|
|
|
"spider_start_time": "2021-11-18 06:52:55.726",
|
|
|
|
"spider_end_time": "2021-11-18 06:54:45.913",
|
|
|
|
"task_params": {
|
|
|
|
"data_type": "detail",
|
|
|
|
"platform_name": "jqka",
|
|
|
|
"stock_type": "xsb",
|
|
|
|
"stock_code": "870583",
|
|
|
|
"stock_name": "一天电气",
|
|
|
|
"outbound": "public_company_detail",
|
|
|
|
"routed_count": 1,
|
|
|
|
"submitter": "taskhub",
|
|
|
|
"group_retry_times": 0,
|
|
|
|
"submit_time": "2021-11-18 05:30:27",
|
|
|
|
"token_scope": "eastmoney_detail",
|
|
|
|
"retry_limits": 2,
|
|
|
|
"rt": false,
|
|
|
|
"priority": null,
|
|
|
|
"task_uuid": "fe940888-29ad-4877-abcf-f6dc27157346",
|
|
|
|
"retry_times": 0
|
|
|
|
},
|
|
|
|
"metadata": {},
|
|
|
|
"spider_name": "public_company_jqka",
|
|
|
|
"spider_ip": "10.8.6.35",
|
|
|
|
"proxy_ip": "http://10.8.6.219:1805"
|
|
|
|
}
|
|
|
|
```
|
|
|
|
|
|
|
|
## 爬虫运行环境
|
|
|
|
<!--udm模块？scrapy？或其他-->
|
|
|
|
```buildoutcfg
|
|
|
|
scrapy
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
|
|
## 爬虫部署信息
|
|
|
|
<!--部署在哪些机器？每个机器多少进程？项目名称是什么？-->
|
|
|
|
```buildoutcfg
|
|
|
|
同花顺财经: 10.8.6.35 10个进程
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
|
|
## Taskhub地址
|
|
|
|
```
|
|
|
|
http://192.168.109.110/granite/project-taskhub/-/blob/master/taskhub/config/gravel/config.d/public_company.yaml
|
|
|
|
```
|
|
|
|
|
|
|
|
## Taskhub调度规则说明
|
|
|
|
```
|
|
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
|
|
## 爬虫监控指标设计
|
|
|
|
<!--监控爬虫正常运行的指标是什么？报警规则是什么？-->
|
|
|
|
```buildoutcfg
|
|
|
|
索引: public-company-spider-data-*
|
|
|
|
监控频率: 每天一次11:00
|
|
|
|
监控起止时间: 11:00调度一次
|
|
|
|
报警条件: public_jqka_jqka爬虫,过去6个小时task_result=1000的数据量低于13000条
|
|
|
|
报警群: "线上报警"群
|
|
|
|
报警内容: 上市公司数据量监测_近6小时成功数低于13000条
|
|
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
---
|
|
|
|
|
|
|
|
# **数据归集**
|
|
|
|
|
|
|
|
## 责任人
|
|
|
|
```html
|
|
|
|
范召贤
|
|
|
|
```
|
|
|
|
|
|
|
|
## 数据归集方式
|
|
|
|
|
|
|
|
- [ ] 爬虫直接写kafka
|
|
|
|
|
|
|
|
- [x] 爬虫写文件logstash采集
|
|
|
|
|
|
|
|
## 爬虫结果目录
|
|
|
|
```
|
|
|
|
/data/gravel_spiders/public_company_jqka
|
|
|
|
```
|
|
|
|
|
|
|
|
## 归集后存放目录
|
|
|
|
```html
|
|
|
|
/data2_227/grvael_spider_result/public_company_jqka
|
|
|
|
```
|
|
|
|
|
|
|
|
## logstash配置文件名称
|
|
|
|
```html
|
|
|
|
project-deploy/logstash/10.8.6.246/conf.d/collie_spider_data_to_kfk.conf(入topic)
|
|
|
|
project-deploy/logstash/10.8.6.229/conf.d/grvael_spider_to_es.conf(入es)
|
|
|
|
```
|
|
|
|
|
|
|
|
## logstash文件采集type
|
|
|
|
```
|
|
|
|
type=>"jqka-spider-data"
|
|
|
|
```
|
|
|
|
|
|
|
|
## 数据归集的topic
|
|
|
|
```
|
|
|
|
topic_id => "public-company-spider-data"
|
|
|
|
```
|
|
|
|
|
|
|
|
## ES日志索引及筛选条件
|
|
|
|
```html
|
|
|
|
index => "public-company-spider-data-%{log_date}"
|
|
|
|
```
|
|
|
|
|
|
|
|
## 监控指标看板
|
|
|
|
|
|
|
|
|
|
|
|
## 数据保留策略
|
|
|
|
|
|
|
|
|
|
|
|
---
|
|
|
|
|
|
|
|
# **数据清洗**
|
|
|
|
|
|
|
|
## 责任人
|
|
|
|
|
|
|
|
|
|
|
|
## 代码地址
|
|
|
|
|
|
|
|
|
|
|
|
## 部署地址
|
|
|
|
<!--机器及线上代码地址-->
|
|
|
|
|
|
|
|
|
|
|
|
## 部署方法及说明
|
|
|
|
<!--运行方法及运行命令、supervisor配置、supervisor的program等-->
|
|
|
|
- [ ] crontab + data_pump
|
|
|
|
- [ ] supervisor + data_pump
|
|
|
|
- [ ] supervisor + consumer
|
|
|
|
|
|
|
|
## 数据接收来源
|
|
|
|
<!--来源于kafka还是归集的文件、topic的group？-->
|
|
|
|
|
|
|
|
|
|
|
|
## 数据存储表地址
|
|
|
|
|
|
|
|
* 数据库地址：
|
|
|
|
* 表名： |
|
|
\ No newline at end of file |
