Skip to content

GitLab

Last edited by yuanbo
Page history

jiguan

基本信息

数据名称（中文）

机关

数据英文名称

jiguan

采集网站（采集入口）

http://guide.conac.cn/#/search?keyword=%E6%B2%88%E9%98%B3%E5%B8%82%E5%92%8C%E5%B9%B3%E5%8C%BA%E5%8C%97%E5%B8%82%E5%9C%BA%E8%A1%97%E9%81%93%E5%8A%9E%E4%BA%8B%E5%A4%84&fields=jgmc&type=1

采集频率及采集策略

基本是一次性工作，暂不需要周期调度

存量更新策略

增量采集策略

爬虫名称以及平台 

爬虫名称: jiguan_list、jiguan_detail
平台: 中国机构检索

责任人

袁波

代码地址

项目地址
http://192.168.109.110/granite/project-gravel/-/tree/develop_adsearch_20210517/scrapy_spiders/gravel_spiders/spiders

项目入口脚本
http://192.168.109.110/granite/project-gravel/-/blob/develop_adsearch_20210517/scrapy_spiders/gravel_spiders/spiders/jiguan_list.py

代码具体实现板块
http://192.168.109.110/granite/project-gravel/-/tree/develop_adsearch_20210517/scrapy_spiders/gravel_spiders/spiders/jiguan_reqs

队列名称及队列地址

优先级队列说明

jiguan_list
jiguan_detail
说明:无特别处理，都是默认优先级10

任务来源

jiguan_list: 全国的省、市、区等关键词查询列表，获取到company_name、credit_no、company_address、company_type等字段
jiguan_detail: jiguan_list爬虫获取的结果作为此爬虫的任务输入

任务输入参数（样例）

任务样例

jiguan_list爬虫任务

{
    "keyword": "湖北"
}

jiguan_detail爬虫任务

{
    "company_name": "湖北罗田经济开发区管理委员会",
    "credit_no": "114211237739485220",
    "company_type": "党政机关",
    "company_address": "罗田县经济开发区大别山大道",
}

任务参数说明

搜索时候用credit_no,如果没有credit_no,则用company_name

data_type说明

detail: 某个详情页的数据
log: 日志记录

爬虫结果的超级数据

jiguan_list爬虫结果

{
	"data": {
		"companylist_item": {
			"company_name": "湖北罗田经济开发区管理委员会",
			"credit_no": "114211237739485220",
			"company_type": "党政机关",
			"company_address": "罗田县经济开发区大别山大道",
			"chiness_domain": "湖北罗田经济开发区管理委员会.政务"
		}
	},
	"http_code": 200,
	"error_msg": "",
	"task_result": 1000,
	"data_type": "detail",
	"spider_start_time": "2021-09-16 14:25:07.491",
	"spider_end_time": "2021-09-16 14:25:12.162",
	"task_params": {
		"keyword": "湖北"
	},
	"metadata": {

	},
	"spider_name": "jiguan_list",
	"spider_ip": "10.8.1.14",
	"proxy_ip": "http://10.8.6.219:38080"
}

实际爬虫结果的数据结构

爬虫运行环境

scrapy

爬虫部署信息

10.8.6.62   5个进程

Taskhub地址

Taskhub调度规则说明

爬虫监控指标设计

爬虫待采集结果目录

/data/gravel_spiders/jiguan_list  (新增)
/data/gravel_spiders/jiguan_detail (新增)

数据归集

责任人

范召贤

数据归集方式

  • 爬虫直接写kafka

  • 爬虫写文件logstash采集

归集后存放目录

10.8.6.227
/data2/grvael_spider_result/jiguan_list   (新增)
/data2/grvael_spider_result/jiguan_detail (新增)

logstash配置文件名称

# kafka
project-deploy/logstash/10.8.6.246/conf.d/collie_spider_data_to_kfk.conf
# es
project-deploy/logstash/10.8.6.229/conf.d/gravel/gravel_spider_to_es.conf

logstash文件采集type

jiguan_list
jiguan_detail

数据归集的topic

general-taxpayer

ES日志索引及筛选条件

public-company-spider-data-*

监控指标看板

数据保留策略

数据清洗

责任人

代码地址

部署地址

部署方法及说明

数据接收来源

文件

数据存储表地址

  • 数据库地址：
  • 表名：