基本信息

数据名称（中文）

律师事务所

数据英文名称

law_office

采集网站（采集入口）

http://12348.moj.gov.cn/#/publicies/lawdept/lawdept

采集频率及采集策略

目前暂定每天更新一遍

存量更新策略

增量采集策略

---

爬虫名称以及平台

爬虫名称: law_office  
平台: 中国法律服务网-律师事务所

责任人

袁波

代码地址

项目地址:http://192.168.109.110/granite/project-gravel/tree/develop_law_office_20210819/scrapy_spiders/gravel_spiders/spiders

项目入口脚本: http://192.168.109.110/granite/project-gravel/tree/develop_law_office_20210819/scrapy_spiders/gravel_spiders/spiders/law_office.py
代码具体实现板块: http://192.168.109.110/granite/project-gravel/tree/develop_law_office_20210819/scrapy_spiders/gravel_spiders/spiders/law_office_reqs

队列名称及队列地址

• redis host: redis://:utn@0818@bdp-mq-001.redis.rds.aliyuncs.com:6379/7
• redis port: 6379
• redis db: 7
• redis key: law_office

优先级队列说明

law_office
说明:无特别处理，都是默认优先级10

任务来源

ajax请求，json数据格式返回
http://12348.moj.gov.cn/lawerdeptlist/getlawerdeptlist

任务输入参数（样例）

{
    "platform": "law_office",
    "data_type": "list"
}

任务样例

{
    "platform": "law_office",
    "data_type: "list",
}
说明: 任务直接到redis,不经过taskhub

任务参数说明

{
    "platform": "law_office",
    "data_type": "list"
}

data_type说明

list: 入口url
detail: 某个详情页的数据

爬虫结果的超级数据

{
	"data": {
		"law_office": {
			"name": "辽宁伯宁(北京)律师事务所",
			"credit_no": "31110000359004104P",
			"address": "北京市东城区建国门内大街7号6层12室",
			"establish_date": "2015-10-13",
			"lawyer_num": "3",
			"area": "东城区",
			"phone_number": "65186566",
			"desc": "辽宁伯宁律师事务所创建于2009年9月，总部设在大连，是一家专长于海商海事、国际仲裁、航运金融、融资租赁、建筑工程、公司商事、房地产、建筑施工、投融资、知识产权、劳动争议、民事诉讼以及刑事辩护等领域的全方位、综合性律师事务所。"
	},
	"http_code": 200,
	"error_msg": "",
	"task_result": 1000,
	"data_type": "detail",
	"spider_start_time": "2021-06-18 11:39:51.724",
	"spider_end_time": "2021-06-18 11:39:53.034",
	"task_params": {
		"platform": "law_office",
		"data_type": "list"
	},
	"metadata": {
		"current_page": 2
	},
	"spider_name": "law_office",
	"spider_ip": "10.8.1.38"
}

实际爬虫结果的数据结构

爬虫运行环境

scrapy

爬虫部署信息

10.8.6.76   3个进程

Taskhub地址

Taskhub调度规则说明

爬虫监控指标设计

爬虫待采集结果目录

/data/gravel_spiders/law_office

---

数据归集

责任人

范召贤

数据归集方式

• 爬虫直接写kafka

• 爬虫写文件logstash采集

归集后存放目录

/data2_227/grvael_spider_result/law_office

logstash配置文件名称

project-deploy/logstash/10.8.6.246/conf.d/collie_spider_data_to_kfk.conf(入topic)
project-deploy/logstash/10.8.6.229/conf.d/grvael_spider_to_es.conf(入es)

logstash文件采集type

type=>"law_office"

数据归集的topic

topic_id => "public-company-spider-data"

ES日志索引及筛选条件

index => "public-company-spider-data-%{log_date}"

监控指标看板

数据保留策略

---

数据清洗

责任人

代码地址

部署地址

部署方法及说明

• [ ]
• [ ]
• [ ]

数据接收来源

数据存储表地址

• 数据库地址：
• 表名：