|
|
|
# **基本信息**
|
|
|
|
|
|
|
|
```buildoutcfg
|
|
|
|
招投标爬虫
|
|
|
|
bid_spider,通过scrapy部署
|
|
|
|
项目名称：project-gravel
|
|
|
|
分支：develop_bid_ggzy
|
|
|
|
```
|
|
|
|
|
|
|
|
## 数据名称（中文）
|
|
|
|
|
|
|
|
<!-- 该项数据的中文标准名称，后续沟通交流使用的规范名称，如：工商公示股东信息、失信被执行人、一般纳税人等-->
|
|
|
|
|
|
|
|
###
|
|
|
|
|
|
|
|
```buildoutcfg
|
|
|
|
招投标数据
|
|
|
|
```
|
|
|
|
|
|
|
|
## 数据英文名称
|
|
|
|
|
|
|
|
<!--英文名称，后续流程中所有涉及到英文名称均以此为准，如：partner、shixin、general_taxpayer等-->
|
|
|
|
|
|
|
|
```buildoutcfg
|
|
|
|
bid
|
|
|
|
```
|
|
|
|
|
|
|
|
## 采集网站（采集入口）
|
|
|
|
|
|
|
|
<!--采集的入口地址，不能只是一个网站域名，具体到该网站的数据入口-->
|
|
|
|
|
|
|
|
```buildoutcfg
|
|
|
|
post http://deal.ggzy.gov.cn/ds/deal/dealList_find.jsp
|
|
|
|
```
|
|
|
|
|
|
|
|
## 采集频率及采集策略
|
|
|
|
|
|
|
|
<!--说明该项数据更新频率，存量数据的更新频率及策略、新增数据的采集频率及策略-->
|
|
|
|
|
|
|
|
### 存量更新策略
|
|
|
|
|
|
|
|
<!--无需更新？每天全量更新？逐条轮询更新？多久更新完一轮？或其他-->
|
|
|
|
|
|
|
|
```buildoutcfg
|
|
|
|
每天每小时例行更新
|
|
|
|
```
|
|
|
|
|
|
|
|
### 增量采集策略
|
|
|
|
|
|
|
|
<!--新增数据怎么来？无需单独采集新增数据？-->
|
|
|
|
|
|
|
|
```buildoutcfg
|
|
|
|
根据库里已有的标示字段增量采集
|
|
|
|
```
|
|
|
|
|
|
|
|
---
|
|
|
|
|
|
|
|
# **爬虫**
|
|
|
|
|
|
|
|
```buildoutcfg
|
|
|
|
招投标爬虫 bid_spider
|
|
|
|
```
|
|
|
|
|
|
|
|
## 责任人
|
|
|
|
|
|
|
|
```buildoutcfg
|
|
|
|
杨龙斌
|
|
|
|
```
|
|
|
|
|
|
|
|
## 爬虫名称
|
|
|
|
|
|
|
|
```buildoutcfg
|
|
|
|
bid_spider
|
|
|
|
```
|
|
|
|
|
|
|
|
<!--spider_name-->
|
|
|
|
|
|
|
|
## 代码地址
|
|
|
|
|
|
|
|
```buildoutcfg
|
|
|
|
项目地址:http://tech.pingansec.com/granite/project-gravel/-/blob/develop_bid_ggzy/scrapy_spiders/gravel_spiders/spiders/bid_spider.py
|
|
|
|
```
|
|
|
|
|
|
|
|
## 队列名称及队列地址
|
|
|
|
|
|
|
|
<!--redis host port db key 优先级说明-->
|
|
|
|
-
|
|
|
|
|
|
|
|
* redis host: redis://:utn@0818@bdp-mq-001.redis.rds.aliyuncs.com:6379/7
|
|
|
|
* redis port: 6379
|
|
|
|
* redis db: 7
|
|
|
|
* redis key:
|
|
|
|
* bid_spider
|
|
|
|
|
|
|
|
### 优先级队列说明
|
|
|
|
|
|
|
|
* bid_spider 不支持队列优先级
|
|
|
|
|
|
|
|
## 任务来源
|
|
|
|
|
|
|
|
<!--说明爬虫任务的输入。如：来自某个数据库表等。如果来自某个数据库表则应该简要说明该表内的数据是如何维护的。-->
|
|
|
|
|
|
|
|
```buildoutcfg
|
|
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
## 任务输入参数（样例）
|
|
|
|
|
|
|
|
```json
|
|
|
|
{
|
|
|
|
"web_name": "必要字段 ccgp:政府采购网 ggzy:全国公共资源交易平台",
|
|
|
|
"task_type": "必要字段 任务类型:找新search/存量更新update",
|
|
|
|
"start_date": "存量更新字段2021-05-17",
|
|
|
|
"end_date": "存量更新字段2021-11-15",
|
|
|
|
"page_num": "存量更新字段1",
|
|
|
|
"last_data_flag": "找新字段http://www.ggzy.gov.cn/information/html/a/510000/0201/202111/15/0051a117760e77f14f82a4db9ab468f4d7d1.shtml",
|
|
|
|
"is_yq": "ggzy任务的识别字段,是否是央企招投标"
|
|
|
|
}
|
|
|
|
```
|
|
|
|
|
|
|
|
### 任务样例
|
|
|
|
|
|
|
|
<!--注意是爬虫拿到的完整任务，而不仅仅是task_params-->
|
|
|
|
|
|
|
|
```json
|
|
|
|
# 政府采购网找新
|
|
|
|
|
|
|
|
{
|
|
|
|
"web_name": "ccgp",
|
|
|
|
"task_type": "search",
|
|
|
|
"last_data_flag": "2021-11-16 08:00"
|
|
|
|
}
|
|
|
|
```
|
|
|
|
|
|
|
|
```json
|
|
|
|
# 政府采购网更新
|
|
|
|
|
|
|
|
{
|
|
|
|
"web_name": "ccgp",
|
|
|
|
"task_type": "update",
|
|
|
|
"start_date": "2021-05-17",
|
|
|
|
"end_date": "2021-11-15",
|
|
|
|
"page_num": "10"
|
|
|
|
}
|
|
|
|
```
|
|
|
|
|
|
|
|
```json
|
|
|
|
# 全国公共资源交易平台找新
|
|
|
|
|
|
|
|
{
|
|
|
|
"web_name": "ggzy",
|
|
|
|
"task_type": "search",
|
|
|
|
"last_data_flag": "http://www.ggzy.gov.cn/information/html/a/510000/0201/202111/15/0051a117760e77f14f82a4db9ab468f4d7d1.shtml"
|
|
|
|
}
|
|
|
|
```
|
|
|
|
|
|
|
|
```json
|
|
|
|
# 全国公共资源交易平台找新 -央企
|
|
|
|
|
|
|
|
{
|
|
|
|
"web_name": "ggzy",
|
|
|
|
"task_type": "search",
|
|
|
|
"last_data_flag": "http://www.ggzy.gov.cn/information/html/a/510000/0201/202111/15/0051a117760e77f14f82a4db9ab468f4d7d1.shtml",
|
|
|
|
"is_yq": true
|
|
|
|
}
|
|
|
|
```
|
|
|
|
|
|
|
|
```json
|
|
|
|
# 全国公共资源交易平台更新
|
|
|
|
|
|
|
|
{
|
|
|
|
"web_name": "ggzy",
|
|
|
|
"task_type": "update",
|
|
|
|
"start_date": "2021-05-17",
|
|
|
|
"end_date": "2021-11-15",
|
|
|
|
"page_num": "10"
|
|
|
|
}
|
|
|
|
```
|
|
|
|
|
|
|
|
```json
|
|
|
|
# 全国公共资源交易平台更新 --央企
|
|
|
|
|
|
|
|
{
|
|
|
|
"web_name": "ggzy",
|
|
|
|
"task_type": "update",
|
|
|
|
"start_date": "2021-05-17",
|
|
|
|
"end_date": "2021-11-15",
|
|
|
|
"page_num": "10",
|
|
|
|
"is_yq": true
|
|
|
|
}
|
|
|
|
```
|
|
|
|
|
|
|
|
### 任务参数说明
|
|
|
|
|
|
|
|
<!--特有参数说明，通用参数比如spider_name,task_params,task_src,task_result等不需说明-->
|
|
|
|
|
|
|
|
```json
|
|
|
|
{
|
|
|
|
"web_name": "必要字段 ccgp:政府采购网 ggzy:全国公共资源交易平台",
|
|
|
|
"task_type": "必要字段 任务类型:找新search/存量更新update",
|
|
|
|
"start_date": "存量更新字段2021-05-17",
|
|
|
|
"end_date": "存量更新字段2021-11-15",
|
|
|
|
"page_num": "存量更新字段1",
|
|
|
|
"last_data_flag": "找新字段http://www.ggzy.gov.cn/information/html/a/510000/0201/202111/15/0051a117760e77f14f82a4db9ab468f4d7d1.shtml",
|
|
|
|
"is_yq": "ggzy任务的识别字段,是否是央企招投标"
|
|
|
|
}
|
|
|
|
```
|
|
|
|
|
|
|
|
## data_type说明
|
|
|
|
|
|
|
|
<!--可能产生的data_type说明-->
|
|
|
|
|
|
|
|
```buildoutcfg
|
|
|
|
detail: 详情信息
|
|
|
|
```
|
|
|
|
|
|
|
|
## 爬虫结果的超级数据
|
|
|
|
|
|
|
|
<!--包含所有字段的json数据，每个value都要有样例值-->
|
|
|
|
|
|
|
|
```json
|
|
|
|
{
|
|
|
|
"data": {
|
|
|
|
"classify": "02",
|
|
|
|
"title": "泸西县公安局购买警务通及数据专线服务项目中标公告",
|
|
|
|
"timeShow": "2021-11-16",
|
|
|
|
"stageName": "信息类型",
|
|
|
|
"platformName": "红河州公共资源交易中心",
|
|
|
|
"classifyShow": "政府采购",
|
|
|
|
"tradeShow": "",
|
|
|
|
"districtShow": "云南",
|
|
|
|
"url": "http://www.ggzy.gov.cn/information/html/a/530000/0202/202111/16/005395f01e9178a542a897f2867506da63bf.shtml",
|
|
|
|
"stageShow": "中标公告",
|
|
|
|
"titleShow": "泸西县公安局购买警务通及数据专线服务项目中标公告",
|
|
|
|
"content": "<!doctype html>\n<html>\n<head>\n<meta charset=\"UTF-8\">\n<meta http-equiv=\"X-UA-Compatible\" content=\"IE=edge,chrome=1\">\n<title>全国公共资源交易平台</title>\n<meta name=\"others\" content=\"页面生成时间 2021-11-16 08:12:46\" />\n<link type=\"text/css\" href=\"/information/css/dealdetail.css\" rel=\"stylesheet\">\n<script src=\"/information/js/jquery-1.6.4.min.js\"></script>\n</head>\n<body style=\"height:auto;\">\n<div class=\"detail\">\n<h4 class=\"h4_o\">泸西县公安局购买警务通及数据专线服务项目中标公告</h4>\n<p class=\"p_o\"><span>发布时间：2021-11-16 08:00</span><span>信息来源：<label id=\"platformName\">红河州公共资源交易中心</label></span><span class='detail_url'><a target=\"_blank\" href=\"http://ggzy.yn.gov.cn/jyxx/zfcg/zbjggsDetail?guid=55238234-806b-41ea-95dc-d668943e99be\">原文链接地址</a></span></p>\n<div id=\"mycontent\">\n<div class=\"detail_content\"><h1 style=\"text-align: center; line-height: 150%;\"><strong><span style=\"font-family: 华文中宋; font-size: 29px; font-weight: bold;font-family:宋体\">中标（成交）结果公告</span></strong></h1><p style=\"text-align: justify; line-height: 47px; vertical-align: baseline; -ms-layout-grid-mode: char; -ms-text-justify: inter-ideograph;\"><span style=\"font-family: 黑体; font-size: 19px;font-family:黑体\">一</span><span style=\"font-family: 黑体; font-size: 19px;font-family:黑体\">、</span><span style=\"font-family: 黑体; font-size: 19px;font-family:黑体\">项目编号：</span><span style=\"font-family: 黑体; font-size: 19px;font-family:黑体\">YNYT-CG-2021013</span></p><p><span style=\"font-family: 黑体; font-size: 19px;font-family:黑体\">二、项目名称：</span><span style=\"font-family: 黑体; font-size: 19px;font-family:黑体\">泸西县公安局购买警务通及数据专线服务项目</span></p><p><span style=\"font-family: 黑体; font-size: 19px;font-family:黑体\">三、中标（成交）信息</span></p><p style=\"text-indent: 37px;\"><span style=\"font-family: 仿宋; font-size: 19px;font-family:仿宋\">供应商名称：</span><span style=\"font-family: 仿宋; font-size: 19px;font-family:仿宋\">中国移动通信集团云南有限公司红河分公司</span></p><p style=\"text-indent: 37px;\"><span style=\"font-family: 仿宋; font-size: 19px;font-family:仿宋\">供应商地址：</span><span style=\"font-family: 仿宋; font-size: 19px;font-family:仿宋\"> 云南省红河州蒙自市护国路3号</span></p><p style=\"text-indent: 37px;\"><span style=\"font-family: 仿宋; font-size: 19px;font-family:仿宋\">中标（成交）金额：</span><span style=\"font-family: 仿宋; font-size: 19px;\"><span style=\"font-family:仿宋\">小写：</span>2533800.00元； 大写：贰佰伍拾叁万叁仟捌佰元整</span></p><p><span style=\"font-family: 黑体; font-size: 19px;font-family:黑体\">四、主要标的信息</span></p><table style=\"border: currentColor; border-image: none; width: 663px; border-collapse: collapse;\" border=\"1\" cellspacing=\"0\"><tbody><tr><td width=\"663\" valign=\"top\" style=\"padding: 0px 7px; border: 1px solid windowtext; border-image: none; width: 663px; background-color: transparent;\"><p style=\"text-align: center;\"><span style=\"font-family: 仿宋; font-size: 19px;font-family:仿宋\">货物</span><span style=\"font-family: 仿宋; font-size: 19px;font-family:仿宋\">类</span></p></td></tr><tr><td width=\"663\" valign=\"top\" style=\"border-width: 0px 1px 1px; border-style: none solid solid; border-color: rgb(0, 0, 0) windowtext windowtext; padding: 0px 7px; width: 663px; background-color: transparent;\"><p><span style=\"font-family: 仿宋; font-size: 19px;font-family:仿宋\">名称：</span><span style=\"font-family: 仿宋; font-size: 19px;font-family:仿宋\">详见附件</span></p><p><span style=\"font-family: 仿宋; font-size: 19px;font-family:仿宋\">品牌：</span><span style=\"font-family: 仿宋; font-size: 19px;font-family:仿宋\">详见附件</span></p><p><span style=\"font-family: 仿宋; font-size: 19px;font-family:仿宋\">规格型号：</span><span style=\"font-family: 仿宋; font-size: 19px;font-family:仿宋\">详见附件</span></p><p><span style=\"font-family: 仿宋; font-size: 19px;font-family:仿宋\">数量：</span><span style=\"font-family: 仿宋; font-size: 19px;font-family:仿宋\">详见附件</span></p><p><span style=\"font-family: 仿宋; font-size: 19px;font-family:仿宋\">单价：</span><span style=\"font-family: 仿宋; font-size: 19px;font-family:仿宋\">详见附件</span></p></td></tr></tbody></table><p><span style=\"font-family: 黑体; font-size: 19px;font-family:黑体\">五、评审专家名单：</span><span style=\"font-family: 黑体; font-size: 19px;font-family:黑体\">陈维江、张振龙、张建安、叶锐、杨磊</span><span style=\"font-family: 黑体; font-size: 19px;font-family:黑体\">（采购人代表）</span></p><p><span style=\"font-family: 黑体; font-size: 19px;font-family:黑体\">六、代理服务收费标准及金额：</span><span style=\"font-family: 黑体; font-size: 19px;font-family:黑体\">元</span></p><p><span style=\"font-family: 黑体; font-size: 19px;font-family:黑体\">七、公告期限</span></p><p style=\"text-indent: 37px;\"><span style=\"font-family: 仿宋; font-size: 19px;font-family:仿宋\">自本公告发布之日起</span><span style=\"font-family: 仿宋; font-size: 19px;\">1</span><span style=\"font-family: 仿宋; font-size: 19px;font-family:仿宋\">个工作日。</span></p><p><span style=\"font-family: 黑体; font-size: 19px;font-family:黑体\">八、其他补充事宜</span></p><p><span style=\"font-family: 黑体; font-size: 19px;font-family:黑体\">九、凡对本次公告内容提出询问，请按以下方式联系。</span></p><h2 style=\"margin: 17px 0em; line-height: 150%; text-indent: 47px;\"><span style=\"line-height: 150%; font-family: 仿宋; font-size: 19px;font-family:仿宋\">1.采购人信息</span></h2><p style=\"line-height: 35px; text-indent: 56px; -ms-text-autospace: ideograph-numeric;\"><span style=\"font-family: 仿宋; font-size: 19px;\"><span style=\"font-family:仿宋\">名</span> 称：</span><span style=\"text-decoration:underline;\"><span style=\"font-family: 仿宋; font-size: 19px; text-underline: single;font-family:仿宋\">泸西县公安局</span></span></p><p style=\"margin: 0px 0px 0px 75px; text-align: left; line-height: 150%;\"><span style=\"line-height: 150%; font-family: 仿宋; font-size: 19px;\"><span style=\"font-family:仿宋\">地</span> 址：</span><span style=\"text-decoration:underline;\"><span style=\"line-height: 150%; font-family: 仿宋; font-size: 19px; text-underline: single;\"><span style=\"font-family:仿宋\">泸西县</span> </span></span><span style=\"line-height: 150%; font-family: 仿宋; font-size: 19px;\"> </span></p><p style=\"line-height: 35px; text-indent: 56px; -ms-text-autospace: ideograph-numeric;\"><span style=\"font-family: 仿宋; font-size: 19px;font-family:仿宋\">联系方式：</span><span style=\"text-decoration:underline;\"><span style=\"font-family: 仿宋; font-size: 19px; text-underline: single;\"><span style=\"font-family:仿宋\">李俊</span>-15126353738</span></span></p><h2 style=\"margin: 17px 0em; line-height: 150%; text-indent: 56px;\"><span style=\"line-height: 150%; font-family: 仿宋; font-size: 19px;font-family:仿宋\">2.采购代理机构信息（如有）</span></h2><p style=\"line-height: 150%; text-indent: 56px;\"><span style=\"line-height: 150%; font-family: 仿宋; font-size: 19px;\"><span style=\"font-family:仿宋\">名</span> 称：</span><span style=\"text-decoration:underline;\"><span style=\"line-height: 150%; font-family: 仿宋; font-size: 19px; text-underline: single;font-family:仿宋\">云南煜同工程项目管理有限公司</span></span></p><p style=\"line-height: 150%; text-indent: 56px;\"><span style=\"line-height: 150%; font-family: 仿宋; font-size: 19px;\"><span style=\"font-family:仿宋\">地 </span> 址：</span><span style=\"text-decoration:underline;\"><span style=\"line-height: 150%; font-family: 仿宋; font-size: 19px; text-underline: single;\"><span style=\"font-family:仿宋\">蒙自市缅桂路</span>5号明丰小城B幢23号</span></span></p><p style=\"line-height: 35px; text-indent: 56px; -ms-text-autospace: ideograph-numeric;\"><span style=\"font-family: 仿宋; font-size: 19px;font-family:仿宋\">联系方式：</span><span style=\"font-family: 宋体; font-size: 14px;font-family:宋体\">：</span><span style=\"text-decoration:underline;\"><span style=\"font-family: 仿宋; font-size: 19px; text-underline: single;font-family:仿宋\">许玉东</span></span><span style=\"text-decoration:underline;\"><span style=\"font-family: 仿宋; font-size: 19px; text-underline: single;font-family:仿宋\">-</span></span><span style=\"text-decoration:underline;\"><span style=\"font-family: 仿宋; font-size: 19px; text-underline: single;font-family:仿宋\">18314124284</span></span></p><h2 style=\"margin: 17px 0em; line-height: 150%; text-indent: 56px;\"><span style=\"line-height: 150%; font-family: 仿宋; font-size: 19px;font-family:仿宋\">3.项目</span><span style=\"line-height: 150%; font-family: 仿宋; font-size: 19px;font-family:仿宋\">联系方式</span></h2><p style=\"line-height: 150%; text-indent: 56px;\"><span style=\"line-height: 150%; font-family: 仿宋; font-size: 19px;font-family:仿宋\">项目联系人：</span><span style=\"text-decoration:underline;\"><span style=\"line-height: 150%; font-family: 仿宋; font-size: 19px; text-underline: single;font-family:仿宋\">许玉东</span></span><span style=\"text-decoration:underline;\"><span style=\"line-height: 150%; font-family: 仿宋; font-size: 19px; text-underline: single;\"> </span></span></p><p style=\"line-height: 150%; text-indent: 56px;\"><span style=\"line-height: 150%; font-family: 仿宋; font-size: 19px;\"><span style=\"font-family:仿宋\">电 </span> 话：</span><span style=\"text-decoration:underline;\"><span style=\"line-height: 150%; font-family: 仿宋; font-size: 19px; text-underline: single;font-family:仿宋\">18314124284</span></span></p></div>\n</div>\n</div>\n<script>\nvar recordTime = '2021-11-16 08:13:00';\nvar mysid = '005395f01e9178a542a897f2867506da63bf';\nvar myds = '553';\nvar myplatformCode = '12532500067137175R';\nvar myareaId = '530000';\nvar mybasepath = '/information';\n</script>\n<script src=\"/information/js/dealDetail.js\"></script>\n</body>\n</html>\n"
|
|
|
|
},
|
|
|
|
"http_code": 200,
|
|
|
|
"error_msg": "",
|
|
|
|
"task_result": 1000,
|
|
|
|
"data_type": "detail",
|
|
|
|
"spider_start_time": "2021-11-16 10:19:27.829",
|
|
|
|
"spider_end_time": "2021-11-16 10:19:28",
|
|
|
|
"task_params": {
|
|
|
|
"web_name": "ggzy",
|
|
|
|
"task_type": "update",
|
|
|
|
"start_date": "2021-05-17",
|
|
|
|
"end_date": "2021-11-15",
|
|
|
|
"page_num": "10"
|
|
|
|
},
|
|
|
|
"metadata": {},
|
|
|
|
"spider_name": "bid_spider",
|
|
|
|
"spider_ip": "192.168.56.1"
|
|
|
|
}
|
|
|
|
{
|
|
|
|
"data": {
|
|
|
|
"title": "鄄城县农业农村局2021年鄄城县高标准农田建设项目跟踪审计（含竣工结算）竞争性磋商公告",
|
|
|
|
"publish_time": "2021.11.15 18:02",
|
|
|
|
"purchaser": "鄄城县农业农村局\r",
|
|
|
|
"proxy": "山东拓达项目管理有限公司\r",
|
|
|
|
"province": "山东",
|
|
|
|
"business_type": "",
|
|
|
|
"notice_type": "竞争性磋商公告",
|
|
|
|
"link": "http://www.ccgp.gov.cn/cggg/dfgg/jzxcs/202111/t20211115_17186621.htm",
|
|
|
|
"content": "<!doctype html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta http-equiv=\"pragma\" content=\"no-cache\">\n<meta http-equiv=\"cache-control\" content=\"no-cache\">\n<meta http-equiv=\"expires\" content=\"0\">\n<meta name=\"SiteName\" content=\"中国政府采购网\" />\n<meta name=\"SiteDomain\" content=\"www.ccgp.gov.cn\" />\n<meta name=\"SiteIDCode\" content=\"bm14000002\" />\n<meta name=\"ArticleTitle\" content=\"鄄城县农业农村局2021年鄄城县高标准农田建设项目跟踪审计（含竣工结算）竞争性磋商公告\" />\n<meta name=\"PubDate\" content=\"2021-11-15 18:02\" />\n<meta name=\"ContentSource\" content=\"中国政府采购网\" />\n<title>鄄城县农业农村局2021年鄄城县高标准农田建设项目跟踪审计（含竣工结算）竞争性磋商公告</title>\n<link href=\"/css/detail.css\" rel=\"stylesheet\" type=\"text/css\" />\n<script language=\"javascript\" src=\"/js/jquery-3.2.1.min.js\"></script>\n<script language=\"javascript\" src=\"http://pub.ccgp.gov.cn/common/js/jquery.qrcode.min.js\"></script>\n</head>\n<body id=\"detail\">\n<link href=\"http://www.ccgp.gov.cn/css/inc.css\" rel=\"stylesheet\" type=\"text/css\" />\n<div class=\"v4incheadertop\">\n <div class=\"v4incheadertop_tel_block\">\n <div class=\"v4incheadertop_tel\">\n <p class=\"cl\">财政部唯一指定政府采购信息网络发布媒体 国家级政府采购专业网站</p><p class=\"cr\">服务热线：400-810-1996</p>\n </div>\n </div>\n <div class=\"v4incheadertop_logosearch_block2\">\n <div class=\"v4incheadertop_logosearch\">\n <div class=\"searcharea1\">\n <div class=\"logo_gh\" style=\"margin-top:20px\">\n <a href=\"#\" class=\"ccgp\"></a>\n <a href=\"#\" class=\"ccgp2\"></a>\n <a href=\"#\" class=\"gmfw\"></a>\n <a href=\"#\" class=\"ccgp3\"></a>\n </div>\n </div>\n\n <div class=\"searcharea2\">\n <div class=\"sangong_bl\"></div>\n\n </div></div>\n </div>\n <div class=\"v4incheadertop_nav_block\">\n <div class=\"v4incheadertop_nav\">\n <ul class=\"v4incheadertop_nav_ls\">\n <li class=\"fst\" id=\"ch_index\"><a href=\"http://www.ccgp.gov.cn/\">首页</a></li>\n <li id=\"ch_zcfg\"><a href=\"http://www.ccgp.gov.cn/zcfg/\">政采法规</a></li>\n <li id=\"ch_gmfw\"><a href=\"http://www.ccgp.gov.cn/gpsr/\">购买服务</a></li>\n <li id=\"ch_jdjc\"><a href=\"http://www.ccgp.gov.cn/jdjc/\">监督检查</a></li>\n <li id=\"ch_xxgg\"><a href=\"http://www.ccgp.gov.cn/xxgg/\">信息公告</a></li>\n <li id=\"ch_gpa\"><a href=\"http://www.ccgp.gov.cn/wtogpa/\">GPA专栏</a></li>\n <li id=\"ch_ppp\"><a href=\"http://www.ccgp.gov.cn/ppp/\">PPP频道</a></li>\n </ul>\n </div>\n </div>\n <div class=\"clb\"></div>\n</div>\n\n<div class=\"main\">\n<div class=\"main_container\">\n\n\n\n\n <div class=\"vF_deail_currentloc mt10\">\n <p>当前位置：<a href=\"../../../../\" title=\"首页\" class=\"CurrChnlCls\">首页</a> » \n <a href=\"../../../\" title=\"政采公告\" class=\"CurrChnlCls\">政采公告</a> » <a href=\"../../\" title=\"地方公告\" class=\"CurrChnlCls\">地方公告</a> » <a href=\"../\" title=\"竞争性磋商公告\" class=\"CurrChnlCls\">竞争性磋商公告</a></p>\n </div>\n <div class=\"vF_deail_maincontent\">\n\n<div class=\"vF_detail_main pzln75\">\n <div class=\"vF_detail_header\"><h2 class=\"tc\">鄄城县农业农村局2021年鄄城县高标准农田建设项目跟踪审计（含竣工结算）竞争性磋商公告</h2>\n <p class=\"tc\"><span id=\"pubTime\">2021年11月15日 18:02</span> 来源：<span id=\"sourceName\"></span> 【<span id=\"printBtn\">打印</span>】 <span id=\"shareTo\"></span></p></div>\n<!--contentTable-->\n<div class='table'><h5>公告概要：</h5><table width='600' border='0' cellspacing='1' bgcolor='#bfbfbf' style='text-align:left;'><tr><td colspan='4'><b>公告信息：</b></td></tr><tr><td class='title' width='128'>采购项目名称</td><td colspan='3' width='430'>鄄城县农业农村局2021年鄄城县高标准农田建设项目跟踪审计（含竣工结算）</td></tr><tr><td class='title'>品目</td><td colspan='3'><p></p></td></tr><tr><td class='title'>采购单位</td><td colspan='3'>鄄城县农业农村局</td></tr><tr><td class='title'>行政区域</td><td width='168'>菏泽市</td><td class='title' width='128'>公告时间</td><td width='168'>2021年11月15日 18:02</td></tr><tr><td class='title'>获取采购文件时间</td><td colspan='3'>详见公告正文</td></tr><tr><td class='title'>响应文件递交地点</td><td colspan='3'></td></tr><tr><td class='title'>响应文件开启时间</td><td colspan='3'>2021年11月29日 14:30</td></tr><tr><td class='title'>响应文件开启地点</td><td colspan='3'></td></tr><tr><td class='title'>预算金额</td><td colspan='3'>详见公告正文</td></tr><tr><td colspan=\"4\"><b>联系人及联系方式：</b></td></tr><tr><td class='title'>项目联系人</td><td colspan='3'>详见公告正文</td></tr><tr><td class='title'>项目联系电话</td><td colspan='3'>详见公告正文</td></tr><tr><td class='title' width='128'>采购单位</td><td width='430' colspan='3'>鄄城县农业农村局</td></tr><tr><td class='title'>采购单位地址</td><td colspan='3'>详见公告正文</td></tr><tr><td class='title'>采购单位联系方式</td><td colspan='3'>详见公告正文</td></tr><tr><td class='title'>代理机构名称</td><td colspan='3'>山东拓达项目管理有限公司</td></tr><tr><td class='title'>代理机构地址</td><td colspan='3'>详见公告正文</td></tr><tr><td class='title'>代理机构联系方式</td><td colspan='3'>详见公告正文</td></tr></table></div>\n<!--contentTable-->\n<div class=\"vF_detail_content_container\">\n <div class=\"vF_detail_content\">\n <tr style='height:40px'><td colspan=2 align=center><div align=center><input type='hidden' name='UnitId' size='30' maxsize='50' value='200098116' class=textbox />鄄城县农业农村局2021年鄄城县高标准农田建设项目跟踪审计（含竣工结算）竞争性磋商公告</div><div align=center><input type='hidden' name='BuyKind' size='30' maxsize='50' value='11' class=textbox /><input type='hidden' name='NoticeType' size='30' value='9' class=textbox /></div></td></tr><tr style='height:40px'><td valign=top><table cellspacing='0'cellpadding='1' width='100%' style='border-collapse: collapse' border='1'><tr style='height:40px'><td><b>项目概况：</b></td></tr><tr style='height:40px'><td> 鄄城县农业农村局2021年鄄城县高标准农田建设项目跟踪审计（含竣工结算）采购项目的潜在供应商应在在山东省政府采购信息公开平台、菏泽市公共资源交易电子公共服务系统、鲁采采电子招投标交易平台https://www.lucaicai.com下载获取采购文件，并于2021-11-29 14:30:00（北京时间）前提交响应文件。</td></tr></table></td></tr><tr style='height:40px'><td><b>一、项目基本情况：</b></td></tr><tr style='height:40px'><td> 项目编号：SDGP371726202102000153</td></tr><tr style='height:40px'><td> 项目名称：鄄城县农业农村局2021年鄄城县高标准农田建设项目跟踪审计（含竣工结算）</td></tr><tr style='height:40px'><td> 采购方式：竞争性磋商</td></tr><tr style='height:40px'><td> 预算金额：76.39万元</td></tr><tr style='height:40px'><td> 最高限价：无</td></tr> <tr style='height:40px'><td> 采购需求：</td></tr><tr style='height:40px'><td valign=top><table id='NoticeDetail' cellspacing='0'cellpadding='1' width='100%' style='border-collapse: collapse' border='1'><tr style='height:30px'><td align='center'>标的</td><td align='center'>标的名称</td><td align='center'>数量</td><td align='center'>简要技术需求或服务要求</td><td align='center'>本包预算金额（单位：万元）</td></tr><tr style='height:40px'><td align=left height=30>A</td><td align=left>鄄城县农业农村局2021年鄄城县高标准农田建设项 </td><td align=left>1 </td><td align=left>1、供应商必须具备《中华人民共和国政府采购法》第二十二条规定的条件；2、潜在供应商须具备独立法人资格，在人员、设备、资金等方面具有相应的服务能力，并具有有效的营业执照；3、供应商须具备建设主管部门颁发的工程造价咨询甲级资质；4、拟派项目负责人须在本单位注册具有注册造价工程师证书；5、“信用中国”网站(www.creditchina.gov.cn)或中国政府采购网(www.ccgp.gov.cn)或信用山东（http://credit.shandong.gov.cn）中各级信用信息平台查询结果网页打印页并加盖单位公章，（列入失信被执行人、重大税收违法案件当事人名单、政府采购严重违法失信行为记录名单的供应商，不得参与本次投标活动）；6、参加政府采购活动前3年内在经营活动中没有重大违法记录；7、本次采购不接受联合体报价，不允许转包；7、本次采购不接受联合体报价，不允许转包；8、本项目采用资格后审。 <td align=left>37.290000 </td></tr><tr style='height:40px'><td align=left height=30>B</td><td align=left>鄄城县农业农村局2021年鄄城县高标准农田建设项 </td><td align=left>1 </td><td align=left>1、供应商必须具备《中华人民共和国政府采购法》第二十二条规定的条件；2、潜在供应商须具备独立法人资格，在人员、设备、资金等方面具有相应的服务能力，并具有有效的营业执照；3、供应商须具备建设主管部门颁发的工程造价咨询甲级资质；4、拟派项目负责人须在本单位注册具有注册造价工程师证书；5、“信用中国”网站(www. creditchina. gov.cn)或中国政府采购网 (www.ccgp.gov.cn)或信用山东（http://credit.shandong.gov.cn）中各级信用信息平台查询结果网页打印页并加盖单位公章，（列入失信被执行人、重大税收违法案件当事人名单、政府采购严重违法失信行为记录名单的供应商，不得参与本次投标活动）；6、参加政府采购活动前 3 年内在经营活动中没有重大违法记录；7、本次采购不接受联合体报价，不允许转包；7、本次采购不接受联合体报价，不允许转包；8、本项目采用资格后审。 <td align=left>39.100000 </td></tr></table></td></tr><tr style='height:40px'><td> 合同履行期限：详见磋商文件</td></tr><tr style='height:40px'><td> 本项目不接受联合体投标。</td></tr><tr style='height:40px'><td><b>二、申请人的资格要求：</b></td></tr><tr style='height:40px'><td> 1、满足《中华人民共和国政府采购法》第二十二条规定；</td></tr><tr style='height:40px'><td> 2、落实政府采购政策需满足的资格要求：详见文件</td></tr><tr style='height:40px'><td> 3、本项目的特定资格要求：详见文件</td></tr><tr style='height:40px'><td><b>三、获取采购文件：</b></td></tr><tr style='height:40px'><td> 1.时间：2021年11月16日9时0分至2021年11月23日0时1分，每天上午09:00至12:00，下午14:00至17:00（北京时间，法定节假日除外 ）</td></tr><tr style='height:40px'><td> 2.地点：在山东省政府采购信息公开平台、菏泽市公共资源交易电子公共服务系统、鲁采采电子招投标交易平台https://www.lucaicai.com下载</td></tr><tr style='height:40px'><td> 3.方式：3.1招标文件的获取：由潜在供应商登录中国山东政府采购网注册账号，并在投标备案日期截止时间前(2021年11月22日17时00分前）在中国山东政府采购网进行网上投标备案。截止时间前未在中国山东政府采购网注册的或者只注册未在网上投标备案的供应商不具备参与本项目的投标资格。（技术支持电话：0531-82669782）。注：（1）投标备案并不作为潜在供应商资格条件的最终通过或合格，潜在供应商应对资料的真实性等负责；磋商时须对供应商进行资格审核，不符合项目资格条件的供应商的响应文件将被拒绝，潜在供应商应自行承担其风险费用。(2)请供应商登录中国山东政府采购网，点击本磋商公告下方附件下载；关于本项目的变更、修改、澄清、补充内容及对项目的暂停、延期通知等情况均在中国山东政府采购网、菏泽市公共资源交易电子公共服务系统、鲁采采电子招投标交易平台（https://www.lucaicai.com）发布。供应商自行查阅网站信息，未按要求查阅者自行承担相应后果，恕不予单独告知。（3）逾期送达或者未送达指定地点的响应文件，采购人不予受理。</td></tr><tr style='height:40px'><td> 4.售价：0元</td></tr><tr style='height:40px'><td><b>四、响应文件提交：</b></td></tr><tr style='height:40px'><td> 1.截止时间：2021年11月29日14时30分（北京时间）</td></tr><tr style='height:40px'><td> 2.地 点：菏泽市公共资源（国有产权）交易中心第一开标室（济南路与钱江路交叉路口南200米路西）</td></tr><tr style='height:40px'><td><b>五、开启：</b></td></tr><tr style='height:40px'><td> 1.开启时间：2021年11月29日14时30分（北京时间）</td></tr><tr style='height:40px'><td> 2.开启地点：菏泽市公共资源（国有产权）交易中心第一开标室（济南路与钱江路交叉路口南200米路西）</td></tr><tr style='height:40px'><td><b>六、公告期限：</b></td></tr><tr style='height:40px'><td> 自本公告发布之日起5个工作日。</td></tr><tr style='height:40px'><td><b>七、其他补充事宜：</b></td></tr><tr style='height:40px'><td> 其他补充事宜:本项目为网上交易，响应文件目前采用电子版的方式，供应商需在鲁采采电子招投标交易平台https://www.lucaicai.com递交加密版电子响应文件。同时提交电子版响应文件一份（U盘），内容为电子签章后的PDF及WORD格式响应文件。1.时间：2021年11月29日14时00分至2021年11月29日14时30分（北京时间）。2.地点：菏泽市公共资源（国有产权）交易中心第一开标室（济南路与钱江路交叉路口南200米路西）。3.加密版电子响应文件应于递交响应文件截止时间之前上传至鲁采采电子招投标交易平台https://www.lucaicai.com。注：本项目为电子交易，编制响应文件需使用企业CA，供应商在获取竞争性磋商文件后应进行企业CA注册。CA注册有一定周期，请及时办理以免影响本次项目参与，详见菏泽市公共资源交易电子公共服务系统相关通知（http://www.hzsggzyjy.gov.cn/NewsPage.aspx?type=2810&encode=utf-8）。投标人在使用鲁采采电子招投标交易平台时，如有任何疑问，联系鲁采采平台技术支持，联系方式：17205305555。</td></tr><tr style='height:40px'><td><b>八、对本次招标提出询问，请按以下方式联系：</b></td></tr><tr style='height:40px'><td> 1、采购人信息</td></tr><tr style='height:40px'><td> 名 称：<input type='hidden' name='UnitCode' size='30' maxsize='50' value='611' class=textbox />鄄城县农业农村局</td></tr><tr style='height:40px'><td> 地 址：鄄城县潍坊路南段向阳纺织院内</td></tr><tr style='height:40px'><td> 联系方式：董先生联系方式：0530-2421229</td></tr><tr style='height:40px'><td> 2、采购代理机构</td></tr><tr style='height:40px'><td> 名 称：<input type='hidden' name='AgentCode' size='30' maxsize='50' value='91371726MA3PQALR95' class=textbox />山东拓达项目管理有限公司</td></tr><tr style='height:40px'><td> 地 址：山东省青岛市李沧区北崂路1022号E1楼</td></tr><tr style='height:40px'><td> 联系方式：栗普张艳艳联系方式：1855303933318553039355</td></tr><tr style='height:40px'><td> 3、项目联系方式</td></tr><tr style='height:40px'><td> 项目联系人：张艳艳</td></tr><tr style='height:40px'><td> 联系方式：18553039355<input type='hidden' name='LinkMan' size='10' value='张艳艳' /><input type='hidden' name='LinkTel' size='10' value='18553039355' /></td></tr>\n </div>\n </div><!--vF_detail_content_container-->\n </div><!--vF_detail_main-->\n\n\n </div><!--vF_deail_maincontent-->\n <div class=\"vF_detail_relcontent mt13\">\n <h2><p>相关公告</p></h2>\n <div class=\"vF_detail_relcontent_lst\">\n <ul class=\"c_list_tat\">\n \n </ul>\n </div>\n</div><!--相关公告-->\n\n </div>\n</div>\n</div>\n<div class=\"footer mt13\">\n\n <div class=\"copyright_bl\">\n<style type=\"text/css\">\n .copyright_bl{width:1000px;margin:0 auto}/*margin-top:20px;*/\n .vF_cp {width: 1000px;margin: 0 auto;text-align: left;float: left;background: #e9e9e9;color: #333;height: 120px;padding-top: 10px;}\n .vF_cp p {width: 600px;float: left;margin-top: 15px;font-size: 14px;line-height: 26px;}\n .vF_cp span{font-family:Verdana, Geneva, sans-serif;font-size:12px}\n .vF_cp a,.vT_cp a{color:#333;text-decoration: none}\n .vF_cp a:hover,.vT_cp a:hover{text-decoration: underline;color:#ba2636}\n .dzjg {width: 205px;height: 80px;float: left;margin: 14px 10px 0 130px;border-right: 1px solid #c2c2c2;}\n .cpright {float: left;width: 570px;margin-left: 15px;}\n .ccgpjiucuo{width:110px;height:55px;float:left;margin-left:5px;margin-top:10px}\n </style>\n <div class=\"copyright_bl\">\n <div class=\"vF_cp\">\n <div class=\"dzjg\">\n <div class=\"ccgpjiucuo\">\n <a href=\"https://zfwzgl.www.gov.cn/exposure/jiucuo.html?site_code=bm14000002&url=http%3A%2F%2Fwww.ccgp.gov.cn%2F\" target=\"_blank\"><img src=\"http://www.ccgp.gov.cn/img/jiucuo.png\"></a>\n </div>\n <script type=\"text/javascript\">document.write(unescape(\"%3Cspan id='_ideConac' %3E%3C/span%3E%3Cscript src='http://dcs.conac.cn/js/33/000/0000/60425889/CA330000000604258890010.js' type='text/javascript'%3E%3C/script%3E\"));</script></div>\n <div class=\"cpright\">\n <p>\n 主办单位：中华人民共和国财政部国库司 <br>网站标识码：<span>bm14000002</span> | <a href=\"http://beian.miit.gov.cn\" target=\"_blank\">京<span>ICP</span>备<span>19054529</span>号<span>-1</span></a> | 京公网安备<span>11010602060068</span>号 <br><span id=\"botm_cpy\">© 1999-</span> 中华人民共和国财政部 版权所有 | <a href=\"/contact.shtml\" target=\"_blank\">联系我们</a> | <a href=\"http://www.ccgp.gov.cn/zxly/\" target=\"_blank\">意见反馈</a> </p>\n </div>\n </div>\n </div>\n <script language=\"javascript\">\n var myDate = new Date();\n var botmcpy='© 1999-'+ myDate.getFullYear();\n $(\"#botm_cpy\").html(botmcpy);\n //document.getElementById(botm_cpy).innerHTML(botmcpy);\n </script>\n <script language=\"javascript\" src=\"http://www.ccgp.gov.cn/images/vr.js\"></script>\n </div>\n</div>\n</body>\n<script language=\"javascript\" src=\"/js/detailaddon.js\"></script>\n</html>"
|
|
|
|
},
|
|
|
|
"http_code": 200,
|
|
|
|
"error_msg": "",
|
|
|
|
"task_result": 1000,
|
|
|
|
"data_type": "detail",
|
|
|
|
"spider_start_time": "2021-11-15 18:17:46.574",
|
|
|
|
"spider_end_time": "2021-11-15 18:17:47",
|
|
|
|
"task_params": {
|
|
|
|
"web_name": "ccgp",
|
|
|
|
"task_type": "search",
|
|
|
|
"start_date": "2021-05-17",
|
|
|
|
"end_date": "2021-11-15",
|
|
|
|
"page_num": "1",
|
|
|
|
"last_data_flag": "2021-11-15 17:00"
|
|
|
|
},
|
|
|
|
"metadata": {},
|
|
|
|
"spider_name": "bid_spider",
|
|
|
|
"spider_ip": "192.168.56.1"
|
|
|
|
}
|
|
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
## 实际爬虫结果的数据结构
|
|
|
|
|
|
|
|
<!--可能与超级数据一致，可能不同的data_type的爬虫结果结构不同，超级数据是把所有data_type的结果组合在一起-->
|
|
|
|
|
|
|
|
```json
|
|
|
|
同上
|
|
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
## 爬虫运行环境
|
|
|
|
|
|
|
|
<!--udm模块？scrapy？或其他-->
|
|
|
|
|
|
|
|
```buildoutcfg
|
|
|
|
scrapy
|
|
|
|
```
|
|
|
|
|
|
|
|
## 爬虫部署信息
|
|
|
|
|
|
|
|
<!--部署在哪些机器？每个机器多少进程？项目名称是什么？-->
|
|
|
|
|
|
|
|
```buildoutcfg
|
|
|
|
general_taxpayer: 10.8.6.51 4个进程
|
|
|
|
```
|
|
|
|
|
|
|
|
## Taskhub地址
|
|
|
|
|
|
|
|
```buildoutcfg
|
|
|
|
```
|
|
|
|
|
|
|
|
## Taskhub调度规则说明
|
|
|
|
|
|
|
|
```buildoutcfg
|
|
|
|
task_result=1000 # 正常获取到详情任务
|
|
|
|
task_result=1101 # 无结果信息
|
|
|
|
task_result=9101 # 超时错误，需要进行重试，目前重试5次
|
|
|
|
task_result=8000 # 参数错误
|
|
|
|
```
|
|
|
|
|
|
|
|
## 爬虫监控指标设计
|
|
|
|
|
|
|
|
<!--监控爬虫正常运行的指标是什么？报警规则是什么？-->
|
|
|
|
|
|
|
|
```buildoutcfg
|
|
|
|
(先观察，待补充)
|
|
|
|
索引:
|
|
|
|
监控频率:
|
|
|
|
监控起止时间:
|
|
|
|
报警条件:
|
|
|
|
报警群:
|
|
|
|
报警内容:
|
|
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
---
|
|
|
|
|
|
|
|
# **数据归集**
|
|
|
|
|
|
|
|
## 责任人
|
|
|
|
|
|
|
|
```html
|
|
|
|
范召贤
|
|
|
|
```
|
|
|
|
|
|
|
|
## 数据归集方式
|
|
|
|
|
|
|
|
- [ ] 爬虫直接写kafka
|
|
|
|
|
|
|
|
- [ ] 爬虫写文件logstash采集
|
|
|
|
|
|
|
|
## 爬虫结果目录
|
|
|
|
|
|
|
|
```html
|
|
|
|
/data/gravel_spiders/bid_spider
|
|
|
|
```
|
|
|
|
|
|
|
|
## 归集后存放目录
|
|
|
|
|
|
|
|
```html
|
|
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
## logstash配置文件名称
|
|
|
|
|
|
|
|
```html
|
|
|
|
```
|
|
|
|
|
|
|
|
## logstash文件采集type
|
|
|
|
|
|
|
|
```html
|
|
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
## 数据归集的topic
|
|
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
## ES日志索引及筛选条件
|
|
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
## 监控指标看板
|
|
|
|
|
|
|
|
## 数据保留策略
|
|
|
|
|
|
|
|
---
|
|
|
|
|
|
|
|
# **数据清洗**
|
|
|
|
|
|
|
|
## 责任人
|
|
|
|
|
|
|
|
## 代码地址
|
|
|
|
|
|
|
|
## 部署地址
|
|
|
|
|
|
|
|
<!--机器及线上代码地址-->
|
|
|
|
|
|
|
|
## 部署方法及说明
|
|
|
|
|
|
|
|
<!--运行方法及运行命令、supervisor配置、supervisor的program等-->
|
|
|
|
|
|
|
|
- [ ] crontab + data_pump
|
|
|
|
- [ ] supervisor + data_pump
|
|
|
|
- [ ] supervisor + consumer
|
|
|
|
|
|
|
|
## 数据接收来源
|
|
|
|
|
|
|
|
<!--来源于kafka还是归集的文件、topic的group？-->
|
|
|
|
|
|
|
|
## 数据存储表地址
|
|
|
|
|
|
|
|
* 数据库地址：
|
|
|
|
* 表名： |
|
|
|
\ No newline at end of file |
