Skip to content

GitLab

  • Projects
  • Groups
  • Snippets
  • Help
    • Loading...
  • Help
    • Help
    • Support
    • Community forum
    • Submit feedback
    • Contribute to GitLab
  • Sign in / Register
K
kb
  • Project overview
    • Project overview
    • Details
    • Activity
    • Releases
  • Repository
    • Repository
    • Files
    • Commits
    • Branches
    • Tags
    • Contributors
    • Graph
    • Compare
  • Issues 2
    • Issues 2
    • List
    • Boards
    • Labels
    • Service Desk
    • Milestones
  • Merge requests 0
    • Merge requests 0
  • Operations
    • Operations
    • Incidents
  • Analytics
    • Analytics
    • Repository
    • Value Stream
  • Wiki
    • Wiki
  • Members
    • Members
  • Activity
  • Graph
  • Create a new issue
  • Commits
  • Issue Boards
Collapse sidebar
  • granite
  • kb
  • Wiki
    • Knowledge_share
  • taskHUB 介绍

taskHUB 介绍 · Changes

Page history
add:taskhub authored Nov 02, 2021 by 吴一博's avatar 吴一博
Hide whitespace changes
Inline Side-by-side
Showing with 16 additions and 18 deletions
+16 -18
  • knowledge_share/taskHUB-介绍.md knowledge_share/taskHUB-介绍.md +16 -18
  • No files found.
knowledge_share/taskHUB-介绍.md
View page @ 4bc7db59
# taskHUB 介绍 # 分享的目的
## 分享的目的
* 目前工作中已经大量的在使用,但大家对他没有系统性的认识 * 目前工作中已经大量的在使用,但大家对他没有系统性的认识
* 通过分享可以让 * 通过分享可以让
## taskHUB 介绍 # taskHUB 介绍
### 爬虫任务的状态。 ## 爬虫任务的状态。
```plantuml ```plantuml
@startuml @startuml
...@@ -24,7 +22,7 @@ ...@@ -24,7 +22,7 @@
@enduml @enduml
``` ```
### taskHUB 的作用 ## taskHUB 的作用
1. 接受任务。 1. 接受任务。
2. 分发任务。 2. 分发任务。
...@@ -53,7 +51,7 @@ kafka -up-> taskHUB : 3. 接受任务日志,派生新任务或重试失败任 ...@@ -53,7 +51,7 @@ kafka -up-> taskHUB : 3. 接受任务日志,派生新任务或重试失败任
@enduml @enduml
``` ```
#### 接受任务 ### 接受任务
以HTTP POST方式提交任务 以HTTP POST方式提交任务
...@@ -70,25 +68,25 @@ Content-Type: application/json ...@@ -70,25 +68,25 @@ Content-Type: application/json
} }
``` ```
#### 分发任务 ### 分发任务
基于规则,将任务提交到对应的任务队列(redis) 基于规则,将任务提交到对应的任务队列(redis)
#### 派生任务 ### 派生任务
根据日志,及创建任务的规则 根据日志,及创建任务的规则
#### 失败重试 ### 失败重试
### taskHUB 的配置 ## taskHUB 的配置
#### 基本概念 ### 基本概念
* inbound 定义任务的接收行为。 * inbound 定义任务的接收行为。
* outbound 定义任务的分发行为。 * outbound 定义任务的分发行为。
* 路由 一个任务进入taskHUB后,按outbound的顺序,依次检查任务的状态符合哪个outbound所定义的规则。任务由第一个符合规则的outbound分发。 * 路由 一个任务进入taskHUB后,按outbound的顺序,依次检查任务的状态符合哪个outbound所定义的规则。任务由第一个符合规则的outbound分发。
#### 配置文件结构 ### 配置文件结构
```yaml ```yaml
#子配置文件引用 #子配置文件引用
...@@ -124,7 +122,7 @@ outbound: ...@@ -124,7 +122,7 @@ outbound:
logging: logging:
``` ```
#### 配置分离(include) ### 配置分离(include)
使用include可以将配置文件拆分成若干相对独立的部分。 使用include可以将配置文件拆分成若干相对独立的部分。
在子配置文件中,可以定义inbound和outbound。最终的结果是将所有子配置文件和主配置文件中的inbound和outbound合并在一起。 在子配置文件中,可以定义inbound和outbound。最终的结果是将所有子配置文件和主配置文件中的inbound和outbound合并在一起。
合并过程是依子配置文件文件名按子母排序升序依次进行。因此,所有outbound最终的顺序由文件名顺序和在文件内的顺序共同决定。 合并过程是依子配置文件文件名按子母排序升序依次进行。因此,所有outbound最终的顺序由文件名顺序和在文件内的顺序共同决定。
...@@ -162,7 +160,7 @@ outbound: ...@@ -162,7 +160,7 @@ outbound:
* o_b_2 * o_b_2
* o_b_1 * o_b_1
#### inbound的配置 ### inbound的配置
**selector** **selector**
筛选条件列表。输入任务只要满足列表中任一筛选条件就被接收进入任务路由。 筛选条件列表。输入任务只要满足列表中任一筛选条件就被接收进入任务路由。
...@@ -233,6 +231,6 @@ inbound: ...@@ -233,6 +231,6 @@ inbound:
threads: 8 threads: 8
``` ```
#### 任务分发测试接口 ### 任务分发测试接口
#### 测试接口 ### 测试接口
\ No newline at end of file \ No newline at end of file
Clone repository
  • README
  • basic_guidelines
  • basic_guidelines
    • basic_guidelines
    • dev_guide
    • project_build
    • 开发流程
  • best_practice
  • best_practice
    • AlterTable
    • RDS
    • azkaban
    • create_table
    • design
    • elasticsearch
    • elasticsearch
      • ES运维
    • logstash
View All Pages