| ... | @@ -5,8 +5,8 @@ |
... | @@ -5,8 +5,8 @@ |
|
|
## 阅读本文前所需了解知识
|
|
## 阅读本文前所需了解知识
|
|
|
|
|
|
|
|
* data_pump的基本使用
|
|
* data_pump的基本使用
|
|
|
* elastsearch的基本使用
|
|
* elasticsearch的基本使用
|
|
|
* taskhub (taskHUB-介绍)
|
|
* [taskhub的基本使用](./taskHUB-介绍)
|
|
|
|
|
|
|
|
|
|
|
|
|
# 方法说明
|
|
# 方法说明
|
| ... | @@ -133,9 +133,13 @@ |
... | @@ -133,9 +133,13 @@ |
|
|
|feed_on_demand| 是否按需提交。如果设为true, 则要根据outbound所指定的任务队列最大任务量与积压情况来决定是否需要提交新的任务 |
|
|
|feed_on_demand| 是否按需提交。如果设为true, 则要根据outbound所指定的任务队列最大任务量与积压情况来决定是否需要提交新的任务 |
|
|
|
|outbound| 用于检查积压的 outbound|
|
|
|outbound| 用于检查积压的 outbound|
|
|
|
|task_params | 任务参数字段列表 |
|
|
|task_params | 任务参数字段列表 |
|
|
|
|
<<<<<<< HEAD
|
|
|
|附加参数 | 自定义的任务参数。用于附加一些固定的任务参数在实际提交的任务中。如指定优先级。 |
|
|
|附加参数 | 自定义的任务参数。用于附加一些固定的任务参数在实际提交的任务中。如指定优先级。 |
|
|
|
|
|
|
|
|
### 关于按需提交
|
|
### 关于按需提交
|
|
|
|
|
|
|
|
一些情况下，不希望任务队列中积压过多任务。则需要打开feed_on_demand来控制任务提交。当writer开启该选项后，data_pump在从reader消费数据前，会读取writer的需求量，然后从reader消费相应数量的数据。目前 redis和taskhub 两个writer支持该功能。
|
|
一些情况下，不希望任务队列中积压过多任务。则需要打开feed_on_demand来控制任务提交。当writer开启该选项后，data_pump在从reader消费数据前，会读取writer的需求量，然后从reader消费相应数量的数据。目前 redis和taskhub 两个writer支持该功能。
|
|
|
|
|
|
|
|
|
=======
|
|
|
|
|附加参数 | |
|
|
|
|
>>>>>>> 60ec9d82fc5b406cecca3916edc161f215e32b5c |
