| ... | @@ -56,7 +56,7 @@ |
... | @@ -56,7 +56,7 @@ |
|
|
| :-- | -- |
|
|
| :-- | -- |
|
|
|
|dsl.query |数据筛选条件。如果不会写es查询语句，可以在kibana的discover中筛选，然后在inspect->request中拷贝条件|
|
|
|dsl.query |数据筛选条件。如果不会写es查询语句，可以在kibana的discover中筛选，然后在inspect->request中拷贝条件|
|
|
|
|dsl._source |返回数据的字段列表|
|
|
|dsl._source |返回数据的字段列表|
|
|
|
|offset.store | offset 存储路径 |
|
|
|offset.store | offset 存储路径。形式如：file:///path/to/offset |
|
|
|
|offset.field | 充当offset的字段。在遍历公司这个场景下固定使用 company_name_digest.keyword|
|
|
|offset.field | 充当offset的字段。在遍历公司这个场景下固定使用 company_name_digest.keyword|
|
|
|
|offset.reset_hours | 重置offset的时间周期。小时数。|
|
|
|offset.reset_hours | 重置offset的时间周期。小时数。|
|
|
|
|limit | 最大记录数 |
|
|
|limit | 最大记录数 |
|
| ... | @@ -137,5 +137,4 @@ |
... | @@ -137,5 +137,4 @@ |
|
|
|
|
|
|
|
### 关于按需提交
|
|
### 关于按需提交
|
|
|
|
|
|
|
|
一些情况下，不希望任务队列中积压过多任务。则需要打开feed_on_demand来控制任务提交。当writer开启该选项后，data_pump在从reader消费数据前，会读取writer的需求量，然后从reader消费相应数量的数据。目前 redis和taskhub 两个writer支持该功能。
|
|
一些情况下，不希望任务队列中积压过多任务。则需要打开feed_on_demand来控制任务提交。当writer开启该选项后，data_pump在从reader消费数据前，会读取writer的需求量，然后从reader消费相应数量的数据。目前 redis和taskhub 两个writer支持该功能。 |
|
|
|
|
\ No newline at end of file |
