business_doc/maxwell常见错误处理.md

@@ -28,4 +28,21 @@ INSERT INTO maxwell.tables (id, schema_id, database_id, name, charset, pk) VALUE
 ```mysql
 原因：reset master或者binlog文件更名导致找不到记录的binlog文件等
 处理方法：手动修正positions表中对应实例的binlog信息，或者清空/删除maxwell库重建
+```
+
+## INFO  ListWithDiskBuffer - Overflowed in-memory buffer, spilling over into /tmp/maxwell2979344624043046767events
+
+```
+随后出现
+20:58:56,303 ERROR MaxwellKafkaProducer - TimeoutException @ Position[BinlogPosition[mysql-bin.000948:140032012], lastHeartbeat=0] -- maxwell_test: ic_ar:annual_report_base:[(id,452053520)]
+20:58:56,303 ERROR MaxwellKafkaProducer - Expiring 13 record(s) for maxwell_test-11: 30302 ms has passed since last append
+
+原因：问题产生的原因还不明，这个问题比较顽固，github上面类似问题都没有达到明确的解决。
+个人猜测大概率由于短时间内产生大量需要处理的binlog，maxwell处理不过来导致落地到磁盘，
+从而超时导致数据未完整序列化（这也从侧面告诉我们，大表数据迁移，也要批量进行，
+不要一个insert into .. select 搞定）
+
+处理方法：
+目前比较可行的方法是调大kafka.max.request.size=5242880
+kafka.buffer.memory=5242880这两个参数，使数据尽量不落地磁盘
 ```
\ No newline at end of file