kafka flusher可靠性讨论

[XLPE]

在数据链路中，一般会利用多目标集群做到传输的高可用。如果一个集群不可用时，目前的场景，利用反压机制会阻塞采集。这里会带来一个问题，比如日志轮转带来的数据丢失、或者数据看板延迟。如果有多个目标集群，当一个集群出问题时，采集的发送端可以自动切到另一个集群。不仅不影响数据的实时性，也不出现大面积的数据丢失。
这里定义一下集群不可用：

1. 所有borker ip不可达 。
2. 集群写失败。对于异步客户端而言，可以直接通过投递内存队列失败来感知。

实现描述：
flusher支持多个集群地址配置，优先写第一个集群，如果写内存队列失败，则将失败的数据投递到第二集群。逻辑上不用来回切。 如果第一集群恢复，则继续写第一集群。如果第一集群一直不可用，并且人工一直不介入，则队列投递失败，自动切到第二集群。

数据丢失风险预估：
当远端的kafka集群出现故障时，此时内存队列的数据是无法flush出去的。如果集群无法恢复或采集器重启，会导致这部分数据丢失。

收益预估：
一个集群出现故障，可以不中断采集，继续投递数据。