В системе увеличилось количество приложений. Поток логов растёт со страшной силой. Elasticsearch пыхтит на грани возможного. Необходимо сделать процесс добавление логов в elastic асинхронным.
Задача:
- Настроить kafaka.
- Настроить сборщик логов fluentbit на передачу логов в kafka.
- Настроить vector забирать логи из kafka и сохранять их в elasticsearch.
За основу берём чарты:
WEB интерфейс для kafka. Мне их чарт не понравился. Поэтому малость его модифицировал и положил тут.
Вместо elasticsearch можно использовать его клон opensearch. Я сделал чарт обертку, в котором сразу и opensearch и opensearch dashboards (клон kibana).