Настройка политики очистки для топиков активных списков

О топиках

В R-Vision SIEM для передачи данных и управления потоками данных между компонентами системы используется брокер Apache Kafka.

Топики Kafka представляют собой логические каналы для передачи данных, в которых сообщения распределяются между отправителями и получателями. Топики используются для транспортировки различных типов данных, включая события, корреляционные данные и записи активных списков. Каждому активному списку соответствует топик, хранящий его данные.

Начиная с версии R-Vision SIEM 2.0.0 применены следующие параметры:

Для топиков, содержащих данные активных списков, используется политика очистки compact. Это обеспечивает сохранение последней записи для каждого ключа, предотвращая ее удаление во время процесса очистки.
Время хранения записей в топиках Kafka установлено на 1 час.
Максимальный размер сегмента данных ограничен 10 МБ.

При обновлении системы до версии 2.0.0 или выше, убедитесь, что топики с данными активных списков настроены на использование политики очистки compact.

Настройка политики очистки

В данном разделе описан процесс настройки политики очистки для топиков с данными активных списков.

Чтобы настроить политику очистки для активных списков:

Подключитесь к кластеру с помощью Lens.
Перейдите в раздел Pods и выберите под Kafka-controller.
Откройте Pod shell через панель инструментов Lens в правом верхнем углу, чтобы получить доступ к командной строке.
Выполните следующую команду для получения списка всех топиков Kafka:
```
kafka-topics.sh --list --bootstrap-server <address:port>
```
Здесь:
- <address:port> — адрес и порт Kafka-брокера (например, localhost:9090).
Для проверки настроек конкретного топика выполните следующую команду:
```
kafka-topics.sh --describe --topic <topic_name> --bootstrap-server <address:port>
```
Здесь:
- <topic_name> — название топика. Оно совпадает с названием в поле name схемы активного списка в его RObject-конфигурации.
- <address:port> — адрес и порт Kafka-брокера (например, localhost:9090).

Проверьте наличие параметра cleanup.policy=compact в поле Configs описания топика.

Примеры конфигураций топиков

Пример 1. Топик с настроенной политикой очистки

Topic: <topic_name>  TopicId: <topic_id> PartitionCount: 1       ReplicationFactor: 1    Configs: cleanup.policy=compact,segment.bytes=10485760,retention.ms=3600000,max.compaction.lag.ms=3600000
        Partition: 0    Leader: 0       Replicas: 0     Isr: 0

Пример 2. Топик без политики очистки

Topic: <topic_name>  TopicId: <topic_id> PartitionCount: 1       ReplicationFactor: 1    Configs: segment.bytes=10485760,retention.ms=3600000,max.compaction.lag.ms=3600000
        Partition: 0    Leader: 0       Replicas: 0     Isr: 0

Если политика очистки отсутствует, выполните следующую команду для ее добавления:
```
kafka-configs.sh --alter --entity-type topics --entity-name <topic_name> --add-config cleanup.policy=compact
```
Здесь:
- <topic_name> — название топика, для которого требуется добавить политику очистки.
Проверьте настройки топика, чтобы убедиться, что политика очистки успешно применена:
```
kafka-topics.sh --describe --topic <topic_name> --bootstrap-server <address:port>
```