Debugger: отладчик типов полей

Данное руководство описывает архитектуру, принцип работы и процесс подключения компонента отладки типов данных в контуре обработки событий R-Vision SIEM.

Отладчик предназначен для выявления несоответствий между ожидаемыми типами данных, полученными после работы нормализатора, и фактическими типами, которые передаются в хранилище.

Подготовка инфраструктуры и СУБД

В интерфейсе R-Vision SIEM перейдите по пути Ресурсы → Модели данных → Импортировать и импортируйте файл модель событий для отладчика.
Создайте отдельное изолированное хранилище событий специально для логов отладчика. Рекомендуемое имя: debug_errors.

Запрещено направлять логи отладчика в основные хранилища с событиями. Это приведет к ошибкам СУБД ClickHouse и избыточному потреблению дискового пространства за счет хранения дублирующих метаданных original_event.

Подключение отладчика в конвейер

Компонент подключается в конвейере строго после элемента Нормализатор, содержащего правила нормализации событий источника. Отладчик разделяет поток данных на два изолированных направления с помощью элементов Filter и VRL-трансформация.

В интерфейсе R-Vision SIEM откройте конфигурацию конвейера с необходимым источником.
Добавьте на конвейер элемент Нормализатор с правилом Fields Debugger for CIMv2 (идентификатор правила: RV-DBG-1).
Соедините новый нормализатор с предыдущим нормализатором, содержащим правило нормализации источника.

Добавьте на конвейер элемент Filter со следующим кодом:

# Вход: Результат работы отладчика
# Логика: если ошибок нет, удаляем событие из этого потока
.errors != {} && .errors != null

debugger filter

Соедините элемент Нормализатор с правилом отладчика с элементом Filter.
Добавьте на конвейер элемент Конечная точка типа Хранилище событий и выберите созданное ранее хранилище для событий отладчика.
Соедините элемент Filter с созданной конечной точкой.

Добавьте на конвейер элемент VRL-трансформация со следующим кодом:

# Вход: Результат работы отладчика
# Логика: Возвращаем событие без служебных полей отладчика
. = .original_event

debugger vrl cimv2

Соедините элемент Нормализатор с правилом отладчика с элементом VRL-трансформация.
Соедините элемент VRL-трансформация с элементом Конечная точка хранилища CIMv2.
Сохраните и установите конфигурацию конвейера.

Пример конфигурации конвейера:

debugger pipeline

В случае обнаружения несоответствия типов отладчик формирует строго типизированный JSON-пакет данных. Найти события с ошибками нормализации можно в хранилище debug_errors.

Была ли полезна эта страница?

Обратная связь