Работа с корреляторами

Коррелятор — это элемент конвейера, который представляет собой комплекс правил корреляции. Правила корреляции позволяют обнаруживать и анализировать взаимосвязанные события на основе правил, написанных на языке описания преобразований и корреляций. Эти правила также могут инициировать действия после обнаружения, такие как создание корреляционных событий и оповещений.

Порядок применения правил корреляции определяется последовательностью их добавления в коррелятор. Таким образом, события проходят через набор правил в установленном порядке, что позволяет осуществлять сложные сценарии корреляции данных.

На диаграмме конфигурации конвейера коррелятор имеет один вход и один выход. Коррелятор на входе применяет правила корреляции к потоку событий. На выходе выдает корреляционные события.

Режим распределенной корреляции

Императивные правила корреляции не поддерживаются в режиме распределенной корреляции.

Распределенная корреляция использует ресурсы нескольких узлов в кластере для параллельной обработки событий. Данный режим позволяет распределять нагрузку между несколькими экземплярами предпроцессора и коррелятором, увеличивая общую производительность коллектора.

Распределенный коррелятор состоит из двух компонентов: предпроцессора и коррелятора.

Предпроцессор предназначен для первичной обработки событий, поступающих на коррелятор. В предпроцессоре происходит фильтрация событий и создание псевдонимов (aliases). Псевдонимы — это ссылки на события, используемые для упрощения их обработки и анализа. Предпроцессор создает и выпускает корреляционные события. Предпроцессоров может быть несколько, но должен быть минимум один.

Коррелятор в составе распределенного коррелятора отвечает за группировку и составление цепочек событий. Цепочки событий представляют собой последовательности взаимосвязанных событий, обнаруженных на основе логики, определенной в поле join правила корреляции. В составе распределенного коррелятора может быть только один коррелятор.

Операции полей join и group декларативного правила вычисляются на корреляторе. Остальные поля, в том числе alias и filter, вычисляются на предпроцессорах. События могут испускаться как предпроцессором, так и коррелятором в зависимости от конфигурации правила корреляции.

Для работы коррелятора в распределенном режиме необходимо активировать настройку Распределенный коррелятор и выделить дополнительные ресурсы в настройках коллектора. Изменение этой настройки требует перезапуска коллектора.

Добавление коррелятора

Чтобы добавить коррелятор на конфигурацию конвейера:

Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).
Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.
Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.
Нажмите на стрелку () в строке конвейера. Отобразится карточка конвейера.
Нажмите на кнопку Конфигурация конвейера в нижней части карточки. Отобразится диаграмма конфигурации конвейера.
Удостоверьтесь, что в выпадающем списке Версия на панели инструментов в окне конфигурации конвейера выбран вариант Черновик.
Нажмите на кнопку Добавить элемент и выберите из выпадающего списка пункт Коррелятор. Отобразится окно добавления коррелятора.
Введите название коррелятора.
Задайте интервал проверок в секундах. По умолчанию интервал равен 300 секундам.

Добавьте в коррелятор правила корреляции.

Если коллектор, на котором размещен коррелятор, настроен для работы в режиме распределенной корреляции, он не поддерживает работу императивных правил корреляции.

Чтобы добавить правило корреляции:

Раскройте дерево каталогов в левой части окна и выберите каталог, который содержит нужное правило корреляции.
Установите флажок слева от правила корреляции, которое необходимо добавить в коррелятор.

Нажмите на кнопку Добавить. Новый коррелятор отобразится на схеме.

Если в добавленных правилах содержатся отсутствующие активные списки или таблицы обогащения, система отобразит список ошибок с указанием ID и названий правил.

Чтобы добавить конфигурацию с правилами, где обнаружены ошибки, установите флажок Игнорировать ошибки. Если флажок не установлен, правила с ошибками будут исключены.

Нажмите на кнопку Готово, чтобы сохранить конфигурацию.

Изменение коррелятора

Чтобы изменить коррелятор:

Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).
Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.
Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.
Нажмите на стрелку () в строке конвейера. Отобразится карточка конвейера.
Нажмите на кнопку Конфигурация конвейера в нижней части карточки. Отобразится диаграмма конфигурации конвейера.
Удостоверьтесь, что в выпадающем списке Версия на панели инструментов в окне конфигурации конвейера выбран вариант Черновик.
Откройте окно настроек коррелятора одним из следующих способов:
- Нажмите на кнопку действий () справа от названия коррелятора и выберите опцию Изменить.
- Дважды нажмите на коррелятор на схеме конвейера.
Внесите изменения в требуемые поля.
Нажмите на кнопку Сохранить. Измененные данные коррелятора будут сохранены.

Удаление коррелятора

Чтобы удалить коррелятор:

Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).
Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.
Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.
Нажмите на стрелку () в строке конвейера. Отобразится карточка конвейера.
Нажмите на кнопку Конфигурация конвейера в нижней части карточки. Отобразится диаграмма конфигурации конвейера.
Удостоверьтесь, что в выпадающем списке Версия на панели инструментов в окне конфигурации конвейера выбран вариант Черновик.
Нажмите на кнопку действий () справа от названия коррелятора и выберите опцию Удалить. Система отобразит окно подтверждения удаления.
Нажмите на кнопку Удалить. Коррелятор будет удален.

Настройки коррелятора

Настройка коррелятора выполняется при его добавлении или изменении.

В окне настроек коррелятора отображается список правил корреляции в выбранном каталоге. Список представлен в виде таблицы со следующими колонками:

ID — уникальный идентификационный код правила корреляции, присваиваемый системой автоматически при его создании.
Название — системное имя правила корреляции, используемое для его идентификации.
Теги — пользовательские теги, присвоенные данному правилу корреляции.
Версия — версия правила корреляции, представленная в формате SemVer v2.0.

При работе с таблицей правил корреляции доступны следующие операции:

Поиск правил по полям ID, Название и Теги.
Фильтрация правил по тегам. Теги выбираются из выпадающего списка.

Также доступна фильтрация по наличию правил в корреляторе с помощью флажка Добавлено в коррелятор. При установке флажка в таблице отображаются только правила, уже добавленные в коррелятор.
Сортировка правил по полям ID, Название и Версия.

В окне настроек доступен функционал просмотра и добавления правил корреляции, а также обновления их версии.

Просмотр правила корреляции

Чтобы просмотреть конфигурацию правила корреляции из окна настройки коррелятора, нажмите на ID соответствующего правила в списке. Система отобразит окно просмотра выбранного правила в новой вкладке браузера.

Добавление правил корреляции

Чтобы добавить правило корреляции в коррелятор:

Раскройте дерево каталогов в левой части окна настроек коррелятора и выберите каталог, который содержит нужное правило корреляции.
Установите флажок слева от правила корреляции, которое необходимо добавить в коррелятор.

Обновление версии правила корреляции

Если для правила корреляции, добавленного в коррелятор, становится доступной новая версия, в правой части его строки в списке правил корреляции отображается кнопка обновления refresh . По нажатию на эту кнопку происходит актуализация данных правила корреляции в рамках коррелятора в соответствии с новой версией.