Работа с корреляторами

Данный раздел описывает процесс работы с корреляторами на конвейерах в системе. Работа осуществляется при настройке конфигурации конвейера.

О корреляторах

Коррелятор — это элемент конвейера, который представляет собой комплекс правил корреляции. Правила корреляции позволяют обнаруживать и анализировать взаимосвязанные события на основе правил, написанных на языке описания преобразований и корреляций. Эти правила также могут инициировать действия после обнаружения, такие как создание корреляционных событий и оповещений.

Порядок применения правил корреляции определяется последовательностью их добавления в коррелятор. Таким образом, события проходят через набор правил в установленном порядке, что позволяет осуществлять сложные сценарии корреляции данных.

На диаграмме конфигурации конвейера коррелятор имеет один вход и один выход. Коррелятор на входе применяет правила корреляции к потоку событий. На выходе выдает корреляционные события.

Доступные операции над коррелятором:

Режим распределенной корреляции

Императивные правила корреляции не поддерживаются в режиме распределенной корреляции.

Распределенная корреляция использует ресурсы нескольких узлов в кластере для параллельной обработки событий. Данный режим позволяет распределять нагрузку между несколькими экземплярами предпроцессора и коррелятором, увеличивая общую производительность коллектора.

Распределенный коррелятор состоит из двух компонентов: предпроцессора и коррелятора.

Предпроцессор предназначен для первичной обработки событий, поступающих на коррелятор. В предпроцессоре происходит фильтрация событий и создание псевдонимов (aliases). Псевдонимы — это ссылки на события, используемые для упрощения их обработки и анализа. Предпроцессор создает и выпускает корреляционные события. Предпроцессоров может быть несколько, но должен быть минимум один.

Коррелятор в составе распределенного коррелятора отвечает за группировку и составление цепочек событий. Цепочки событий представляют собой последовательности взаимосвязанных событий, обнаруженных на основе логики, определенной в поле join правила корреляции. В составе распределенного коррелятора может быть только один коррелятор.

Операции полей join и group декларативного правила вычисляются на корреляторе. Остальные поля, в том числе alias и filter, вычисляются на предпроцессорах. События могут испускаться как предпроцессором, так и коррелятором в зависимости от конфигурации правила корреляции.

Для работы коррелятора в распределенном режиме необходимо активировать настройку Распределенный коррелятор и выделить дополнительные ресурсы в настройках коллектора. Изменение этой настройки требует перезапуска коллектора.

Добавление коррелятора

Чтобы добавить коррелятор на конфигурацию конвейера:

  1. Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах.

  2. Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.

  3. Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.

  4. Нажмите на кнопку chevron down в строке конвейера. Отобразится карточка конвейера.

  5. Нажмите на кнопку Конфигурация конвейера в нижней части карточки. Отобразится диаграмма конфигурации конвейера.

  6. Удостоверьтесь, что в выпадающем списке Версия на панели инструментов в окне конфигурации конвейера выбран вариант Черновик.

  7. Нажмите на кнопку Добавить элемент и выберите из выпадающего списка пункт Коррелятор. Отобразится окно добавления коррелятора.

  8. Введите название коррелятора.

  9. Задайте интервал очистки событий в секундах. По истечении указанного периода в императивных правилах корреляции будет происходить очистка событий с истекшим временем жизни. Время жизни задается в поле expire_after_sec в структуре правила.

    По умолчанию интервал очистки равен 300 секундам.

  10. Добавьте в коррелятор правила корреляции.

    Если коллектор, на котором размещен коррелятор, настроен для работы в режиме распределенной корреляции, он не поддерживает работу императивных правил корреляции.

    Чтобы добавить правило корреляции:

    1. Раскройте дерево каталогов в левой части окна и выберите каталог, который содержит нужное правило корреляции.

    2. Установите флажок слева от правила корреляции, которое необходимо добавить в коррелятор.

  11. Нажмите на кнопку Добавить. Новый коррелятор отобразится на диаграмме конфигурации.

Если в добавленных правилах содержатся отсутствующие активные списки или таблицы обогащения, система отобразит список ошибок с указанием ID и названий правил.

Чтобы добавить конфигурацию с правилами, где обнаружены ошибки, установите флажок Игнорировать ошибки. Если флажок не установлен, правила с ошибками будут исключены.

Нажмите на кнопку Готово, чтобы сохранить конфигурацию.

Изменение коррелятора

Чтобы изменить коррелятор:

  1. Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах.

  2. Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.

  3. Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.

  4. Нажмите на кнопку chevron down в строке конвейера. Отобразится карточка конвейера.

  5. Нажмите на кнопку Конфигурация конвейера в нижней части карточки. Отобразится диаграмма конфигурации конвейера.

  6. Удостоверьтесь, что в выпадающем списке Версия на панели инструментов в окне конфигурации конвейера выбран вариант Черновик.

  7. Откройте окно настроек коррелятора одним из следующих способов:

    • Нажмите на кнопку more vertical справа от названия коррелятора и выберите опцию Изменить.

    • Дважды нажмите на коррелятор на диаграмме конфигурации конвейера.

  8. Внесите изменения в требуемые поля.

  9. Нажмите на кнопку Сохранить. Измененные данные коррелятора будут сохранены.

Удаление коррелятора

Чтобы удалить коррелятор:

  1. Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах.

  2. Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.

  3. Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.

  4. Нажмите на кнопку chevron down в строке конвейера. Отобразится карточка конвейера.

  5. Нажмите на кнопку Конфигурация конвейера в нижней части карточки. Отобразится диаграмма конфигурации конвейера.

  6. Удостоверьтесь, что в выпадающем списке Версия на панели инструментов в окне конфигурации конвейера выбран вариант Черновик.

  7. Нажмите на кнопку more vertical справа от названия коррелятора и выберите опцию Удалить. Система отобразит окно подтверждения удаления.

  8. Нажмите на кнопку Удалить. Коррелятор будет удален.

Настройка коррелятора

Настройка коррелятора выполняется при его добавлении или изменении.

В окне настроек коррелятора отображается список правил корреляции в выбранном каталоге. Список представлен в виде таблицы со следующими столбцами:

  • ID — уникальный идентификационный код правила корреляции, присваиваемый системой автоматически при его создании.

  • Название — имя правила корреляции, используемое для его идентификации в системе.

  • Теги — пользовательские теги, присвоенные данному правилу корреляции.

  • Версия — версия правила корреляции, представленная в формате SemVer v2.0.

При работе с таблицей правил корреляции доступны следующие операции:

  • Поиск правил по полям ID, Название и Теги.

  • Фильтрация правил по тегам. Теги выбираются из выпадающего списка.

    Также доступна фильтрация по наличию правил в корреляторе с помощью флажка Добавлено в коррелятор. При установке флажка в таблице отображаются только правила, уже добавленные в коррелятор.

  • Сортировка правил по полям ID, Название и Версия.

В окне настроек доступен функционал просмотра и добавления правил корреляции, а также обновления их версии.

Доступные операции по настройке коррелятора:

Просмотр правила корреляции

Чтобы просмотреть конфигурацию правила корреляции из окна настройки коррелятора, нажмите на ID соответствующего правила в списке. Система отобразит окно просмотра выбранного правила в новой вкладке браузера.

Добавление правил корреляции

Чтобы добавить правило корреляции в коррелятор:

  1. Раскройте дерево каталогов в левой части окна настроек коррелятора и выберите каталог, который содержит нужное правило корреляции.

  2. Установите флажок слева от правила корреляции, которое необходимо добавить в коррелятор.

Обновление версии правила корреляции

Обновление версий возможно только для правил, которые уже были добавлены в коррелятор ранее.

Вы можете обновить правила следующими способами:

  • Обновить одно конкретное правило. Для этого нажмите на кнопку refresh в правой части строки правила.

  • Обновить сразу все правила. Для этого нажмите на кнопку refresh справа от поля поиска над таблицей.

Кнопка refresh отображается, если существует более новая версия добавленного правила.
Вы можете также выбрать последнюю версию правила в выпадающем списке версий.

Изменение версии правила корреляции

Чтобы установить другую версию правила корреляции:

  • Нажмите на кнопку редактирования edit в правой части строки правила в списке.

  • Выберите нужную версию в выпадающем списке и нажмите на кнопку Сохранить. В рамках коррелятора будет установлена выбранная версия правила.

Была ли полезна эта страница?

Обратная связь