Работа с корреляторами
Данный раздел описывает процесс работы с корреляторами на конвейерах в системе. Работа осуществляется при настройке конфигурации конвейера.
О корреляторах
Коррелятор — это элемент конвейера, который представляет собой комплекс правил корреляции. Правила корреляции анализируют поток событий и позволяют распознавать среди них определенные последовательности. Эти правила также могут инициировать действия после обнаружения, такие как создание корреляционных событий и оповещений.
Коррелятор позволяет применять к событиям несколько правил корреляции. Порядок применения правил определяется последовательностью их добавления в коррелятор. Таким образом, события проходят через набор правил в установленном порядке, что позволяет осуществлять сложные сценарии корреляции данных.
На диаграмме конфигурации конвейера коррелятор имеет один вход и один выход. Коррелятор на входе применяет правила корреляции к потоку событий. На выходе выдает корреляционные события.
Доступные операции над коррелятором:
Режим распределенной корреляции
| Императивные правила корреляции не поддерживаются в режиме распределенной корреляции. |
Распределенная корреляция использует ресурсы нескольких узлов в кластере для параллельной обработки событий. Данный режим позволяет распределять нагрузку между несколькими экземплярами предпроцессора и коррелятором, увеличивая общую производительность коллектора.
Распределенный коррелятор состоит из двух компонентов: предпроцессора и коррелятора.
Предпроцессор предназначен для первичной обработки событий, поступающих на коррелятор. В предпроцессоре происходит фильтрация событий и создание псевдонимов (aliases). Псевдонимы — это ссылки на события, используемые для упрощения их обработки и анализа. Предпроцессор создает и выпускает корреляционные события. Предпроцессоров может быть несколько, но должен быть минимум один.
Коррелятор в составе распределенного коррелятора отвечает за группировку и составление цепочек событий. Цепочки событий представляют собой последовательности взаимосвязанных событий, обнаруженных на основе логики, определенной в поле join правила корреляции. В составе распределенного коррелятора может быть только один коррелятор.
Операции полей join и group декларативного правила вычисляются на корреляторе. Остальные поля, в том числе alias и filter, вычисляются на предпроцессорах. События могут испускаться как предпроцессором, так и коррелятором в зависимости от конфигурации правила корреляции.
Для работы коррелятора в распределенном режиме необходимо активировать настройку Распределенный коррелятор и выделить дополнительные ресурсы в настройках коллектора. Изменение этой настройки требует перезапуска коллектора.
Проверка исключений
Для управления обработкой корреляционных событий коррелятор поддерживает механизм исключений на основе черного и белого списков. Этот механизм позволяет по-разному обрабатывать события, связанные с запрещенными и доверенными сущностями, например, IP-адресами, пользователями или хостами.
Черный список служит для указания подозрительных сущностей, для которых результаты корреляции должны обязательно обрабатываться. Если событие соответствует записи в черном списке, проверка по белому списку для такого события не выполняется.
Белый список используется для указания доверенных сущностей. Если событие соответствует записи в белом списке, это событие не обрабатывается далее.
При проверке исключений коррелятор действует в следующем порядке:
-
Событие проверяется по черному списку. Если есть совпадение, событие обрабатывается без проверки по белому списку.
-
Если совпадений в черном списке нет, событие проверяется по белому списку. Если есть совпадение, событие далее не обрабатывается.
-
Если нет совпадения в белом списке, событие обрабатывается в обычном порядке.
Черный и белый списки являются системными активными списками. Просмотреть и добавить в них записи можно в разделе Ресурсы → Активные списки веб-интерфейса системы.
Добавлять исключения можно также на основе корреляционных событий в разделах Поиск и Оповещения.
Лимиты для правил корреляции
Чтобы обеспечить стабильную работу коллектора, можно опционально задать лимиты потребления ресурсов для правил корреляции. Система автоматически отключит правило на конкретном корреляторе, если превышен любой из установленных лимитов. При этом остальные правила на этом корреляторе и данное правило на других корреляторах продолжат действовать.
Доступны следующие лимиты:
-
Максимальное количество корреляционных окон — задается в настройках правила и в настройках коррелятора.
-
Ограничения количества корреляционных событий за указанный период — задаются в настройках правила и в настройках коррелятора.
-
Потребление оперативной памяти и процессора — задается в настройках коррелятора.
При проверке превышения лимитов система использует следующий порядок:
-
Индивидуальные лимиты, заданные в конфигурации правила.
-
Общие лимиты, заданные на корреляторе. Данные лимиты применяются к каждому правилу, если индивидуальные лимиты не заданы.
Чтобы возобновить работу остановленного правила, необходимо перезапустить коллектор или заново установить конфигурацию конвейера.
Добавление коррелятора
Чтобы добавить коррелятор на конфигурацию конвейера:
-
Перейдите в конфигурацию требуемого конвейера.
-
Удостоверьтесь, что в выпадающем списке Версия на панели инструментов в окне конфигурации конвейера выбран вариант Черновик.
-
Нажмите на кнопку Добавить элемент и выберите из выпадающего списка пункт Коррелятор. Отобразится окно добавления коррелятора.
-
Введите название коррелятора.
-
Задайте интервал очистки событий в секундах. По истечении указанного периода в императивных правилах корреляции будет происходить очистка событий с истекшим временем жизни. Время жизни задается в поле
expire_after_secв структуре правила.По умолчанию интервал очистки равен 300 секундам.
-
Если нужно проверять события по черному и белому спискам, установите флажок Проверка исключений.
-
Если нужно настроить ограничения, при достижении которых корреляционные правила будут отключены, нажмите на кнопку Лимиты и задайте настройки лимитов в появившемся окне.
Настройки лимитов на корреляторе
-
Ограничения генерации корреляционных событий — установите переключатель в активное положение, чтобы настроить параметры для ограничения генерации корреляционных событий.
Доступны следующие параметры:
-
Количество событий — максимально допустимое количество корреляционных событий, генерируемых за указанный временной интервал.
-
Интервал для генерации событий — промежуток времени в секундах, в течение которого допустима генерация не более указанного количества корреляционных событий.
-
Время ожидания восстановления работы правила — промежуток времени в секундах, в течение которого ожидается восстановление количества генерируемых событий. Если работа правила не восстановится, система отключит его.
Пусть установлены следующие ограничения генерации корреляционных событий:
-
Количество событий — 10.
-
Интервал для генерации событий — 60 сек.
-
Время ожидания восстановления работы правила — 60 сек.
Предположим, правило сгенерировало более 10 событий за 60 секунд. Начинается время ожидания восстановления, правило в это время не отключается.
Если за последующие 60 секунд также будет сгенерировано более 10 событий, система отключит правило корреляции.
-
-
-
Максимальное количество корреляционных окон — установите переключатель в активное положение и введите максимальное допустимое количество корреляционных окон, которые могут быть запущены одновременно.
-
Потребление RAM — установите переключатель в активное положение и введите максимальный допустимый объем оперативной памяти в МБ, используемый одним правилом корреляции.
-
Потребление CPU — установите переключатель в активное положение и введите максимальный допустимый процент потребления процессора одним правилом корреляции.
Нажмите на кнопку Сохранить. Система установит ограничения и отобразит у кнопки Лимиты зеленый индикатор.
-
-
Добавьте в коррелятор правила корреляции.
Если коллектор, на котором размещен коррелятор, настроен для работы в режиме распределенной корреляции, он не поддерживает работу императивных правил корреляции. Чтобы добавить правило корреляции:
-
Раскройте дерево каталогов в левой части окна и выберите каталог, который содержит нужное правило корреляции. В правой части окна отобразится список правил корреляции, содержащихся в выбранном каталоге.
-
Установите флажок слева от правила корреляции, которое необходимо добавить в коррелятор.
-
-
Нажмите на кнопку Добавить. Новый коррелятор отобразится на диаграмме конфигурации.
|
Если в добавленных правилах содержатся отсутствующие активные списки или таблицы обогащения, система отобразит список ошибок с указанием ID и названий правил. Чтобы добавить конфигурацию с правилами, где обнаружены ошибки, установите флажок Игнорировать ошибки. Если флажок не установлен, правила с ошибками будут исключены. Нажмите на кнопку Готово, чтобы сохранить конфигурацию. |
Изменение коррелятора
Способ изменения идентичен для всех элементов конвейера и приведен в разделе Работа с конвейерами.
Удаление коррелятора
Способ удаления идентичен для всех элементов конвейера и приведен в разделе Работа с конвейерами.
Настройка коррелятора
Настройка коррелятора выполняется при его добавлении или изменении.
В окне настроек коррелятора отображается список правил корреляции в выбранном каталоге. Список представлен в виде таблицы со следующими столбцами:
-
ID — уникальный идентификационный код правила корреляции, присваиваемый системой автоматически при его создании.
-
Название — имя правила корреляции, используемое для его идентификации в системе.
-
Теги — пользовательские теги, присвоенные данному правилу корреляции.
-
Версия — версия правила корреляции, представленная в формате SemVer v2.0.
При работе с таблицей правил корреляции доступны следующие операции:
-
Поиск правил по полям ID, Название и Теги.
-
Фильтрация правил по тегам. Теги выбираются из выпадающего списка.
Также доступна фильтрация по наличию правил в корреляторе с помощью флажка Добавлено в коррелятор. При установке флажка в таблице отображаются только правила, уже добавленные в коррелятор.
-
Сортировка правил по полям ID, Название и Версия.
В окне настроек доступен функционал просмотра и добавления правил корреляции, а также обновления их версии.
Доступные операции по настройке коррелятора:
Просмотр правила корреляции
Чтобы просмотреть конфигурацию правила корреляции из окна настройки коррелятора, нажмите на ID соответствующего правила в списке. Система отобразит окно просмотра выбранного правила на новой вкладке браузера.
Добавление правил корреляции
Чтобы добавить правило корреляции в коррелятор:
-
Раскройте дерево каталогов в левой части окна настроек коррелятора и выберите каталог, который содержит нужное правило корреляции.
-
Установите флажок слева от правила корреляции, которое необходимо добавить в коррелятор.
Обновление версии правила корреляции
Обновление версий возможно только для правил, которые уже были добавлены в коррелятор ранее.
Вы можете обновить правила следующими способами:
-
Обновить одно конкретное правило. Для этого нажмите на кнопку
в правой части строки правила. -
Обновить сразу все правила. Для этого нажмите на кнопку
справа от поля поиска над таблицей.
|
Кнопка отображается, если существует более новая версия добавленного правила.
|
| Вы можете также выбрать последнюю версию правила в выпадающем списке версий. |
Была ли полезна эта страница?
