Работа с конвейерами

Данный раздел описывает процесс работы с конвейерами обработки событий в системе R-Vision SIEM. Работа осуществляется на вкладке Конвейеры в карточке коллектора.

О конвейерах

Конвейер — компонент коллектора, представляющий собой упорядоченную последовательность взаимосвязанных элементов, выполняющих различные этапы обработки событий. В процессе работы конвейера происходит прием событий, их нормализация, перенаправление, обогащение данными, фильтрация, агрегация, корреляционный анализ и отправка как отдельных, так и сгруппированных или коррелированных событий для хранения и/или передачи во внешние системы.

Список конвейеров коллектора отображается на вкладке Конвейеры в его карточке. Над списком расположено поле для поиска конвейеров по названию.

Добавление конвейера

Чтобы добавить конвейер:

Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).
Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.
Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.
В нижней части окна нажмите на кнопку Добавить. На экране отобразится окно добавления конвейера.
Введите название конвейера.

При необходимости введите описание конвейера.

Установите флажок Открыть конфигурацию конвейера, чтобы сразу перейти в окно настроек конфигурации конвейера после его создания.

Нажмите на кнопку Добавить. Система создаст конвейер и отобразит уведомление об успешном создании. Новый конвейер появится в списке на вкладке Конвейеры в карточке коллектора.

Импорт конвейера

Чтобы импортировать конвейер:

Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).
Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.
Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.
Нажмите на кнопку Импортировать в нижней части карточки. Отобразится окно импорта конвейера.
Нажмите на кнопку Выбрать файл и выберите файл конвейера для импорта.
Нажмите на кнопку Загрузить. Загруженный конвейер отобразится в списке конвейеров на вкладке Конвейеры в карточке коллектора.

Экспорт конвейера

Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).
Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.
Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.
Нажмите на кнопку действий () в строке конвейера и выберите опцию Экспортировать. Система отобразит окно подтверждения действия.
Нажмите на кнопку Экспортировать. Данные конвейера будут экспортированы в файл формата JSON.

Просмотр конвейера

Чтобы отобразить информацию о конвейере:

Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).
Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.
Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.
Нажмите на стрелку () в строке конвейера. Отобразится карточка конвейера, содержащая следующие поля:
- Название конвейера.
- Идентификатор конвейера.
- Описание конвейера.
- Статус конфигурации конвейера.
- Дата и время создания конвейера.
- Идентификатор пользователя, создавшего конвейер.
- Дата и время последнего изменения конвейера.
- Идентификатор пользователя, изменившего конвейер.
- Кнопка для настройки конфигурации конвейера.
- Кнопка для установки/отключения конфигурации конвейера.
- График с количеством зарегистрированных событий в секунду (EPS) за последние 30 минут с шагом в 5 минут.
- Адреса точек входа конвейера.

Настройка конфигурации конвейера

При настройке конвейера необходимо создать его компоненты, сконфигурировать их, упорядочить и объединить в последовательность, соответствующую логике обработки данных.

Для базовой обработки и хранения данных в системе достаточно настроить точку входа и конечную точку. Дополнительные элементы конвейера, такие как фильтр, нормализатор и коррелятор, позволяют настроить более сложную логику обработки данных, проходящих через конвейер событий.

Эти элементы можно разместить между точкой входа и конечной точкой в любой необходимой последовательности и комбинации. При этом можно использовать несколько элементов одного типа для более детализированной настройки обработки.

Для управления порядком и логикой прохождения данных через различные этапы конвейера можно применять маршрутизатор. Он позволяет перенаправлять и распределять поток данных в соответствии с заранее заданными условиями.

Чтобы настроить конвейер:

Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).
Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.
Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.
Нажмите на стрелку () в строке конвейера. Отобразится карточка конвейера.

Нажмите на кнопку Конфигурация конвейера в нижней части карточки. Отобразится диаграмма конфигурации, над которой расположены кнопки установки/отключения конфигурации конвейера.

Диаграмму конфигурации также можно открыть, нажав в строке конвейера в карточке коллектора кнопку действий () и выбрав опцию Конфигурация конвейера.
По умолчанию справа от переключателя состояния конвейера система показывает уведомление о трех выявленных ошибках из-за отсутствия элементов в конвейере. Для просмотра всех ошибок нажмите Показать.

Настройте конфигурацию конвейера:
1. Создайте и настройте элементы конвейера.
2. Свяжите элементы конвейера в определенной последовательности согласно желаемой логике получения, обработки и передачи данных.
Установите конфигурацию конвейера.

Если при настройке конвейера были допущены ошибки, система отобразит сообщение об этом справа от кнопки установки/отключения конфигурации конвейера. Для просмотра списка ошибок нажмите на кнопку Показать.

Интерфейс конфигурации конвейера

Редактирование конфигурации происходит на визуальной схеме через добавление элементов и связей между ними. Каждый элемент конвейера отвечает за конкретный этап обработки событий.

На схеме отображаются типы и названия элементов, а также дополнительная информация, которая зависит от типа элемента:

Точка входа:
- тип точки;
- адрес подключения (при наличии);
- порт подключения (при наличии);
- тип протокола (при наличии);
- уровни угрозы (для точки входа типа Audit).
Коррелятор: количество правил корреляции.
Нормализатор: количество правил нормализации.
Агрегатор: количество правил агрегации.
Сервис оповещений:
- название хранилища;
- название интеграции или количество интеграций, если их несколько;
- количество правил сегментации (включая правило по умолчанию).
Шина: тип соединения с шиной (Получение или Отправка).
Конечная точка: тип точки, а также, в зависимости от типа:
- для конечной точки Хранилище событий: название хранилища;
- для конечной точки Внешняя система: тип внешней системы и ее адрес (при наличии).

Если информация сокращена, при наведении курсора на элемент отображается всплывающее сообщение с полным текстом.

Каждый элемент имеет хотя бы один вход или выход, при этом вход может быть только один, а выходов может быть несколько. На схеме входы и выходы элемента обозначены метками на его боковых сторонах. Вход соответствует метке на левой стороне элемента, а выходы — метке на правой стороне.

Элементы конвейера соединены между собой направляющими линиями, которые указывают порядок и направление обработки событий. Элементы можно располагать между точкой входа и конечной точкой или шиной в любой желаемой последовательности и комбинации. Например, можно использовать несколько элементов одного типа.

Доступны два режима работы с конфигурацией конвейера:

Актуальная версия — доступен только просмотр конфигурации конвейера.
Черновик — доступно редактирование конфигурации конвейера.

Редактирование конфигурации в режиме черновика доступно даже при установленной конфигурации.

Чтобы установить режим работы с конфигурацией конвейера, выберите его из выпадающего списка Версия, который расположен в правой части панели инструментов.

В режиме черновика на панели инструментов доступны следующие кнопки:

Добавить элемент — позволяет добавить новый элемент конвейера.
Сбросить изменения () — позволяет сбросить изменения в черновике до сохраненной ранее конфигурации. Если изменений в черновике не было, кнопка не активна.
Отцентровать конвейер () — позволяет автоматически отмасштабировать и отцентровать диаграмму без упорядочивания ее элементов.
Упорядочить элементы () — позволяет автоматически упорядочить элементы, а также отмасштабировать и отцентровать диаграмму по ее элементам.
Посмотреть логи () — позволяет просмотреть логи коллектора.
Установить конфигурацию — позволяет установить настроенную в черновике конфигурацию конвейера.
Отключить конфигурацию — позволяет отключить текущую установленную конфигурацию конвейера.

В режиме актуальной версии на панели инструментов доступны следующие кнопки:

Посмотреть логи () — позволяет просмотреть логи коллектора.
Отключить конфигурацию — позволяет отключить текущую установленную конфигурацию конвейера.

Чтобы приблизить или отдалить элементы на диаграмме, используйте колесико мыши.
Чтобы перемещаться по диаграмме, зажмите кнопку мыши и перемещайте курсор в нужном направлении.

Также в режиме актуальной версии в нижней части каждого элемента конвейера отображаются следующие метрики:

Получено событий () — количество событий, полученных элементом за последние 30 минут;
Отправлено событий () — количество событий, отправленных элементом за последние 30 минут;
Ошибки () — количество ошибок на элементе за последние 30 минут.

Дополнительные метрики можно посмотреть во вкладке Метрики окна просмотра элемента конвейера.

Добавление элемента конвейера

Каждый элемент конвейера соответствует определенному этапу конвейера обработки событий. Добавление новых элементов конвейера доступно только в режиме черновика.

Доступные типы элементов:

Точка входа — имеет один выход и не имеет входов. Подключается к источнику данных и на выходе выдает поток исходных событий, поступающих из источника. Выбор типа точки входа зависит от формата получаемых данных.
VRL-трансформация — имеет один вход и один выход. На входе принимает события и проводит их преобразование. На выходе выдает преобразованные события. Инструкция для трансформации событий указывается с использованием языка VRL.

Рекомендуется для несложных модификаций в структуре событий: например, для использования одной или нескольких функций, упрощающих дальнейшую работу с событиями, или добавления/изменения/удаления поля в структуре.
Маршрутизатор — имеет один вход и несколько выходов: по одному выходу на каждый фильтр (маршрут), задаваемый на языке VRL. На входе проверяет каждое событие по условиям маршрутов и направляет его на выходы тех маршрутов, где условие фильтрации выполняется.
Фильтр — имеет один вход и один выход. Содержит условие фильтрации, задаваемое на языке VRL. На входе принимает событие, проверяет его по условию фильтрации и направляет на выход только в том случае, если условие выполняется. В противном случае событие отсеивается и не участвует в дальнейшей обработке.
Шина — работает в рамках одного коллектора. В зависимости от типа соединения на конфигурации конвейера, имеет либо только один вход без выходов (получение), либо только один выход без входов (отправка). Принимает события на входе соединения типа Получение и пересылает их на выход соединения типа Отправка.

Шины позволяют настроить обмен событиями между несколькими конвейерами.
Коррелятор — имеет один вход и один выход. На входе принимает поток событий и применяет к ним правила корреляции, определяя взаимосвязанные события, которые соответствуют заданным критериям. На выходе выдает корреляционные события.
Нормализатор — имеет один вход и один выход. На входе принимает поток событий и применяет к ним правила нормализации, осуществляя разбор и преобразование полученных полей события в нужную структуру. На выходе выдает нормализованные события.

Рекомендуется для проведения сложных и объемных преобразований, применения одних и тех же преобразований в нескольких конвейерах и возможности изменения правил преобразований без перезапуска конвейера.
Сервис оповещений — имеет один вход и не имеет выходов. Содержит настроенные связи между правилами сегментации и правилами корреляции. На входе принимает поток корреляционных событий и на основе заданных связей определяет, к какому оповещению должно быть отправлено то или иное корреляционное событие.
Конечная точка — имеет один вход и не имеет выходов. На входе принимает событие и, в зависимости от заданных настроек, пересылает его в хранилище событий или во внешнюю систему. Выбор типа конечной точки зависит от пункта назначения, в который пересылаются события.
Агрегатор — имеет один вход и один выход. На входе принимает поток событий и применяет к ним правила агрегации, объединяя события в группы. На выходе выдает агрегированные события, которые представляют собой совокупности характеристик исходных событий, удовлетворяющих условиям агрегации.
Сбор метрик — имеет один выход и не имеет входов. Собирает метрики по выбранным элементам конвейеров в рамках коллектора и на выходе выдает поток событий, содержащий собранные метрики.

Чтобы добавить элемент конвейера:

Удостоверьтесь, что в выпадающем списке Версия на панели инструментов выбран вариант Черновик.
Нажмите Добавить элемент над полем диаграммы.
Введите необходимые параметры и нажмите на кнопку Добавить. Новый элемент отобразится на схеме.

Добавленные элементы не учитываются по умолчанию в текущей установленной конфигурации. Чтобы подгрузить изменения в установленную конфигурацию, ее требуется установить заново.

Настройка связей между элементами конвейера

Настройка связей между элементами конвейера доступна только в режиме черновика.

Чтобы связать элементы, наведите курсор на метку, расположенную на боковой стороне элемента. Курсор примет вид крестика. Перетащите крестик к метке на другом элементе. Связь будет создана, порядок обработки событий будет определен логикой связи.

Один вход может быть соединен с несколькими выходами, а один выход — с несколькими входами. При этом недопустимы циклические связи.

Чтобы удалить связь между элементами, выделите ее и нажмите клавишу DELETE. В Windows также можно использовать клавишу BACKSPACE.

Настроенные связи не учитываются по умолчанию в текущей установленной конфигурации. Чтобы подгрузить изменения в установленную конфигурацию, ее требуется установить заново.

Просмотр элемента конвейера

Просмотр элементов конвейера доступен только в режиме актуальной версии конфигурации.

Чтобы просмотреть элемент конвейера:

Удостоверьтесь, что в выпадающем списке Версия на панели инструментов выбран вариант Актуальная.

Нажмите на кнопку Просмотр ( eye ) справа от названия элемента. Отобразится окно просмотра элемента.

В окне доступны две вкладки:

Информация — отображает заданные настройки элемента конвейера.

Метрики — отображает сведения о полученных и отправленных событиях, об ошибках, а также о загруженности элемента в виде соответствующих графиков. Отображаются сведения за последние 30 минут. Шаг графика — 15 секунд.

Доступны следующие графики:

Получено событий;
Отправлено событий;
Получено байт;
Отправлено байт;
Количество ошибок;

Утилизация компонента.

Метрика утилизации характеризует степень загруженности элемента. Она принимает значения от 0 до 1:

чем ближе утилизация к 1, тем меньше время простоя элемента;
если 0, то элемент не используется;
если 1, то элемент никогда не простаивает.

Для элемента типа Конечная точка дополнительно доступны графики Буферизировано событий и Буферизировано байт, отображающие статистику буферизации.

Для нормализаторов и корреляторов на вкладке Информация доступна кнопка Изменить для изменения заданных настроек.

Изменение элемента конвейера

Изменение элементов конвейера доступно только в режиме черновика.

Чтобы изменить элемент конвейера:

Удостоверьтесь, что в выпадающем списке Версия на панели инструментов выбран вариант Черновик.
Откройте окно настроек элемента одним из следующих способов:
- Нажмите на кнопку действий () справа от названия элемента и выберите опцию Изменить.
- Дважды нажмите на элемент на схеме конвейера.
Измените требуемые настройки элемента.
Нажмите на кнопку Сохранить. Система обновит информацию об элементе.

Изменение нормализаторов и корреляторов доступно также и в режиме актуальной версии конфигурации конвейера:

Удостоверьтесь, что в выпадающем списке Версия на панели инструментов выбран вариант Актуальная.
Нажмите на кнопку Просмотр () справа от названия элемента. Отобразится окно просмотра элемента.
Удостоверьтесь, что в окне просмотра элемента открыта вкладка Информация.
Нажмите на кнопку Изменить. Отобразится окно настройки элемента.
Измените требуемые настройки элемента.
Нажмите на кнопку Сохранить. Система обновит информацию об элементе.

Измененные настройки элементов не учитываются по умолчанию в текущей установленной конфигурации. Чтобы подгрузить изменения в установленную конфигурацию, ее требуется установить заново.

Удаление элемента конвейера

Удаление элементов конвейера доступно только в режиме черновика.

Чтобы удалить элемент конвейера:

Удостоверьтесь, что в выпадающем списке Версия на панели инструментов выбран вариант Черновик.
Нажмите на кнопку действий () справа от названия элемента и выберите опцию Удалить. Отобразится окно подтверждения удаления.
Нажмите на кнопку Удалить. Элемент конвейера будет удален.

Удаленные элементы не учитываются по умолчанию в текущей установленной конфигурации. Чтобы подгрузить изменения в установленную конфигурацию, ее требуется установить заново.

Валидация конвейера

При настройке конвейера система проверяет конфигурацию на наличие ошибок. Сообщение о количестве допущенных ошибок отображается справа от кнопки установки/отключения конфигурации конвейера. Чтобы просмотреть список ошибок, нажмите на кнопку Показать.

Могут возникать два типа ошибок: ошибки конфигурации конвейера в целом и ошибки отдельных элементов. Ошибки конвейера включают в себя:

Отсутствие хотя бы одного источника событий: точки входа, шины на получение событий или сбора метрик.

Для отладки конвейера вы можете использовать точку входа Demo Logs, которая генерирует случайные события.

Отсутствие хотя бы одной конечной точки, шины на отправку событий или сервиса оповещений.

Для отладки конвейера вы можете использовать конечную точку Blackhole, которая не сохраняет и не отправляет события.

Ошибки элементов связаны с некорректной настройкой конкретных элементов. Чтобы перейти к проблемному элементу, под описанием ошибки нажмите на кнопку К элементу. Ошибки элементов включают:

Отсутствие связей на входе элемента.
Отсутствие связей на выходе элемента.
Невалидный код VRL.
Неуникальное значение порта в точке входа.
Правило, содержащее отсутствующий активный список.
Правило, содержащее отсутствующую таблицу обогащения.
Циклическая связь элементов. Ошибка возникает, если элемент связан сам с собой через другие элементы.
Отсутствие необходимых ресурсов. Ошибка возникает, если в конфигурации элементе импортированного конвейера указаны ресурсы, которые отсутствуют в системе. Это могут быть:
- Драйвер БД в точке входа Database;
- Хранилище событий в конечной точке;
- Секреты в точке входа или конечной точке.

Установка конфигурации конвейера

Установка конфигурации конвейера доступна только в режиме черновика.

Для того чтобы установить конфигурацию конвейера на коллектор, убедитесь, что связанный с ним коллектор уже включен.

Чтобы установить конфигурацию конвейера на коллектор:

Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).
Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.
Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.
Нажмите на стрелку () в строке конвейера. Отобразится карточка конвейера.
Нажмите на кнопку Конфигурация конвейера в нижней части карточки. Отобразится диаграмма конфигурации, над которой расположены кнопки установки/отключения конфигурации конвейера.
Удостоверьтесь, что в выпадающем списке Версия на панели инструментов выбран вариант Черновик.
Нажмите на кнопку Установить конфигурацию над диаграммой конфигурации. Отобразится окно подтверждения установки конфигурации.
Нажмите на кнопку Установить. Система обновит статус конвейера и отобразит уведомление о включении. События начнут поступать в систему и обрабатываться согласно настроенной в черновике конфигурации конвейера.

Отключение активной конфигурации доступно из любого режима работы с конвейером.

Чтобы отключить активную конфигурацию конвейера, нажмите на кнопку Отключить конфигурацию над диаграммой конфигурации и подтвердите отключение. Система отобразит уведомление об отключении конвейера и обновит информацию о статусе конвейера в его карточке. События перестанут поступать в систему и нормализовываться.

Чтобы выйти из диаграммы конфигурации, нажмите на кнопку Назад в левой верхней части экрана.

Включить и выключить конвейер также можно в карточке конвейера:

Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).
Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.
Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.
Нажмите на стрелку () в строке конвейера. Отобразится карточка конвейера.
Включите/выключите конвейер:
- Для включения конвейера используйте кнопку Установить конфигурацию в нижней части карточки.
- Для выключения конвейера используйте кнопку Отключить конфигурацию в нижней части карточки.

Изменение конвейера

Перед тем как редактировать конфигурацию конвейера, убедитесь, что его конфигурация не установлена на коллектор.

Чтобы изменить конвейер:

Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).
Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.
Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.
Нажмите на кнопку действий () в строке конвейера и выберите опцию Изменить. Система отобразит окно редактирования конвейера.
Внесите изменения в требуемые поля.
Нажмите на кнопку Сохранить. Измененные данные конвейера будут сохранены.

Создание копии конвейера

Чтобы создать копию конвейера:

Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).
Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.
Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.
Нажмите на кнопку действий () в строке конвейера и выберите опцию Создать копию. Система отобразит окно создания копии конвейера.
Измените требуемые поля конвейера.
Нажмите на кнопку Создать. Копия конвейера появится в списке конвейеров на вкладке Конвейеры в карточке коллектора.

Удаление конвейера

Удаление недоступно для конвейеров, используемых в других сущностях системы.

Чтобы удалить конвейер:

Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).
Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.
Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.
Нажмите на кнопку действий () в строке конвейера и выберите опцию Удалить. Система отобразит окно подтверждения действия.
Нажмите на кнопку Удалить. Система отобразит уведомление об удалении выбранного конвейера, и конвейер исчезнет из списка конвейеров на вкладке Конвейеры в карточке коллектора.

Вместе с конвейером также удаляются и все добавленные в него элементы.