Работа с конвейерами

Данный раздел описывает процесс работы с конвейерами обработки событий в системе R-Vision SIEM. Работа осуществляется на вкладке Конвейеры в карточке коллектора.

О конвейерах

Конвейер — компонент коллектора, представляющий собой упорядоченную последовательность взаимосвязанных элементов, выполняющих различные этапы обработки событий. В процессе работы конвейера происходит прием событий, их нормализация, перенаправление, обогащение данными, фильтрация, агрегация, корреляционный анализ и отправка как отдельных, так и сгруппированных или коррелированных событий для хранения и/или передачи во внешние системы.

Список конвейеров коллектора отображается на вкладке Конвейеры в его карточке. Над списком расположено поле для поиска конвейеров по названию.

Добавление конвейера

Чтобы добавить конвейер:

Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).
Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.
Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.
В нижней части окна нажмите на кнопку Добавить. На экране отобразится окно добавления конвейера.
Введите название конвейера.

При необходимости введите описание конвейера.

Установите флажок Открыть конфигурацию конвейера, чтобы сразу перейти в окно настроек конфигурации конвейера после его создания.

Нажмите на кнопку Добавить. Система отобразит уведомление о добавлении конвейера. Новый конвейер появится в списке конвейеров на вкладке Конвейеры в карточке коллектора.

Импорт конвейера

Чтобы импортировать конвейер:

Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).
Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.
Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.
Нажмите на кнопку Импортировать в нижней части карточки. Отобразится окно импорта конвейера.
Нажмите на кнопку Выбрать файл и выберите файл конвейера для импорта.
Нажмите на кнопку Загрузить. Загруженный конвейер отобразится в списке конвейеров на вкладке Конвейеры в карточке коллектора.

Просмотр конвейера

Чтобы отобразить информацию о конвейере:

Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).
Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.
Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.
Нажмите на стрелку () в строке конвейера. Отобразится карточка конвейера, содержащая следующие поля:
- Название конвейера.
- Идентификатор конвейера.
- Описание конвейера.
- Статус конфигурации конвейера.
- Дата и время создания конвейера.
- Идентификатор пользователя, создавшего конвейер.
- Дата и время последнего изменения конвейера.
- Идентификатор пользователя, изменившего конвейер.
- Кнопка для настройки конфигурации конвейера.
- Кнопка для установки/отключения конфигурации конвейера.
- График с количеством зарегистрированных событий в секунду (EPS) за последние 30 минут с шагом в 5 минут.
- Адреса точек входа конвейера.

Настройка конфигурации конвейера

При настройке конвейера необходимо создать его компоненты, сконфигурировать их, упорядочить и объединить в последовательность, соответствующую логике обработки данных.

Для базовой обработки и хранения данных в системе достаточно настроить точку входа и конечную точку. Дополнительные элементы конвейера, такие как фильтр, нормализатор и коррелятор, позволяют настроить более сложную логику обработки данных, проходящих через конвейер событий.

Эти элементы можно разместить между точкой входа и конечной точкой в любой необходимой последовательности и комбинации. При этом можно использовать несколько элементов одного типа для более детализированной настройки обработки.

Для управления порядком и логикой прохождения данных через различные этапы конвейера можно применять маршрутизатор. Он позволяет перенаправлять и распределять поток данных в соответствии с заранее заданными условиями.

Чтобы настроить конвейер:

Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).
Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.
Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.
Нажмите на стрелку () в строке конвейера. Отобразится карточка конвейера.

Нажмите на кнопку Конфигурация конвейера в нижней части карточки. Отобразится диаграмма конфигурации, над которой расположены кнопки установки/отключения конфигурации конвейера.

Диаграмму конфигурации также можно открыть с помощью опции Конфигурация конвейера в выпадающем меню Действия () в строке конвейера в карточке коллектора.
По умолчанию справа от переключателя состояния конвейера система показывает уведомление о трех выявленных ошибках из-за отсутствия элементов в конвейере. Для просмотра всех ошибок нажмите Показать.

Настройте конфигурацию конвейера:
1. Создайте и настройте элементы конвейера.
2. Свяжите элементы конвейера в определенной последовательности согласно желаемой логике получения, обработки и передачи данных.
Установите конфигурацию конвейера.

Если при настройке конвейера были допущены ошибки, система отобразит сообщение об этом справа от кнопки установки/отключения конфигурации конвейера. Для просмотра списка ошибок нажмите на кнопку Показать.

Интерфейс конфигурации конвейера

Редактирование конфигурации происходит на визуальной схеме через добавление элементов и связей между ними. Каждый элемент конвейера отвечает за конкретный этап обработки событий.

На схеме отображаются типы и названия элементов, а также дополнительная информация, которая зависит от типа элемента:

Точка входа:
- тип точки;
- адрес подключения (при наличии);
- порт подключения (при наличии);
- тип протокола (при наличии);
- уровни угрозы (для точки входа типа Audit).
Коррелятор: количество правил корреляции.
Нормализатор: количество правил нормализации.
Агрегатор: количество правил агрегации;
Сервис оповещений:
- название хранилища;
- название интеграции или количество интеграций, если их несколько;
- количество правил сегментации (включая правило по умолчанию).
Шина: тип соединения с шиной (Получение или Отправка).
Конечная точка: тип точки, а также, в зависимости от типа:
- для конечной точки Хранилище событий: название хранилища;
- для конечной точки Внешняя система: тип внешней системы и ее адрес (при наличии).

Если информация сокращена, при наведении курсора на элемент отображается всплывающее сообщение с полным текстом.

Каждый элемент имеет хотя бы один вход или выход, при этом вход может быть только один, а выходов может быть несколько. На схеме входы и выходы элемента обозначены круглыми метками на его боковых сторонах. Вход соответствует метке на левой стороне элемента, а выходы — метке на правой стороне.

Элементы конвейера соединены между собой направляющими линиями, которые указывают порядок и направление обработки событий. Элементы можно располагать между точкой входа и конечной точкой или шиной в любой желаемой последовательности и комбинации. Например, можно использовать несколько элементов одного типа.

Доступны два режима работы с конфигурацией конвейера:

Актуальная версия — доступен только просмотр конфигурации конвейера.
Черновик — доступно редактирование конфигурации конвейера.

Редактирование конфигурации в режиме черновика доступно даже при установленной конфигурации.

Чтобы установить режим работы с конфигурацией конвейера, выберите его из выпадающего списка Версия, который расположен в правой части панели инструментов.

В режиме черновика на панели инструментов доступны следующие кнопки:

Добавить элемент — позволяет добавить новый элемент конвейера.
Сбросить изменения () — позволяет сбросить изменения в черновике до сохраненной ранее конфигурации. Если изменений в черновике не было, кнопка не активна.
Отцентровать конвейер () — позволяет автоматически отмасштабировать и отцентрировать диаграмму без упорядочивания ее элементов.
Упорядочить элементы () — позволяет автоматически упорядочить элементы, а также отмасштабировать и отцентрировать диаграмму по ее элементам.
Посмотреть логи () — позволяет просмотреть логи коллектора.
Установить конфигурацию — позволяет установить настроенную в черновике конфигурацию конвейера.
Отключить конфигурацию — позволяет отключить текущую установленную конфигурацию конвейера.

В режиме актуальной версии на панели инструментов доступны следующие кнопки:

Посмотреть логи () — позволяет просмотреть логи коллектора.
Отключить конфигурацию — позволяет отключить текущую установленную конфигурацию конвейера.

Чтобы приблизить или отдалить элементы на диаграмме, используйте колесико мыши.
Чтобы перемещаться по диаграмме, зажмите кнопку мыши и перемещайте курсор в нужном направлении.

Добавление элемента конвейера

Каждый элемент конвейера соответствует определенному этапу конвейера обработки событий. Добавление новых элементов конвейера доступно только в режиме черновика.

Чтобы добавить элемент конвейера:

Удостоверьтесь, что в выпадающем списке Версия на панели инструментов выбран вариант Черновик.
Нажмите Добавить элемент над полем диаграммы.

Доступные типы элементов:
- Точка входа — имеет один выход и не имеет входов. Подключается к источнику данных и на выходе выдает поток исходных событий, поступающих из источника. Выбор типа точки входа зависит от формата получаемых данных.
- VRL-трансформация — имеет один вход и один выход. На входе принимает события и проводит их преобразование. На выходе выдает преобразованные события. Инструкция для трансформации событий указывается с использованием языка VRL.
  
  Рекомендуется для несложных модификаций в структуре событий: например, для использования одной или нескольких функций, упрощающих дальнейшую работу с событиями, или добавления/изменения/удаления поля в структуре.
- Маршрутизатор — имеет один вход и несколько выходов: по одному выходу на каждый фильтр (маршрут), задаваемый на языке VRL. На входе проверяет каждое событие по условиям маршрутов и направляет его на выходы тех маршрутов, где условие фильтрации выполняется.
- Фильтр — имеет один вход и один выход. Содержит условие фильтрации, задаваемое на языке VRL. На входе принимает событие, проверяет его по условию фильтрации и направляет на выход только в том случае, если условие выполняется. В противном случае событие отсеивается и не участвует в дальнейшей обработке.
- Шина — работает в рамках одного коллектора. В зависимости от типа соединения на конфигурации конвейера, имеет либо только один вход без выходов (получение), либо только один выход без входов (отправка). Принимает события на входе соединения типа Получение и пересылает их на выход соединения типа Отправка.
  
  Шины позволяют настроить обмен событиями между несколькими конвейерами.
- Коррелятор — имеет один вход и один выход. На входе принимает поток событий и применяет к ним правила корреляции, определяя взаимосвязанные события, которые соответствуют заданным критериям. На выходе выдает корреляционные события.
- Нормализатор — имеет один вход и один выход. На входе принимает поток событий и применяет к ним правила нормализации, осуществляя разбор и преобразование полученных полей события в нужную структуру. На выходе выдает нормализованные события.
  
  Рекомендуется для проведения сложных и объемных преобразований, применения одних и тех же преобразований в нескольких конвейерах и возможности изменения правил преобразований без перезапуска конвейера.
- Сервис оповещений — имеет один вход и не имеет выходов. Содержит настроенные связи между правилами сегментации и правилами корреляции. На входе принимает поток корреляционных событий и на основе заданных связей определяет, к какому оповещению должно быть отправлено то или иное корреляционное событие.
- Конечная точка — имеет один вход и не имеет выходов. На входе принимает событие и, в зависимости от заданных настроек, пересылает его в хранилище событий или во внешнюю систему. Выбор типа конечной точки зависит от пункта назначения, в который пересылаются события.
- Агрегатор — имеет один вход и один выход. На входе принимает поток событий и применяет к ним правила агрегации, объединяя события в группы. На выходе выдает агрегированные события, которые представляют собой совокупности характеристик исходных событий, удовлетворяющих условиям агрегации.
- Сбор метрик — имеет один выход и не имеет входов. Собирает метрики по выбранным элементам конвейеров в рамках коллектора и на выходе выдает поток событий, содержащий собранные метрики.

Добавленные элементы не учитываются по умолчанию в текущей установленной конфигурации. Чтобы подгрузить изменения в установленную конфигурацию, ее требуется установить заново.

Добавление точки входа

Точка входа поставляет в систему поток исходных (сырых) событий. Выбор формата точки входа зависит от формата данных, получаемых из источника события. Точка входа имеет один выход и не имеет входов.

Чтобы добавить точку входа на конвейер:

Удостоверьтесь, что в выпадающем списке Версия на панели инструментов выбран вариант Черновик.
Нажмите на кнопку Добавить элемент и выберите из выпадающего списка пункт Точка входа. Отобразится окно добавления точки входа.
При необходимости выберите шаблон для автоматического заполнения полей точки входа. По умолчанию выбран вариант Без шаблона.

Заполните поля (набор и содержание полей могут отличаться в зависимости от типа точки):

Название точки входа.

Тип точки входа.

Каждая точка входа типа Database, размещенная на конвейере коллектора, использует 256 МБ оперативной памяти (RAM) из ресурсов коллектора. Если планируется размещение точек входа типа Database, необходимо учитывать их суммарное потребление памяти при распределении ресурсов коллектора.

Политика аудита источников.

Точка входа может быть привязана только к одной политике аудита источников, но к одной политике может быть привязано несколько точек входа.

Формат точки входа.
Данные для подключения.
Настройки шифрования соединения (опционально).
Количество событий (опционально).
Интервал в секундах (опционально).

Установите флажок Сохранить как шаблон, если настройку точки входа необходимо сохранить в качестве шаблона для дальнейшего использования.
Нажмите Добавить. Новая точка входа отобразится на схеме.

Добавление нормализатора

Нормализатор представляет собой комплекс правил нормализации. Каждое такое правило состоит из двух основных компонентов: кода нормализации, выполненного на языке VRL, и фильтра. В случае наличия фильтра, выполнение соответствующего правила нормализации инициируется только при соблюдении условий этого фильтра для входящего события.

Порядок применения правил нормализации определяется последовательностью их добавления в нормализатор. Таким образом, события проходят через набор правил в установленном порядке, что позволяет осуществлять сложные сценарии нормализации данных.

Нормализатор на входе принимает события, преобразует/обогащает их и выдает преобразованные события на выходе.

Чтобы добавить нормализатор на конвейер:

Удостоверьтесь, что в выпадающем списке Версия на панели инструментов выбран вариант Черновик.
Нажмите на кнопку Добавить элемент и выберите из выпадающего списка пункт Нормализатор. Отобразится окно добавления нормализатора.
Введите название нормализатора.
При необходимости из выпадающего списка Обработка ошибок выберите шину коллектора, в которую будет отправлено событие в случае возникновения ошибок обработки. По умолчанию выбран вариант События с ошибкой.
Добавьте в нормализатор правила нормализации.

Чтобы добавить правило нормализации:
1. Раскройте дерево каталогов в левой части окна и выберите каталог, который содержит нужное правило нормализации.
2. Установите флажок слева от правила нормализации, которое необходимо добавить в нормализатор.
Нажмите на кнопку Добавить. Новый нормализатор отобразится на схеме.

Если в добавленных правилах содержатся отсутствующие активные списки или таблицы обогащения, система отобразит список ошибок с указанием ID и названий правил.

Чтобы добавить конфигурацию с правилами, где обнаружены ошибки, установите флажок Игнорировать ошибки. Если флажок не установлен, правила с ошибками будут исключены.

Нажмите на кнопку Готово, чтобы сохранить конфигурацию.

Добавление коррелятора

Коррелятор представляет собой комплекс правил корреляции. Правила корреляции позволяют обнаруживать и анализировать взаимосвязанные события на основе правил, написанных на языке описания преобразований и корреляций. Эти правила также могут инициировать действия после обнаружения, такие как создание корреляционных событий и оповещений.

Порядок применения правил корреляции определяется последовательностью их добавления в коррелятор. Таким образом, события проходят через набор правил в установленном порядке, что позволяет осуществлять сложные сценарии корреляции данных.

Коррелятор на входе применяет правила корреляции к потоку событий. На выходе выдает корреляционные события.

Чтобы добавить коррелятор на конвейер:

Удостоверьтесь, что в выпадающем списке Версия на панели инструментов выбран вариант Черновик.
Нажмите на кнопку Добавить элемент и выберите из выпадающего списка пункт Коррелятор. Отобразится окно добавления коррелятора.
Введите название коррелятора.
Задайте интервал проверок в секундах. По умолчанию интервал равен 300 секундам.

Добавьте в коррелятор правила корреляции.

Если коллектор, на котором размещен коррелятор, настроен для работы в режиме распределнной корреляции, он не поддерживает работу императивных правил корреляции.

Чтобы добавить правило корреляции:

Раскройте дерево каталогов в левой части окна и выберите каталог, который содержит нужное правило корреляции.
Установите флажок слева от правила корреляции, которое необходимо добавить в коррелятор.

Нажмите на кнопку Добавить. Новый коррелятор отобразится на схеме.

Нажмите на кнопку Готово, чтобы сохранить конфигурацию.

Добавление агрегатора

Агрегатор представляет собой компонент конвейера, который использует правила агрегации для объединения и анализа групп событий безопасности. Каждое правило агрегации включает в себя критерии для группировки событий, условия начала и завершения агрегации, а также стратегии агрегации для каждого поля. Агрегация инициируется в соответствии с условиями, определенными в правилах, и преобразует входящий поток событий в агрегированные данные.

Порядок применения правил агрегации определяется последовательностью их добавления в агрегатор. Это позволяет управлять процессом агрегации и определять, какие события будут объединены вместе.

Агрегатор на входе принимает поток событий, производит их агрегацию и выдает агрегированные события на выходе.

Чтобы добавить агрегатор на конвейер:

Удостоверьтесь, что в выпадающем списке Версия на панели инструментов выбран вариант Черновик.
Нажмите на кнопку Добавить элемент и выберите из выпадающего списка пункт Агрегатор. Отобразится окно добавления агрегатора.
Введите название агрегатора.
Добавьте в агрегатор правила агрегации.

Чтобы добавить правило агрегации:
1. Раскройте дерево каталогов в левой части окна и выберите каталог, который содержит нужное правило агрегации.
2. Установите флажок слева от правила агрегации, которое необходимо добавить в агрегатор.
Нажмите на кнопку Добавить. Новый агрегатор отобразится на схеме.

Нажмите на кнопку Готово, чтобы сохранить конфигурацию.

Добавление VRL-трансформации

VRL-трансформация служит для обработки и преобразования событий с применением языка VRL. Этот элемент конвейера принимает на вход события, проводит их преобразование и на выходе предоставляет уже преобразованные события.

Чтобы добавить VRL-трансформацию на конвейер:

Удостоверьтесь, что в выпадающем списке Версия на панели инструментов выбран вариант Черновик.
Нажмите на кнопку Добавить элемент и выберите из выпадающего списка пункт VRL-трансформация. Отобразится окно добавления VRL-трансформации.
При необходимости выберите шаблон для автоматического заполнения полей VRL-трансформации. По умолчанию выбран вариант Без шаблона.
Введите название VRL-трансформации.
Введите правило, по которому будет преобразовываться событие, на языке VRL.

В редакторе кода доступны горячие клавиши.
При необходимости из выпадающего списка Обработка ошибок выберите шину коллектора, в которую будет отправлено событие в случае возникновения ошибок обработки. По умолчанию выбран вариант События с ошибкой.
Установите флажок Сохранить как шаблон, если настройку VRL-трансформации необходимо сохранить в качестве шаблона для дальнейшего использования.
Нажмите на кнопку Добавить. Новая VRL-трансформация отобразится на схеме.

Если в коде VRL содержится обращение к отсутствующим активным спискам или таблицам обогащения, система отобразит предупреждение с названиями списков и таблиц.

Чтобы сохранить конфигурацию с ошибками, нажмите на кнопку Игнорировать.

Пример:

Добавим условие на языке VRL, согласно которому исходное событие будет обогащаться дополнительным полем responseStatus. В нем будет устанавливаться значение "Bad request", если в поле status приходящего на VRL-трансформация события установлено значение 401 или 404.

Для этого в свойствах VRL-трансформации пропишем следующее условие:

Example 1. Пример VRL-трансформации, язык VRL

if .status == "404" || .status == "401" {
.responseStatus = "Bad request"
}

Интерпретация

if .status == "404" || .status == "401":

Условное выражение проверяет, равно ли значение поля status события строке "404" или "401".

.responseStatus = "Bad request":

Если условие выше выполняется, то поле responseStatus текущего события устанавливается в значение "Bad request".

Добавление маршрутизатора

Маршрутизатор направляет события на разные этапы обработки в зависимости от их содержимого или других условий. Маршрутизатор имеет один вход и несколько выходов. На входе каждое событие проверяется по условиям и появляется на тех выходах, где условие выполняется.

Чтобы добавить маршрутизатор на конвейер:

Удостоверьтесь, что в выпадающем списке Версия на панели инструментов выбран вариант Черновик.
Нажмите на кнопку Добавить элемент и выберите из выпадающего списка пункт Маршрутизатор. Отобразится окно добавления маршрутизатора.
Введите название маршрутизатора.

Для маршрутизатора недопустимо использование названий "_unmatched" и "_default".
При необходимости установите флажок Добавить маршрут по умолчанию. В этом случае к маршрутизатору будет добавлен маршрут По умолчанию, на выход которого будут попадать те события, которые не удовлетворяют условиям остальных маршрутов.

При неустановленном флажке события, не удовлетворяющие условиям ни одного из маршрутов, будут удаляться.
Нажмите на кнопку Добавить. Новый маршрутизатор отобразится на схеме.

Добавление фильтра

Фильтр предназначен для сокращения объема обрабатываемых событий путём их отсеивания на основе заданных условий. Условия обычно формулируются через имена полей и их значения, и для их определения используются математические и логические операторы. Например, условие externalId == "4648" && categoryOutcome == "Success" позволяет пропустить через фильтр только те события, которые удовлетворяют этим критериям.

У фильтра есть один вход и один выход. На вход фильтра подается событие, и если оно соответствует заданным условиям, то проходит на выход. В противном случае событие отсеивается и не участвует в дальнейшей обработке.

Чтобы добавить фильтр на конвейер:

Удостоверьтесь, что в выпадающем списке Версия на панели инструментов выбран вариант Черновик.
Нажмите на кнопку Добавить элемент и выберите из выпадающего списка пункт Фильтр. Отобразится окно добавления фильтра.
При необходимости выберите шаблон для автоматического заполнения полей фильтра. По умолчанию выбран вариант Без шаблона.
Введите название фильтра.
Задайте условие фильтрации входящих событий на языке VRL.

Условия обычно формулируются через имена полей и их значения, и для их определения используются математические и логические операторы.

В редакторе кода доступны горячие клавиши.
Установите флажок Сохранить как шаблон, если настройку фильтра необходимо сохранить в качестве шаблона для дальнейшего использования.
Нажмите на кнопку Добавить. Новый фильтр отобразится на схеме.

Чтобы сохранить конфигурацию с ошибками, нажмите на кнопку Игнорировать.

Пример:

Чтобы создать фильтр, который пропускает только события с хоста 170.174.42.191, необходимо задать следующее условие в поле Условие фильтра:

Example 2. Пример условия фильтрации событий

.event.host == "170.174.42.191"

Добавление сбора метрик

Сбор метрик позволяет собирать метрики по элементам конвейеров в рамках коллектора для их дальнейшей обработки и анализа.

Например, с помощью сбора метрик можно отслеживать поступление событий от источника на конвейер и выявлять ситуации, когда точка входа перестает получать события. Это позволяет своевременно детектировать и исправлять ошибки в работе конвейера.

Сбор метрик имеет один выход и не имеет входов. На выходе выдает события, содержащие собранные метрики.

Чтобы добавить сбор метрик на конвейер:

Удостоверьтесь, что в выпадающем списке Версия на панели инструментов выбран вариант Черновик.
Нажмите на кнопку Добавить элемент. Отобразится выпадающее меню элементов конвейера.
Выберите пункт Сбор метрик. Отобразится окно добавления сбора метрик.
Введите название сбора метрик.
Задайте интервал между сборами метрик в секундах в поле Период сбора метрик. Период можно ввести вручную или задать с помощью кнопок и .
Выберите элементы для сбора метрик из дерева элементов. Для выбора доступны элементы всех конвейеров в рамках коллектора.

Чтобы выбрать элемент, установите флажок слева от его названия в списке.

Элементы в дереве сгруппированы по конвейерам. Чтобы просмотреть список элементов нужного конвейера, нажмите на кнопку справа от его названия.

Чтобы скрыть отображенный список элементов конвейера, нажмите на кнопку справа от его названия.
Нажмите на кнопку Добавить. Новый сбор метрик отобразится на схеме.

Добавление конечной точки

Конечная точка определяет, куда направляются обработанные события, например, в хранилище или на внешний интерфейс. Конечная точка, в зависимости от настроек, пересылает нормализованное событие в хранилище событий или внешнюю систему. Имеет один вход и не имеет выходов.

Чтобы добавить конечную точку на конвейер:

Удостоверьтесь, что в выпадающем списке Версия на панели инструментов выбран вариант Черновик.
Нажмите на кнопку Добавить элемент и выберите из выпадающего списка пункт Конечная точка. Отобразится окно добавления конечной точки.
При необходимости выберите шаблон для автоматического заполнения полей конечной точки. По умолчанию выбран вариант Без шаблона.
Заполните поля (набор и содержание полей могут отличаться в зависимости от типа точки):
- Название конечной точки.
- Тип конечной точки.
- Формат конечной точки.
Установите флажок Сохранить как шаблон, если настройку конечной точки необходимо сохранить в качестве шаблона для дальнейшего использования.
Нажмите Добавить. Новая конечная точка отобразится на схеме.

Добавление шины

Шина позволяет направлять потоки событий между конвейерами. В коллекторе может быть одна или несколько шин. Шина поддерживает два типа соединения: на получение и на отправку событий. Два конвейера событий могут сообщаться друг с другом посредством Шины.

Чтобы добавить шину на конвейер:

Перейдите на вкладку Шины в карточке коллектора. Система отобразит список шин коллектора.
В нижней части карточки нажмите на кнопку Добавить. На экране отобразится окно добавления шины.
Введите название шины.
При необходимости введите описание шины.
Нажмите на кнопку Добавить. Шина будет создана и отобразится в списке шин на вкладке Шины в карточке коллектора.
Перейдите на вкладку Конвейеры в карточке коллектора и раскройте его карточку нажав на стрелку в строке конвейера.
Нажмите на кнопку Конфигурация конвейера в нижней части карточки коллектора. Отобразится диаграмма конфигурации конвейера.
Удостоверьтесь, что в выпадающем списке Версия на панели инструментов выбран вариант Черновик.
Нажмите на кнопку Добавить элемент и выберите из выпадающего списка пункт Шина. Отобразится окно добавления соединения с шиной.
Выберите из выпадающего списка шину, с которой требуется задать соединение. На выбор доступны только шины текущего коллектора.
Введите название соединения с шиной.
Выберите из выпадающего списка тип соединения с шиной (получение/отправка).
Нажмите на кнопку Добавить. Соединение с шиной отобразится на схеме.

Настройка связей между элементами конвейера

Настройка связей между элементами конвейера доступна только в режиме черновика.

Чтобы связать элементы, наведите курсор на круглую метку, расположенную на боковой стороне элемента. Курсор примет вид крестика. Перетащите крестик к метке на другом элементе. Связь будет создана, порядок обработки событий будет определен логикой связи.

Чтобы удалить связь между элементами, выделите ее и нажмите клавишу BACKSPACE (только на Windows) или DELETE.

Настроенные связи не учитываются по умолчанию в текущей установленной конфигурации. Чтобы подгрузить изменения в установленную конфигурацию, ее требуется установить заново.

Просмотр элемента конвейера

Просмотр элементов конвейера доступен только в режиме актуальной версии конфигурации.

Чтобы просмотреть элемент конвейера:

Удостоверьтесь, что в выпадающем списке Версия на панели инструментов выбран вариант Актуальная.

Нажмите на кнопку Просмотр ( eye ) справа от названия элемента. Отобразится окно просмотра элемента.

В окне доступны две вкладки:

Информация — отображает заданные настройки элемента конвейера.

Метрики — отображает сведения о полученных и отправленных событиях, об ошибках, а также о загруженности элемента в виде соответствующих графиков. Отображаются сведения за последние 30 минут. Шаг графика — 15 секунд.

Доступны следующие графики:

Получено событий;
Отправлено событий;
Получено байт;
Отправлено байт;
Количество ошибок;

Утилизация компонента.

Метрика утилизации характеризует степень загруженности элемента. Она принимает значения от 0 до 1:

чем ближе утилизация к 1, тем меньше время простоя элемента;
если 0, то элемент не используется;
если 1, то элемент никогда не простаивает.

Для элемента типа Конечная точка дополнительно доступны графики Буферизировано событий и Буферизировано байт, отображающие статистику буферизации.

Для нормализаторов и корреляторов на вкладке Информация доступна кнопка Изменить для изменения заданных настроек.

Изменение элемента конвейера

Изменение элементов конвейера доступно только в режиме черновика.

Чтобы изменить элемент конвейера:

Удостоверьтесь, что в выпадающем списке Версия на панели инструментов выбран вариант Черновик.
Откройте окно настроек элемента одним из следующих способов:
- Выберите опцию Изменить в выпадающем меню Действия () справа от названия элемента.
- Дважды нажмите на элемент на схеме конвейера.
Измените требуемые настройки элемента.
Нажмите на кнопку Сохранить. Система обновит информацию об элементе.

Изменение нормализаторов и корреляторов доступно также и в режиме актуальной версии конфигурации конвейера:

Удостоверьтесь, что в выпадающем списке Версия на панели инструментов выбран вариант Актуальная.
Нажмите на кнопку Просмотр () справа от названия элемента. Отобразится окно просмотра элемента.
Удостоверьтесь, что в окне просмотра элемента открыта вкладка Информация.
Нажмите на кнопку Изменить. Отобразится окно настройки элемента.
Измените требуемые настройки элемента.
Нажмите на кнопку Сохранить. Система обновит информацию об элементе.

Измененные настройки элементов не учитываются по умолчанию в текущей установленной конфигурации. Чтобы подгрузить изменения в установленную конфигурацию, ее требуется установить заново.

Удаление элемента конвейера

Удаление элементов конвейера доступно только в режиме черновика.

Чтобы удалить элемент конвейера:

Удостоверьтесь, что в выпадающем списке Версия на панели инструментов выбран вариант Черновик.
Выберите опцию Удалить в выпадающем меню Действия () справа от названия элемента. Отобразится окно подтверждения удаления.
Нажмите на кнопку Удалить. Элемент конвейера будет удален.

Удаленные элементы не учитываются по умолчанию в текущей установленной конфигурации. Чтобы подгрузить изменения в установленную конфигурацию, ее требуется установить заново.

Валидация конвейера

При настройке конвейера система проверяет конфигурацию на наличие ошибок. Сообщение о количестве допущенных ошибок отображается справа от кнопки установки/отключения конфигурации конвейера. Чтобы просмотреть список ошибок, нажмите на кнопку Показать.

Могут возникать два типа ошибок: ошибки конфигурации конвейера в целом и ошибки отдельных элементов. Ошибки конвейера включают в себя:

Отсутствие хотя бы одного источника событий: точки входа, шины на получение событий или сбора метрик.

Для отладки конвейера вы можете использовать точку входа Demo Logs, которая генерирует случайные события.

Отсутствие хотя бы одной конечной точки, шины на отправку событий или сервиса оповещений.

Для отладки конвейера вы можете использовать конечную точку Blackhole, которая не сохраняет и не отправляет события.

Ошибки элементов связаны с некорректной настройкой конкретных элементов. Чтобы перейти к проблемному элементу, под описанием ошибки нажмите на кнопку К элементу. Ошибки элементов включают:

Отсутствие связей на входе элемента.
Отсутствие связей на выходе элемента.
Невалидный код VRL.
Неуникальное значение порта в точке входа.
Правило, содержащее отсутствующий активный список.
Правило, содержащее отсутствующую таблицу обогащения.
Циклическая связь элементов. Ошибка возникает, если элемент связан сам с собой через другие элементы.
Отсутствие необходимых ресурсов. Ошибка возникает, если в конфигурации элементе импортированного конвейера указаны ресурсы, которые отсутствуют в системе. Это могут быть:
- Драйвер БД в точке входа Database;
- Хранилище событий в конечной точке;
- Секреты в точке входа или конечной точке.

Установка конфигурации конвейера

Установка конфигурации конвейера доступна только в режиме черновика.

Для того чтобы установить конфигурацию конвейера на коллектор, убедитесь, что связанный с ним коллектор уже включен.

Чтобы установить конфигурацию конвейера на коллектор:

Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).
Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.
Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.
Нажмите на стрелку () в строке конвейера. Отобразится карточка конвейера.
Нажмите на кнопку Конфигурация конвейера в нижней части карточки. Отобразится диаграмма конфигурации, над которой расположены кнопки установки/отключения конфигурации конвейера.
Удостоверьтесь, что в выпадающем списке Версия на панели инструментов выбран вариант Черновик.
Нажмите на кнопку Установить конфигурацию над диаграммой конфигурации. Отобразится окно подтверждения установки конфигурации.
Нажмите на кнопку Установить. Система отобразит уведомление о включении конвейера и обновит информацию о статусе конвейера в его карточке. События начнут поступать в систему и обрабатываться согласно настроенной в черновике конфигурации конвейера.

Отключение активной конфигурации доступно из любого режима работы с конвейером.

Чтобы отключить активную конфигурацию конвейера, нажмите на кнопку Отключить конфигурацию над диаграммой конфигурации и подтвердите отключение. Система отобразит уведомление об отключении конвейера и обновит информацию о статусе конвейера в его карточке. События перестанут поступать в систему и нормализовываться.

Чтобы выйти из диаграммы конфигурации, нажмите на кнопку Назад в левой верхней части экрана.

Включить и выключить конвейер также можно в карточке конвейера:

Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).
Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.
Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.
Нажмите на стрелку () в строке конвейера. Отобразится карточка конвейера.
Включите/выключите конвейер:
- Для включения конвейера используйте кнопку Установить конфигурацию в нижней части карточки.
- Для выключения конвейера используйте кнопку Отключить конфигурацию в нижней части карточки.

Изменение конвейера

Перед тем как редактировать конфигурацию конвейера, убедитесь, что его конфигурация не установлена на коллектор.

Чтобы изменить конвейер:

Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).
Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.
Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.
Выберите опцию Изменить в выпадающем меню Действия () в строке конвейера. Система отобразит окно редактирования конвейера.
Внесите изменения в требуемые поля.
Нажмите на кнопку Сохранить. Измененные данные конвейера будут сохранены.

Создание копии конвейера

Чтобы создать копию конвейера:

Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).
Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.
Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.
Выберите опцию Создать копию в выпадающем меню Действия () в строке конвейера. Система отобразит окно создания копии конвейера.
Измените требуемые поля конвейера.
Нажмите на кнопку Создать. Копия конвейера появится в списке конвейеров на вкладке Конвейеры в карточке коллектора.

Удаление конвейера

Удаление недоступно для конвейеров, используемых в других сущностях системы.

Чтобы удалить конвейер:

Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).
Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.
Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.
Выберите опцию Удалить в выпадающем меню Действия () в строке конвейера. Система отобразит окно подтверждения действия.
Нажмите на кнопку Удалить. Система отобразит уведомление об удалении выбранного конвейера, и конвейер исчезнет из списка конвейеров на вкладке Конвейеры в карточке коллектора.

Вместе с конвейером также удаляются и все добавленные в него элементы.

Экспорт конвейера

Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).
Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.
Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.
Выберите опцию Экспортировать в выпадающем меню Действия () в строке конвейера. Система отобразит окно подтверждения действия.
Нажмите на кнопку Экспортировать. Данные конвейера будут экспортированы в файл формата JSON.