Работа с нормализаторами

Нормализатор — это элемент конвейера, который представляет собой комплекс правил нормализации. Каждое такое правило состоит из двух основных компонентов: кода нормализации, выполненного на языке VRL, и фильтра. В случае наличия фильтра, выполнение соответствующего правила нормализации инициируется только при соблюдении условий этого фильтра для входящего события.

Порядок применения правил нормализации определяется последовательностью их добавления в нормализатор. Таким образом, события проходят через набор правил в установленном порядке, что позволяет осуществлять сложные сценарии нормализации данных.

На диаграмме конфигурации конвейера нормализатор имеет один вход и один выход. Нормализатор на входе принимает события, преобразует/обогащает их и выдает преобразованные события на выходе.

Добавление нормализатора

Чтобы добавить нормализатор на конфигурацию конвейера:

Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).
Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.
Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.
Нажмите на стрелку () в строке конвейера. Отобразится карточка конвейера.
Нажмите на кнопку Конфигурация конвейера в нижней части карточки. Отобразится диаграмма конфигурации конвейера.
Удостоверьтесь, что в выпадающем списке Версия на панели инструментов в окне конфигурации конвейера выбран вариант Черновик.
Нажмите на кнопку Добавить элемент и выберите из выпадающего списка пункт Нормализатор. Отобразится окно добавления нормализатора.
Введите название нормализатора.
При необходимости из выпадающего списка Обработка ошибок выберите шину коллектора, в которую будет отправлено событие в случае возникновения ошибок обработки. По умолчанию выбран вариант События с ошибкой.
Добавьте в нормализатор правила нормализации.

Чтобы добавить правило нормализации:
1. Раскройте дерево каталогов в левой части окна и выберите каталог, который содержит нужное правило нормализации.
2. Установите флажок слева от правила нормализации, которое необходимо добавить в нормализатор.
Нажмите на кнопку Добавить. Новый нормализатор отобразится на схеме.

Если в добавленных правилах содержатся отсутствующие активные списки или таблицы обогащения, система отобразит список ошибок с указанием ID и названий правил.

Чтобы добавить конфигурацию с правилами, где обнаружены ошибки, установите флажок Игнорировать ошибки. Если флажок не установлен, правила с ошибками будут исключены.

Нажмите на кнопку Готово, чтобы сохранить конфигурацию.

Изменение нормализатора

Чтобы изменить нормализатор:

Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).
Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.
Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.
Нажмите на стрелку () в строке конвейера. Отобразится карточка конвейера.
Нажмите на кнопку Конфигурация конвейера в нижней части карточки. Отобразится диаграмма конфигурации конвейера.
Удостоверьтесь, что в выпадающем списке Версия на панели инструментов в окне конфигурации конвейера выбран вариант Черновик.
Откройте окно настроек нормализатора одним из следующих способов:
- Нажмите на кнопку действий () справа от названия нормализатора и выберите опцию Изменить.
- Дважды нажмите на нормализатор на схеме конвейера.
Внесите изменения в требуемые поля.
Нажмите на кнопку Сохранить. Измененные данные нормализатора будут сохранены.

Удаление нормализатора

Чтобы удалить нормализатор:

Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).
Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.
Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.
Нажмите на стрелку () в строке конвейера. Отобразится карточка конвейера.
Нажмите на кнопку Конфигурация конвейера в нижней части карточки. Отобразится диаграмма конфигурации конвейера.
Удостоверьтесь, что в выпадающем списке Версия на панели инструментов в окне конфигурации конвейера выбран вариант Черновик.
Нажмите на кнопку действий () справа от названия нормализатора и выберите опцию Удалить. Система отобразит окно подтверждения удаления.
Нажмите на кнопку Удалить. Нормализатор будет удален.

Настройки нормализатора

Настройка нормализатора выполняется при его добавлении или изменении.

В окне настроек нормализатора отображается список правил нормализации в выбранном каталоге. Список представлен в виде таблицы со следующими колонками:

ID — уникальный идентификационный код правила нормализации, присваиваемый системой автоматически при его создании.
Название — системное имя правила нормализации, используемое для его идентификации.
Теги — пользовательские теги, присвоенные данному правилу нормализации.
Версия — версия правила нормализации, представленная в формате SemVer v2.0.

При работе с таблицей правил нормализации доступны следующие операции:

Поиск правил по полям ID, Название и Теги.
Фильтрация правил по тегам. Теги выбираются из выпадающего списка.

Также доступна фильтрация по наличию правил в нормализаторе с помощью флажка Добавлено в нормализатор. При установке флажка в таблице отображаются только правила, уже добавленные в нормализатор.
Сортировка правил по полям ID, Название и Версия.

В окне настроек доступен функционал просмотра и добавления правил нормализации, а также обновления их версии.

Просмотр правила нормализации

Чтобы просмотреть конфигурацию правила нормализации из окна настройки нормализатора, нажмите на ID соответствующего правила в списке. Система отобразит окно просмотра выбранного правила в новой вкладке браузера.

Добавление правил нормализации

Чтобы добавить правило нормализации в нормализатор:

Раскройте дерево каталогов в левой части окна настроек нормализатора и выберите каталог, который содержит нужное правило нормализации.
Установите флажок слева от правила нормализации, которое необходимо добавить в нормализатор.

Обновление версии правила нормализации

Если для правила нормализации, добавленного в нормализатор, становится доступной новая версия, в правой части его строки в списке правил нормализации отображается кнопка обновления refresh . По нажатию на эту кнопку происходит актуализация данных правила нормализации в рамках нормализатора в соответствии с новой версией.