Работа с нормализаторами

Нормализатор — это элемент конвейера, который представляет собой комплекс правил нормализации. Каждое такое правило состоит из двух основных компонентов: кода нормализации, выполненного на языке VRL, и фильтра. В случае наличия фильтра, выполнение соответствующего правила нормализации инициируется только при соблюдении условий этого фильтра для входящего события.

Порядок применения правил нормализации определяется последовательностью их добавления в нормализатор. Таким образом, события проходят через набор правил в установленном порядке, что позволяет осуществлять сложные сценарии нормализации данных.

На диаграмме конфигурации конвейера нормализатор имеет один вход и один выход. Нормализатор на входе принимает события, преобразует/обогащает их и выдает преобразованные события на выходе.

Добавление нормализатора

Чтобы добавить нормализатор на конфигурацию конвейера:

Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).
Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.
Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.
Нажмите на стрелку () в строке конвейера. Отобразится карточка конвейера.
Нажмите на кнопку Конфигурация конвейера в нижней части карточки. Отобразится диаграмма конфигурации конвейера.
Удостоверьтесь, что в выпадающем списке Версия на панели инструментов в окне конфигурации конвейера выбран вариант Черновик.
Нажмите на кнопку Добавить элемент и выберите из выпадающего списка пункт Нормализатор. Отобразится окно добавления нормализатора.
Введите название нормализатора.
При необходимости из выпадающего списка Обработка ошибок выберите шину коллектора, в которую будет отправлено событие в случае возникновения ошибок обработки. По умолчанию выбран вариант События с ошибкой.
Добавьте в нормализатор правила нормализации.

Чтобы добавить правило нормализации:
1. Раскройте дерево каталогов в левой части окна и выберите каталог, который содержит нужное правило нормализации.
2. Установите флажок слева от правила нормализации, которое необходимо добавить в нормализатор.
Нажмите на кнопку Добавить. Новый нормализатор отобразится на схеме.

Если в добавленных правилах содержатся отсутствующие активные списки или таблицы обогащения, система отобразит список ошибок с указанием ID и названий правил.

Чтобы добавить конфигурацию с правилами, где обнаружены ошибки, установите флажок Игнорировать ошибки. Если флажок не установлен, правила с ошибками будут исключены.

Нажмите на кнопку Готово, чтобы сохранить конфигурацию.

Изменение нормализатора

Чтобы изменить нормализатор:

Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).
Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.
Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.
Нажмите на стрелку () в строке конвейера. Отобразится карточка конвейера.
Нажмите на кнопку Конфигурация конвейера в нижней части карточки. Отобразится диаграмма конфигурации конвейера.
Удостоверьтесь, что в выпадающем списке Версия на панели инструментов в окне конфигурации конвейера выбран вариант Черновик.
Откройте окно настроек нормализатора одним из следующих способов:
- Выберите опцию Изменить в выпадающем меню Действия () справа от названия нормализатора.
- Дважды нажмите на нормализатор на схеме конвейера.
Внесите изменения в требуемые поля.
Нажмите на кнопку Сохранить. Измененные данные нормализатора будут сохранены.

Удаление нормализатора

Чтобы удалить нормализатор:

Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).
Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.
Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.
Нажмите на стрелку () в строке конвейера. Отобразится карточка конвейера.
Нажмите на кнопку Конфигурация конвейера в нижней части карточки. Отобразится диаграмма конфигурации конвейера.
Удостоверьтесь, что в выпадающем списке Версия на панели инструментов в окне конфигурации конвейера выбран вариант Черновик.
Выберите опцию Удалить в выпадающем меню Действия (), расположенном справа от названия нормализатора. Система отобразит окно подтверждения удаления.
Нажмите на кнопку Удалить. Нормализатор будет удален.

Настройки нормализатора

Настройка нормализатора выполняется при его добавлении или изменении.

В окне настроек нормализатора отображается список правил нормализации в выбранном каталоге. Список представлен в виде таблицы со следующими колонками:

ID — уникальный идентификационный код правила нормализации, присваиваемый системой автоматически при его создании.
Название — системное имя правила нормализации, используемое для его идентификации.
Теги — пользовательские теги, присвоенные данному правилу нормализации.
Версия — версия правила нормализации, представленная в формате SemVer v2.0.

При работе с таблицей правил нормализации доступны следующие операции:

Поиск правил по полям ID, Название и Теги.
Фильтрация правил по тегам. Теги выбираются из выпадающего списка.

Также доступна фильтрация по наличию правил в нормализаторе с помощью флажка Добавлено в нормализатор. При установке флажка в таблице отображаются только правила, уже добавленные в нормализатор.
Сортировка правил по полям ID, Название и Версия.

В окне настроек доступен функционал просмотра и добавления правил нормализации, а также обновления их версии.

Просмотр правила нормализации

Чтобы просмотреть конфигурацию правила нормализации из окна настройки нормализатора, нажмите на ID соответствующего правила в списке. Система отобразит окно просмотра выбранного правила в новой вкладке браузера.

Добавление правил нормализации

Чтобы добавить правило нормализации в нормализатор:

Раскройте дерево каталогов в левой части окна настроек нормализатора и выберите каталог, который содержит нужное правило нормализации.
Установите флажок слева от правила нормализации, которое необходимо добавить в нормализатор.

Обновление версии правила нормализации

Если для правила нормализации, добавленного в нормализатор, становится доступной новая версия, в правой части его строки в списке правил нормализации отображается кнопка обновления refresh . По нажатию на эту кнопку происходит актуализация данных правила нормализации в рамках нормализатора в соответствии с новой версией.