Работа с нормализаторами
Данный раздел описывает процесс работы с нормализаторами на конвейерах в системе. Работа осуществляется при настройке конфигурации конвейера.
О нормализаторах
Нормализатор — это элемент конвейера, который представляет собой комплекс правил нормализации. Каждое такое правило состоит из двух основных компонентов: кода нормализации, выполненного на языке VRL, и фильтра. В случае наличия фильтра, выполнение соответствующего правила нормализации инициируется только при соблюдении условий этого фильтра для входящего события.
Порядок применения правил нормализации определяется последовательностью их добавления в нормализатор. Таким образом, события проходят через набор правил в установленном порядке, что позволяет осуществлять сложные сценарии нормализации данных.
На диаграмме конфигурации конвейера нормализатор имеет один вход и один выход. Нормализатор на входе принимает события, преобразует их и выдает преобразованные события на выходе.
Доступные операции над нормализатором:
Добавление нормализатора
Чтобы добавить нормализатор на конфигурацию конвейера:
-
Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах.
-
Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.
-
Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.
-
Нажмите на кнопку
в строке конвейера. Отобразится карточка конвейера. -
Нажмите на кнопку Конфигурация конвейера в нижней части карточки. Отобразится диаграмма конфигурации конвейера.
-
Удостоверьтесь, что в выпадающем списке Версия на панели инструментов в окне конфигурации конвейера выбран вариант Черновик.
-
Нажмите на кнопку Добавить элемент и выберите из выпадающего списка пункт Нормализатор. Отобразится окно добавления нормализатора.
-
Введите название нормализатора.
-
При необходимости из выпадающего списка Обработка ошибок выберите шину коллектора, в которую будет отправлено событие в случае возникновения ошибок обработки. По умолчанию выбран вариант События с ошибкой.
-
Если требуется отслеживать состояние источника данных, выберите политику аудита источников. В противном случае переведите переключатель Аудит в неактивное положение.
По умолчанию выбрана системная Политика аудита источников по маске.
Если политика аудита источников включена в нескольких нормализаторах на конвейере, то в метриках по источнику количество событий будет умножено на количество нормализаторов с аудитом.
Рекомендуется включать аудит только в одном нормализаторе на конвейере.
При выборе политики с методом расчета По среднему EPS системе необходимо собрать минимальное количество данных по источнику для корректного расчета среднего значения EPS. После включения политики система ожидает 24 часа, накапливая данные. В этот период нарушения политики по отклонениям EPS не фиксируются. -
Добавьте в нормализатор правила нормализации.
Чтобы добавить правило нормализации:
-
Раскройте дерево каталогов в левой части окна и выберите каталог, который содержит нужное правило нормализации.
-
Установите флажок слева от правила нормализации, которое необходимо добавить в нормализатор.
-
-
Нажмите на кнопку Добавить. Новый нормализатор отобразится на диаграмме конфигурации.
|
Если в добавленных правилах содержатся отсутствующие активные списки или таблицы обогащения, система отобразит список ошибок с указанием ID и названий правил. Чтобы добавить конфигурацию с правилами, где обнаружены ошибки, установите флажок Игнорировать ошибки. Если флажок не установлен, правила с ошибками будут исключены. Нажмите на кнопку Готово, чтобы сохранить конфигурацию. |
Изменение нормализатора
Чтобы изменить нормализатор:
-
Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах.
-
Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.
-
Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.
-
Нажмите на кнопку
в строке конвейера. Отобразится карточка конвейера. -
Нажмите на кнопку Конфигурация конвейера в нижней части карточки. Отобразится диаграмма конфигурации конвейера.
-
Удостоверьтесь, что в выпадающем списке Версия на панели инструментов в окне конфигурации конвейера выбран вариант Черновик.
-
Откройте окно настроек нормализатора одним из следующих способов:
-
Нажмите на кнопку
справа от названия нормализатора и выберите опцию Изменить. -
Дважды нажмите на нормализатор на диаграмме конфигурации конвейера.
-
-
Внесите изменения в требуемые поля.
-
Нажмите на кнопку Сохранить. Измененные данные нормализатора будут сохранены.
Удаление нормализатора
Чтобы удалить нормализатор:
-
Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах.
-
Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.
-
Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.
-
Нажмите на кнопку
в строке конвейера. Отобразится карточка конвейера. -
Нажмите на кнопку Конфигурация конвейера в нижней части карточки. Отобразится диаграмма конфигурации конвейера.
-
Удостоверьтесь, что в выпадающем списке Версия на панели инструментов в окне конфигурации конвейера выбран вариант Черновик.
-
Нажмите на кнопку
справа от названия нормализатора и выберите опцию Удалить. Система отобразит окно подтверждения удаления. -
Нажмите на кнопку Удалить. Нормализатор будет удален.
Настройка нормализатора
Настройка нормализатора выполняется при его добавлении или изменении.
В окне настроек нормализатора отображается список правил нормализации в выбранном каталоге. Список представлен в виде таблицы со следующими столбцами:
-
ID — уникальный идентификационный код правила нормализации, присваиваемый системой автоматически при его создании.
-
Название — имя правила нормализации, используемое для его идентификации в системе.
-
Теги — пользовательские теги, присвоенные данному правилу нормализации.
-
Версия — версия правила нормализации, представленная в формате SemVer v2.0.
При работе с таблицей правил нормализации доступны следующие операции:
-
Поиск правил по полям ID, Название и Теги.
-
Фильтрация правил по тегам. Теги выбираются из выпадающего списка.
Также доступна фильтрация по наличию правил в нормализаторе с помощью флажка Добавлено в нормализатор. При установке флажка в таблице отображаются только правила, уже добавленные в нормализатор.
-
Сортировка правил по полям ID, Название и Версия.
В окне настроек доступен функционал просмотра и добавления правил нормализации, а также обновления их версии.
Доступные операции по настройке нормализатора:
Просмотр правила нормализации
Чтобы просмотреть конфигурацию правила нормализации из окна настройки нормализатора, нажмите на ID соответствующего правила в списке. Система отобразит окно просмотра выбранного правила в новой вкладке браузера.
Добавление правил нормализации
Чтобы добавить правило нормализации в нормализатор:
-
Раскройте дерево каталогов в левой части окна настроек нормализатора и выберите каталог, который содержит нужное правило нормализации.
-
Установите флажок слева от правила нормализации, которое необходимо добавить в нормализатор.
Обновление версии правила нормализации
Обновление версий возможно только для правил, которые уже были добавлены в нормализатор ранее.
Вы можете обновить правила следующими способами:
-
Обновить одно конкретное правило. Для этого нажмите на кнопку
в правой части строки правила. -
Обновить сразу все правила. Для этого нажмите на кнопку
справа от поля поиска над таблицей.
|
Кнопка отображается, если существует более новая версия добавленного правила.
|
| Вы можете также выбрать последнюю версию правила в выпадающем списке версий. |
Изменение версии правила нормализации
Чтобы установить другую версию правила нормализации:
-
Нажмите на кнопку редактирования
в правой части строки правила в списке. -
Выберите нужную версию в выпадающем списке и нажмите на кнопку Сохранить. В рамках нормализатора будет установлена выбранная версия правила.
Была ли полезна эта страница?
