Работа с нормализаторами
Данный раздел описывает процесс работы с нормализаторами на конвейерах в системе. Работа осуществляется при настройке конфигурации конвейера.
О нормализаторах
Нормализатор — это элемент конвейера, который представляет собой комплекс правил нормализации. Каждое такое правило состоит из двух основных компонентов: кода нормализации на языке VRL и фильтра. При наличии фильтра выполнение соответствующего правила нормализации инициируется только при соблюдении условий этого фильтра для входящего события.
Нормализатор применяет к каждому событию только одно правило нормализации из добавленных — то, которое первым удовлетворило условиям фильтрации. Порядок проверки фильтров определяется последовательностью добавления правил в нормализатор.
|
Пусть в нормализатор добавлены правила нормализации в следующем порядке:
Если для поступившего в нормализатор события условия фильтрации удовлетворяются во всех правилах, то применено будет только правило А, поскольку оно стоит первым в очереди на проверку фильтров. Остальные правила будут проигнорированы. Если условия фильтрации удовлетворяются только для правил Б и В, то в соответствии с порядком будет применено правило Б, а правило В будет проигнорировано. |
На диаграмме конфигурации конвейера нормализатор имеет один вход и один выход. Нормализатор на входе принимает события, преобразует их и выдает преобразованные события на выходе.
|
Использование нормализаторов необходимо для приведения событий к структуре, ожидаемой конечной точкой. В противном случае возможны потери в потоке событий, если структура событий не соответствует требуемой структуре. |
Доступные операции над нормализатором:
Добавление нормализатора
Чтобы добавить нормализатор на конфигурацию конвейера:
-
Перейдите в конфигурацию требуемого конвейера.
-
Удостоверьтесь, что в выпадающем списке Версия на панели инструментов в окне конфигурации конвейера выбран вариант Черновик.
-
Нажмите на кнопку Добавить элемент и выберите из выпадающего списка пункт Нормализатор. Отобразится окно добавления нормализатора.
-
Введите название нормализатора.
-
При необходимости из выпадающего списка Обработка ошибок выберите шину коллектора, в которую будет отправлено событие в случае возникновения ошибок обработки. По умолчанию выбран вариант События с ошибкой.
-
Если требуется отслеживать состояние источника данных, выберите политику аудита источников. В противном случае установите переключатель Аудит в неактивное положение.
По умолчанию выбрана системная Политика аудита источников по маске.
Если политика аудита источников включена в нескольких нормализаторах на конвейере, то в метриках по источнику количество событий будет умножено на количество нормализаторов с аудитом.
Рекомендуется включать аудит только в одном нормализаторе на конвейере.
При выборе политики с методом расчета По среднему EPS системе необходимо собрать минимальное количество данных по источнику для корректного расчета среднего значения EPS. После включения политики система ожидает 24 часа, накапливая данные. В этот период нарушения политики по отклонениям EPS не фиксируются. -
Добавьте в нормализатор правила нормализации.
Чтобы добавить правило нормализации:
-
Раскройте дерево каталогов в левой части окна и выберите каталог, который содержит нужное правило нормализации.
-
Установите флажок слева от правила нормализации, которое необходимо добавить в нормализатор.
-
-
Нажмите на кнопку Добавить. Новый нормализатор отобразится на диаграмме конфигурации.
|
Если в добавленных правилах содержатся отсутствующие активные списки или таблицы обогащения, система отобразит список ошибок с указанием ID и названий правил. Чтобы добавить конфигурацию с правилами, где обнаружены ошибки, установите флажок Игнорировать ошибки. Если флажок не установлен, правила с ошибками будут исключены. Нажмите на кнопку Готово, чтобы сохранить конфигурацию. |
Изменение нормализатора
Способ изменения идентичен для всех элементов конвейера и приведен в разделе Работа с конвейерами.
Удаление нормализатора
Способ удаления идентичен для всех элементов конвейера и приведен в разделе Работа с конвейерами.
Настройка нормализатора
Настройка нормализатора выполняется при его добавлении или изменении.
В окне настроек нормализатора отображается список правил нормализации в выбранном каталоге. Список представлен в виде таблицы со следующими столбцами:
-
ID — уникальный идентификационный код правила нормализации, присваиваемый системой автоматически при его создании.
-
Название — имя правила нормализации, используемое для его идентификации в системе.
-
Теги — пользовательские теги, присвоенные данному правилу нормализации.
-
Версия — версия правила нормализации, представленная в формате SemVer v2.0.
При работе с таблицей правил нормализации доступны следующие операции:
-
Поиск правил по полям ID, Название и Теги.
-
Фильтрация правил по тегам. Теги выбираются из выпадающего списка.
Также доступна фильтрация по наличию правил в нормализаторе с помощью флажка Добавлено в нормализатор. При установке флажка в таблице отображаются только правила, уже добавленные в нормализатор.
-
Сортировка правил по полям ID, Название и Версия.
В окне настроек доступен функционал просмотра и добавления правил нормализации, а также обновления их версии.
Доступные операции по настройке нормализатора:
Просмотр правила нормализации
Чтобы просмотреть конфигурацию правила нормализации из окна настройки нормализатора, нажмите на ID соответствующего правила в списке. Система отобразит окно просмотра выбранного правила на новой вкладке браузера.
Добавление правил нормализации
Чтобы добавить правило нормализации в нормализатор:
-
Раскройте дерево каталогов в левой части окна настроек нормализатора и выберите каталог, который содержит нужное правило нормализации.
-
Установите флажок слева от правила нормализации, которое необходимо добавить в нормализатор.
Обновление версии правила нормализации
Обновление версий возможно только для правил, которые уже были добавлены в нормализатор ранее.
Вы можете обновить правила следующими способами:
-
Обновить одно конкретное правило. Для этого нажмите на кнопку
в правой части строки правила. -
Обновить сразу все правила. Для этого нажмите на кнопку
справа от поля поиска над таблицей.
|
Кнопка отображается, если существует более новая версия добавленного правила.
|
| Вы можете также выбрать последнюю версию правила в выпадающем списке версий. |
Изменение версии правила нормализации
Чтобы установить другую версию правила нормализации:
-
Нажмите на кнопку редактирования
в правой части строки правила в списке. -
Выберите нужную версию в выпадающем списке и нажмите на кнопку Сохранить. В рамках нормализатора будет установлена выбранная версия правила.
Была ли полезна эта страница?
