Работа с хранилищами событий

Данный раздел описывает процесс работы с хранилищами событий в системе. Работа осуществляется в разделе Ресурсы → Хранилища событий веб-интерфейса системы.

Раздел доступен администраторам, пользователям, которые имеют соответствующее разрешение в составе своих ролей, а также учетным записям со статусом Суперадминистратор.

О хранилищах событий

Хранилище событий используется для хранения событий, поступивших в систему и обработанных коллектором. Оно представляет собой таблицу в БД событий. Формат хранилища определяется его моделью данных.

Система поддерживает хранилища событий двух типов:

  • Системные хранилища событий — создаются системой автоматически. В них недоступно изменение названия и описания, а также их нельзя удалять. Системные хранилища не могут быть использованы в качестве хранилищ событий для конечных точек и сервиса оповещений.

  • Пользовательские хранилища событий — создаются вручную.

В системе имеется системное хранилище событий аудита, предназначенное для хранения событий сервиса аудита. Это хранилище построено на системной БД событий аудита.

Интерфейс раздела

Панель инструментов раздела включает в себя следующие компоненты:

  • Кнопка Создать (plus) позволяет создать новое хранилище событий.

  • Поле Поиск предназначено для быстрого поиска хранилищ событий в отображаемом списке по названию.

В рабочей области раздела отображается таблица имеющихся хранилищ событий. Таблица содержит следующие столбцы:

  • Название — название хранилища событий, используемое для его идентификации в системе.

  • Описание — описание хранилища событий.

  • База данных событий — БД событий, в которой содержится хранилище.

  • Модель события — модель события, используемая хранилищем.

  • Событий в хранилище — количество событий в хранилище.

  • Дата создания — дата и время создания хранилища событий.

  • Дата изменения — дата и время последнего изменения хранилища событий.

Если в томах хранилища заканчивается свободное место, слева от его записи в таблице отображается иконка alert red.

При работе с таблицей хранилищ событий доступны следующие операции:

  • Поиск хранилищ по полю Название.

  • Сортировка хранилищ по полям Название, Дата создания и Дата изменения.

  • Настройка отображения таблицы.

При выборе конкретного хранилища в правой части рабочей области отображается его карточка с детальной информацией. Карточка хранилища событий содержит следующие вкладки:

  • Информация — общая информация о хранилище событий.

  • Тома — информация о томах хранения данных в хранилище.

Работа с хранилищем событий

Доступные операции над хранилищами событий:

Создание хранилища событий

Чтобы создать хранилище событий:

  1. Перейдите в раздел Ресурсы → Хранилища событий. Система отобразит сведения об имеющихся хранилищах событий.

  2. Нажмите на кнопку Создать (plus). Отобразится окно создания хранилища событий.

  3. Выберите из выпадающего списка БД событий, в которую требуется поместить хранилище. Система отобразит в нижней части поля для настройки томов хранения этой БД.

    В системных базах данных создание хранилищ событий не поддерживается.

  4. Выберите из выпадающего списка модель события, которая будет использована для создаваемого хранилища.

  5. Введите название хранилища событий.

  6. При необходимости введите описание хранилища событий.

  7. Задайте настройки хранения данных:

    1. Выберите том хранения данных:

      • hot_volume — том для быстрого доступа к часто используемым данным (горячее хранение).

      • cold_volume — том для хранения редко используемых данных (холодное хранение).

    2. Укажите срок хранения данных в днях.

      Если поле для срока хранения данных оставить пустым, то срок хранения данных в этом хранилище будет неограниченным.

    3. Выберите из выпадающего списка действие над данными в томе по окончании срока хранения:

      • Переместить — данные будут перемещены в другой том. Введите в появившейся строке настройки нового тома, в который требуется переместить данные.

      • Удалить — данные в томе будут удалены.

    При необходимости можно задать настройки хранения данных на основе настроек по умолчанию в выбранной БД. Для этого нажмите на кнопку Применить настройки хранения по умолчанию БД. Если настройки по умолчанию не заданы, система отобразит соответствующее сообщение.

  8. Нажмите на кнопку Создать. Система создаст хранилище событий и отобразит соответствующее уведомление. Новое хранилище появится в списке раздела Ресурсы → Хранилища событий.

Просмотр хранилища событий

Чтобы просмотреть хранилище событий:

  1. Перейдите в раздел Ресурсы → Хранилища событий. Система отобразит сведения об имеющихся хранилищах событий.

  2. Нажмите на строку хранилища событий в списке. Система отобразит в правой части экрана карточку этого хранилища с подробной информацией о нем.

В верхней части карточки отображается название хранилища событий. Справа от названия расположена кнопка more vertical, при нажатии на которую открывается выпадающее меню с действиями, доступными для выбранного хранилища.

Чтобы изменить ширину карточки, наведите курсор на ее левую границу. Курсор примет вид двунаправленной стрелки. Перетащите левую границу карточки в нужном направлении.

Карточка хранилища событий содержит следующие вкладки:

  • Информация — общая информация о хранилище событий.

  • Тома — информация о томах хранения данных в хранилище.

Вкладка Информация

На вкладке Информация отображаются основные сведения о хранилище событий:

  • ID — уникальный идентификационный код хранилища, генерируемый автоматически при его создании.

  • Название — название хранилища, используемое для его идентификации в системе.

  • Описание — описание хранилища событий.

  • ID тенанта — идентификатор тенанта, к которому относится хранилище событий.

  • Тип — тип хранилища событий: системное или пользовательское.

  • База данных событий — БД событий, в которой содержится хранилище.

  • Модель события — модель события, используемая хранилищем.

    Если модель содержит изменения, которые были внесены на уровне СУБД или при обновлении системы, в поле отображается кнопка для ее обновления в хранилище.

  • Событий в хранилище — количество событий в хранилище.

  • Дата создания — дата и время создания хранилища событий.

  • Создал — пользователь, инициировавший создание хранилища.

  • Дата изменения — дата и время последнего изменения хранилища событий.

  • Изменил — пользователь, выполнивший последнее изменение хранилища.

На вкладке также отображаются показатели сжатия данных, хранящихся в таблице ClickHouse, которая ассоциирована с хранилищем событий:

  • объем занимаемого пространства без сжатия;

  • объем занимаемого пространства со сжатием;

  • коэффициент сжатия, показывающий отношение занимаемого объема без сжатия к занимаемому объему со сжатием.

Для получения более подробной информации о сжатии предназначена кнопка Подробнее.

Вкладка Тома

На вкладке Тома отображается информация о томах хранения данных. Тома подгружаются в хранилище событий автоматически из БД событий, в которой содержится хранилище.

Тома хранения данных в хранилище событий бывают следующих типов:

  • hot_volume — предназначен для быстрого доступа к часто используемым данным (горячее хранение).

  • cold_volume — предназначен для хранения редко используемых данных (холодное хранение).

Для каждого тома отображаются следующие сведения:

  • Свободно/всего — информация о свободном и общем объеме тома.

  • Количество событий в томе — информация о количестве событий, хранящихся в томе.

  • Объем занимаемого места в томе — информация о фактически занимаемом объеме тома.

  • Уведомлять, если свободно менее — порог свободного объема тома, при достижении которого система уведомляет пользователя с помощью предупреждения в карточке хранилища и иконки alert red в таблице раздела.

    Настройка уведомления при достижении порога свободного объема тома выполняется в карточке БД событий, лежащей в основе текущего хранилища.
    При исчерпании всего свободного объема тома происходит остановка конвейеров, связанных с текущим хранилищем событий.

  • Срок хранения — количество дней, в течение которых события хранятся в томе.

Просмотр показателей сжатия по полям

Основная информация о сжатии данных в хранилище отображается на вкладке Информация в карточке хранилища.

Чтобы получить подробную информацию о показателях сжатия по каждому полю в модели события, лежащей в основе хранилища:

  1. Перейдите в раздел Ресурсы → Хранилища событий. Система отобразит сведения об имеющихся хранилищах событий.

  2. Нажмите на строку хранилища событий в списке. Система отобразит в правой части экрана карточку этого хранилища с подробной информацией о нем.

  3. Убедитесь, что в карточке хранилища открыта вкладка Информация.

  4. Нажмите на кнопку Подробнее справа от заголовка группы Показатели сжатия в карточке. Откроется окно показателей сжатия по полям.

В верхней части окна отображаются основные показатели сжатия данных, которые хранятся в таблице ClickHouse, ассоциированной с хранилищем событий:

  • объем занимаемого пространства без сжатия;

  • объем занимаемого пространства со сжатием;

  • коэффициент сжатия, показывающий отношение занимаемого объема без сжатия к занимаемому объему со сжатием.

Также в окне представлена таблица показателей сжатия по всем полям модели события. Таблица содержит следующие столбцы:

  • Название — название поля в модели события.

  • Объем без сжатия — объем занимаемого полем пространства без сжатия.

  • Объем со сжатием — объем занимаемого полем пространства со сжатием.

  • Коэффициент сжатия — отношение занимаемого полем объема без сжатия к занимаемому объему со сжатием.

  • Показатели сжатия по полям отображаются только после фактического выполнения оптимизации в хранилище и расчета показателей сжатия для каждого столбца.

  • Из-за особенностей оптимизации столбцов в ClickHouse в ряде случаев показатели сжатия по полям могут быть равны 0.

При работе с таблицей доступны следующие операции:

Вы также можете экспортировать таблицу показателей сжатия в файл формата CSV с помощью кнопки export.

Обновление модели хранилища событий

При внесении изменений в модель события через веб-интерфейс системы она автоматически обновляется во всех хранилищах, в которых используется.

Если изменения были внесены в пользовательскую модель на уровне СУБД или в системную модель при обновлении на более новую версию системы, то автоматического обновления модели в хранилищах не происходит. Это позволяет избежать сбоев на конвейерах обработки событий из-за неожиданного изменения моделей. В таком случае, чтобы использовать в хранилище актуальную версию модели события, ее необходимо обновить вручную. Для этого:

  1. Перейдите в раздел Ресурсы → Хранилища событий. Система отобразит сведения об имеющихся хранилищах событий.

  2. Нажмите на строку хранилища событий в списке. Система отобразит в правой части экрана карточку этого хранилища с подробной информацией о нем.

  3. Убедитесь, что в карточке хранилища открыта вкладка Информация.

  4. Нажмите на кнопку Обновить в поле Модель события. Система обновит модель события в хранилище до актуальной версии.

Если новая модель событий несовместима со старой, то при попытке обновления модели в хранилище произойдет ошибка. В таком случае для работы с новой версией модели необходимо пересоздать хранилище.

Изменение хранилища событий

Изменение названия и описания доступно только для хранилищ событий с типом Пользовательское.

Чтобы изменить хранилище событий:

  1. Перейдите в раздел Ресурсы → Хранилища событий. Система отобразит сведения об имеющихся хранилищах событий.

  2. Нажмите на строку хранилища событий в списке. Система отобразит в правой части экрана карточку этого хранилища с подробной информацией о нем.

  3. Нажмите на кнопку действий more vertical в верхнем правом углу карточки и выберите опцию Изменить. Отобразится окно изменения настроек хранилища.

  4. Внесите изменения в требуемые поля хранилища событий.

    При изменении хранилища доступен выбор новой модели события. Новую модель можно применить к хранилищу, если в составе ее полей содержатся все поля из старой модели.

    Поля моделей считаются одинаковыми, если у них совпадают параметры Ключ поля, Тип поля и Может быть null.

  5. Нажмите на кнопку Сохранить. Система сохранит изменения и отобразит соответствующее уведомление. Обновленная информация отобразится в карточке и списке хранилищ.

Изменить название и описание хранилища можно непосредственно из его карточки:

  1. Перейдите в раздел Ресурсы → Хранилища событий. Система отобразит сведения об имеющихся хранилищах событий.

  2. Нажмите на строку хранилища событий в списке. Система отобразит в правой части экрана карточку этого хранилища с подробной информацией о нем.

  3. Убедитесь, что в карточке хранилища событий открыта вкладка Информация.

  4. Нажмите на кнопку edit рядом с текущим названием или описанием хранилища в его карточке. Система отобразит поле ввода значения.

  5. Введите новое значение поля.

  6. Нажмите Сохранить. Система сохранит изменения и отобразит соответствующее уведомление. Обновленная информация отобразится в карточке и списке хранилищ.

Удаление хранилища событий

Удаление доступно только для хранилищ событий с типом Пользовательское.

Удаление недоступно для хранилищ событий, используемых в других сущностях системы.

Чтобы удалить хранилище событий:

  1. Перейдите в раздел Ресурсы → Хранилища событий. Система отобразит сведения об имеющихся хранилищах событий.

  2. Нажмите на строку хранилища событий в списке. Система отобразит в правой части экрана карточку этого хранилища с подробной информацией о нем.

  3. Нажмите на кнопку действий more vertical в верхнем правом углу карточки и выберите опцию Удалить. Отобразится окно подтверждения удаления хранилища.

  4. Нажмите на кнопку Удалить. Система удалит хранилище событий и отобразит соответствующее уведомление. Удаленное хранилище будет исключено из списка.

Была ли полезна эта страница?

+7 (499) 755 55 70 sales@rvision.ru

О компании Пользовательское соглашение Политика cookies

Обратная связь