Работа с коллекторами

Данный раздел описывает процесс работы с коллекторами в системе R-Vision SIEM. Работа осуществляется в разделе Ресурсы → Коллекторы веб-интерфейса системы.

Раздел доступен администраторам, пользователям, которые имеют соответствующее разрешение в составе своих ролей, а также учетным записям со статусом Суперадминистратор.

О коллекторах

Коллектор — это компонент системы, который обеспечивает сбор событий из источников, их обработку и дальнейшую отправку на хранение и/или во внешние системы. События поступают на коллектор через установленные на нем конвейеры, посредством которых они могут быть обработаны.

Интерфейс раздела

Панель инструментов раздела включает в себя следующие компоненты:

  • Кнопка Создать (plus) позволяет создать новый коллектор.

  • Поле Поиск предназначено для быстрого поиска коллекторов в отображаемом списке по названию. Выпадающий список Статус позволяет настроить отображение списка коллекторов в соответствии с выбранным статусом.

  • Кнопки Экспорт (export) и Импорт (import) позволяют выгружать существующие коллекторы из системы и загружать в систему коллекторы извне.

В рабочей области отображается таблица имеющихся коллекторов. Колонки таблицы представлены следующим образом:

  • Название — название коллектора, используемое для его идентификации.

  • Статус — текущий статус коллектора (включен/выключен).

  • Конвейеров — количество конвейеров в коллекторе.

  • Дата создания — дата и время создания коллектора.

  • Дата изменения — дата и время последнего изменения коллектора.

  • Описание — описание коллектора.

При работе с таблицей коллекторов доступны следующие операции:

При выборе конкретного коллектора в правой части рабочей области отображается его карточка с детальной информацией.

В верхнем правом углу карточки расположена кнопка действий (more vertical). При нажатии на нее открывается выпадающее меню с действиями, доступными для выбранного коллектора: изменение и удаление.

Карточка коллектора содержит следующие вкладки:

  1. Информация — содержит секции с общей информацией о коллекторе и настройках логирования.

    Также вкладка содержит кнопку Просмотреть логи и переключатель статуса коллектора.

  2. Конвейеры — отображает информацию о конвейерах в коллекторе. Содержит список конвейеров со следующими полями:

    • ID — уникальный идентификационный код конвейера, генерируемый автоматически при его создании.

    • Описание — краткое описание функциональности конвейера.

    • Дата создания — дата и время создания конвейера.

    • Создал — пользователь, инициировавший создание конвейера.

    • Дата изменения — дата и время последнего изменения конвейера.

    • Изменил — пользователь, выполнивший последнее изменение конвейера.

    • EPS за последние 30 минут — график с количеством зарегистрированных событий в секунду (EPS) за последние 30 минут с шагом в 5 минут.

      Также вкладка содержит поле поиска конвейеров и кнопки для добавления и импорта конвейеров, кнопки для настройки и установки/отключения конфигурации конвейеров.

      В строке конвейера имеется индикатор, обозначающий текущий статус конвейера: зеленый — конвейер включен, серый — конвейер выключен.

      Также в строке каждого конвейера имеется кнопка действий (more vertical). При нажатии на нее открывается выпадающее меню с действиями, доступными для выбранного конвейера.

  3. Шины — отображает информацию о шинах в коллекторе. Содержит список шин со следующими параметрами:

    • ID — уникальный идентификационный код шины, генерируемый автоматически при ее создании.

    • Описание — краткое описание функциональности шины.

    • Дата создания — дата и время создания шины.

    • Создал — пользователь, инициировавший создание шины.

    • Дата изменения — дата и время последнего изменения шины.

    • Изменил — пользователь, выполнивший последнее изменение шины.

    Также вкладка содержит поле поиска шин и кнопку для добавления шин.
    В строке каждой шины имеется кнопка more vertical. При нажатии на нее открывается выпадающее меню с опцией изменения шины.

  4. Обогащение — отображает информацию о таблицах обогащения, добавленных на коллектор. Содержит список таблиц обогащения со следующими параметрами:

    • ID обогащения — уникальный идентификационный код компонента обогащения, генерируемый автоматически при добавлении его на коллектор.

    • Описание — краткое описание функциональности обогащения.

    • ID таблицы обогащения — уникальный идентификационный код таблицы обогащения, которая была использована при создании обогащения.

    • Таблица обогащения — название таблицы обогащения, которая была использована при создании обогащения.

    • Версия таблицы обогащения — версия таблицы обогащения, указанная в поле version в настройках таблицы.

    • Дата создания — дата и время создания обогащения.

    • Создал — пользователь, инициировавший создание обогащения.

    • Дата изменения — дата и время последнего изменения обогащения.

    • Изменил — пользователь, выполнивший последнее изменение обогащения.

      Также вкладка содержит поле поиска по элементам обогащения коллектора и кнопку для добавления шин.

      В строке каждого элемента вкладки Обогащение имеется кнопка more vertical. При нажатии на нее открывается выпадающее меню с опцией изменения элемента.

Работа с коллектором

Доступные операции над коллекторами:

Создание коллектора

Чтобы создать коллектор:

  1. Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).

  2. Нажмите на кнопку Создать (plus). Отобразится окно создания коллектора.

  3. Введите название коллектора.

  4. Укажите ресурсы, выделяемые для работы коллектора: количество ядер процессора в поле CPU и объем оперативной памяти в поле RAM. Значения можно вводить в полях или изменять с помощью кнопок plus и minus.

    • При наведении курсора на поля CPU и RAM отображаются подсказки с количеством доступных ресурсов в каждом узле кластера Kubernetes.

    • Ресурсы, выделенные на работу коллектора, не используются в распределенной корреляции.

    • Каждая точка входа типа Database, размещенная на конвейере коллектора, использует 256 МБ оперативной памяти (RAM) из ресурсов коллектора. Если планируется размещение точек входа типа Database, необходимо учитывать их суммарное потребление памяти при распределении ресурсов коллектора.

  5. При необходимости введите описание коллектора.

  6. Для работы в режиме распределенной корреляции переведите переключатель Распределенный коррелятор в активное положение.

    Изменение этой настройки потребует перезапуска коллектора.
    Если система работает на базе кластера Kubernetes с одним узлом, включение режима распределенной корреляции недоступно.

  7. Укажите количество ядер процессора (CPU) и объем оперативной памяти (RAM), выделяемый для работы распределенного коррелятора. Это можно сделать непосредственно в поле или с помощью кнопок plus и minus.

    Операции полей join и group декларативного правила вычисляются на корреляторе. Остальные поля, в том числе alias и filter, вычисляются на предпроцессорах. В составе распределенного коррелятора может быть только один коррелятор, но несколько предпроцессоров.

    1. Укажите ресурсы для коррелятора:

      1. Выберите узел для размещения коррелятора.

      2. Укажите количество ядер процессора и объем оперативной памяти, выделяемые для работы коррелятора. Количество доступных в узле ресурсов отображается под полями ввода.

    2. Укажите ресурсы для предпроцессора:

      1. Выберите узел для размещения предпроцессора.

      2. Укажите количество ядер процессора и объем оперативной памяти, выделяемые для работы предпроцессора. Количество доступных в узле ресурсов отображается под полями ввода.

  8. Нажмите на кнопку Добавить предпроцессор, если необходимо добавить дополнительный предпроцессор.

  9. При необходимости выберите уровень логирования из выпадающего списка Уровень логирования. Доступны следующие значения:

    • Error — записываются критические ошибки, которые могут влиять на работоспособность коллектора или препятствовать работе коллектора.

    • Warn — записываются предупреждения о потенциальных проблемах, которые могут требовать внимания, но не являются критическими.

    • Info — записывается общая информация о работе и состоянии коллектора.

    • Debug — записываются подробные отладочные сообщения, которые могут использоваться для диагностики и устранения проблем с коллектором.

    • Trace — самый подробный уровень логирования, предоставляющий внутреннюю информацию о каждом шаге работы коллектора.

  10. Нажмите на кнопку Создать. Система создаст коллектор и отобразит уведомление об успешном создании. Новый коллектор появится в списке раздела Ресурсы → Коллекторы.

Просмотр коллектора

Чтобы просмотреть коллектор:

  1. Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).

  2. Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.

Название коллектора отображается в верхней части карточки.

Чтобы закрыть карточку, нажмите на крестик в правом верхнем углу карточки.

По умолчанию при выборе коллектора открывается вкладка Информация. На вкладке отображается общая информация о выбранном коллекторе и информация об уровне логирования.

Вкладка cодержит сведения, распределенные по следующим секциям:

  • Метрики коллектора:

    • CPU — количество ядер и уровень загруженности процессора сервиса.

    • RAM — объем и уровень загруженности оперативной памяти сервиса.

    • HDD — объем и уровень загруженности жесткого диска сервиса.

  • Метрики распределенного коррелятора:

    • Характеристика процессора (CPU), объем оперативной памяти (RAM) и жесткого диска (HDD) для каждого узла распределенного коррелятора, включая данные по каждому предпроцессору и коррелятору.

  • Основная информация:

    • ID — уникальный идентификационный код коллектора, генерируемый автоматически при его создании.

    • Название — системное имя коллектора, используемое для его идентификации.

    • ID тенанта — уникальный идентификационный код тенанта, к которому относится коллектор.

    • Статус — текущий статус коллектора (включен/выключен).

    • IP адрес — IP-адрес, с которым связан коллектор.

    • Имя хоста — имя хоста, с которым связан коллектор.

      • Описание — краткое описание функциональности коллектора.

      • Конвейеров — количество конвейеров, связанных с коллектором.

      • Дата создания — дата и время создания коллектора.

      • Создал — пользователь, инициировавший создание коллектора.

      • Дата изменения — дата и время последнего изменения коллектора.

      • Изменил — пользователь, выполнивший последнее изменение коллектора.

  • Уровень логирования коллектора с возможностью просмотра списка логов.

  • EPS за последние 30 минут — график с количеством зарегистрированных событий в секунду (EPS) за последние 30 минут с шагом в 5 минут для выбранного коллектора и всех коллекторов системы.

Включение и выключение коллектора

Для того чтобы коллектор мог начать работу с событиями, поступающими в систему, его нужно включить.

Вместе с коллектором также выключаются и все связанные с ним конвейеры.

Чтобы включить коллектор:

  1. Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).

  2. Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.

  3. Убедитесь, что в карточке коллектора открыта вкладка Информация.

  4. Переведите переключатель состояния коллектора в верхней части карточки в активное положение. Отобразится окно подтверждения включения коллектора.

  5. Нажмите на кнопку Включить. Система обновит статус коллектора и отобразит уведомление о включении.

Если при включении коллектора возникли ошибки, система отобразит сообщение об этом. Для просмотра списка ошибок нажмите на кнопку Показать.

Чтобы выключить работающий коллектор:

  1. Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).

  2. Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.

  3. Убедитесь, что на карточке коллектора открыта вкладка Информация.

  4. Переведите переключатель в верхней части коллектора в неактивное положение. Отобразится окно подтверждения выключения коллектора.

  5. Нажмите на кнопку Выключить. Система обновит статус коллектора и отобразит уведомление о выключении.

Изменение коллектора

Чтобы изменить коллектор:

  1. Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).

  2. Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.

  3. Нажмите на кнопку действий (more vertical) в верхнем правом углу карточки и выберите опцию Изменить. Отобразится окно настроек коллектора.

  4. Внесите изменения в требуемые поля коллектора.

  5. Нажмите на кнопку Сохранить. Измененные данные коллектора будут сохранены, система отобразит соответствующее уведомление.

Изменить название и описание коллектора можно непосредственно из его карточки:

  1. Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).

  2. Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.

  3. Убедитесь, что на карточке коллектора открыта вкладка Информация.

  4. Нажмите на кнопку edit рядом с текущим названием или описанием коллектора в его карточке. Система отобразит поле ввода значения.

  5. Введите новое значение поля.

  6. Нажмите Сохранить. Система сохранит изменения и отобразит уведомление об этом. Обновленная информация отобразится в карточке и списке коллекторов.

Удаление коллектора

Удаление недоступно для коллекторов, используемых в других сущностях системы.

Вместе с коллектором также удаляются и все добавленные в него конвейеры, шины и обогащения.

Чтобы удалить коллектор:

  1. Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).

  2. Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.

  3. Нажмите на кнопку действий (more vertical) в верхнем правом углу карточки и выберите опцию Удалить. Отобразится окно подтверждения удаления коллектора.

  4. Нажмите на кнопку Удалить. Система удалит коллектор и отобразит уведомление об успешном удалении. Удаленный коллектор будет исключен из списка.

Импорт коллектора

Для загрузки конфигурации коллектора в систему применяется функционал импорта, поддерживающий обработку файлов в формате JSON.

Перед тем как импортировать коллектор:

  1. Создайте или импортируйте в систему хранилище событий.

  2. Импортируйте в систему все элементы экспертизы, которые содержит импортируемый коллектор.

Чтобы импортировать коллектор:

  1. Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).

  2. Нажмите на кнопку Импортировать на панели инструментов. Система отобразит окно импорта коллектора.

  3. Нажмите Выбрать файл. Откроется окно проводника операционной системы.

  4. В окне выберите файл для импорта и нажмите на кнопку Открыть. Файл отобразится в окне импорта коллектора.

  5. Нажмите на кнопку Импортировать. Коллектор будет загружен в систему. Система отобразит окно с итогами импорта.

Экспорт коллектора

Чтобы экспортировать коллектор:

  1. Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).

  2. Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.

  3. Нажмите на кнопку действий (more vertical) в верхнем правом углу карточки и выберите опцию Экспортировать. Отобразится окно экспорта данных.

  4. Нажмите Экспорт. Данные коллектора будут загружены на устройство пользователя в формате JSON. Система отобразит уведомление об успешном экспорте.

Также можно экспортировать группу коллекторов. Для этого:

  1. Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).

  2. Установите флажки напротив тех коллекторов, которые вы хотите экспортировать, в левом столбце таблицы.

  3. Нажмите на кнопку Экспортировать на панели инструментов. Система запросит подтверждение выполнения экспорта.

  4. В отобразившемся диалоговом окне нажмите Экспортировать. Данные коллекторов будут загружены на устройство пользователя в формате JSON. Система отобразит уведомление об успешном экспорте.

Также можно экспортировать конфигурацию коллектора из объектного хранилища MinIO.

Работа с логами коллектора

Логирование коллекторов обеспечивает запись событий и состояний системы сбора данных, что позволяет администраторам и разработчикам отслеживать и анализировать работу системы. Уровень логирования настраивается вручную при создании коллектора или изменении его параметров, что позволяет гибко управлять объемом и детализацией регистрируемых данных. Доступные уровни логирования включают в себя Error, Warn, Info, Debug и Trace, каждый из которых предоставляет различный уровень информации о работе коллектора.

Функционал просмотра логов доступен через пользовательский интерфейс, на вкладке Информация карточки коллектора. Здесь отображается текущий уровень логирования и предоставляется возможность просмотра самих логов. Для более удобного анализа логов в системе реализованы инструменты фильтрации и поиска, а также функционал копирования записей журнала логов в буфер обмена.

Доступные операции над логами коллектора:

Логи коллектора очищаются при его выключении.

Просмотр логов коллектора

Чтобы просмотреть логи коллектора:

  1. Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).

  2. Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.

    Название коллектора отображается в верхней части карточки.

    По умолчанию при выборе коллектора открывается вкладка Информация. На вкладке отображается общая информация о выбранном коллекторе и секция, посвященная логированию.

  3. В секции Просмотр логов система отображает текущий уровень логирования коллектора. Нажмите на кнопку Просмотреть логи. Система отобразит окно со списком логов коллектора.

Просмотр логов коллектора также доступен по нажатию кнопки Просмотреть логи (file text 2) на странице конфигурации конвейера.

В окне просмотра логов коллектора доступны следующие настройки:

  • Переключатель Мониторинг позволяет управлять режимом вывода логов. Если переключатель активирован, вывод логов происходит в реальном времени и ручной поиск логов недоступен.

  • Кнопка календаря (calendar) позволяет выбрать способ задания периода, в рамках которого требуется выполнять ручной поиск логов.

  • Поля периода предназначены для указания временного диапазона поиска. Зависят от выбранного способа задания периода.

  • Кнопка Найти позволяет начать поиск логов в заданном периоде.

В левом верхнем углу окна отображается ID просматриваемого коллектора.

  • Логи коллектора можно также просмотреть в кластере Kubernetes.

  • Если ошибки на коллекторе не удается устранить с помощью анализа его логов, рекомендуется проанализировать логи пода collector-manager, управляющего работой всех коллекторов в системе.

Фильтрация списка логов коллектора

Для получения логов за конкретный временной интервал выключите мониторинг.

Чтобы отфильтровать список логов коллектора в режиме просмотра логов, выполните следующие шаги:

  1. Из карточки коллектора перейдите к списку логов, нажав на кнопку Просмотреть логи. Система отобразит окно со списком логов коллектора.

  2. Переведите переключатель Мониторинг в неактивное положение. Настройки фильтрации станут доступными для редактирования.

  3. Настройте период поиска логов. Для этого нажмите на кнопку calendar и выберите из выпадающего списка способ задания периода:

    • Последний период — задайте значение вручную или с помощью кнопок minus и plus, после чего выберите единицы времени из выпадающего списка. Поиск логов будет выполняться в указанном диапазоне вплоть до нынешнего момента.

    • Задать период — укажите даты начала и конца периода, за который будет выполняться поиск логов.

    • Часто используемые — выберите в разделе один из предлагаемых периодов.

  4. Нажмите на кнопку Найти. Список логов, соответствующий заданному периоду, отобразится в окне.

Копирование логов коллектора

Чтобы скопировать записи журнала логов коллектора:

  1. Из карточки коллектора перейдите к списку логов нажав на кнопку Просмотреть логи. Система отобразит окно со списком логов коллектора.

  2. Нажмите на кнопку Скопировать в правой нижней части экрана. Записи журнала будут скопированы в буфер обмена. Система отобразит уведомление о копировании.

Изменение уровня логирования

Изменение уровня логирования выполняется через редактирование настроек коллектора.

Чтобы изменить уровень логирования коллектора:

  1. Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах, в том числе их текущий статус (включен/выключен).

  2. Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.

  3. Нажмите на кнопку действий (more vertical) в верхнем правом углу карточки и выберите опцию Изменить. Отобразится окно настроек коллектора.

  4. Выберите значение из выпадающего списка Уровень логирования. Доступны следующие значения:

    • Error — записываются критические ошибки, которые могут влиять на работоспособность коллектора или препятствовать работе коллектора.

    • Warn — записываются предупреждения о потенциальных проблемах, которые могут требовать внимания, но не являются критическими.

    • Info — записывается общая информация о работе и состоянии коллектора.

    • Debug — записываются подробные отладочные сообщения, которые могут использоваться для диагностики и устранения проблем с коллектором.

    • Trace — самый подробный уровень логирования, предоставляющий внутреннюю информацию о каждом шаге работы коллектора.

  5. Нажмите на кнопку Сохранить. Система сохранит изменения и отобразит уведомление об этом. Обновленная информация отобразится в карточке коллектора.

+7 (499) 322 80 40 sales@rvision.ru

О компании Политика конфиденциальности Пользовательское соглашение