Работа с коллекторами

Данный раздел описывает процесс работы с коллекторами в системе R-Vision SIEM. Работа осуществляется в разделе Ресурсы → Коллекторы веб-интерфейса системы.

Раздел доступен администраторам, пользователям, которые имеют соответствующее разрешение в составе своих ролей, а также учетным записям со статусом Суперадминистратор.

О коллекторах

Коллектор — это компонент системы, который обеспечивает сбор событий из источников, их обработку и дальнейшую отправку на хранение и/или во внешние системы. События поступают в коллектор через установленные на нем конвейеры, посредством которых они могут быть обработаны.

Интерфейс раздела

Панель инструментов раздела включает в себя следующие компоненты:

  • Кнопка Создать (plus) позволяет создать новый коллектор.

  • Кнопка import позволяет импортировать коллекторы в систему.

  • Кнопка export позволяет экспортировать выбранные коллекторы из системы в формате JSON.

  • Поле Поиск предназначено для быстрого поиска коллекторов в отображаемом списке по названию.

  • Выпадающий список Статус позволяет настроить отображение списка коллекторов в соответствии с выбранным статусом.

В рабочей области отображается таблица имеющихся коллекторов. Таблица содержит следующие столбцы:

  • Название — название коллектора, используемое для его идентификации в системе.

  • Статус — текущий статус коллектора (включен/выключен).

  • Конвейеров — количество конвейеров в коллекторе.

  • Дата создания — дата и время создания коллектора.

  • Дата изменения — дата и время последнего изменения коллектора.

  • Описание — описание коллектора.

При работе с таблицей коллекторов доступны следующие операции:

  • Поиск коллекторов по полю Название.

  • Фильтрация коллекторов по полю Статус. Статус выбирается из выпадающего списка.

  • Сортировка коллекторов по полям Название, Дата создания и Дата изменения.

  • Настройка отображения таблицы.

При выборе конкретного коллектора в правой части рабочей области отображается его карточка с детальной информацией. Карточка коллектора содержит следующие вкладки:

  • Информация — общая информация о коллекторе и настройках логирования.

  • Конвейеры — информация о конвейерах в коллекторе.

  • Шины — информация о шинах в коллекторе.

  • Обогащение — информация о таблицах обогащения, добавленных в коллектор.

Работа с коллектором

Доступные операции над коллекторами:

Создание коллектора

Чтобы создать коллектор:

  1. Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах.

  2. Нажмите на кнопку Создать (plus). Отобразится окно создания коллектора.

  3. Введите название коллектора.

  4. Укажите ресурсы, выделяемые для работы коллектора: количество ядер процессора в поле CPU и объем оперативной памяти в поле RAM. Значения можно вводить в полях или изменять с помощью кнопок plus и minus.

    • При наведении курсора на поля CPU и RAM отображаются подсказки с количеством доступных ресурсов в каждом узле кластера Kubernetes.

    • Ресурсы, выделенные на работу коллектора, не используются в распределенной корреляции.

    • Каждая точка входа типа Database, размещенная на конвейере коллектора, использует 256 МБ оперативной памяти (RAM) из ресурсов коллектора. Если планируется размещение точек входа типа Database, необходимо учитывать их суммарное потребление памяти при распределении ресурсов коллектора.

  5. При необходимости введите описание коллектора.

  6. Для работы в режиме распределенной корреляции переведите переключатель Распределенный коррелятор в активное положение.

    Изменение этой настройки потребует перезапуска коллектора.
    Если система работает на базе кластера Kubernetes с одним узлом, включение режима распределенной корреляции недоступно.

  7. Укажите количество ядер процессора (CPU) и объем оперативной памяти (RAM), выделяемый для работы распределенного коррелятора. Это можно сделать непосредственно в поле или с помощью кнопок plus и minus.

    Операции полей join и group декларативного правила вычисляются на корреляторе. Остальные поля, в том числе alias и filter, вычисляются на предпроцессорах. В составе распределенного коррелятора может быть только один коррелятор, но несколько предпроцессоров.

    1. Укажите ресурсы для коррелятора:

      1. Выберите узел для размещения коррелятора.

      2. Укажите количество ядер процессора и объем оперативной памяти, выделяемые для работы коррелятора. Количество доступных в узле ресурсов отображается под полями ввода.

    2. Укажите ресурсы для предпроцессора:

      1. Выберите узел для размещения предпроцессора.

      2. Укажите количество ядер процессора и объем оперативной памяти, выделяемые для работы предпроцессора. Количество доступных в узле ресурсов отображается под полями ввода.

  8. Нажмите на кнопку Добавить предпроцессор, если необходимо добавить дополнительный предпроцессор.

  9. При необходимости выберите уровень логирования из выпадающего списка Уровень логирования. Доступны следующие значения:

    • Error — записываются критические ошибки, которые могут влиять на работоспособность коллектора или препятствовать работе коллектора.

    • Warn — записываются предупреждения о потенциальных проблемах, которые могут требовать внимания, но не являются критическими.

    • Info — записывается общая информация о работе и состоянии коллектора.

    • Debug — записываются подробные отладочные сообщения, которые могут использоваться для диагностики и устранения проблем с коллектором.

    • Trace — самый подробный уровень логирования, предоставляющий внутреннюю информацию о каждом шаге работы коллектора.

  10. Нажмите на кнопку Создать. Система создаст коллектор и отобразит соответствующее уведомление. Новый коллектор появится в списке раздела Ресурсы → Коллекторы.

Просмотр коллектора

Чтобы просмотреть коллектор:

  1. Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах.

  2. Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.

В верхней части карточки отображается название коллектора. Справа от названия расположена кнопка more vertical, по которой открывается выпадающее меню с действиями, доступными для выбранного коллектора.

Карточка коллектора содержит следующие вкладки:

  • Информация — общая информация о коллекторе и настройках логирования.

  • Конвейеры — информация о конвейерах в коллекторе.

  • Шины — информация о шинах в коллекторе.

  • Обогащение — информация о таблицах обогащения, добавленных в коллектор.

Вкладка Информация

На вкладке Информация отображаются основные сведения о коллекторе, сгруппированные по следующим секциям:

  • Метрики коллектора:

    • CPU — количество ядер и уровень загруженности процессора сервиса.

    • RAM — объем и уровень загруженности оперативной памяти сервиса.

    • HDD — объем и уровень загруженности жесткого диска сервиса.

  • Метрики распределенного коррелятора:

    • Характеристика процессора (CPU), объем оперативной памяти (RAM) и жесткого диска (HDD) для каждого узла распределенного коррелятора, включая данные по каждому предпроцессору и коррелятору.

  • Информация:

    • ID — уникальный идентификационный код коллектора, генерируемый автоматически при его создании.

    • Название — имя коллектора, используемое для его идентификации в системе.

    • ID тенанта — уникальный идентификационный код тенанта, к которому относится коллектор.

    • Статус — текущий статус коллектора (включен, выключен или ошибка).

    • IP-адрес — IP-адрес, с которым связан коллектор.

    • Имя хоста — имя хоста, с которым связан коллектор.

    • Описание — краткое описание функциональности коллектора.

    • Конвейеров — количество конвейеров, связанных с коллектором.

    • Дата создания — дата и время создания коллектора.

    • Создал — пользователь, инициировавший создание коллектора.

    • Дата изменения — дата и время последнего изменения коллектора.

    • Изменил — пользователь, выполнивший последнее изменение коллектора.

  • Просмотр логов:

    • Уровень логирования — уровень логирования коллектора: Error, Warn, Info, Debug, Trace или По умолчанию.

    В секции также расположена кнопка Просмотреть логи, позволяющая открыть окно для просмотра логов коллектора.

  • EPS за последние 30 минут — график с количеством зарегистрированных событий в секунду (EPS) за последние 30 минут с шагом в 5 минут для текущего коллектора и всех коллекторов системы.

  • Трафик за последние 30 минут — график с объемом входящего трафика, полученного текущим коллектором и всеми коллекторами системы, за последние 30 минут с шагом в 5 минут.

В верхней части карточки также расположен переключатель статуса коллектора.

Вкладка Конвейеры

На вкладке Конвейеры отображается список конвейеров, добавленных в коллектор.

По умолчанию для каждого конвейера отображается только его название и цветовой индикатор статуса конфигурации:

  • зеленый — конфигурация установлена;

  • серый — конфигурация не установлена;

  • красный — ошибка установки.

Также в строке конвейера имеется кнопка действий (more vertical). При нажатии на нее открывается выпадающее меню с действиями, доступными для выбранного конвейера.

Чтобы получить более подробные сведения о конвейере, нажмите на кнопку chevron down в правой части его строки. Для конвейера отобразится карточка со следующей информацией:

  • ID — уникальный идентификационный код конвейера, генерируемый автоматически при его создании.

  • Описание — краткое описание функциональности конвейера.

  • Статус конфигурации — текущий статус конфигурации конвейера: Установлена, Не установлена или Ошибка установки.

  • Дата создания — дата и время создания конвейера.

  • Создал — пользователь, инициировавший создание конвейера.

  • Дата изменения — дата и время последнего изменения конвейера.

  • Изменил — пользователь, выполнивший последнее изменение конвейера.

  • EPS за последние 30 минут — график с количеством зарегистрированных событий в секунду (EPS) за последние 30 минут с шагом в 5 минут.

  • Адреса точек входа — адреса всех точек входа, добавленных на конвейер.

    Для каждой точки входа в правой части строки расположена кнопка copy. При нажатии на эту кнопку система скопирует адрес точки входа в буфер обмена и отобразит соответствующее уведомление.

В карточке конвейера также расположены кнопки для настройки и установки или отключения его конфигурации.

В верхней части вкладки содержится поле для быстрого поиска конвейеров по названию.

В нижней части вкладки расположены кнопки для добавления и импорта конвейеров.

Вкладка Шины

На вкладке Шины отображается список шин в коллекторе.

По умолчанию для каждой шины отображается только ее название. Также в строке шины имеется кнопка действий (more vertical). При нажатии на нее открывается выпадающее меню с действиями, доступными для выбранной шины.

Чтобы получить более подробные сведения о шине, нажмите на кнопку chevron down в правой части ее строки. Для шины отобразится карточка со следующей информацией:

  • ID — уникальный идентификационный код шины, генерируемый автоматически при ее создании.

  • Описание — краткое описание функциональности шины.

  • Дата создания — дата и время создания шины.

  • Создал — пользователь, инициировавший создание шины.

  • Дата изменения — дата и время последнего изменения шины.

  • Изменил — пользователь, выполнивший последнее изменение шины.

В верхней части вкладки содержится поле для быстрого поиска шин по названию.

В нижней части вкладки расположена кнопка для добавления шин.

Вкладка Обогащение

На вкладке Обогащение отображается список обогащений в коллекторе.

По умолчанию для каждого обогащения отображается только его название. Также в строке обогащения имеется кнопка действий (more vertical). При нажатии на нее открывается выпадающее меню с действиями, доступными для выбранного обогащения.

Чтобы получить более подробные сведения об обогащении, нажмите на кнопку chevron down в правой части его строки. Для обогащения отобразится карточка со следующей информацией:

  • ID обогащения — уникальный идентификационный код компонента обогащения, генерируемый автоматически при добавлении его в коллектор.

  • Описание — краткое описание функциональности обогащения.

  • ID таблицы обогащения — уникальный идентификационный код таблицы обогащения, которая была использована при создании обогащения.

  • Таблица обогащения — название таблицы обогащения, которая была использована при создании обогащения.

  • Версия таблицы обогащения — версия таблицы обогащения, указанная в поле version в настройках таблицы.

  • Дата создания — дата и время создания обогащения.

  • Создал — пользователь, инициировавший создание обогащения.

  • Дата изменения — дата и время последнего изменения обогащения.

  • Изменил — пользователь, выполнивший последнее изменение обогащения.

В верхней части вкладки содержится поле для быстрого поиска обогащений по названию.

В нижней части вкладки расположена кнопка для добавления обогащений.

Включение коллектора

Для того чтобы коллектор мог начать работу с событиями, поступающими в систему, его нужно включить.

Вместе с коллектором также выключаются и все связанные с ним конвейеры.

Чтобы включить коллектор:

  1. Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах.

  2. Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.

  3. Убедитесь, что в карточке коллектора открыта вкладка Информация.

  4. Переведите переключатель состояния коллектора в верхней части карточки в активное положение. Отобразится окно подтверждения включения коллектора.

  5. Нажмите на кнопку Включить. Система включит коллектор и отобразит соответствующее уведомление.

Если при включении коллектора возникли ошибки, система отобразит сообщение об этом. Для просмотра списка ошибок нажмите на кнопку Показать.

Выключение коллектора

Чтобы выключить работающий коллектор:

  1. Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах.

  2. Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.

  3. Убедитесь, что на карточке коллектора открыта вкладка Информация.

  4. Переведите переключатель в верхней части коллектора в неактивное положение. Отобразится окно подтверждения выключения коллектора.

  5. Нажмите на кнопку Выключить. Система выключит коллектор и отобразит соответствующее уведомление.

Изменение коллектора

Чтобы изменить коллектор:

  1. Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах.

  2. Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.

  3. Нажмите на кнопку действий (more vertical) в верхнем правом углу карточки и выберите опцию Изменить. Отобразится окно настроек коллектора.

  4. Внесите изменения в требуемые поля коллектора.

  5. Нажмите на кнопку Сохранить. Система сохранит измененные данные коллектора и отобразит соответствующее уведомление.

Изменить название и описание коллектора можно непосредственно из его карточки:

  1. Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах.

  2. Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.

  3. Убедитесь, что на карточке коллектора открыта вкладка Информация.

  4. Нажмите на кнопку edit рядом с текущим названием или описанием коллектора в его карточке. Система отобразит поле ввода значения.

  5. Введите новое значение поля.

  6. Нажмите Сохранить. Система сохранит изменения и отобразит соответствующее уведомление. Обновленная информация отобразится в карточке и списке коллекторов.

Удаление коллектора

Удаление недоступно для коллекторов, используемых в других сущностях системы.

Вместе с коллектором также удаляются и все добавленные в него конвейеры, шины и обогащения.

Чтобы удалить коллектор:

  1. Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах.

  2. Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.

  3. Нажмите на кнопку действий (more vertical) в верхнем правом углу карточки и выберите опцию Удалить. Отобразится окно подтверждения удаления коллектора.

  4. Нажмите на кнопку Удалить. Система удалит коллектор и отобразит соответствующее уведомление. Удаленный коллектор будет исключен из списка.

Импорт коллектора

Для загрузки конфигурации коллектора в систему применяется функционал импорта, поддерживающий обработку файлов в формате JSON.

Перед тем как импортировать коллектор:

  1. Создайте или импортируйте в систему хранилище событий.

  2. Импортируйте в систему все элементы экспертизы, которые содержит импортируемый коллектор.

Чтобы импортировать коллектор:

  1. Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах.

  2. Нажмите на кнопку import на панели инструментов. Система отобразит окно импорта коллектора.

  3. Нажмите Выбрать файл. Откроется окно проводника операционной системы.

  4. В окне выберите файл для импорта и нажмите на кнопку Открыть. Файл отобразится в окне импорта коллектора.

  5. Нажмите на кнопку Импортировать. Коллектор будет загружен в систему. Система отобразит окно с итогами импорта.

Экспорт коллектора

Чтобы экспортировать коллектор:

  1. Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах.

  2. Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.

  3. Нажмите на кнопку действий (more vertical) в верхнем правом углу карточки и выберите опцию Экспортировать. Отобразится окно экспорта данных.

  4. Нажмите на кнопку Экспортировать. Система загрузит данные коллектора на устройство пользователя в формате JSON и отобразит соответствующее уведомление.

Вы также можете экспортировать сразу несколько коллекторов. Для этого:

  1. Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах.

  2. Установите флажки напротив тех коллекторов, которые вы хотите экспортировать, в левом столбце таблицы.

  3. Нажмите на кнопку export на панели инструментов. Система запросит подтверждение выполнения экспорта.

  4. Нажмите на кнопку Экспортировать. Система загрузит данные коллекторов на устройство пользователя в формате JSON и отобразит соответствующее уведомление.

Также можно экспортировать конфигурацию коллектора из объектного хранилища MinIO.

Работа с логами коллектора

Логирование коллекторов обеспечивает запись событий и состояний системы сбора данных, что позволяет администраторам и разработчикам отслеживать и анализировать работу системы. Уровень логирования настраивается вручную при создании коллектора или изменении его параметров, что позволяет гибко управлять объемом и детализацией регистрируемых данных. Доступные уровни логирования включают в себя Error, Warn, Info, Debug и Trace, каждый из которых предоставляет различный уровень информации о работе коллектора.

Функционал просмотра логов доступен через пользовательский интерфейс, на вкладке Информация карточки коллектора. Здесь отображается текущий уровень логирования и предоставляется возможность просмотра самих логов. Для более удобного анализа логов в системе реализованы инструменты фильтрации и поиска, а также функционал копирования записей журнала логов в буфер обмена.

Доступные операции над логами коллектора:

Логи коллектора очищаются при его выключении.

Просмотр логов коллектора

Чтобы просмотреть логи коллектора:

  1. Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах.

  2. Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.

    В верхней части карточки отображается название коллектора.

    По умолчанию при выборе коллектора открывается вкладка Информация. На вкладке отображается общая информация о выбранном коллекторе и секция, посвященная логированию.

  3. В секции Просмотр логов система отображает текущий уровень логирования коллектора. Нажмите на кнопку Просмотреть логи. Система отобразит окно со списком логов коллектора.

Просмотр логов коллектора также доступен по нажатию кнопки Просмотреть логи (file text 2) на странице конфигурации конвейера.

В окне просмотра логов коллектора доступны следующие настройки:

  • Переключатель Мониторинг позволяет управлять режимом вывода логов. Если переключатель активирован, вывод логов происходит в реальном времени и ручной поиск логов недоступен.

  • Кнопка календаря (calendar) позволяет выбрать способ задания периода, в рамках которого требуется выполнять ручной поиск логов.

  • Поля периода предназначены для указания временного диапазона поиска. Зависят от выбранного способа задания периода.

  • Кнопка Найти позволяет начать поиск логов в заданном периоде.

В левом верхнем углу окна отображается ID просматриваемого коллектора.

  • Логи коллектора можно также просмотреть в кластере Kubernetes.

  • Если ошибки в коллекторе не удается устранить с помощью анализа его логов, рекомендуется проанализировать логи пода collector-manager, управляющего работой всех коллекторов в системе.

Фильтрация списка логов коллектора

Для получения логов за конкретный временной интервал выключите мониторинг.

Чтобы отфильтровать список логов коллектора в режиме просмотра логов:

  1. Из карточки коллектора перейдите к списку логов, нажав на кнопку Просмотреть логи. Система отобразит окно со списком логов коллектора.

  2. Переведите переключатель Мониторинг в неактивное положение. Настройки фильтрации станут доступными для редактирования.

  3. Настройте период поиска логов. Для этого нажмите на кнопку calendar и выберите из выпадающего списка способ задания периода:

    • Последний период — задайте значение вручную или с помощью кнопок minus и plus, после чего выберите единицы времени из выпадающего списка. Поиск логов будет выполняться в указанном диапазоне вплоть до нынешнего момента.

    • Задать период — укажите даты начала и конца периода, за который будет выполняться поиск логов.

    • Часто используемые — выберите в разделе один из предлагаемых периодов.

  4. Нажмите на кнопку Найти. Список логов, соответствующий заданному периоду, отобразится в окне.

Копирование логов коллектора

Чтобы скопировать записи журнала логов коллектора:

  1. Из карточки коллектора перейдите к списку логов нажав на кнопку Просмотреть логи. Система отобразит окно со списком логов коллектора.

  2. Нажмите на кнопку Скопировать в правой нижней части экрана. Система скопирует записи журнала в буфер обмена и отобразит соответствующее уведомление.

Изменение уровня логирования

Изменение уровня логирования выполняется через редактирование настроек коллектора.

Чтобы изменить уровень логирования коллектора:

  1. Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах.

  2. Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.

  3. Нажмите на кнопку действий (more vertical) в верхнем правом углу карточки и выберите опцию Изменить. Отобразится окно настроек коллектора.

  4. Выберите значение из выпадающего списка Уровень логирования. Доступны следующие значения:

    • Error — записываются критические ошибки, которые могут влиять на работоспособность коллектора или препятствовать работе коллектора.

    • Warn — записываются предупреждения о потенциальных проблемах, которые могут требовать внимания, но не являются критическими.

    • Info — записывается общая информация о работе и состоянии коллектора.

    • Debug — записываются подробные отладочные сообщения, которые могут использоваться для диагностики и устранения проблем с коллектором.

    • Trace — самый подробный уровень логирования, предоставляющий внутреннюю информацию о каждом шаге работы коллектора.

  5. Нажмите на кнопку Сохранить. Система сохранит изменения и отобразит соответствующее уведомление. Обновленная информация отобразится в карточке коллектора.

+7 (499) 322 80 40 sales@rvision.ru

О компании Политика конфиденциальности Пользовательское соглашение