Сбор событий из вынесенного коллектора

Данное руководство описывает процесс настройки сбора событий из коллектора, расположенного в сателлите, и их обработки в коллекторе в центральном пространстве системы.

О сборе событий из вынесенного коллектора

Система позволяет создавать коллекторы, расположенные в удаленных кластерах — сателлитах. Такие коллекторы называются вынесенными.

Сателлиты не обладают полным объемом функциональности системы. В частности, в сателлитах отсутствует возможность сохранять события в хранилище, так как хранилища событий подключаются к центральному пространству. Таким образом, чтобы отправлять на хранение события, собранные в вынесенном коллекторе, необходимо настроить их отправку из вынесенного коллектора в коллектор центрального пространства через глобальную шину.

Настройка конфигурации для сбора событий из вынесенного коллектора и их дальнейшей обработки в коллекторе центрального пространства системы включает следующие этапы:

  1. Подключение к пространству сателлита

  2. Настройка отправки событий из вынесенного коллектора

    1. Создание вынесенного коллектора

    2. Создание конвейера в вынесенном коллекторе

    3. Добавление точки входа для сбора событий

    4. Настройка отправки событий через глобальную шину

  3. Настройка сбора и обработки событий в центральном пространстве

    1. Создание коллектора в центральном пространстве

    2. Создание конвейера в коллекторе центрального пространства

    3. Настройка получения событий из глобальной шины

    4. Настройка обработки событий

    5. Настройка отправки событий на хранение

  4. Включение коллектора и установка конфигурации конвейеров

Подключение к пространству сателлита

Управление сателлитом осуществляется за счет запускаемых на нем сервисов через веб-интерфейс основного экземпляра системы. Чтобы подключиться к сателлиту, необходимо создать подключение к его пространству. Для этого:

  1. Войдите в веб-интерфейс основного экземпляра системы.

  2. Перейдите в раздел Настройки → Пространства и сервисы → Пространства.

  3. Нажмите на кнопку Создать (plus). Отобразится окно создания подключения.

  4. Введите идентификатор пространства сателлита в поле ID.

  5. Введите название подключения. Название может быть любым.

  6. В поле IP или домен введите IP-адрес или доменное имя (FQDN) одного из узлов кластера, в котором развернут сателлит.

  7. В поле Порт введите номер TCP-порта, указанного на этапе NATS satellite setup установки сателлита.

  8. При необходимости введите описание подключения к пространству.

  9. Нажмите на кнопку Создать. Система создаст подключение к пространству и отобразит соответствующее уведомление. Подключение отобразится в списке раздела Настройки → Пространства и сервисы → Пространства.

У созданного подключения отобразится статус Подключается. По завершении подключения статус изменится на Активен.

Время на инициализацию подключения зависит загруженности кластеров и каналов связи и может достигать 5—​10 минут.

Настройка отправки событий из вынесенного коллектора

Настройте отправку событий в вынесенном коллекторе, выполнив следующие шаги.

Создание вынесенного коллектора

Чтобы создать вынесенный коллектор:

  1. Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах.

  2. Нажмите на кнопку Создать (plus). Отобразится окно создания коллектора.

  3. Введите название коллектора.

  4. Выберите подключение к пространству, созданное на этапе Подключение к пространству сателлита текущей инструкции.

  5. Укажите ресурсы, выделяемые для работы коллектора: количество ядер процессора в поле CPU и объем оперативной памяти в поле RAM. Значения можно вводить в полях или изменять с помощью кнопок plus и minus.

    • При наведении курсора на поля CPU и RAM отображаются подсказки с количеством доступных ресурсов в каждом узле кластера Kubernetes.

    • Ресурсы, выделенные на работу коллектора, не используются в распределенной корреляции.

  6. При необходимости введите описание коллектора.

  7. При необходимости выберите уровень логирования из выпадающего списка Уровень логирования. Доступны следующие значения:

    • Error — записываются критические ошибки, которые могут влиять на работоспособность коллектора или препятствовать работе коллектора.

    • Warn — записываются предупреждения о потенциальных проблемах, которые могут требовать внимания, но не являются критическими.

    • Info — записывается общая информация о работе и состоянии коллектора.

    • Debug — записываются подробные отладочные сообщения, которые могут использоваться для диагностики и устранения проблем с коллектором.

    • Trace — самый подробный уровень логирования, предоставляющий внутреннюю информацию о каждом шаге работы коллектора.

  8. Нажмите на кнопку Создать. Система создаст коллектор и отобразит соответствующее уведомление. Новый коллектор появится в списке раздела Ресурсы → Коллекторы.

Создание конвейера в вынесенном коллекторе

Чтобы добавить конвейер:

  1. Находясь в разделе Ресурсы → Коллекторы, нажмите на строку коллектора, созданного на предыдущем шаге. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.

  2. Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.

  3. В нижней части окна нажмите на кнопку Добавить. На экране отобразится окно добавления конвейера.

  4. Введите название конвейера.

  5. При необходимости введите описание конвейера.

    Установите флажок Открыть конфигурацию конвейера, чтобы сразу перейти в окно настроек конфигурации конвейера после его создания.

  6. Нажмите на кнопку Добавить. Система создаст конвейер и отобразит соответствующее уведомление. Новый конвейер появится в списке на вкладке Конвейеры в карточке коллектора.

Добавление точки входа для сбора событий

Точка входа поставляет в систему поток сырых событий. Выбор формата точки входа зависит от формата данных, получаемых из источника события.

Для отладки конвейера вы можете использовать точку входа Demo Logs, которая генерирует случайные события.

Чтобы добавить точку входа на конвейер:

  1. Откройте конфигурацию конвейера, созданного на предыдущем шаге. Для этого:

    1. Находясь на вкладке Конвейеры в карточке коллектора, нажмите на кнопку chevron down в строке конвейера. Отобразится карточка конвейера.

    2. Нажмите на кнопку Конфигурация конвейера в нижней части карточки. Отобразится диаграмма конфигурации конвейера.

  2. Удостоверьтесь, что в выпадающем списке Версия на панели инструментов в окне конфигурации конвейера выбран вариант Черновик.

  3. Нажмите на кнопку Добавить элемент и выберите из выпадающего списка пункт Точка входа. Отобразится окно добавления точки входа.

  4. При необходимости выберите шаблон для автоматического заполнения полей точки входа. По умолчанию выбран вариант Без шаблона.

  5. Заполните поля (набор и содержание полей могут отличаться в зависимости от типа точки):

    • Название точки входа.

    • Тип точки входа.

    • Политика аудита источников. По умолчанию выбрана системная Политика аудита источников по точке входа.

      Точка входа может быть привязана только к одной политике аудита источников, но к одной политике может быть привязано несколько точек входа.

    • Формат точки входа.

    • Данные для подключения.

    • Настройки шифрования соединения (опционально).

    • Количество событий (опционально).

    • Интервал в секундах (опционально).

  6. Установите флажок Сохранить как шаблон, если настройку точки входа необходимо сохранить в качестве шаблона для дальнейшего использования.

  7. Нажмите Добавить. Новая точка входа отобразится на диаграмме конфигурации.

Пример:

Добавим соединение с источником, который поставляет данные в формате системного журнала. Для этого выберем тип точки входа Syslog.

Настройка отправки событий через глобальную шину

Чтобы отправлять события из вынесенного коллектора в коллектор центрального пространства, необходимо добавить конечную точку типа Глобальная шина. Для этого:

  1. Нажмите на кнопку Добавить элемент и выберите из выпадающего списка пункт Конечная точка. Отобразится окно добавления конечной точки.

  2. Введите название конечной точки.

  3. Выберите тип конечной точки Глобальная шина.

  4. Нажмите на кнопку Добавить. Новая конечная точка отобразится в конфигурации конвейера.

  5. Соедините выход из точки входа, созданной на предыдущем шаге, со входом конечной точки.

pipeline configuration sending to global bus

Настройка сбора и обработки событий в центральном пространстве

Настройте сбор событий из вынесенного коллектора в коллекторе центрального пространства, выполнив следующие шаги.

Создание коллектора в центральном пространстве

Чтобы создать коллектор в центральном пространстве:

  1. Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах.

  2. Нажмите на кнопку Создать (plus). Отобразится окно создания коллектора.

  3. Введите название коллектора.

  4. Выберите подключение к пространству Центральное пространство.

  5. Укажите ресурсы, выделяемые для работы коллектора: количество ядер процессора в поле CPU и объем оперативной памяти в поле RAM. Значения можно вводить в полях или изменять с помощью кнопок plus и minus.

    • При наведении курсора на поля CPU и RAM отображаются подсказки с количеством доступных ресурсов в каждом узле кластера Kubernetes.

    • Ресурсы, выделенные на работу коллектора, не используются в распределенной корреляции.

  6. При необходимости введите описание коллектора.

  7. При необходимости выберите уровень логирования из выпадающего списка Уровень логирования. Доступны следующие значения:

    • Error — записываются критические ошибки, которые могут влиять на работоспособность коллектора или препятствовать работе коллектора.

    • Warn — записываются предупреждения о потенциальных проблемах, которые могут требовать внимания, но не являются критическими.

    • Info — записывается общая информация о работе и состоянии коллектора.

    • Debug — записываются подробные отладочные сообщения, которые могут использоваться для диагностики и устранения проблем с коллектором.

    • Trace — самый подробный уровень логирования, предоставляющий внутреннюю информацию о каждом шаге работы коллектора.

  8. Нажмите на кнопку Создать. Система создаст коллектор и отобразит соответствующее уведомление. Новый коллектор появится в списке раздела Ресурсы → Коллекторы.

Создание конвейера в коллекторе центрального пространства

Чтобы добавить конвейер:

  1. Находясь в разделе Ресурсы → Коллекторы, нажмите на строку коллектора, созданного на предыдущем шаге. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.

  2. Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.

  3. В нижней части окна нажмите на кнопку Добавить. На экране отобразится окно добавления конвейера.

  4. Введите название конвейера.

  5. При необходимости введите описание конвейера.

    Установите флажок Открыть конфигурацию конвейера, чтобы сразу перейти в окно настроек конфигурации конвейера после его создания.

  6. Нажмите на кнопку Добавить. Система создаст конвейер и отобразит соответствующее уведомление. Новый конвейер появится в списке на вкладке Конвейеры в карточке коллектора.

Настройка получения событий из глобальной шины

Чтобы получать события из вынесенного коллектора, добавьте на конвейер точку входа Global Bus. Для этого:

  1. Откройте конфигурацию конвейера, созданного на предыдущем шаге. Для этого:

    1. Находясь на вкладке Конвейеры в карточке коллектора, нажмите на кнопку chevron down в строке конвейера. Отобразится карточка конвейера.

    2. Нажмите на кнопку Конфигурация конвейера в нижней части карточки. Отобразится диаграмма конфигурации конвейера.

  2. Удостоверьтесь, что в выпадающем списке Версия на панели инструментов в окне конфигурации конвейера выбран вариант Черновик.

  3. Нажмите на кнопку Добавить элемент и выберите из выпадающего списка пункт Точка входа. Отобразится окно добавления точки входа.

  4. Введите название точки входа.

  5. Выберите тип точки входа Global Bus.

  6. Выберите коллектор, настроенный на этапе Настройка отправки событий из вынесенного коллектора текущей инструкции.

  7. Нажмите на кнопку Добавить. Новая точка входа отобразится в конфигурации конвейера.

Настройка обработки событий

При необходимости добавьте на конвейер прочие элементы для дополнительной обработки и анализа событий.

Пример:

Добавим VRL-трансформацию со следующим кодом:

.dvendor = "Linux"
.dproduct = "Some Product"
.dvchost = .raw.hostname
.msg = .raw.message

Соединим выход точки входа со входом VRL-трансформации.

Настройка отправки событий на хранение

Чтобы отправить событие на хранение, необходимо добавить на конвейер конечную точку типа Хранилище событий. Для этого:

  1. Нажмите на кнопку Добавить элемент и выберите из выпадающего списка пункт Конечная точка. Отобразится окно добавления конечной точки.

  2. Введите название конечной точки.

  3. Выберите тип конечной точки Хранилище событий.

  4. Выберите хранилище событий, в котором необходимо сохранять события.

  5. Нажмите на кнопку Добавить. Новая конечная точка отобразится на диаграмме конфигурации.

  6. Соедините выходы точки входа или дополнительных элементов со входом конечной точки.

pipeline configuration receiving from global bus

Включение коллектора и установка конфигурации конвейеров

Чтобы события начали поступать в вынесенный коллектор и отправляться в коллектор центрального пространства, повторите для каждого коллектора следующие действия:

  1. Перейдите в карточку коллектора и включите его.

  2. Установите текущую конфигурацию на конвейере.

+7 (499) 755 55 70 sales@rvision.ru

О компании Пользовательское соглашение Политика cookies