Настройка оповещений

О настройке оповещений

В состав R-Vision SIEM входит система визуализации мониторинга Grafana, которая используется для визуализации метрик, собранных с узлов кластера.

Процесс настройки оповещений в Grafana включает следующие этапы:

Авторизация в веб-интерфейсе Grafana.
Создание правила оповещений с условиями срабатывания.
Настройка точки контакта для отправки уведомлений (например, Email, Slack, Telegram).
Настройка политики уведомлений для маршрутизации оповещений на основе их содержания.

Более подробную информацию о настройке можно найти в официальной документации Grafana.

Вход в веб-интерфейс Grafana

Подключитесь к кластеру с помощью Lens.
В левом меню выберите вкладку Network → Services.
Выберите сервис kube-prometheus-stack-grafana из списка.
В секции Connection найдите поле Ports и кликните по указанному в поле порту.
В открывшемся окне авторизации введите логин и пароль для доступа к Grafana.

Учетные данные Grafana

Чтобы получить учетные данные для авторизации в сервисе Grafana:

Подключитесь к кластеру с помощью Lens.
В левом меню выберите вкладку Workload → Pods.
Выберите под kube-prometheus-stack-grafana из списка.
В секции Environment найдите переменные для доступа к веб-интерфейсу Grafana:
- GF_SECURITY_ADMIN_PASSWORD — пароль пользователя.
- GF_SECURITY_ADMIN_USER — имя пользователя.

Добавление правила оповещения

Правило оповещения в Grafana предназначено для автоматического мониторинга данных и создания уведомлений при достижении определенных условий. Оно позволяет задавать параметры для регулярной проверки метрик или логов и инициировать оповещение в случае отклонения от заданных норм.

Выполните следующие шаги для создания правила оповещения:

Перейдите в меню Alerting → Alert rules и выберите опцию для создания нового правила оповещения.
В разделе Set a query and alert condition выполните следующие действия:
1. Выберите источник данных (например, Prometheus).
2. Установите временной диапазон для анализа данных (например, now-10m to now).
3. Нажмите Make this the alert condition для создания условия срабатывания оповещения.
4. В разделе Operations укажите функции, которые будут применяться к метрикам (например, Last и Strict).
5. Установите пороговое значение для срабатывания оповещения (например, IS ABOVE 0).
Перейдите к разделу Alert evaluation behavior:
1. Установите частоту проверки условия в поле Evaluate every (например, 1m).
2. Укажите продолжительность, в течение которой условие должно оставаться истинным, чтобы оповещение сработало, в поле For (например, 5m).
В разделе Add details for your alert:
1. Укажите название правила оповещения в поле Rule name.
2. Выберите папку и группу для хранения правила в полях Folder и Group.
3. Добавьте описание и аннотации к оповещению в полях Summary, Description и Runbook URL. Используйте соответствующие поля для добавления идентификаторов оповещения, панели, или дашборда.
В разделе Notifications:
1. Настройте обработку оповещений. Grafana связывает оповещения с точками контактов, используя метки.
2. Чтобы добавить пользовательские метки, выберите Custom Labels и укажите ключ и значение метки. Метки позволяют маршрутизировать оповещения по определенным правилам.
3. Для добавления новой метки нажмите Add label и заполните поля Choose key и Choose value.
4. Grafana использует корневой маршрут (Root route) по умолчанию для всех оповещений. Если не указаны пользовательские метки, оповещения будут направлены по этому маршруту.
Нажмите Save and exit для сохранения правила оповещения.

Настройка точек контакта

Используйте точки контакта Grafana для выбора предпочитаемого канала связи для получения оповещений при срабатывании правил оповещений. Вы можете добавлять, редактировать, удалять и тестировать точки контакта.

Точки контакта

На вкладке Contact Points вы можете:

Искать точки контакта по имени и типу.
Просматривать все существующие точки контакта.
Добавлять новые точки контакта и редактировать существующие.
Удалять точки контакта. Обратите внимание, что вы не можете удалить точки контакта, которые используются политикой оповещений. Для этого необходимо либо удалить политику оповещений, либо обновить ее, указав другую точку контакта.

Добавление точки контакта

Выполните следующие шаги для добавления точки контакта:

В меню слева перейдите в раздел Alerting → Contact points
В выпадающем меню Choose Alertmanager выберите менеджер оповещений. По умолчанию выбран Grafana.
На вкладке Contact Points нажмите New contact point.
Введите описательное имя для точки контакта.
Выберите тип точки в поле Contact point type и заполните обязательные поля. Например, если вы выбрали Email, введите адреса электронной почты через точку с запятой.
Некоторые интеграции точек контакта, такие как Email или Webhook, имеют дополнительные настройки. В разделе Optional settings укажите дополнительные параметры для выбранной интеграции точки контакта. Например, можно задать формат заголовка и текст оповещения.
В разделе Notification settings по желанию выберите Disable resolved message, если вы не хотите получать оповещение, когда оповещение будет разрешено.
Чтобы добавить еще одну интеграцию точки контакта, нажмите New contact point type и повторите шаги 6-8.
Сохраните изменения.

Тестирование точки контакта

Выполните следующие шаги для тестирования точки контакта:

В меню слева перейдите в раздел Alerting → Contact points, чтобы просмотреть список существующих точек контакта.
На вкладке Contact Points найдите точку контакта, которую хотите протестировать, затем нажмите Edit. Вы также можете создать новую точку контакта, если это необходимо.
Нажмите Test, чтобы открыть диалоговое окно тестирования точки контакта.
Выберите, отправить ли предварительно определенное тестовое оповещение или выберите Custom, чтобы добавить свои собственные аннотации и метки для включения в оповещение.
Нажмите Send test notification, чтобы инициировать оповещение.

Настройка политики уведомлений

Политики уведомлений в Grafana управляют маршрутизацией оповещений к точкам контакта. Политики имеют древовидную структуру, где каждая политика может содержать одну или несколько дочерних политик, а также может включать правила для сопоставления меток оповещений. Оповещения оцениваются по умолчанию с помощью корневой политики, после чего последовательно оцениваются каждой дочерней политикой.

Редактирование корневой политики уведомлений

Для настройки корневой политики уведомлений в Grafana:

В меню слева выберите Alerting → Notification policies.
Убедитесь, что в выпадающем меню Choose Alertmanager выбран Grafana.
В секции Root policy - default for all alerts нажмите Edit.
В поле Default contact point выберите точку контакта, куда будут направляться все уведомления, если не установлены другие правила маршрутизации.
В секции Group by выберите метки, по которым будут группироваться оповещения. Например, можно выбрать метки grafana_folder и alertname, чтобы группировать оповещения по этим критериям.
Разверните секцию Timing options и настройте параметры времени:
1. Group wait — время ожидания перед отправкой первого уведомления для новой группы. По умолчанию 30 секунд.
2. Group interval — минимальный интервал времени между отправкой уведомлений в группе. По умолчанию 5 минут.
3. Repeat interval — минимальный интервал времени для повторной отправки уведомления, если в группе не было добавлено новых оповещений. По умолчанию 4 часа.
Нажмите Save, чтобы сохранить изменения.

Добавление дочерней политики

Для создания дочерней политики, которая будет использоваться для определенных меток:

В меню слева выберите Alerting → Notification policies.
Убедитесь, что в выпадающем меню Choose Alertmanager выбран Grafana.
В секции Specific routing нажмите New specific policy.
В секции Matching labels добавьте одно или несколько правил для соответствия меткам оповещений.
В поле Contact point выберите точку контакта, куда будут отправляться уведомления, если они соответствуют текущей политике.
Включите опцию Continue matching subsequent sibling nodes, чтобы продолжить обработку других дочерних политик после совпадения с текущей (опционально).
Включите опцию Override grouping, если требуется изменить группировку оповещений (опционально).
Включите опцию Override general timings, чтобы переопределить временные параметры, настроенные в корневой политике (опционально).
Нажмите Save policy, чтобы сохранить настройки.

Добавление соседней политики

Для создания соседней политики рядом с существующей дочерней политикой:

В меню слева выберите Alerting → Notification policies.
Найдите дочернюю политику, для которой требуется создать соседнюю политику.
Нажмите Add new policy и выберите New sibling above или New sibling below.
Настройте новую политику аналогично дочерней, задав метки, точку контакта и дополнительные параметры.
Нажмите Save policy, чтобы сохранить настройки.

Поиск политик

Для поиска политик в дереве настроек используйте следующие параметры:

Label matchers — для поиска по меткам.
Contact Points — для поиска по точкам контакта.

Для поиска по точке контакта выберите ее из выпадающего меню Search by contact point. Политики, использующие эту точку контакта, будут выделены в интерфейсе.

Для поиска по меткам введите соответствующие значения в поле Search by matchers. Можно комбинировать несколько меток, разделяя их запятой.

Настройка времени отключения уведомлений

Mute timings используются для указания временных интервалов, в течение которых оповещения должны быть отключены. Эти настройки не наследуются от родительской политики и должны быть настроены на каждом уровне.

Для добавления временных интервалов отключения:

В меню слева выберите Alerting → Notification policies.
Нажмите Add mute timing.
Укажите временные интервалы, в которые уведомления должны быть отключены.
Нажмите Save timing, чтобы сохранить настройки.

Теперь политики уведомлений настроены и будут корректно обрабатывать оповещения в зависимости от заданных параметров.