Создание пользовательских дашбордов в Grafana

Вы можете создавать дашборды в Grafana для мониторинга состояния кластера. Чтобы создать новый дашборд:

Войдите в веб-интерфейс Grafana.
В разделе Dashboards нажмите на кнопку New и выберите New dashboard.
Чтобы перейти к созданию первой панели дашборда, на следующем экране нажмите Add visualization.
Чтобы добавить новую панель на существующий дашборд, нажмите Add на верхней панели инструментов, затем выберите Visualization в выпадающем меню.

Примеры создания панелей с дополнительными метриками состояния кластера приведены ниже. Подробная информация доступна в официальной документации Grafana.

Примеры панелей пользовательских метрик в Grafana

Создание графика с метриками из Prometheus

В Grafana можно выводить графики метрик, собранных системой Prometheus. Ниже приведен пример построения графика запросов подов кластера на ресурсы процессора и памяти.

Чтобы добавить на дашборд график метрик из Prometheus, выполните следующие действия:

Создайте новую панель на дашборде.
Выберите источник данных Prometheus. Это можно сделать:
1. при создании панели в окне Select data source;
2. в нижней части экрана, в выпадающем списке Data source.
Выберите тип визуализации Time series из выпадающего списка в правом верхнем углу экрана.

В панели настроек запроса (по умолчанию A) выберите метрику из выпадающего списка Metric:

Для CPU: cluster:namespace:pod_cpu:active:kube_pod_container_resource_requests.

Для оперативной памяти: cluster:namespace:pod_memory:active:kube_pod_container_resource_requests.

По умолчанию метрики оперативной памяти отображаются в байтах. Можно преобразовать их в более информативные единицы измерения, например, в мегабайты. Для этого используйте деление на число-делитель:

В панели настроек запроса нажмите на кнопку Operations.
Выберите Binary operations → Divide by scalar.
Укажите делитель в поле Value. Например, 1048576 для перевода в мегабайты.

Также в списке Binary operations доступны другие арифметические операции над значениями графика.

Для фильтрации подов по различным критериям, таким как принадлежность к пространству имен или узлу, используйте меню Label filters справа от выпадающего списка Metric.
Чтобы настроить подписи в легенде графика:
- Откройте выпадающее меню Options в нижней части панели настроек запроса.
- В выпадающем списке Legend выберите опцию Custom.
- Укажите текст подписи, например, {{pod}} CPU request, где ключевое слово {{pod}} будет заменено на имя пода.

В правой панели редактора доступны дополнительные настройки графика, такие как:

Изменение названия графика в поле Title.
Настройка сортировки значений в легенде графика. Чтобы ее применить:
- В разделе Legend установите режим отображения (Mode) на Table.
- В поле Values выберите показатели для отображения в таблице легенды. Например, среднее значение и максимум за выбранный временной период.
- Выбранные показатели отобразятся в таблице легенды. Для сортировки графиков по ним нажмите на заголовки соответствующих столбцов.

Вывод логов Loki

Grafana позволяет отображать логи, собранные системой Loki. Ниже приведен пример вывода логов шардов ClickHouse.

Чтобы добавить на дашборд панель логов, собранных Loki, выполните следующие действия:

Создайте новую панель на дашборде.
Выберите источник данных DS_LOKI. Это можно сделать:
1. при создании панели в окне Select data source;
2. в нижней части экрана, в выпадающем списке Data source.
Выберите тип визуализации Logs из меню в правом верхнем углу экрана.

В панели настроек запроса (по умолчанию A) настройте фильтрацию логов, используя меню Label filters. Выберите метки объектов кластера, с которых должны быть получены логи: например, пространство имен, контейнер или под.

Например, для отображения логов шардов ClickHouse в меню Label filters задайте:

метку pod;
оператор ~=;
имена подов шардов ClickHouse, например, clickhouse-shard0-0, clickhouse-shard1-0.

Строки логов можно фильтровать по заданным условиям. Для этого:

В панели настроек запроса нажмите на кнопку Operations.
Выберите Line filters в выпадающем списке.
Укажите тип фильтра. Доступны фильтры с учетом регистра и регистронезависимые.

Например, чтобы отобразить только сообщения, содержащие текст error без учета регистра:

Выберите тип фильтра Line contains case insensitive.
В поле Text to find введите error.

В меню Options в нижней части панели настроек запроса можно задать лимит числа строк логов, выводимых в панель, с помощью поля Line limit.

В правой панели редактора доступны дополнительные настройки графика, такие как:

Изменение названия графика в поле Title.
Настройка отображения логов в разделе Logs, например:
- Добавление метки времени в часовом поясе пользователя с помощью флажка Time.
- Включение переноса строк логов с помощью флажка Wrap lines.

Сохранение дашборда

После создания панелей сохраните дашборд, нажав на кнопку Save dashboard ( save ) в верхней панели инструментов. Сохраненный дашборд будет доступен в разделе Dashboards веб-интерфейса Grafana.