Yandex Cloud (YC): настройка источника

В левом меню консоли YC откройте Все сервисы.

Перейдите в раздел Data Streams.

В правом верхнем углу нажмите на кнопку Создать поток.

На открывшейся странице укажите базу данных из выпадающего списка или создайте новую базу данных, нажав на кнопку Создать.

Укажите имя потока.

Внизу страницы нажмите на кнопку Создать.

В левом меню консоли YC откройте Все сервисы.

Перейдите в раздел Identity and Access Management.

В правом верхнем углу нажмите на кнопку Создать сервисный аккаунт.

В открывшемся окне укажите имя сервисной учетной записи.

Нажмите на кнопку Создать.

Перейдите в обзор созданного пользователя и в правом верхнем углу нажмите на кнопку Создать новый ключ → Создать API-ключ.

Укажите Область действия ключа: yc.ydb.topics.manage.

Нажмите на кнопку Создать, сохраните полученный ключ в надежном месте.

В левом меню консоли YC откройте Все сервисы.

Перейдите в раздел Managed Service for YDB.

Откройте базу данных, в которой ранее создавали Data Stream, и перейдите на вкладку Права доступа.

Выдайте роль ydb.viewer сервисной учетной записи.

В левом меню консоли YC откройте Все сервисы.

Перейдите в раздел Audit Trails.

В правом верхнем углу нажмите на кнопку Создать трейл.

На открывшейся странице укажите:

Выберите ранее созданный сервисный аккаунт. Будет выведено предупреждение о том, каких ролей не хватает аккаунту для чтения трейлов и записи событий из трейлов в Data Stream.

Наведите на соответствующие предложенные роли курсор, консоль YC предложит добавить недостающие роли аккаунту.

Настройте Сбор событий с уровня конфигурации.

Настройте Сбор событий с уровня сервисов: для каждого сервиса укажите ресурс, каталог и какие события хотите получать (детальная настройка), либо оставьте вариант Получать все (по умолчанию).

Внизу страницы нажмите на кнопку Создать.

Для сбора событий из Yandex Data Streams требуется утилита kcat (бывш. kafkacat). На debian-подобных дистрибутивах установите kcat:

sudo apt install kcat -y

Создайте конфигурационный файл /etc/kcat/yds.conf:

bootstrap.servers=<Kafka API эндпоинт>
security.protocol=SASL_SSL
#security.protocol=SASL_PLAINTEXT
sasl.mechanisms=PLAIN
sasl.username=<Путь к базе данных>
sasl.password=<API token>
broker.address.family=v4
ssl.endpoint.identification.algorithm=https
auto.offset.reset=latest
session.timeout.ms=30000

Укажите параметры <Kafka API эндпоинт>, <Путь к базе данных> и <API token>. Значения <Kafka API эндпоинт> и <Путь к базе данных> можно посмотреть на странице базы данных в YC на вкладке Обзор (например, ydb-01.serverless.yandexcloud.net:9093 и /ru-central1/b1g7qfa5tr2pafeh6cav/etnrte4o8suq771eaptc). <API token> — ранее созданный токен сервисной учетной записи.

Сделайте файл конфигурации доступным для чтения только владельцу:

sudo chown root:root /etc/kcat/yds.conf
sudo chmod 600 /etc/kcat/yds.conf

Создайте скрипт-обертку (например, /usr/local/bin/yds-audit-to-syslog.sh):

#!/usr/bin/env bash
set -euo pipefail

TOPIC="data-stream1"
GROUP_ID="yds-audit-syslog-prod"

# Проверка переменных
if [[ -z "${TOPIC// }" ]]; then
  echo "ERROR: TOPIC is empty" >&2
  exit 1
fi

if [[ -z "${GROUP_ID// }" ]]; then
  echo "ERROR: GROUP_ID is empty" >&2
  exit 1
fi

echo "TOPIC=[$TOPIC], GROUP_ID=[$GROUP_ID]" >&2

KCAT_CONFIG="/etc/kcat/yds.conf"
SYSLOG_TAG="yds-audit"

# Чтение потока и отправка в systemd journal напрямую
kcat -C \
  -F "$KCAT_CONFIG" \
  -G "$GROUP_ID" \
  "$TOPIC" \
  -q \
  -f '%s\n' \
| systemd-cat -t "$SYSLOG_TAG" -p info

Укажите параметры:

Сделайте скрипт исполняемым:

chmod +x /usr/local/bin/yds-audit-to-syslog.sh

Создайте файл сервиса /etc/systemd/system/yds-audit-to-syslog.service:

[Unit]
Description=Yandex Data Streams Audit Trails → Syslog (kcat)
After=network-online.target
Wants=network-online.target

[Service]
Type=simple
User=root
Group=root
ExecStart=/usr/local/bin/yds-audit-to-syslog.sh

Restart=always
RestartSec=5

# Hardening
NoNewPrivileges=true
PrivateTmp=true
ProtectSystem=strict
ProtectHome=true
ReadOnlyPaths=/etc/kcat
ReadWritePaths=/var/log

LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

Перечитайте конфигурации сервисов и запустите новый сервис:

systemctl daemon-reload
systemctl enable --now yds-audit-to-syslog

Убедитесь, что сервис запустился:

systemctl status yds-audit-to-syslog

Настройте передачу событий. Для этого создайте файл /etc/rsyslog.d/51-yds.conf со следующим содержимым:

if $programname == 'yds-audit' then {
    action(type="omfwd" target="<target>" port="<port>" protocol="<protocol>")
    stop
}

Перезапустите службу rsyslog.service с помощью команды:

systemctl restart rsyslog.service