Настройка утилиты для архивирования и восстановления исторических событий

clickhouse-backup --version

Version: 2.6.41
Git Commit: b52aa4fc973f0025707e09dce2f275257f068ff1
Build Date: 2025-12-02

general:
    remote_storage: none
    backups_to_keep_local: <backups_to_keep_local>
    log_level: info
clickhouse:
    username: <backup_user>
    password: <backup_password>
    host: localhost
    port: 9000
    disk_mapping:
      backups: /opt/clickhouse/backup/
    skip_tables:
        - system.*
        - INFORMATION_SCHEMA.*
        - information_schema.*
    timeout: <timeout>
    use_embedded_backup_restore: true
    embedded_backup_disk: "backups"
    debug: false

#!/bin/bash

# archive_events.sh - архивация партиций таблиц default.EventStorage_*_local старше N дней и удаление их из ClickHouse.
#
# Использование: ./archive_events.sh [DAYS].
#   DAYS - события старше скольких дней нужно архивировать (по умолчанию 7).
#
# Требования: bash, clickhouse-client, clickhouse-backup.

set -euo pipefail

# Перенаправление stdout и stderr в лог-файл.
LOG_DIR=/opt/clickhouse/log
LOG_FILE="$LOG_DIR/archive_events.log"

mkdir -p "$LOG_DIR"
chown clickhouse:clickhouse "$LOG_DIR"
chmod 0755 "$LOG_DIR"
touch "$LOG_FILE"
chown clickhouse:clickhouse "$LOG_FILE"
chmod 0644 "$LOG_FILE"

exec >>"$LOG_FILE" 2>&1

# Пути к утилитам clickhouse-backup и clickhouse-client.
CHB_BIN=/usr/bin/clickhouse-backup
CH_CLIENT=/usr/bin/clickhouse-client

# Вызов справки по ключу --help.
if [[ "${1:-}" =~ ^(-h|--help)$ ]]; then
  cat <<'EOF'
Использование: ./archive_events.sh [DAYS].
  DAYS - события старше скольких дней нужно архивировать (по умолчанию 7).
EOF
  exit 0
fi

RETENTION_DAYS="${1:-7}"

# Паттерн таблиц и путь к конфигурационному файлу.
TABLE_PATTERN='default.EventStorage_*_local'
CHB_CFG='/etc/clickhouse-backup/config.yml'

# Проверка наличия утилиты clickhouse-backup.
if ! command -v "$CHB_BIN" &>/dev/null; then
  echo "ERROR: clickhouse-backup не найден по $CHB_BIN" >&2
  exit 1
fi

# Проверка наличия утилиты clickhouse-client.
if ! command -v "$CH_CLIENT" &>/dev/null; then
  echo "ERROR: clickhouse-client не найден по $CH_CLIENT" >&2
  exit 1
fi

# Чтение учетных данных из конфигурационного файла.
read -r CHB_USER CHB_PASS CHB_HOST CHB_PORT < <(
  awk '/^\s*username:/ {u=$2}
       /^\s*password:/ {p=$2}
       /^\s*host:/     {h=$2}
       /^\s*port:/     {po=$2}
       END {
         print u, p, h, po
       }' "$CHB_CFG"
)

# Проверка, что учетные данные успешно получены.
if [[ -z "$CHB_USER" || -z "$CHB_PASS" || -z "$CHB_HOST" || -z "$CHB_PORT" ]]; then
  echo "ERROR: не удалось прочитать username/password/host/port из $CHB_CFG" >&2
  exit 1
fi

# Проверка наличия и выбор кластера ClickHouse. По умолчанию - default.
CLUSTER=$("$CH_CLIENT" \
  --host="$CHB_HOST" --port="$CHB_PORT" \
  --user="$CHB_USER" --password="$CHB_PASS" \
  --query="SELECT any(cluster) FROM system.clusters FORMAT TSV")
CLUSTER="${CLUSTER:-default}"

# Вычисление пороговой даты.
CUTOFF=$(date -d "-${RETENTION_DAYS} days" +%Y%m%d)

# Сбор списка партиций.
mapfile -t PARTS < <(
  "$CH_CLIENT" \
    --host="$CHB_HOST" --port="$CHB_PORT" \
    --user="$CHB_USER" --password="$CHB_PASS" \
    --query="
      SELECT DISTINCT partition
      FROM system.parts
      WHERE active
        AND database='default'
        AND table LIKE 'EventStorage_%_local'
        AND partition <= '$CUTOFF'
      ORDER BY partition
      FORMAT TSV"
)

if [ "${#PARTS[@]}" -eq 0 ]; then
  echo "Нет партиций ≤ $CUTOFF для архивации, процесс отменен."
  exit 0
fi

# Формирование CSV-файла и имени архива с перечислением партиций.
{
  IFS=','
  PARTS_CSV="${PARTS[*]}"
}

PARTS_UNDERSCORED="${PARTS_CSV//,/_}"
BACKUP_NAME="archive_events_${PARTS_UNDERSCORED}"

echo "→ Архивация партиций [$PARTS_CSV] в архив '$BACKUP_NAME'…"
"$CHB_BIN" create \
  --config "$CHB_CFG" \
  --tables="$TABLE_PATTERN" \
  --partitions="$PARTS_CSV" \
  "$BACKUP_NAME"

PARTS_SQL=$(printf "'%s'," "${PARTS[@]}")
PARTS_SQL=${PARTS_SQL%,}

echo "→ Удаление партиций из ClickHouse (кластер '$CLUSTER')…"
# Сбор списка таблиц, из которых надо удалить партиции.
mapfile -t TABLES < <(
  "$CH_CLIENT" \
    --host="$CHB_HOST" --port="$CHB_PORT" \
    --user="$CHB_USER" --password="$CHB_PASS" \
    --query="
      SELECT DISTINCT concat(database, '.', table)
      FROM system.parts
      WHERE active
        AND database='default'
        AND table LIKE 'EventStorage_%_local'
        AND partition IN (${PARTS_SQL})
      FORMAT TSV"
)

for tbl in "${TABLES[@]}"; do
  for part in "${PARTS[@]}"; do
    echo "  • ALTER TABLE $tbl ON CLUSTER '$CLUSTER' DROP PARTITION '$part'"
    "$CH_CLIENT" \
      --host="$CHB_HOST" --port="$CHB_PORT" \
      --user="$CHB_USER" --password="$CHB_PASS" \
      --query="ALTER TABLE $tbl ON CLUSTER '$CLUSTER' DROP PARTITION '$part'"
  done
done

echo "Готово. Архив: $BACKUP_NAME, удалены партиции ≤ $CUTOFF."

chown clickhouse:clickhouse /usr/local/bin/archive_events.sh
chmod 750 /usr/local/bin/archive_events.sh