Настройка обработки событий

# Уникальный идентификатор правила.
id: example/network_activity_rule

# Название правила.
name: NetworkActivityAggregationRule

# Тип элемента экспертизы.
type: aggregation_rule

# Версия правила.
version: 1.0.0

# Описание назначения правила.
description: Агрегация событий сетевой активности для анализа трафика

# Имя и контактные данные автора правила.
author: John Doe <johndoe@example.com>

# Список совместимых с правилом источников данных.
data_source:
  - platform: Windows
  - source: Sysmon
  - events:
    - EventID_1
    - EventID_2

# Теги, связанные с правилом.
tags:
  - network
  - traffic_analysis

# Отбрасывает события, которые не соответствуют критериям.
filter: !vrl |
  # Фильтрует события, не относящиеся к категории "Network" или имеющие низкий уровень серьезности.
  .category == "Network" && .severity > 3

# Группировка событий по источнику и назначению.
group_by:
  - src_ip
  - dest_ip

# Условие открытия агрегационного окна.
start_when: !vrl |
  # Начинаем агрегацию при обнаружении события начала соединения.
  .event_type == "connection_start"

# Максимальное количество событий.
max_events: 5

# Время ожидания последнего события (миллисекунды).
expire_after_ms: 60000

# Интервал проверки окон агрегации (миллисекунды).
flush_period_ms: 2000

# Стратегии агрегации значений для каждого указанного поля.
merge_strategies:
  bytes_sent: sum
  bytes_received: sum

# Тесты для проверки работы правила.
tests:
 - name: Network Activity Test
   events:
   - {"category":"Network", "severity":5, "event_type":"connection_start", "src_ip":"192.0.2.10", "dest_ip":"192.0.2.20", "bytes_sent":1500, "bytes_received":2000}
   - {"category":"Network", "severity":4, "event_type":"data_transfer", "src_ip":"192.0.2.10", "dest_ip":192.0.2.20", "bytes_sent":3000, "bytes_received":4000}
   - {"category":"Network", "severity":5, "event_type":"connection_end", "src_ip":"192.0.2.10", "dest_ip":"192.0.2.20", "bytes_sent":500, "bytes_received":600}
   assertion: !vrl |
     # Проверяем, что агрегированные значения соответствуют ожиданиям.
     assert_eq!(.[0], {
       "category": "Network",
       "event_type": "connection_start",
       "src_ip": "192.0.2.10",
       "dest_ip": "192.0.2.20",
       "bytes_sent": 5000,
       "bytes_received": 6600
     })

{
  "category": "Network",
  "severity": 5,
  "event_type": "connection_start",
  "src_ip": "192.168.1.10",
  "dest_ip": "192.168.1.20",
  "bytes_sent": 1500,
  "bytes_received": 2000
}

{
  "event_type": "aggregated_network_activity",
  "src_ip": "192.168.1.10",
  "dest_ip": "192.168.1.20",
  "total_bytes_sent": 5000,
  "total_bytes_received": 6600
}

# Уникальный идентификатор правила.
id: example/basic_normalization_rule

# Название правила.
name: BasicNormalizationRule

# Имя автора правила.
author: John Doe <johndoe@example.com>

# Версия правила.
version: 1.0.0

# Описание назначения правила.
description: Базовое правило нормализации

# Список совместимых с правилом источников данных.
data_source:
  - platform: Windows
  - source: Sysmon
  - events:
    - logs/default.log
    - logs/somelog.log

# Теги, связанные с правилом.
tags:
  - normalization
  - security

# Тип элемента экспертизы.
type: normalization_rule

# Блок правил на языке VRL c условиями фильтрации событий.
filter: !vrl |
  .event.host == "198.51.100.191"

# Блок с правилами на языке VRL для нормализации полей события.
normalizer: !vrl |
    e = parse_json(.event) ?? {}
  . |= {
    "timestamp": parse_timestamp(e.datetime, "%d/%b/%Y:%H:%M:%S") ?? now(),
    "source": "normalized",
    "status": .event.status

  }

  if e.status == "404" || e.status == "401" {
    .responseStatus = "Bad request"
  }

{
    "event": "{\"host\":\"170.174.42.191\",\"user-identifier\":\"JohnDoe\",\"datetime\":\"31/Jul/2023:06:55:49\",\"method\":\"GET\",\"request\":\"/observability/metrics/production\",\"protocol\":\"HTTP/2.0\",\"status\":\"404\",\"bytes\":22427,\"referer\":\"https://example.url.com\"}"
}

{
    "event": "{\"host\":\"170.174.42.191\",\"user-identifier\":\"JohnDoe\",\"datetime\":\"31/Jul/2023:06:55:49\",\"method\":\"GET\",\"request\":\"/observability/metrics/production\",\"protocol\":\"HTTP/2.0\",\"status\":\"404\",\"bytes\":22427,\"referer\":\"https://example.url.com\"}",
    "host": "170.174.42.191",
    "method": "GET",
    "path": "/observability/metrics/production",
    "protocol": "HTTP/2",
    "referer": "https://example.url.com",
    "responseBytes": 22427,
    "responseStatus": "Bad request",
    "serverIP": "170.174.42.191",
    "timestamp": "2023-07-30T23:55:49Z",
    "userAgent": null,
    "userId": "JohnDoe"
}

# Уникальный идентификатор правила.
id: example/ddos_detection_rule

# Название правила.
name: DDoSDetectionRule

# Тип элемента экспертизы.
type: correlation_rule

# Версия правила.
version: 1.0.0

# Уровень угрозы, присваиваемый корреляционному правилу.
severity: high

# Описание назначения правила.
description: Обнаружение атаки DDoS на основе трафика

# Имя и контактные данные автора правила.
author: John Doe <johndoe@example.com>

# Список совместимых с правилом источников данных.
data_source:
  - platform: Windows
  - source: Sysmon
  - events:
    - EventID_13
    - EventID_1

# Теги, связанные с правилом.
tags:
  - ddos
  - security

# Фильтр применяется к событиям перед входом в правило.
filter: !vrl |
  .source_ip != null &&
  .request_path != null

# Разделение потоков событий на псевдонимы.
aliases:
 HighRateTraffic:
   filter: !vrl |
     .event_type == "HTTP_REQUEST" && parse_duration!(.window, "s") >= 100
 SuspiciousPatterns:
   filter: !vrl |
     .event_type == "HTTP_REQUEST" && ends_with(to_string!(.request_path), "/api/highload")
 NormalTraffic:
   filter: !vrl |
     .event_type == "HTTP_REQUEST" && ends_with(to_string!(.request_path), "/home")

# Соединение потоков событий.
select:
  alias: HighRateTraffic
  join:
    alias: SuspiciousPatterns
    absent: true
    on:
      - eq: { HighRateTraffic: .source_ip, SuspiciousPatterns: .source_ip }
    wait_for: 30

# Группировка событий.
group:
  - alias: HighRateTraffic
    by:
      - source_ip
    count: 3

# Частота генерации корреляционных событий в рамках каждой группы (событий в секунду).
throttle_time_sec: 60

# Время хранения промежуточных корреляционных данных (секунды).
ttl: 60

# Логика обогащения корреляционного события на языке VRL.
on_correlate: !vrl |
 .message = "Обнаружена потенциальная DDoS атака с источника: " + to_string!(.source_ip)
 .additional_info = "Высокая частота запросов и подозрительные паттерны в пути запроса /api/highload"

# Управляет созданием оповещений по результатам корреляции.
trigger_alert: true

# Тесты для проверки работы правила.
tests:
 - name: DDoS Attack Detected
   events:
   - { "event_type": "HTTP_REQUEST", "source_ip": "192.0.2.1", "window": "100s", "request_path": "/api/highload" }
   - { "event_type": "HTTP_REQUEST", "source_ip": "192.0.2.1", "window": "110s", "request_path": "/api/highload" }
   - { "event_type": "HTTP_REQUEST", "source_ip": "192.0.2.2", "window": "120s", "request_path": "/api/highload" }
   - { "event_type": "HTTP_REQUEST", "source_ip": "192.0.2.100", "window": "130s", "request_path": "/api/highload" }
   - { "event_type": "HTTP_REQUEST", "source_ip": "192.0.2.132", "window": "140s", "request_path": "/api/highload" }
   - { "event_type": "HTTP_REQUEST", "source_ip": "192.0.2.1", "window": "150s", "request_path": "/api/highload" }
   - { "event_type": "HTTP_REQUEST", "source_ip": "192.0.2.1", "window": "160s", "request_path": "/api/highload" }
   - { "event_type": "HTTP_REQUEST", "source_ip": "192.0.2.1", "window": "170s", "request_path": "/api/highload" }
   - { "event_type": "HTTP_REQUEST", "source_ip": "192.0.2.132", "window": "180s", "request_path": "/api/highload" }
   - { "event_type": "HTTP_REQUEST", "source_ip": "192.0.2.1", "window": "190s", "request_path": "/api/highload" }
   - { "event_type": "HTTP_REQUEST", "source_ip": "192.0.2.132", "window": "50s",  "request_path": "/home" }
   - { "event_type": "HTTP_REQUEST", "source_ip": "192.0.2.1", "window": "160s", "request_path": "/api/highload" }
   - { "event_type": "HTTP_REQUEST", "source_ip": "192.0.2.1", "window": "170s", "request_path": "/api/highload" }
   - { "event_type": "HTTP_REQUEST", "source_ip": "192.0.2.1", "window": "180s", "request_path": "/api/highload" }
   - { "event_type": "HTTP_REQUEST", "source_ip": "192.0.2.1", "window": "190s", "request_path": "/api/highload" }
   - { "event_type": "HTTP_REQUEST", "source_ip": "192.0.2.1", "window": "50s",  "request_path": "/home" }
=    - { "event_type": "HTTP_REQUEST", "source_ip": "192.0.2.224",  "window": "60s",  "request_path": "/contact" }
   - { "event_type": "HTTP_REQUEST", "source_ip": "192.0.2.10", "window": "70s", "request_path": "/about" }
   assertion: !vrl |
     assert_eq!(.message, "Обнаружена потенциальная DDoS атака с источника: 192.0.2.1")

{
  "event_type": "HTTP_REQUEST",
  "source_ip": "192.168.1.x",  // где x - уникальный номер для каждого события
  "datetime": "2023-09-28T12:34:56Z",
  "request_path": "/api/highload",
  "user_agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (HTML, like Gecko) Chrome/93.0.4472.124 Safari/537.36"
}

{
  "type": "correlation_rule",
  "severity": "high",
  "event_type": "DDoS Detection",
  "source_ip": "192.168.1.1",
  "datetime": "2023-09-28T12:45:00Z",
  "message": "Обнаружена потенциальная DDoS атака с источника: 192.168.1.1",
  "additional_info": "Высокая частота запросов и подозрительные паттерны в пути запроса /api/highload"
}

# Уникальный идентификатор правила сегментации.
id: segmentation/ddos_alerts

# Название правила сегментации.
name: DDoSAlertsSegmentation.

# Тип элемента экспертизы.
type: segmentation_rule

# Версия правила сегментации.
version: 1.0.0

# Описание назначения правила сегментации.
description: Сегментация и классификация оповещений для атак типа DDoS.

# Имя и контактные данные автора правила сегментации.
author: John Doe <johndoe@example.com>

# Список совместимых с правилом источников данных.
data_source:
  - platform: Windows
  - source: Sysmon
  - events:
    - logs/default.log
    - logs/somelog.log

# Теги, связанные с правилом сегментации.
tags:
  - ddos
  - alert
  - segmentation

# Группирует корреляционные события по указанным полям. Если не указано, все события помещаются в единую группу.
group_by:
  - source_ip

# Задаёт максимальное количество корреляционных событий в группе оповещения.
# При достижении максимального значения создаётся новое оповещение.
threshold: 1

# Задаёт максимальное время жизни корреляционных событий в группе.
# При достижении максимального значения создаётся новое оповещение.
timeout: 60

# Код VRL для формирования имени оповещения (например из частей имён событий).
# Выполняется только при создании оповещения (при обновлении существующего оповещения не выполняется).
# Если поле не определено, оповещению будет автоматически присвоено название правила корреляции, которое первым привело к его срабатыванию.
alert_name: !vrl |
  "DDoS_ALERT_" + to_string!(.source_ip)

# Тесты для проверки работы правила сегментации.
tests:
  - name: High traffic from single source IP
    events:
      - { type: "correlation_rule", severity: "high", event_type: "DDoS Detection", source_ip: "198.51.100.1", datetime: "2023-09-28T12:45:00Z" }
      - { type: "correlation_rule", severity: "high", event_type: "DDoS Detection", source_ip: "198.51.100.2", datetime: "2023-09-28T12:47:00Z" }
      - { type: "correlation_rule", severity: "high", event_type: "DDoS Detection", source_ip: "198.51.100.1", datetime: "2023-09-28T12:49:00Z" }
    assertion: !vrl |
      assert_eq!(length(.), 3)
      assert_eq!(.[0].group_by.source_ip, "198.51.100.1")
      assert_eq!(.[0].name, "DDoS_ALERT_198.51.100.1")
      assert_eq!(.[1].group_by.source_ip, "198.51.100.2")
      assert_eq!(.[1].name, "DDoS_ALERT_198.51.100.2")