Работа с конечными точками

Данный раздел описывает процесс работы с конечными точками на конвейерах в системе. Работа осуществляется при настройке конфигурации конвейера.

О конечных точках

Конечная точка — это элемент конвейера, который отвечает за отправку событий. Тип конечной точки зависит от пункта назначения, в который пересылаются события. На диаграмме конфигурации конвейера конечная точка имеет один вход и не имеет выходов.

В системе доступны следующие типы конечных точек:

Доступные операции над конечной точкой:

Добавление конечной точки

Чтобы добавить конечную точку на конфигурацию конвейера:

  1. Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах.

  2. Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.

  3. Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.

  4. Нажмите на кнопку chevron down в строке конвейера. Отобразится карточка конвейера.

  5. Нажмите на кнопку Конфигурация конвейера в нижней части карточки. Отобразится диаграмма конфигурации конвейера.

  6. Удостоверьтесь, что в выпадающем списке Версия на панели инструментов в окне конфигурации конвейера выбран вариант Черновик.

  7. Нажмите на кнопку Добавить элемент и выберите из выпадающего списка пункт Конечная точка. Отобразится окно добавления конечной точки.

  8. При необходимости выберите шаблон для автоматического заполнения полей конечной точки. По умолчанию выбран вариант Без шаблона.

  9. Заполните поля (набор и содержание полей могут отличаться в зависимости от типа точки):

    • Название конечной точки.

    • Тип конечной точки.

    • Формат конечной точки.

  10. Установите флажок Сохранить как шаблон, если настройку конечной точки необходимо сохранить в качестве шаблона для дальнейшего использования.

  11. Нажмите Добавить. Новая конечная точка отобразится на диаграмме конфигурации.

Изменение конечной точки

Чтобы изменить конечную точку:

  1. Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах.

  2. Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.

  3. Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.

  4. Нажмите на кнопку chevron down в строке конвейера. Отобразится карточка конвейера.

  5. Нажмите на кнопку Конфигурация конвейера в нижней части карточки. Отобразится диаграмма конфигурации конвейера.

  6. Удостоверьтесь, что в выпадающем списке Версия на панели инструментов в окне конфигурации конвейера выбран вариант Черновик.

  7. Откройте окно настроек конечной точки одним из следующих способов:

    • Нажмите на кнопку действий more vertical справа от названия конечной точки и выберите опцию Изменить.

    • Дважды нажмите на конечную точку на диаграмме конфигурации конвейера.

  8. Внесите изменения в требуемые поля.

  9. Нажмите на кнопку Сохранить. Измененные данные конечной точки будут сохранены.

Удаление конечной точки

Чтобы удалить конечную точку:

  1. Перейдите в раздел Ресурсы → Коллекторы. Система отобразит сведения об имеющихся коллекторах.

  2. Нажмите на строку коллектора в списке. Система отобразит в правой части экрана карточку этого коллектора с подробной информацией о нем.

  3. Перейдите на вкладку Конвейеры в карточке коллектора. Система отобразит список конвейеров коллектора.

  4. Нажмите на кнопку chevron down в строке конвейера. Отобразится карточка конвейера.

  5. Нажмите на кнопку Конфигурация конвейера в нижней части карточки. Отобразится диаграмма конфигурации конвейера.

  6. Удостоверьтесь, что в выпадающем списке Версия на панели инструментов в окне конфигурации конвейера выбран вариант Черновик.

  7. Нажмите на кнопку действий more vertical справа от названия конечной точки и выберите опцию Удалить. Система запросит подтверждение удаления конечной точки.

  8. Нажмите на кнопку Удалить. Конечная точка будет удалена с конфигурации конвейера.

Настройка конечной точки

Набор параметров конечной точки отличается в зависимости от ее типа. В системе доступны следующие типы конечных точек:

Хранилище событий

Конечная точка типа Хранилище событий позволяет сохранять события в выбранное хранилище.

Конечная точка типа Хранилище событий недоступна для конвейеров в вынесенных коллекторах. Пример обработки событий, собранных в вынесенном коллекторе, рассмотрен в разделе Сбор событий из вынесенного коллектора.
Вы можете просматривать события хранилища в разделе Поиск или визуализировать их данные с помощью дашбордов.

При создании конечной точки типа Хранилище событий требуется задать следующие параметры:

  1. Хранилище событий: выбор хранилища событий, в которое будут передаваться события.

  2. Режим отладки: включение режима отладки. В режиме отладки, поля, которые не соответствуют модели события выбранного хранилища, будут принудительно заполнены значениями по умолчанию, при этом в лог будет записано сообщение о наличии проблем в полях исходного события.

Поля модели, которые отсутствуют в исходном событии, заполняются значениями по умолчанию в зависимости от типа:

  • Bool — false;

  • Float — 0.0;

  • UUID — 00000000-0000-0000-0000-000000000000.

Перед тем как переслать события в хранилище, система автоматически производит их нормализацию:

  • С помощью функции compact удаляются пустые поля, если они присутствуют в данных.

    . = compact(.) ?? .

  • С помощью функции rv_ipv6_to_ipv4 адреса IPv6 преобразуются в IPv4, если это возможно.

Внешняя система

Конечная точка типа Внешняя система позволяет отправлять события во внешнюю систему.

При создании конечной точки типа Внешняя система требуется выбрать Тип внешней системы и задать параметры, зависящие от выбранного типа.

Доступны следующие типы внешних систем:

Blackhole

Конечная точка Blackhole предназначена для отбрасывания поступающих событий. Ее рекомендуется использовать для отладки конвейера, когда не нужно сохранять обработанные события в хранилище или отправлять их во внешнюю систему.

Параметры конечной точки Blackhole:

  1. Интервал запроса (опционально): время в секундах между записями активности конечной точки в логи коллектора.

  2. Количество событий (опционально): максимальное количество событий в секунду, которые могут обрабатываться конечной точкой.

  3. Использовать расширенные настройки: настройка буферизации.

ClickHouse

Конечная точка ClickHouse предназначена для записи событий во внешнюю базу данных ClickHouse.

Параметры конечной точки ClickHouse:

  1. Адрес: адрес внешней системы в формате URL- или IP-адреса с указанием порта. Например: https://hostname:6000 или 192.0.2.0:6000.

  2. База данных: база данных, содержащая таблицу для записи данных. По умолчанию default.

  3. Таблица: название таблицы для записи данных.

  4. Тип сжатия данных: выбор типа сжатия данных:

    • NONE — без сжатия. Данный тип выбран по умолчанию.

    • GZIP.

    • SNAPPY.

    • ZLIB.

    • ZSTD.

  5. Тип аутентификации (опционально): выбор типа аутентификации на HTTP-сервере:

    • Базовая: выберите секрет типа Учетные данные, хранящий имя пользователя и пароль для авторизации.

      Чтобы просмотреть выбранный секрет на странице раздела Секреты, нажмите на кнопку Открыть.

    • Токен: выберите секрет типа Токен, хранящий токен для авторизации.

      Чтобы просмотреть выбранный секрет на странице раздела Секреты, нажмите на кнопку Открыть.

  6. Тип данных: формат представления данных для записи в ClickHouse:

    • JSONEACHROW — каждая строка интерпретируется как набор полей таблицы. Данный тип выбран по умолчанию.

    • JSONASOBJECT — каждый объект JSON интерпретируется как одно значение типа JSON.

    • JSONASSTRING — каждый объект JSON интерпретируется как одна строка.

  7. Массовая отправка: переключатель, позволяющий включить отправку данных пакетами. При включении доступны следующие настройки:

    • Максимальный размер пакета: максимальный размер несжатого и несериализованного пакета. Значение по умолчанию — 10 000 000.

    • Максимальное количество событий: предельное количество событий в пакете, после которого происходит отправка.

    • Время ожидания: максимальное время в секундах, в течение которого формируется пакет. Значение по умолчанию — 1.

  8. Кодировка: переключатель, позволяющий настроить преобразования событий для сериализации. При включении доступны следующие настройки:

    • Исключаемые поля: поля, исключаемые из отправляемых событий.

      Чтобы добавить поле, нажмите на кнопку Добавить. Отобразится строка добавления поля.

      Чтобы удалить поле, нажмите на кнопку trash в строке поля.

    • Включаемые поля: поля, включаемые в отправляемые события.

      Чтобы добавить поле, нажмите на кнопку Добавить. Отобразится строка добавления поля.

      Чтобы удалить поле, нажмите на кнопку trash в строке поля.

    • Формат временных меток: формат для полей с временными метками:

      • RFC3339 — формат RFC 3339;

      • UNIX — формат Unix-времени;

      • UNIX_FLOAT — формат Unix-времени с плавающей точкой;

      • UNIX_MS — формат Unix-времени в миллисекундах;

      • UNIX_NS — формат Unix-времени в наносекундах;

      • UNIX_US — формат Unix-времени в микросекундах.

  9. Пропуск отсутствующих полей: переключатель, позволяющий игнорировать поля, которые не входят в схему таблицы ClickHouse.

  10. Преобразовать даты: переключатель, позволяющий использовать встроенные функции преобразования формата RFC 3339/ISO 8601 в ClickHouse.

  11. Включить TLS: включение TLS-сертификата.

  12. Использовать расширенные настройки: настройка буферизации.

HTTP

Конечная точка HTTP предназначена для подключения к внешнему серверу по HTTP-протоколу и отправки событий на этот сервер. Отправка событий происходит за счет выполнения HTTP-запросов, посылаемых от конечной точки к серверу.

Параметры конечной точки HTTP:

  1. Префикс (опционально): строка, с которой начинается полезная нагрузка (payload) в теле HTTP-запроса.

  2. Суффикс (опционально): строка, которой заканчивается полезная нагрузка (payload) в теле HTTP-запроса.

  3. Адрес: адрес внешней системы в формате URL- или IP-адреса с указанием порта. Например: https://hostname:6000 или 192.0.2.0:6000.

  4. Тип аутентификации (опционально): выбор типа аутентификации на HTTP-сервере:

    • Базовая: выберите секрет типа Учетные данные, хранящий имя пользователя и пароль для авторизации.

      Чтобы просмотреть выбранный секрет на странице раздела Секреты, нажмите на кнопку Открыть.

    • Токен: выберите секрет типа Токен, хранящий токен для авторизации.

      Чтобы просмотреть выбранный секрет на странице раздела Секреты, нажмите на кнопку Открыть.

  5. Тип сжатия: выбор типа сжатия данных:

    • NONE — без сжатия. Данный тип выбран по умолчанию.

    • GZIP.

    • SNAPPY.

    • ZLIB.

    • ZSTD.

  6. Формат событий: формат передачи событий во внешнюю систему. Доступные форматы:

    • AVRO. При выборе этого формата требуется ввести схему AVRO в формате JSON. Например:

      { "type": "record", "name": "log", "fields": [{ "name": "msg", "type": "string" }] }

    • CSV. При выборе этого формата требуется ввести поля, которые требуется преобразовать в формат CSV. Например: dvendor, dproduct, msg.

      Преобразование в формат CSV не поддерживается для полей с типом Array или KeyValue. Значения этих полей передаваться не будут.

    • GELF.

    • JSON. Данный формат выбран по умолчанию.

    • LOGFMT.

    • NATIVE.

    • NATIVE_JSON.

    • PROTOBUF. При выборе этого формата требуется загрузить файл с описанием протокола Protocol Buffers (Protobuf). Подробную информацию о структуре файла можно найти в официальной документации Protocol Buffers.

    • RAW_MESSAGE.

    • TEXT.

  7. HTTP-заголовки (опционально): заголовки HTTP-запроса. Заголовки позволяют уточнить HTTP-запрос и определяют, какие данные требуется передавать в запросе.

    Об HTTP-заголовках

    HTTP-заголовок — это строка в HTTP-запросе, состоящая из пары "имя: значение". Он используется для уточнения запроса или описания содержимого сообщения. Формат заголовка определяется стандартом RFC 822.

    HTTP-заголовки делятся на следующие категории:

    • Основные заголовки (General Headers) — применяются во всех сообщениях клиента и сервера.

    • Заголовки запроса (Request Headers) — используются только в запросах клиента.

    • Заголовки ответа (Response Headers) — используются только в ответах от сервера.

    • Заголовки сущности (Entity Headers) — применяются к содержимому сообщения.

    Полный список HTTP-заголовков можно найти в MDN Web Docs.

    Пример HTTP-заголовка

    Для отправки данных на сервер порциями по 512 байт, в HTTP-запросе необходимо указать заголовок Content-Length. Значение этого заголовка должно соответствовать максимальному размеру поступающих данных в байтах, в данном случае это будет 512.

    Чтобы задать заголовок, нажмите на кнопку Добавить. Отобразится строка добавления заголовка. Введите заголовок и его значение. Для одного заголовка можно задать несколько значений.

    Чтобы удалить заголовок, нажмите на кнопку trash в строке нужного заголовка.

  8. Метод запроса (опционально): выбор метода отправляемых HTTP-запросов:

    • DELETE — удаляет данные с сервера.

    • GET — запрашивает данные с сервера с полным HTTP-ответом.

    • HEAD — запрашивает данные с сервера без тела HTTP-ответа.

    • PATCH — используется для частичного изменения ресурса.

    • POST — отправляет данные на сервер.

    • PUT — заменяет данные на сервере данными из HTTP-запроса.

    • OPTIONS — запрашивает список методов, разрешенных на сервере.

    • TRACE — выполняет подключение к серверу и запрашивает от него ответ.

  9. Адрес HTTP-прокси (опционально): полный адрес для подключения к HTTP-прокси в виде URI. Применяется, если HTTP-сервер использует прокси.

  10. Включить TLS: включение TLS-сертификата.

  11. Использовать расширенные настройки: настройка буферизации.

Kafka

Конечная точка Kafka предназначена для передачи событий с помощью распределенного брокера сообщений Apache Kafka.

Параметры конечной точки Kafka:

  1. Адрес: IP-адреса серверов с портами для подключения к кластеру Kafka. Адреса вводятся через запятую. Например: 1.0.0.0:9092,1.0.0.1:9092.

  2. Название топика: название топика кластера Kafka, в который будут записываться передаваемые события.

  3. Формат событий: формат передачи событий во внешнюю систему. Доступные форматы:

    • AVRO. При выборе этого формата требуется ввести схему AVRO в формате JSON. Например:

      { "type": "record", "name": "log", "fields": [{ "name": "msg", "type": "string" }] }

    • CSV. При выборе этого формата требуется ввести поля, которые требуется преобразовать в формат CSV. Например: dvendor, dproduct, msg.

      Преобразование в формат CSV не поддерживается для полей с типом Array или KeyValue. Значения этих полей передаваться не будут.

    • GELF.

    • JSON. Данный формат выбран по умолчанию.

    • LOGFMT.

    • NATIVE.

    • NATIVE_JSON.

    • PROTOBUF. При выборе этого формата требуется загрузить файл с описанием протокола Protocol Buffers (Protobuf). Подробную информацию о структуре файла можно найти в официальной документации Protocol Buffers.

    • RAW_MESSAGE.

    • TEXT.

  4. Включить TLS: включение TLS-сертификата.

  5. Использовать расширенные настройки: настройка буферизации.

Socket

Конечная точка Socket предназначена для передачи событий во внешние системы через сетевой сокет.

Параметры конечной точки Socket:

  1. Адрес: адрес внешней системы в формате URL- или IP-адреса с указанием порта. Например: https://hostname:6000 или 192.0.2.0:6000.

  2. Протокол: выбор протокола передачи событий. Доступные протоколы:

    • TCP.

    • UDP.

  3. Формат событий: формат передачи событий во внешнюю систему. Доступные форматы:

    • AVRO. При выборе этого формата требуется ввести схему AVRO в формате JSON. Например:

      { "type": "record", "name": "log", "fields": [{ "name": "msg", "type": "string" }] }

    • CSV. При выборе этого формата требуется ввести поля, которые требуется преобразовать в формат CSV. Например: dvendor, dproduct, msg.

      Преобразование в формат CSV не поддерживается для полей с типом Array или KeyValue. Значения этих полей передаваться не будут.

    • GELF.

    • JSON. Данный формат выбран по умолчанию.

    • LOGFMT.

    • NATIVE.

    • NATIVE_JSON.

    • PROTOBUF. При выборе этого формата требуется загрузить файл с описанием протокола Protocol Buffers (Protobuf). Подробную информацию о структуре файла можно найти в официальной документации Protocol Buffers.

    • RAW_MESSAGE.

    • TEXT.

  4. Включить TLS: включение TLS-сертификата.

  5. Использовать расширенные настройки: настройка буферизации.

Vector

Конечная точка Vector предназначена для передачи событий в систему работы с логами Vector.

Параметры конечной точки Vector:

  1. Адрес: адрес внешней системы в формате URL- или IP-адреса с указанием порта. Например: https://hostname:6000 или 192.0.2.0:6000.

  2. Включить TLS: включение TLS-сертификата.

  3. Использовать расширенные настройки: настройка буферизации.

NATS JetStream

Конечная точка NATS JetStream предназначена для передачи событий во внешнюю систему через брокер сообщений NATS.

Параметры конечной точки NATS JetStream:

  1. Адрес: полный путь для подключения к NATS в формате URL- или IP-адреса с указанием порта. Например: nats://cluster.nats.com или nats://127.0.0.1:4242.

    Для обмена сообщениями через NATS по умолчанию используется порт 4222.

  2. Тема: название темы NATS, в которую будут записываться события.

    Тема должна быть создана в NATS до настройки конечной точки.

  3. Формат событий: формат передачи событий во внешнюю систему. Доступные форматы:

    • AVRO. При выборе этого формата требуется ввести схему AVRO в формате JSON. Например:

      { "type": "record", "name": "log", "fields": [{ "name": "msg", "type": "string" }] }

    • CSV. При выборе этого формата требуется ввести поля, которые требуется преобразовать в формат CSV. Например: dvendor, dproduct, msg.

      Преобразование в формат CSV не поддерживается для полей с типом Array или KeyValue. Значения этих полей передаваться не будут.

    • GELF.

    • JSON. Данный формат выбран по умолчанию.

    • LOGFMT.

    • NATIVE.

    • NATIVE_JSON.

    • PROTOBUF. При выборе этого формата требуется загрузить файл с описанием протокола Protocol Buffers (Protobuf). Подробную информацию о структуре файла можно найти в официальной документации Protocol Buffers.

    • RAW_MESSAGE.

    • TEXT.

  4. Тип аутентификации (опционально): выбор типа аутентификации на HTTP-сервере:

    • Базовая: выберите секрет типа Учетные данные, хранящий имя пользователя и пароль для авторизации.

      Чтобы просмотреть выбранный секрет на странице раздела Секреты, нажмите на кнопку Открыть.

    • Токен: выберите секрет типа Токен, хранящий токен для авторизации.

      Чтобы просмотреть выбранный секрет на странице раздела Секреты, нажмите на кнопку Открыть.

    • NKey: выберите секрет типа NATS Key, хранящий приватный и публичный ключи для подключения к NATS.

      Чтобы просмотреть выбранный секрет на странице раздела Секреты, нажмите на кнопку Открыть.

  5. Включить TLS: включение TLS-сертификата.

  6. Использовать расширенные настройки: настройка буферизации.

R-Vision TIP

Конечная точка R-Vision TIP предназначена для передачи событий в систему R-Vision TIP с целью извлечения индикаторов компрометации из значений полей событий.

Данные о событиях передаются в R-Vision TIP в формате TEXT.

Параметры конечной точки R-Vision TIP:

  1. Адрес: адрес внешней системы в формате URL- или IP-адреса с указанием порта. Например: https://hostname:6000 или 192.0.2.0:6000.

  2. Протокол: выбор протокола передачи событий. Доступные протоколы:

    • TCP.

    • UDP.

  3. Использовать расширенные настройки: настройка буферизации.

Включение TLS-сертификата

Для внешних систем всех типов, кроме Blackhole и R-Vision TIP, доступен переключатель Включить TLS, позволяющий настроить шифрование TLS.

При включении переключателя необходимо:

  1. Выбрать секрет типа Контейнер PKCS или Контейнер PKCS#12, хранящий данные сертификата TLS.

    Чтобы просмотреть выбранный секрет на странице раздела Секреты, нажмите на кнопку Открыть.

  2. При необходимости выбрать секрет типа Корневой сертификат, хранящий данные корневого сертификата.

    Чтобы просмотреть выбранный секрет на странице раздела Секреты, нажмите на кнопку Открыть.

Доступны опции Подтверждение сертификата и Подтверждение имени хоста для настройки проверки действительности сертификата и соответствия имени удаленного хоста.

Расширенные настройки

Для всех внешних систем доступен переключатель Использовать расширенные настройки, позволяющий настроить буферизацию в конечной точке. Буфер используется для накопления событий, когда они не могут быть направлены конечной точкой во внешнюю систему (например, когда события направляются во внешнюю систему быстрее, чем она может их обработать). События находятся в буфере до тех пор, пока их не удастся успешно отправить.

При включении переключателя необходимо:

  1. Выбрать тип буфера:

    • RAM — для накопления событий используется оперативная память. Тип буфера RAM установлен по умолчанию.

      Для этого типа характерны высокая скорость буферизации, но низкая степень сохранности данных в случае сбоев системы. Тип буфера RAM рекомендуется использовать, когда требуется обеспечить максимальную производительность буферизации.

      При выборе этого типа требуется указать максимальное количество событий, которое может храниться в буфере.

    • HDD — для накопления событий используется дисковое пространство.

      Для этого типа характерны низкая скорость буферизации, но высокая степень сохранности данных за счет их хранения в дисковом пространстве. Тип буфера HDD рекомендуется использовать, когда требуется обеспечить сохранность передаваемых данных.

      При выборе этого типа требуется указать размер буфера в байтах. Минимальный размер буфера — приблизительно 256 МБ (268435488 байт).

  2. Выбрать поведение буфера при его заполнении:

    • Ожидание — поступление событий будет прекращено до освобождения места в буфере. Режим ожидания установлен по умолчанию.

      Режим ожидания гарантирует сохранность данных, но может привести к замедлению работы буферизации.

    • Отбрасывать новые события — все события, поступающие в буфер после его заполнения, будут отброшены.

      Режим отбрасывания новых событий обеспечивает высокую производительность буферизации, но может привести к потере данных.

Глобальная шина

Конечная точка типа Глобальная шина позволяет отправлять события в глобальную шину.

Данная конечная точка необходима для работы с коллекторами вне центрального пространства, но также может использоваться и с коллекторами в центральном пространстве.

Необходимость использования глобальной шины для отправки и получения событий из вынесенных коллекторов обусловлена тем, что запись событий в хранилище доступна только на конвейере коллектора, находящегося в центральном пространстве.

Пример обработки событий, собранных в вынесенном коллекторе, рассмотрен в разделе Сбор событий из вынесенного коллектора.

При создании конечной точки типа Глобальная шина не требуется задавать дополнительных параметров.

Получить события, сохраненные в глобальной шине, можно с помощью точки входа типа Global Bus.

Была ли полезна эта страница?

+7 (499) 755 55 70 sales@rvision.ru

О компании Пользовательское соглашение Политика cookies

Обратная связь