Мониторинг журналов хоста с ClickStack

КраткоСобирайте и визуализируйте системные журналы хостов (syslog, auth, kernel) в ClickStack с помощью OTel-ресивера filelog. Включает демо-набор данных и преднастроенный дашборд.

Интеграция с существующими хостами

В этом разделе описано, как настроить существующие хосты на отправку системных журналов в ClickStack, изменив конфигурацию OTel collector ClickStack так, чтобы он считывал все системные файлы журналов (syslog, auth, kernel, daemon и журналы приложений). Если вы хотите протестировать интеграцию журналов хоста перед настройкой собственной среды, воспользуйтесь нашей предварительно настроенной конфигурацией и тестовыми данными в разделе “демо-набор данных”.

Необходимые условия

Запущенный экземпляр ClickStack
Система с файлами syslog
Доступ на изменение файлов конфигурации ClickStack

Проверьте наличие файлов syslog

Сначала убедитесь, что система записывает файлы syslog:

# Проверить наличие файлов syslog (Linux)
ls -la /var/log/syslog /var/log/messages

# Или на macOS
ls -la /var/log/system.log

# Просмотреть последние записи
tail -20 /var/log/syslog

Распространённые пути к syslog:

Ubuntu/Debian: /var/log/syslog
RHEL/CentOS/Fedora: /var/log/messages
macOS: /var/log/system.log

Создание пользовательской конфигурации OTel collector

ClickStack позволяет расширить базовую конфигурацию OpenTelemetry Collector, подключив пользовательский файл конфигурации и установив переменную среды.Создайте файл host-logs-monitoring.yaml с конфигурацией для вашей системы:

Современный Linux (Ubuntu 24.04+)
Linux предыдущих версий (Ubuntu 20.04, RHEL, CentOS)
macOS

receivers:
  filelog/syslog:
    include:
      - /var/log/syslog
      - /var/log/**/*.log
    start_at: end
    operators:
      - type: regex_parser
        regex: '^(?P<timestamp>\S+) (?P<hostname>\S+) (?P<unit>\S+?)(?:\[(?P<pid>\d+)\])?: (?P<message>.*)$'
        parse_from: body
        parse_to: attributes
      
      - type: time_parser
        parse_from: attributes.timestamp
        layout_type: gotime
        layout: '2006-01-02T15:04:05.999999-07:00'
      
      - type: add
        field: attributes.source
        value: "host-logs"
      
      - type: add
        field: resource["service.name"]
        value: "host-production"

service:
  pipelines:
    logs/host:
      receivers: [filelog/syslog]
      processors:
        - memory_limiter
        - transform
        - batch
      exporters:
        - clickhouse

receivers:
  filelog/syslog:
    include:
      - /var/log/syslog
      - /var/log/messages
      - /var/log/**/*.log
    start_at: end
    operators:
      - type: regex_parser
        regex: '^(?P<timestamp>\w+ \d+ \d{2}:\d{2}:\d{2}) (?P<hostname>\S+) (?P<unit>\S+?)(?:\[(?P<pid>\d+)\])?: (?P<message>.*)$'
        parse_from: body
        parse_to: attributes
      
      - type: time_parser
        parse_from: attributes.timestamp
        layout: '%b %d %H:%M:%S'
      
      - type: add
        field: attributes.source
        value: "host-logs"
      
      - type: add
        field: resource["service.name"]
        value: "host-production"

service:
  pipelines:
    logs/host:
      receivers: [filelog/syslog]
      processors:
        - memory_limiter
        - transform
        - batch
      exporters:
        - clickhouse

receivers:
  filelog/syslog:
    include:
      - /var/log/system.log
      - /host/private/var/log/*.log
    start_at: end
    operators:
      - type: regex_parser
        regex: '^(?P<timestamp>\w+ \d+ \d{2}:\d{2}:\d{2}) (?P<hostname>\S+) (?P<unit>\S+?)(?:\[(?P<pid>\d+)\])?: (?P<message>.*)$'
        parse_from: body
        parse_to: attributes
      
      - type: time_parser
        parse_from: attributes.timestamp
        layout: '%b %d %H:%M:%S'
      
      - type: add
        field: attributes.source
        value: "host-logs"
      
      - type: add
        field: resource["service.name"]
        value: "host-production"

service:
  pipelines:
    logs/host:
      receivers: [filelog/syslog]
      processors:
        - memory_limiter
        - transform
        - batch
      exporters:
        - clickhouse

Все конфигурации:

Считывайте файлы syslog из стандартных расположений
Разберите формат syslog, чтобы извлечь структурированные поля (временная метка, имя хоста, unit/сервис, PID, сообщение)
Сохраняйте исходные временные метки логов
Добавьте атрибут source: host-logs для фильтрации данных в HyperDX
Направляйте журналы в экспортёр ClickHouse через выделенный конвейер

В пользовательской конфигурации вы определяете только новые приёмники и конвейеры
Процессоры (memory_limiter, transform, batch) и экспортёры (clickhouse) уже определены в базовой конфигурации ClickStack — вы просто ссылаетесь на них по имени
Regex-парсер извлекает имена юнитов systemd, PID и другие метаданные из формата syslog
В этой конфигурации используется start_at: end, чтобы избежать повторного приёма журналов при перезапуске коллектора. Для тестирования измените на start_at: beginning, чтобы сразу увидеть исторические журналы.

Настройте ClickStack для загрузки пользовательской конфигурации

Чтобы включить пользовательскую конфигурацию collector в существующем развертывании ClickStack, необходимо:

Смонтировать файл пользовательской конфигурации по пути /etc/otelcol-contrib/custom.config.yaml
Задать переменную окружения CUSTOM_OTELCOL_CONFIG_FILE=/etc/otelcol-contrib/custom.config.yaml
Смонтировать каталог syslog, чтобы collector мог читать из него

Вариант 1: Docker Compose

Обновите конфигурацию развертывания ClickStack:

services:
  clickstack:
    # ... существующая конфигурация ...
    environment:
      - CUSTOM_OTELCOL_CONFIG_FILE=/etc/otelcol-contrib/custom.config.yaml
      # ... другие переменные окружения ...
    volumes:
      - ./host-logs-monitoring.yaml:/etc/otelcol-contrib/custom.config.yaml:ro
      - /var/log:/var/log:ro
      # ... другие тома ...

Вариант 2: Docker Run (образ «всё в одном»)

Если вы используете образ «всё в одном» через docker run:

docker run --name clickstack \
  -p 8080:8080 -p 4317:4317 -p 4318:4318 \
  -e CUSTOM_OTELCOL_CONFIG_FILE=/etc/otelcol-contrib/custom.config.yaml \
  -v "$(pwd)/host-logs-monitoring.yaml:/etc/otelcol-contrib/custom.config.yaml:ro" \
  -v /var/log:/var/log:ro \
  clickhouse/clickstack-all-in-one:latest

Убедитесь, что у коллектора ClickStack есть необходимые разрешения на чтение файлов syslog. В рабочей среде используйте монтирования только для чтения (:ro) и придерживайтесь принципа наименьших привилегий.

Проверка журналов в HyperDX

После настройки войдите в HyperDX и убедитесь, что журналы поступают:

Перейдите в представление поиска
В поле source выберите Logs
Отфильтруйте по source:host-logs, чтобы увидеть журналы с конкретного хоста
Вы должны увидеть структурированные записи журнала с такими полями, как unit, hostname, pid, message и т. д.

Демо-набор данных

Для пользователей, которые хотят протестировать интеграцию журналов хоста перед настройкой своих рабочих систем, мы предоставляем демо-набор данных с заранее сгенерированными системными журналами, имитирующими реалистичные сценарии.

Скачайте демо-набор данных

Скачайте демонстрационный файл журнала:

curl -O https://datasets-documentation.s3.eu-west-3.amazonaws.com/clickstack-integrations/host-logs/journal.log

Набор данных включает:

Последовательность загрузки системы
Активность входа по SSH (успешные и неуспешные попытки)
Инцидент безопасности (brute-force-атака с реакцией fail2ban)
Плановое обслуживание (cron-задачи, anacron)
Перезапуски сервисов (rsyslog)
Сообщения ядра и активность межсетевого экрана
Сочетание обычных операций и заметных событий

Создайте тестовую конфигурацию коллектора

Создайте файл с именем host-logs-demo.yaml со следующей конфигурацией:

cat > host-logs-demo.yaml << 'EOF'
receivers:
  filelog/journal:
    include:
      - /tmp/host-demo/journal.log
    start_at: beginning
    operators:
      - type: regex_parser
        regex: '^(?P<timestamp>\S+) (?P<hostname>\S+) (?P<unit>\S+?)(?:\[(?P<pid>\d+)\])?: (?P<message>.*)$'
        parse_from: body
        parse_to: attributes
      
      - type: time_parser
        parse_from: attributes.timestamp
        layout: '%Y-%m-%dT%H:%M:%S%z'
      
      - type: add
        field: attributes.source
        value: "host-demo"
      
      - type: add
        field: resource["service.name"]
        value: "host-demo"

service:
  pipelines:
    logs/host-demo:
      receivers: [filelog/journal]
      processors:
        - memory_limiter
        - transform
        - batch
      exporters:
        - clickhouse
EOF

Запустите ClickStack с демо-конфигурацией

Запустите ClickStack с демо-журналами и этой конфигурацией:

docker run --name clickstack-demo \
  -p 8080:8080 -p 4317:4317 -p 4318:4318 \
  -e CUSTOM_OTELCOL_CONFIG_FILE=/etc/otelcol-contrib/custom.config.yaml \
  -v "$(pwd)/host-logs-demo.yaml:/etc/otelcol-contrib/custom.config.yaml:ro" \
  -v "$(pwd)/journal.log:/tmp/host-demo/journal.log:ro" \
  clickhouse/clickstack-all-in-one:latest

Файл журнала монтируется прямо в контейнер. Это сделано для тестирования на статических демо-данных.

Проверьте журналы в HyperDX

После запуска ClickStack:

Откройте HyperDX и войдите в свою учётную запись (возможно, сначала потребуется её создать)
Перейдите в представление Search и выберите источник Logs
Установите временной диапазон 2025-11-10 00:00:00 - 2025-11-13 00:00:00

Отображение часового поясаHyperDX отображает временные метки в локальном часовом поясе вашего браузера. Демо-данные охватывают период 2025-11-11 00:00:00 - 2025-11-12 00:00:00 (UTC). Широкий временной диапазон гарантирует, что вы увидите демо-журналы независимо от своего местоположения. После этого можно сузить диапазон до 24 часов для более наглядной визуализации.

Панели мониторинга и визуализация

Чтобы вам было проще начать мониторинг журналов хоста с помощью ClickStack, мы предоставляем основные визуализации для системных журналов.

конфигурацию панели мониторинга

Импортируйте преднастроенный дашборд

Откройте HyperDX и перейдите в раздел Dashboards
Нажмите Import Dashboard в правом верхнем углу в меню с многоточием

Загрузите файл host-logs-dashboard.json и нажмите Finish Import

Откройте панель мониторинга

Панель мониторинга будет создана со всеми преднастроенными визуализациями:Основные визуализации:

Объём журналов во времени по уровням серьёзности
Юниты systemd, генерирующие больше всего журналов
Активность входа по SSH (успешные и неудачные попытки)
Активность межсетевого экрана (заблокировано и разрешено)
События безопасности (неудачные входы, баны, блокировки)
Активность перезапуска сервисов

Для демо-набора данных установите временной диапазон 2025-11-11 00:00:00 - 2025-11-12 00:00:00 (UTC) (скорректируйте его в соответствии с вашим часовым поясом). В импортированной панели мониторинга по умолчанию временной диапазон не задан.

Устранение неполадок

Пользовательская конфигурация не загружается

Убедитесь, что переменная окружения задана:

docker exec <container-name> printenv CUSTOM_OTELCOL_CONFIG_FILE

Проверьте, что пользовательский конфигурационный файл смонтирован и доступен для чтения:

docker exec <container-name> cat /etc/otelcol-contrib/custom.config.yaml | head -10

Журналы не отображаются в HyperDX

Убедитесь, что файлы syslog существуют и в них записываются данные:

# Проверить наличие syslog
ls -la /var/log/syslog /var/log/messages

# Убедиться, что журналы записываются
tail -f /var/log/syslog

Проверьте, что collector может считывать журналы:

docker exec <container> cat /var/log/syslog | head -20

Проверьте, что в итоговую конфигурацию включён ваш ресивер filelog:

docker exec <container> cat /etc/otel/supervisor-data/effective.yaml | grep -A 10 filelog

Проверьте журналы collector на наличие ошибок:

docker exec <container> cat /etc/otel/supervisor-data/agent.log | grep -i "filelog\|syslog"

Если вы используете демо-набор данных, убедитесь, что файл журнала доступен:

docker exec <container> cat /tmp/host-demo/journal.log | wc -l

Логи разбираются некорректно

Убедитесь, что формат syslog соответствует выбранной конфигурации: Для современных дистрибутивов Linux (Ubuntu 24.04+):

# Должен отображаться формат ISO8601: 2025-11-17T20:55:44.826796+00:00
tail -5 /var/log/syslog

Для устаревших версий Linux или macOS:

# Должен отображаться традиционный формат: Nov 17 14:16:16
tail -5 /var/log/syslog
# или
tail -5 /var/log/system.log

Если ваш формат не подходит, выберите вкладку с нужной конфигурацией в разделе Создание пользовательской конфигурации OTel collector.

Следующие шаги

Настройте оповещения для критически важных системных событий (сбои сервиса, ошибки аутентификации, предупреждения о состоянии диска)
Фильтруйте по конкретным юнитам, чтобы отслеживать отдельные сервисы
Коррелируйте журнал хоста с журналами приложений для комплексной диагностики и устранения неполадок
Создайте пользовательские панели мониторинга для мониторинга безопасности (попытки SSH, использование sudo, блокировки межсетевым экраном)

Переход к промышленной эксплуатации

В этом руководстве для быстрой настройки используется встроенный в ClickStack OpenTelemetry Collector. Для промышленной эксплуатации мы рекомендуем запустить собственный OTel Collector и отправлять данные в конечную точку OTLP ClickStack. См. Отправка данных OpenTelemetry для настройки production-конфигурации.

Возможности

Руководства

Мониторинг журналов хоста с ClickStack

Интеграция с существующими хостами

Необходимые условия

Проверьте наличие файлов syslog

Создание пользовательской конфигурации OTel collector

Настройте ClickStack для загрузки пользовательской конфигурации

Вариант 1: Docker Compose

Вариант 2: Docker Run (образ «всё в одном»)

Проверка журналов в HyperDX

Демо-набор данных

Скачайте демо-набор данных

Создайте тестовую конфигурацию коллектора

Запустите ClickStack с демо-конфигурацией

Проверьте журналы в HyperDX

Панели мониторинга и визуализация

конфигурацию панели мониторинга

Импортируйте преднастроенный дашборд

Откройте панель мониторинга

Устранение неполадок

Пользовательская конфигурация не загружается

Журналы не отображаются в HyperDX

Логи разбираются некорректно

Следующие шаги

Переход к промышленной эксплуатации

​Интеграция с существующими хостами

Необходимые условия

​Проверьте наличие файлов syslog

​Создание пользовательской конфигурации OTel collector

​Настройте ClickStack для загрузки пользовательской конфигурации

Вариант 1: Docker Compose

Вариант 2: Docker Run (образ «всё в одном»)

​Проверка журналов в HyperDX

​Демо-набор данных

​Скачайте демо-набор данных

​Создайте тестовую конфигурацию коллектора

​Запустите ClickStack с демо-конфигурацией

​Проверьте журналы в HyperDX

​Панели мониторинга и визуализация

​ конфигурацию панели мониторинга

​Импортируйте преднастроенный дашборд

​Откройте панель мониторинга

​Устранение неполадок

​Пользовательская конфигурация не загружается

​Журналы не отображаются в HyperDX

​Логи разбираются некорректно

​Следующие шаги

​Переход к промышленной эксплуатации

Интеграция с существующими хостами

Проверьте наличие файлов syslog

Создание пользовательской конфигурации OTel collector

Настройте ClickStack для загрузки пользовательской конфигурации

Проверка журналов в HyperDX

Демо-набор данных

Скачайте демо-набор данных

Создайте тестовую конфигурацию коллектора

Запустите ClickStack с демо-конфигурацией

Проверьте журналы в HyperDX

Панели мониторинга и визуализация

конфигурацию панели мониторинга

Импортируйте преднастроенный дашборд

Откройте панель мониторинга

Устранение неполадок

Пользовательская конфигурация не загружается

Журналы не отображаются в HyperDX

Логи разбираются некорректно

Следующие шаги

Переход к промышленной эксплуатации