Спасибо больше за такую подробную инструкцию. Лайк, подписка, все дела :) А может подскажешь с такой проблемой? Есть файл формата *.log Практически всё сделал пошагово, как у тебя. Но логи иногда прилетают в неверной последовательности, например в graylog я вижу так: [2023-04-11 10:41:17] ************** [2023-04-11 10:41:11] ************** [2023-04-11 10:41:13] ************** А в самом файле расположение такое: [2023-04-11 10:41:17] ************** [2023-04-11 10:41:13] ************** [2023-04-11 10:41:11] ************** Пробовал scan_frequency поставить 1s(меньше вроде не советуют), в инпуте поставил number_worker_threads: 1, попробовал type сменить на filestream, но всё равно иногда проскакивает неверный порядок. Я уже в отчаянии, может есть какая догадка у тебя?
Спасибо. Можно просто сортировку по времени в graylog поставить. Логи передаются по sidecar или collector (старое решение). Можно тогда попробовать тот или иной агент поставить.
@@RomNero Так я к тому и веду, что сортировка по времени стоит, но данные передаются не всегда в корректном порядке, странно. Передаются по sidecar. Попробую старое решение.
Понял. Стыкался с подобной проблемой, решение было изменение формата времени в логах. Можно, вроде бы, изменить в настройках input. Или, возможно, в самой программе, которая пишет эти логи.
Спасибо за подробную информацию! Вопрос такой, я правильно понимаю что сколько устройств столько и inputs? В частности мне нужно собирать информацию с разных коммутаторов Cisco. Для каждого нужно создавать отдельный input со своим портом, верно? Просто иначе я не представляю как можно отсортировать сообщения поступающие с разных устройств на 1 input
Спасибо за отзыв. Достаточно одного input. Логи, которые приходят имеют много данных, в том числе и source устройство. И уже по нему можно всё сортировать.
Не могу обещать, что в ближайшее время сделаю по этой теме видео. Extractors настраиваются довольно просто. Ну и вот информация: docs.graylog.org/docs/extractors Стоит несколько настроить и будет понятно, как это делается. Часто я настраивал для Apache Logs. Что бы было видно откуда и какие ip по какому URL заходят.
Это, я упустил конечно. И dashbords это довольно индивидуальные. Попробуй создать один тестовый, там будет все понятно. В них нет ничего особенного в плане конфигурации и сложности.
Привет, спасибо за видео. Уже много роликов посмотрел. А graylog может визуализировать логи ? Например как grafana или наподобие ? Если нет, то можно как-то интегрировать grafana для лучшей визуализации данных ?
@RomNero а можете сделать видео по пайплайнам, как с ними правильно работать и как настроить graylog tcp syslog output. Был бы Вам признателен. А также рассказать про индексы эластика и как с ними работать =)
Спасибо. По этим темам не планировал делать видео, так как это довольно специфические настройки, которые делают не так часто. Я подумаю, как это можно привязать к часто используемым вещам, и тогда сделаю видео.
Большое спасибо! Очень полезно! Один вопрос - если стоит задача сделать распределенную систему Graylog (4 офиса, они соединены друг с другом, хотелось бы, чтобы серверы в каждом офисе загружали свои логи в свой "локальный" graylog (на случай потери связи между офисами, чтобы логи продолжали писаться), но все логи были видны из одного интерфейса) - как это лучше сделать?
Здравствуйте, спасибо за видео, но у мен я возникла проблема… в разделе sidecars пусто, причем сам сервис на клиенте у меня работает без проблем, туда я написал айпи грейлога и токен, собственно как на видео, можете сказать в чем может быть проблема
Всё сделал по инструкции, но в момент запуска graylog-sidecar выходит ошибка ExecStart=/usr/bin/graylog-sidecar (code=exited, status=1/FAILURE). До этого пробовал устанавливать Прометеус там такая же байда была... Не понимаю из-за чего это происходит. Посмотрел порты открыты, файволл отключил ради пробы, всё равно эта ошибка и не запускается вообще sidecar
@@RomNero вот в этом и беда, логи sadecar пустые, ничего внутри нет, я думал проблема в том, что не создаются просто логи и в yml файле изменил источник записи логов, толку нет и в новую директорию не записывается. Логов нет. Не знаю даже что думать, смотрел разных индусов на ютубе, гуглил но толку нет. Ошибка осталась. Не запускается. Думал, установить монго и эластик, но это не логично зачем это всё устанавливать на клиенской тачке, раз это всё есть уже на тачке, где стоит ГрейЛог
Спасибо! Очень толковое объяснение!
Спасибо. Брилиант. Единственное место где есть хррошее объяснение
Спасибо 👍
Кланяюсь до земли!
Спасибо 😀
Блин, есть же люди, которые нормально, адекватно всё объясняют
Спасибо ;)
Единственный канал где все чётко разжёвано ) Спасибо автор !
Спасибо за видео-уроки! Всё кратко и понятно, следуя инструкции сразу все сделал!
Спасибо. Успехов в использовании👍
Отличный материал, подписался
Благодарю
Спасибо больше за такую подробную инструкцию.
Лайк, подписка, все дела :)
А может подскажешь с такой проблемой?
Есть файл формата *.log
Практически всё сделал пошагово, как у тебя.
Но логи иногда прилетают в неверной последовательности, например в graylog я вижу так:
[2023-04-11 10:41:17] **************
[2023-04-11 10:41:11] **************
[2023-04-11 10:41:13] **************
А в самом файле расположение такое:
[2023-04-11 10:41:17] **************
[2023-04-11 10:41:13] **************
[2023-04-11 10:41:11] **************
Пробовал scan_frequency поставить 1s(меньше вроде не советуют), в инпуте поставил number_worker_threads: 1, попробовал type сменить на filestream, но всё равно иногда проскакивает неверный порядок.
Я уже в отчаянии, может есть какая догадка у тебя?
Спасибо.
Можно просто сортировку по времени в graylog поставить.
Логи передаются по sidecar или collector (старое решение). Можно тогда попробовать тот или иной агент поставить.
@@RomNero Так я к тому и веду, что сортировка по времени стоит, но данные передаются не всегда в корректном порядке, странно. Передаются по sidecar. Попробую старое решение.
Понял. Стыкался с подобной проблемой, решение было изменение формата времени в логах. Можно, вроде бы, изменить в настройках input.
Или, возможно, в самой программе, которая пишет эти логи.
Спасибо за подробную информацию! Вопрос такой, я правильно понимаю что сколько устройств столько и inputs? В частности мне нужно собирать информацию с разных коммутаторов Cisco. Для каждого нужно создавать отдельный input со своим портом, верно? Просто иначе я не представляю как можно отсортировать сообщения поступающие с разных устройств на 1 input
Спасибо за отзыв.
Достаточно одного input.
Логи, которые приходят имеют много данных, в том числе и source устройство. И уже по нему можно всё сортировать.
Спасибо, а возможно продолжение по парсигу и настройке алертов ?
Возможно, но не скоро. Сейчас занят другим проектом.
Уже несколько человек писали с просьбой продолжения, поэтому сделаю))
Спасибо большое, пожалуйста расскажите в след видео про парсинг логов, extractor, grok pattern, буду очень сильно признателен
Не могу обещать, что в ближайшее время сделаю по этой теме видео. Extractors настраиваются довольно просто.
Ну и вот информация: docs.graylog.org/docs/extractors
Стоит несколько настроить и будет понятно, как это делается. Часто я настраивал для Apache Logs. Что бы было видно откуда и какие ip по какому URL заходят.
А можно какое-нибудь видео по созданию дашбордов?
Это, я упустил конечно. И dashbords это довольно индивидуальные. Попробуй создать один тестовый, там будет все понятно. В них нет ничего особенного в плане конфигурации и сложности.
Привет, спасибо за видео. Уже много роликов посмотрел. А graylog может визуализировать логи ? Например как grafana или наподобие ? Если нет, то можно как-то интегрировать grafana для лучшей визуализации данных ?
Лучше прикрутить конечно grafana.
@RomNero а можете сделать видео по пайплайнам, как с ними правильно работать и как настроить graylog tcp syslog output. Был бы Вам признателен. А также рассказать про индексы эластика и как с ними работать =)
Спасибо. По этим темам не планировал делать видео, так как это довольно специфические настройки, которые делают не так часто.
Я подумаю, как это можно привязать к часто используемым вещам, и тогда сделаю видео.
Большое спасибо! Очень полезно! Один вопрос - если стоит задача сделать распределенную систему Graylog (4 офиса, они соединены друг с другом, хотелось бы, чтобы серверы в каждом офисе загружали свои логи в свой "локальный" graylog (на случай потери связи между офисами, чтобы логи продолжали писаться), но все логи были видны из одного интерфейса) - как это лучше сделать?
Логи хранятся в elasticsearch. В каждом офисе ставить помимо сервера graylog ещё и elasticsearch. Посмотри как сделать elasticsearch как реалику
жаль про gelf ничего нет. видимо драйвер логов. где его искать в гугле не нашел
Имеешь в виду для подключения Docker логов? Стоит смотреть в докер документации. Там всё расписано как настроить и подключить
Здравствуйте, спасибо за видео, но у мен я возникла проблема… в разделе sidecars пусто, причем сам сервис на клиенте у меня работает без проблем, туда я написал айпи грейлога и токен, собственно как на видео, можете сказать в чем может быть проблема
Проверяй сетевые подключения и логи (sidecar и graylog Server)
Всё сделал по инструкции, но в момент запуска graylog-sidecar выходит ошибка ExecStart=/usr/bin/graylog-sidecar (code=exited, status=1/FAILURE). До этого пробовал устанавливать Прометеус там такая же байда была...
Не понимаю из-за чего это происходит. Посмотрел порты открыты, файволл отключил ради пробы, всё равно эта ошибка и не запускается вообще sidecar
Посмотри логи sadecar. Там должно подробнее стоят в чем проблема
@@RomNero вот в этом и беда, логи sadecar пустые, ничего внутри нет, я думал проблема в том, что не создаются просто логи и в yml файле изменил источник записи логов, толку нет и в новую директорию не записывается. Логов нет. Не знаю даже что думать, смотрел разных индусов на ютубе, гуглил но толку нет. Ошибка осталась. Не запускается. Думал, установить монго и эластик, но это не логично зачем это всё устанавливать на клиенской тачке, раз это всё есть уже на тачке, где стоит ГрейЛог
Привет! А если несколько серверов Graylog, то что пишется в sidecar.yml в директиве server_url ????
Перед серверами graylog обычно ставят load Balance и в sidecar указывают его.
@@RomNero а в конфиге коллектора в Default Template кофигурации в директиве hosts в таком случае что прописывается?