Назад | Перейти на главную страницу

Агрегированные журналы микросервисов в единый веб-интерфейс

Мне интересно, существует ли проект, который может собирать все журналы из множества микросервисов и отслеживать их в веб-интерфейсе. Кажется, что все существующие решения для ведения журнала игнорируют просмотр в реальном времени.

Я использую kubernetes, и службы выводятся на стандартный вывод - я представляю, что использовал бы fluentd или аналогичный в качестве транспорта. Журналы могут входить в redis или что-то подобное, а затем к ним может обращаться очень простой API, который отправляет последние 5 минут журналов, а затем обновляется в секунду (или некоторая магия веб-сокетов).

Эффект, который я ищу, похож на 'tail -f / var / log / messages'

Какие-либо предложения?

Привет,

Андрей

Эндрю, есть несколько инструментов, которые могут вас заинтересовать.

Просто ведение журнала

  • Wufei для агрегирования логов Kubernetes.

Этот инструмент будет записывать журналы Kubernetes для каждого модуля до уровня контейнера в файл или в стандартный вывод, в зависимости от потребностей разработчиков, а также имеет возможность регистрировать новые модули, которые также создаются в пространстве имен. Есть информатор, который сообщает вуфею, когда появляются новые капсулы.

  • Кубетейл это небольшой сценарий bash, который позволяет объединять журналы из нескольких модулей в один поток. В исходной версии Kubetail нет функций фильтрации или выделения, но есть дополнительная версия Kubetail. вилка на Github. Это может формировать и выполнять окраску журналов с помощью многозадачных инструментов.

Ведение журнала с пользовательским интерфейсом

  • Fluentd + Elasticsearch + Kibana - довольно мощная система агрегирования журналов поверх вашего кластера Kubernetes. Вот это "Как"

  • Аполлон - это приложение с открытым исходным кодом, предоставляющее командам пользовательский интерфейс самообслуживания для создания и развертывания своих сервисов в Kubernetes. Apollo позволяет операторам просматривать журналы и возвращать развертывания в любой момент времени одним щелчком мыши. Apollo имеет гибкие модели разрешений для развертываний. Каждый пользователь может развернуть только то, что ему нужно.

Дайте мне знать, если вы искали что-то подобное.

promtail => loki => grafana созданы для этого.

настройте драйвер ведения журнала докеров на journald и попросите promtail удалить журналы из journald, чтобы, наконец, загрузить экземпляр loki

используя экземпляр grafana, вы сможете проверять логи за определенный период времени или даже перейти к «живому» анализу