Просмотр сетевого трафика NxN в распределенной системе
У меня настроен кластер Hadoop, и я хотел бы просмотреть использование сети между всеми узлами в этом кластере, т.е. если у меня есть N узлов, я хочу видеть сетевые соединения NxN, чтобы я мог просматривать весь трафик между всеми узлами.
Я запускаю кластер в системе Linux, как я могу это сделать?
ntop-ng в сочетании с разъемом s-flow или netflow от ваших коммутаторов.
Это не бесплатное решение, если вы коммерческая организация, а если вам нужен дополнительный анализ, то это еще более платно.
Например. Ниже представлены мои самые популярные участники в момент, когда был сделан снимок экрана:
Есть много другой информации, которую вы можете получить от ntop-ng. Насколько я понимаю, это просто необходимо для визуализации сетевого трафика.
Обратите внимание, что в сетях 10GbE вам понадобится серьезное оборудование для его запуска, но для сетей 1 Гбит / с вы можете запускать его практически на чем угодно, в зависимости от количества контролируемых коммутаторов и портов.