Назад | Перейти на главную страницу

Hadoop - о мониторинге производительности проводов?

Мне было поручено реализовать решение для оперативного мониторинга для большой установки Hadoop. Источником данных будет комбинация ответвлений и SPAN во всей среде. Обычный устав моей команды - анализ пакетов и анализ производительности сети. Учитывая архитектуру этой реализации (и объем данных), анализ сырых пакетов с помощью таких инструментов, как Wireshark и другие, просто невозможен.

Какие у меня варианты?

Мы стремимся отслеживать такие вещи, как:

-Как работает Scoop / JDBC

-Какова производительность связи между уровнем управления и уровнем данных

-DNS является ключом к этой реализации. Соответствующим образом реагируют ли сетевые службы?

Пока мы будем устанавливать стандартный набор инструментов мониторинга; Ganglia и Nagios, мы хотели бы иметь данные внешней жесткой сети для проверки производительности. Некоторые из инструментов, с которыми мы имеем опыт, - это CompuWare DCRUM / Dynatrace, NetScout, Network Instruments, Extrahop и Riverbed.

Какой у вас опыт?