Мы работаем с огромным кластером hadoop.
У нас есть 736 машин с датанодом, и каждый узел имеет 16 ядер по 2 потока.
На некоторых машинах наблюдалась средняя загрузка процессора (98-128 за 5 мин).
После тщательного расследования мы обнаружили, что:
no HW problem
no Disk proble
no network problem
no infra problem
То, что мы еще не проверили, - это настройка параметров Linux и настройка параметров ядра.
Каковы параметры или какие-либо параметры ядра, которые могут помочь машинам добиться хорошей работы ЦП с большей средней загрузкой ЦП.
http://linuxrealtime.org/index.php/Improving_the_Real-Time_Properties
Я думаю, что вы выполняете задание hadoop во время скачка ЦП, если это так, потребление ресурсов зависит от сложности задания и определенных параметров. Надеюсь, вы тоже работаете над этим? пряжа - это ресурсоемкое приложение. Пожалуйста, используйте очередь ресурсов для регулирования потребления ресурсов.
Настройка производительности - это сложная и большая область. Следует учитывать аппаратное обеспечение, параметры ядра, настройки программного обеспечения, архитектуру установки и другие факторы.
Поскольку вы запускаете большую установку, имеет смысл углубиться в эту область, поэтому я предлагаю начать с чтения Руководства по настройке производительности RHEL. Это должно стать хорошим руководством по теме с различными предложениями и идеями.
Ваш вопрос содержит слишком мало информации и подробностей, чтобы дать разумное предложение по настройке параметров ядра.