У меня 32 ядра, 64 потока, 128 ГБ ОЗУ с внутренним SSD.
Я выполняю 64 задания интеллектуального анализа данных / моделирования параллельно, каждое из которых загружает с диска 1 ГБ и выполняется в течение 5-10 минут.
Я хочу знать, есть ли у меня узкое место: процессор, диск или оперативная память. У меня есть вывод atop / htop / iotop, но я не знаю, как правильно его интерпретировать. Не могли бы вы подсказать, где я оказался узким местом?
Я не думаю, что у меня узкое место из-за диска (это мое любительское чтение iotop), но я не знаю, как читать atop / htop и определять, есть ли у меня узкое место в оперативной памяти (например, по количеству каналов для пропускной способности , задержка) или ЦП.
поверх вывода: https://imgur.com/a/vQYibJ8
вывод htop: https://imgur.com/a/vWPCCkA
Вывод iotop: https://imgur.com/a/BcLbxf6
NB: Крест размещен на https://www.reddit.com/r/linuxquestions/comments/eo4s71/interpreting_atophtopiotop_output/
Использование ОЗУ составляет ~ 73%, при этом пространство подкачки почти не используется, а все ваши ядра, похоже, переполнены. Так что размер и скорость ОЗУ в порядке, а узким местом, безусловно, является ЦП.
Исходя из вашего описания задачи, скорость диска не обязательно является узким местом, поскольку она не используется постоянно, как ЦП и ОЗУ. iotop показывает скорость диска 14 МБ / с, но, учитывая, что у вас SSD, он должен быть намного быстрее, особенно при чтении. Я предполагаю, что снимок экрана был сделан не при пиковом использовании диска, иначе вы могли бы захотеть это изучить.