У меня есть сервер, который представляет собой 12-ядерную гиперпоточную систему, что означает, что у меня 24 виртуальных ядра.
Я запускаю на своем сервере 24 процесса, каждый из которых прослушивает свой порт и выполняет одни и те же действия, хотя и от разных клиентов и с разных запросов. Процесс представляет собой сценарий Python, который был построен с использованием gevent для параллелизма в ожидании завершения сетевых операций. top и htop показывают, что каждый из процессов использует примерно одинаковый процессор и память. Поскольку я запускаю то же количество процессов, что и ядра, я ожидаю, что все ядра будут загружены примерно одинаково. Однако я вижу, что только половина ядер имеет реальную нагрузку на них (остальные показывают минимальную нагрузку).
Что еще более странно для меня, так это то, что это всегда одни и те же ядра, 6-11 и 18-23. Более того, у меня есть три одинаковых сервера, которые делают примерно одно и то же и при одинаковой нагрузке, и все 3 используют одни и те же ядра при примерно одинаковой нагрузке. Кто-нибудь знает, с чего бы это было?
Вот вывод sar с одного из этих серверов:
04:34:01 PM CPU %user %nice %system %iowait %steal %idle
04:35:01 PM all 18.67 0.00 3.65 0.01 0.00 77.68
04:35:01 PM 0 9.24 0.00 0.76 0.00 0.00 89.99
04:35:01 PM 1 3.16 0.00 0.55 0.00 0.00 96.30
04:35:01 PM 2 1.40 0.00 0.66 0.00 0.00 97.94
04:35:01 PM 3 0.46 0.00 0.12 0.00 0.00 99.42
04:35:01 PM 4 0.15 0.00 0.12 0.00 0.00 99.73
04:35:01 PM 5 0.35 0.00 0.81 0.00 0.00 98.84
04:35:01 PM 6 44.19 0.00 10.05 0.02 0.00 45.74
04:35:01 PM 7 43.99 0.00 10.84 0.02 0.00 45.15
04:35:01 PM 8 27.00 0.00 2.57 0.09 0.00 70.33
04:35:01 PM 9 40.91 0.00 9.02 0.02 0.00 50.06
04:35:01 PM 10 41.97 0.00 10.27 0.00 0.00 47.77
04:35:01 PM 11 33.52 0.00 5.26 0.02 0.00 61.21
04:35:01 PM 12 0.53 0.00 0.10 0.00 0.00 99.37
04:35:01 PM 13 0.32 0.00 0.08 0.00 0.00 99.60
04:35:01 PM 14 0.22 0.00 0.10 0.00 0.00 99.68
04:35:01 PM 15 0.13 0.00 0.10 0.00 0.00 99.77
04:35:01 PM 16 0.12 0.00 0.05 0.00 0.00 99.83
04:35:01 PM 17 0.13 0.00 0.30 0.00 0.00 99.57
04:35:01 PM 18 16.54 0.00 1.49 0.00 0.00 81.97
04:35:01 PM 19 36.16 0.00 5.85 0.02 0.00 57.98
04:35:01 PM 20 29.22 0.00 4.97 0.10 0.00 65.71
04:35:01 PM 21 32.86 0.00 5.25 0.02 0.00 61.87
04:35:01 PM 22 43.01 0.00 9.19 0.00 0.00 47.80
04:35:01 PM 23 39.63 0.00 8.61 0.02 0.00 51.74
А вот вывод / proc / cpuinfo для одного из ядер:
processor : 23
vendor_id : GenuineIntel
cpu family : 6
model : 44
model name : Intel(R) Xeon(R) CPU X5675 @ 3.07GHz
stepping : 2
cpu MHz : 1600.000
cache size : 12288 KB
physical id : 1
siblings : 12
core id : 10
cpu cores : 6
apicid : 53
initial apicid : 53
fpu : yes
fpu_exception : yes
cpuid level : 11
wp : yes
flags : fpu vme de pse tsc msr pae mce cx8 apic mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts rep_good xtopology nonstop_tsc aperfmperf pni dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm dca sse4_1 sse4_2 popcnt lahf_lm ida arat tpr_shadow vnmi flexpriority ept vpid
bogomips : 6133.17
clflush size : 64
cache_alignment : 64
address sizes : 40 bits physical, 48 bits virtual
power management:
Эти системы также имеют ~ 24 ГБ ОЗУ, из которых используется менее 4 ГБ, и не демонстрируют никаких операций подкачки. Дисковая активность также очень мала, почти все, что делают эти серверы, связано с сетью, около 60-80 МБ / с каждый, с двумя гигабитными картами Ethernet, подключенными к единому интерфейсу.
Ядра с гиперпоточностью не должны рассматриваться как полноценные ядра. Помните, что это виртуальные ядра, поэтому они разделяют некоторые ресурсы физических ядер. Преимущество гиперпотоковых поверхностей в многопоточных и распараллеленных процессах, но не в описываемом вами варианте использования. По моему опыту, ядра с гиперпоточностью работают примерно на 30-40% от реального ядра, поэтому я стараюсь не допускать выполнения на них важных вещей. Если вы ожидаете однозначного сопоставления процессов с ядрами, вам может быть лучше привязать 12 процессов к реальным ядрам или вообще отказаться от виртуальных ядер, отключив гиперпоточность или экранирование ЦП.
Используете ли вы какую-либо форму сопоставления соответствия ЦП (набор задач, cset) или просто позволяете Linux обрабатывать назначения? Если да, то вы видите, что планировщик наилучшим образом использует вашу ситуацию, предпочитая реальные ядра виртуальных ядер.
Это потому, что это гиперпоточный сервер. Половина процессоров только «виртуальные». Таким образом, Linux пытается избежать этих виртуальных процессоров и сосредоточиться на реальных.
Поскольку ваша система не находится под нагрузкой, вы не можете видеть, что другие будут использоваться при более высокой нагрузке. Попробуйте и увеличьте нагрузку. Вы увидите разницу.