Сначала я опишу свою среду: у меня есть производственная среда с запущенными кубернетами. У меня было около 10 приложений, работающих на одном из узлов K8S.

Я наблюдал долгую загрузку своих страниц. После нескольких попыток я понял, как воспроизвести эту проблему.

Проблема заключалась в сборе данных из Redis.

Проблема

Проблема в том, что системный вызов опроса слишком долго дескриптор файла События. Иногда голосование системный вызов берет больше, чем 0,5 секунды. (См. Прикрепленный экран). Это должно быть быстрее. Когда мой кластер пуст, это очень быстро. Скачивание файла размером 5 МБ занимает 50 секунд.

Мои попытки исправить это:

• Я увеличил сетевые буферы более чем в 10 раз. Это не помогло.
• Количество файлов было 64к. Около 40к открытых файлов на хосте.
• Убить несколько контейнеров на хосте - ЭТО ПОМОГЛО, но это не решение
• Увеличить буфер сообщений сокета с 8192 - это немного помогло, потому что моя программа меньше обращалась к файловому дескриптору

Вопрос

Вы хоть представляете, что может быть не так?

Это не проблема сети

Когда я скачал 200мб через redis-cli, это заняло 0,4 секунды. Это было потрясающе быстро. Но redis-cli не вызывает много опросов.

Это не проблема производительности жесткого диска

Мы используем диски NVME. Когда возникла проблема, я смог сохранить данные со скоростью 350 Мбит / с в NVME.