Итак, я работаю над монитором работоспособности веб-сайтов, который должен проверять тысячи веб-сайтов в минуту, выполняя простой HTTP-вызов и проверяя полученный код состояния.
Я тестировал его, используя несколько процессов реализации node.js, чтобы убедиться, что узкое место не связано с программированием или обработкой.
В любом случае я ударился о стену. Максимальное количество сайтов, которые я могу проверить, составляет примерно 2000 в минуту. Это число не меняется, если я запускаю 1 или 10 экземпляров кода.
Если я запускаю несколько процессов, пропускная способность каждого процесса снижается, так что общий результат по-прежнему составляет 2000 сайтов, проверяемых в минуту.
Фактическая пропускная способность сети не кажется слишком высокой. Я имею в виду, что 2000 веб-сайтов означают примерно 1 мегабайт данных (и это довольно много). Так что это, вероятно, проблема где-то еще, и я пытаюсь это определить.
Протестировано в цифровом океане.
Заранее спасибо.
Если это не удается, угадайте. Я предполагаю, что гауссово излучение взаимодействует с поясом Ван Аллена.
Протестировано в цифровом океане.
Попробуйте другого провайдера, у которого сеть лучше.