Проблема: все другие устройства в сети испытывают серьезную задержку и время ожидания веб-страниц, электронной почты, чата и т. Д. Во время его работы.
Это перекрестный пост от stackoverflow, возможно, я использовал не тот сайт!
Подробности:
Использование libcurl для этого
Debian 7 - Intel i5 - 8 ГБ оперативной памяти
Подключение Comcast Business 75/15 (Cisco DPC3939B)
Запуск 75 (проверено до 200) потоков с помощью Parallel ForkManager
20 потоков почти приемлемо, но слишком медленно для моих нужд
Тайм-аут: CURLOPT_CONNECTTIMEOUT_MS, 5000 + CURLOPT_TIMEOUT_MS, 10000
Циклический DNS с использованием параметров вращается в resolv.conf
Все подключения к уникальным независимым веб-сайтам - повторное использование подключений здесь запрещено
Я ошибаюсь в расчетах, предполагая, что количество подключений в секунду - это потоки * таймаут?
Примечания: Ресурсы сервера практически не затронуты - средняя загрузка 0,10, и это в основном MySQL, отслеживающий вещи. Паук и сервер работают безупречно, я могу достичь 8 миллионов посещений в день, если захочу. Просто не могу использовать сеть для работы во время этого процесса.
Моим самым большим прозрением за годы настройки этого было изменение DNS-серверов, которые используют другие устройства, чтобы избежать какого-либо тайм-аута или регулирования, налагаемого DNS-серверами, которые использует Linux-сервер. Это не дало того эффекта, на который я надеялся.
Другие устройства, такие как мой ноутбук с Windows 7, не могут посещать несколько вкладок, веб-сайты могут отключаться по таймауту - не могут запускать rsync с передачей большого количества небольших файлов - но могут запускать speedtest.net - после загрузки доступная пропускная способность все еще составляет почти 90% от того, что я` м покупаю. Таким образом, загрузка одного большого файла не является проблемой, а вот перемещение и открытие большего количества соединений - проблема.
Однажды я подключил сервер через маршрутизатор dd-wrt, чтобы получить больше информации о том, что происходит - и количество активных подключений в конечном итоге достигнет максимума 4096 при запуске 200 потоков. Я действительно чувствую, что шлюз / модем не может обрабатывать все соединения - но я также считаю, что 100 соединений в секунду должны быть очень приемлемыми - и что-то не закрывается должным образом.