Я обслуживаю несколько поисковых роботов. Я хочу улучшить нашу систему нагрузки / регулирования, чтобы она стала более интеллектуальной.
Конечно, я смотрю на коды ответов и в зависимости от этого увеличиваю или уменьшаю скорость. Я бы хотел, чтобы система лучше динамически регулировала скорости в зависимости от поведения запрашиваемого сервера. Допустим, сейчас очень загруженное время суток, и целевой веб-сервер испытывает необычно высокий объем трафика или что-то еще. Затем я хотел бы обнаружить это, уменьшить количество запросов с моей стороны, чтобы быть вежливым, и снова увеличить скорость, когда сервер снова будет в порядке.
Какими будут симптомы, которые я должен считать индикаторами снижения давления? И что бы мои индикаторы снова сбавили обороты?
Я думал о записи времени ответа для каждого запроса, например. последний час. Проблема в том, что очень сложно найти разумное среднее / медианное время запроса для сравнения, потому что все серверы разные, и даже ресурсы на одном веб-сайте отвечают с очень разной скоростью. Еще одна вещь, о которой я думал, - это поиск колебаний во времени ответа, но я не знаю, является ли это общим симптомом или чаще всего все запросы просто занимают больше времени.