Как уменьшить размер «RAM Cache + Buffer» из-за scrapy
Я запускаю пару пауков параллельно scrapyd 1.2. Каждый процесс значительно увеличивает буфер во время сканирования, как показано на диаграмме. Что это за значение и как уменьшить занимаемую площадь?
Linux будет использовать доступную память для различных кешей, в основном связанных с файлами. slabtop команда, чтобы увидеть детали.
how can I reduce the footprint?
Вы этого не сделаете. Они будут выселены быстро и автоматически при необходимости.
Далее, это пока не вызывает беспокойства. 1 ГБ без изменений в системе с 4 ГБ - это значительный кусок неиспользуемой оперативной памяти.