Есть ли прокси-сервер (желательно Squid) или подобное программное обеспечение, которое позволит мне поставить в очередь, скажем, 100 URL-адресов заранее из списка или API, и прозрачно кэшировать данные HTML (делая параллельные запросы).
Затем, когда я запрашиваю один из URL-адресов, он быстро дает кешированную версию?
С любым кеширующим прокси-сервером, который вам нравится, вы можете создать скрипт для запросов разогрева кеша - прокси позаботится о кэшировании ответов в соответствии со своей политикой (убедитесь, что выделено достаточно места для хранения и установлено достаточно надежное хранение).
Для получения списка URL-адресов через прокси-сервер подойдет какой-нибудь сценарий в духе следующего примера:
#!/bin/bash
http_proxy=http://proxy.exemple.net:3128/; export http_proxy
for my_url in `cat one_url_per_line_file` do
wget -r -nd --delete-after $my_url
done