Назад | Перейти на главную страницу

Как сделать недействительным кеш обратного прокси-сервера nginx перед другими серверами nginx?

Я запускаю сервер Proxmox на одном IP-адресе, который будет отправлять HTTP-запросы в контейнеры в зависимости от запрошенного хоста.

Я использую nginx на стороне Proxmox для прослушивания HTTP-запросов, и я использую proxy_pass директива в моем другом server блоки для отправки запросов в соответствии с server_name.

Мои контейнеры работают на Ubuntu, а также работают с экземпляром nginx.

У меня проблемы с кешированием на конкретном полностью статическом веб-сайте: nginx продолжает обслуживать устаревший контент после обновления файлов, пока я:

Вот подробности моей конфигурации:

На сервере (proxmox):

/etc/nginx/nginx.conf:

user www-data;
worker_processes 8;
pid /var/run/nginx.pid;

events {
    worker_connections 768;
    # multi_accept on;
    use epoll;
}

http {

    ##
    # Basic Settings
    ##

    sendfile on;
    #tcp_nopush on;
    tcp_nodelay on;
    #keepalive_timeout 65;
    types_hash_max_size 2048;
    server_tokens off;

    # server_names_hash_bucket_size 64;
    # server_name_in_redirect off;

    include /etc/nginx/mime.types;
    default_type application/octet-stream;

    client_body_buffer_size 1k;
    client_max_body_size    8m;
    large_client_header_buffers 1 1K;
    ignore_invalid_headers on;

    client_body_timeout 5;
    client_header_timeout 5;
    keepalive_timeout 5 5;
    send_timeout 5;
    server_name_in_redirect off;

    ##
    # Logging Settings
    ##

    access_log /var/log/nginx/access.log;
    error_log /var/log/nginx/error.log;

    ##
    # Gzip Settings
    ##

    gzip on;
    gzip_disable "MSIE [1-6]\.(?!.*SV1)";

    gzip_vary on;
    gzip_proxied any;
    gzip_comp_level 6;
    # gzip_buffers 16 8k;
    gzip_http_version 1.1;
    gzip_types text/plain text/css application/json application/x-javascript text/xml application/xml application/xml+rss text/javascript;


    limit_conn_zone $binary_remote_addr zone=gulag:1m;
    limit_conn gulag 50;

    ##
    # Virtual Host Configs
    ##

    include /etc/nginx/conf.d/*.conf;
    include /etc/nginx/sites-enabled/*;
}

/etc/nginx/conf.d/proxy.conf:

proxy_redirect          off;
proxy_set_header        Host            $host;
proxy_set_header        X-Real-IP       $remote_addr;
proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_hide_header       X-Powered-By;
proxy_intercept_errors  on;
proxy_buffering         on;

proxy_cache_key         "$scheme://$host$request_uri";
proxy_cache_path        /var/cache/nginx levels=1:2 keys_zone=cache:10m inactive=7d max_size=700m;

/etc/nginx/sites-available/my-domain.conf:

server {
    listen 80;
    server_name .my-domain.com;

    access_log off;

    location / {
            proxy_pass http://my-domain.local:80/;
            proxy_cache cache;
            proxy_cache_valid 12h;
            expires 30d;
            proxy_cache_use_stale error timeout invalid_header updating;
    }
}

В контейнере (my-domain.local):

nginx.conf: (все внутри основного конфигурационного файла - быстро сделали ...)

user  www-data;
worker_processes  1;

error_log  logs/error.log;

events {
    worker_connections  1024;
}


http {
    include       mime.types;
    default_type  application/octet-stream;

    sendfile        on;
    #tcp_nopush     on;

    keepalive_timeout  65;

    gzip  off;

    server {
        listen       80;
        server_name  .my-domain.com;
        root /var/www;

        access_log  logs/host.access.log;
    }
}

Я прочитал много сообщений и ответов в блогах, прежде чем решил публиковать свои вопросы ... большинство ответов, которые я вижу, предлагают настройку sendfile off; но это не сработало для меня. Я пробовал много других вещей, дважды проверил свои настройки, и все в порядке.

Поэтому мне интересно, не ожидаю ли я, что кеш nginx сделает что-то, для чего он не предназначен ...?

По сути, я думал, что если один из моих статических файлов в моем контейнере будет обновлен, кеш в моем обратном прокси-сервере станет недействительным, и мой браузер получит новую версию файла, когда запросит ее ...

Но теперь у меня такое чувство, что я многое понял неправильно.

Теперь мне интересно, как nginx на сервер может знать о файле в контейнер изменилось? Я видел директиву proxy_header_pass (или что-то подобное), должен ли я использовать это, чтобы позволить экземпляру nginx из контейнера каким-то образом информировать тот, который находится в Proxmox, об обновленных файлах?

Это ожидание просто мечта, или я могу сделать это с помощью nginx на моей текущей архитектуре?

То, что вы хотите сделать, невозможно. Когда URL-адрес кэшируется прокси-сервером, никакие дальнейшие запросы к бэкэнду для этого URL-адреса не производятся до истечения срока действия кеша. Прокси-сервер не может знать, что файл был обновлен на бэкэнде.

Некоторые расширенные кеши, такие как Varnish, могут обрабатывать запросы на аннулирование с помощью заголовков или запросов PURGE. Например, когда пользователь редактирует страницу mediawiki, ответ на запрос POST содержит заголовок, который делает недействительной запись в кэше для статьи. Но этот процесс работает только в том случае, если ресурс изменен с помощью URL-вызова: изменение статического файла на бэкэнде не информирует кеш прокси.

Этот тип инвалидации можно реализовать на nginx через модуль lua: http://syshero.org/post/68479556365/nginx-passive-cache-invalidation.

Вы можете добиться этой функциональности, используя автономный кеш (например, memcached или redis). В nginx есть модули для работы с ними. Вам понадобится какое-то соглашение о ключах кеширования (например, создать ключ из пользовательского файла cookie и URL-адреса). В этом случае вы можете управлять элементами кеша из бэкэнда, включая аннулирование и обновление.