Назад | Перейти на главную страницу

Мониторинг медленных запросов nginx / unicorn

В настоящее время я использую Nginx для прокси-запросов к Единорог сервер, на котором запущен Sinatra применение. В приложении определено только несколько маршрутов, те из которых выполняют довольно простые (недорогие) запросы к базе данных PostgreSQL и, наконец, возвращают данные в формате JSON, эти службы отслеживаются Бог.

В настоящее время у меня очень медленное время ответа от этого сервера приложений. У меня есть еще два сервера Unicorn, проксируемых через Nginx, и они отлично отвечают, поэтому я думаю, что могу исключить любые неправильные действия со стороны Nginx.

Вот моя конфигурация Бога:

# God configuration

APP_ROOT = File.expand_path '../', File.dirname(__FILE__)

God.watch do |w|
  w.name = "app_name"
  w.interval = 30.seconds # default

  w.start = "cd #{APP_ROOT} && unicorn -c #{APP_ROOT}/config/unicorn.rb -D"

  # -QUIT = graceful shutdown, waits for workers to finish their current request before finishing
  w.stop = "kill -QUIT `cat #{APP_ROOT}/tmp/unicorn.pid`"

  w.restart = "kill -USR2 `cat #{APP_ROOT}/tmp/unicorn.pid`"

  w.start_grace = 10.seconds
  w.restart_grace = 10.seconds
  w.pid_file = "#{APP_ROOT}/tmp/unicorn.pid"

  # User under which to run the process
  w.uid = 'web'
  w.gid = 'web'

  # Cleanup the pid file (this is needed for processes running as a daemon)
  w.behavior(:clean_pid_file)

  # Conditions under which to start the process
  w.start_if do |start|
    start.condition(:process_running) do |c|
      c.interval = 5.seconds
      c.running = false
    end
  end

  # Conditions under which to restart the process
  w.restart_if do |restart|
    restart.condition(:memory_usage) do |c|
      c.above = 150.megabytes
      c.times = [3, 5] # 3 out of 5 intervals
    end

    restart.condition(:cpu_usage) do |c|
      c.above = 50.percent
      c.times = 5
    end
  end

  w.lifecycle do |on|
    on.condition(:flapping) do |c|
      c.to_state = [:start, :restart]
      c.times = 5
      c.within = 5.minute
      c.transition = :unmonitored
      c.retry_in = 10.minutes
      c.retry_times = 5
      c.retry_within = 2.hours
    end
  end
end

Вот моя конфигурация Unicorn:

# Unicorn configuration file

APP_ROOT = File.expand_path '../', File.dirname(__FILE__)

worker_processes 8

preload_app true

pid "#{APP_ROOT}/tmp/unicorn.pid"

listen 8001

stderr_path "#{APP_ROOT}/log/unicorn.stderr.log"
stdout_path "#{APP_ROOT}/log/unicorn.stdout.log"

before_fork do |server, worker|
  old_pid = "#{APP_ROOT}/tmp/unicorn.pid.oldbin"

  if File.exists?(old_pid) && server.pid != old_pid
    begin
      Process.kill("QUIT", File.read(old_pid).to_i)
    rescue Errno::ENOENT, Errno::ESRCH
      # someone else did our job for us
    end
  end
end

Я проверил журналы состояния Бога, но оказалось, что использование ЦП и памяти никогда за границами. У меня также есть что убить работников с высокой памятью, что можно найти на странице блога GitHub Вот.

При запуске tail -f в журналах единорогов я вижу некоторые запросов, но их очень мало, когда я был примерно за 60-100 секунд до того, как эта проблема, казалось, пришла. В этом журнале также показано, как рабочие собираются и запускаются, как ожидалось.

Итак, мой вопрос: как мне это отладить? Какие следующие шаги мне следует предпринять? Я очень сбит с толку тем, что сервер иногда отвечает быстро, но иногда он очень медленный, в течение длительных периодов времени (которые могут быть или не быть пиковыми временами трафика).

Любой совет очень ценится.

Я бы начал с рассмотрения общего состояния системы с помощью таких инструментов, как наверху. Затем я бы внимательно посмотрел на что делает postgres. Если это не выявит проблемы, я бы использовал tcpdump (или более приятный цирк) для просмотра связи между вашим браузером, ngnix и unicorn. В связи с этим я бы попробовал Strace на nginx и единороге.