Назад | Перейти на главную страницу

Настроить datadog-agent для метрик Gunicorn

На моем сервере Debian 8 установлен агент datadog-agent. Он уже настроен и хорошо работает, чтобы сообщать метрики о postgres, nginx, системе и т. Д.

Я хочу следить за своими демонами-пулеметами (у меня на этом сервере 2 сайта Django). Насколько я понимаю, datadog-agent уже интегрирует сервер статистики, поэтому мне не нужно его устанавливать:

# ps ax | grep datadog
18816 ?        Ss     0:00 /opt/datadog-agent/embedded/bin/python /opt/datadog-agent/bin/supervisord -c /etc/dd-agent/supervisor.conf
18822 ?        Sl     0:01 /opt/datadog-agent/embedded/bin/python /opt/datadog-agent/agent/dogstatsd.py --use-local-forwarder
18824 ?        S      0:01 /opt/datadog-agent/embedded/bin/python /opt/datadog-agent/agent/ddagent.py
18825 ?        S      0:01 /opt/datadog-agent/embedded/bin/python /opt/datadog-agent/agent/agent.py foreground --use-local-forwarder

Я думаю, что "dogstatsd.py" - это сервер статистики, но, может быть, я ошибаюсь?

Затем я изменил свой скрипт запуска Gunicorn, чтобы интегрировать --name возможность задать имя моему процессу и --statsd-host указывает, куда отправлять показатели.

# ps ax | grep gunicorn
18588 ?        Ss     0:00 /var/projects/my_project/venv/bin/python3 /var/projects/my_project/venv/bin/gunicorn --name my_project --statsd-host=localhost:8125 --workers 2 --bind unix:/var/tmp/my_project.sock core.wsgi:application
18630 ?        S      0:00 /var/projects/my_project/venv/bin/python3 /var/projects/my_project/venv/bin/gunicorn --name my_project --statsd-host=localhost:8125 --workers 2 --bind unix:/var/tmp/my_project.sock core.wsgi:application
18632 ?        S      0:00 /var/projects/my_project/venv/bin/python3 /var/projects/my_project/venv/bin/gunicorn --name my_project --statsd-host=localhost:8125 --workers 2 --bind unix:/var/tmp/my_project.sock core.wsgi:application

Теперь я создал gunicorn.yaml из примера в /etc/dd-agent/conf.d/, как показано ниже.

# NB: This check requires the python environment on which gunicorn runs to
# have the `setproctitle` module installed (https://pypi.python.org/pypi/setproctitle/)

init_config:

instances:
  # The name of the gunicorn process. For the following gunicorn server ...
  #
  #    gunicorn --name my_web_app my_web_app_config.ini
  #
  #  ... we'd use the name `my_web_app`.
  #
  - proc_name: my_project

После перезапуска агента жду несколько секунд и проверяю его статус:

# sudo service datadog-agent info
# [...]
  Checks
  ======

    gunicorn
    --------
      - instance #0 [ERROR]: 'Found no master process with name: gunicorn: master [my_project]'
      - Collected 0 metrics, 0 events & 1 service check
      - Dependencies:
          - psutil: 4.4.1

Я не могу найти, где я не могу это настроить. Кто-нибудь может мне помочь?

После подключения к Datadog IRC кто-то объяснил, что у процесса пулемета должно быть красивое печатное имя. Решением было установить setproctitle используя pip в том же venv, что и gunicorn.

Очевидно, ответ был в вопросе в верхней части файла "gunicorn.yaml":

NB: для этой проверки требуется, чтобы среда python, в которой работает Gunicorn, имела setproctitle установлен модуль (https://pypi.python.org/pypi/setproctitle/)

Вы должны установить setproctitle пакет в ваше приложение:

# ps aux|grep gunicorn
user 919 0.2 0.2 004 672 0:00 gunicorn --name my_app app:app --workers 5 --bind 
127.0.0.1:5000 --log-level info
user 925 0.6 0.6 052 688 0:01 gunicorn --name my_app app:app --workers 5 --bind 
127.0.0.1:5000 --log-level info
user 926 0.7 0.6 308 032 0:01 gunicorn --name my_app app:app --workers 5 --bind                 
127.0.0.1:5000 --log-level info
user 927 0.4 0.6 884 404 0:00 gunicorn --name my_app app:app --workers 5 --bind 
127.0.0.1:5000 --log-level info

# cd my_app
# source ./venv/bin/activate
# pip install setproctitle
# systemctl restart gunicorn

# ps aux|grep gunicorn
user 468 0.1 0.2 068 712 0:00 gunicorn: master [my_app]
user 471 0.4 0.6 376 852 0:00 gunicorn: worker [my_app]
user 472 0.4 0.6 120 844 0:00 gunicorn: worker [my_app]
user 473 0.4 0.6 944 372 0:00 gunicorn: worker [my_app]
user 474 0.5 0.6 384 976 0:01 gunicorn: worker [my_app]
user 475 0.5 0.6 396 992 0:01 gunicorn: worker [my_app]

Вы можете увидеть первый ps, где нет мастера и видны только рабочие. После pip install setproctitle в моей среде приложения процессы gunicorn теперь видны с именами master / worker. Вы можете проверить это с помощью этой команды: sudo -u dd-agent -- datadog-agent check gunicorn