Стоит ли беспокоиться о TTFB?

Я читал разные мнения по этому поводу, но мне также интересно, насколько это зависит от местоположения сервера.

У меня есть VPS в Нью-Йорке, США, и я австралийский разработчик, VPS довольно дорогие там, где я живу, поэтому я использую его как игровую площадку / собственный хостинг для разработчиков и т. Д.

Я пытаюсь оптимизировать все возможное на моем сервере Centos 7 apache + nginx.

Но это очень важно, поскольку я считаю, что пинг должен быть только с задержкой от 180 мс до 300 мс, а не 1 секунда +

Что я могу сделать?