Я установил новый сервер NTP и настроил все клиенты Hadoop для его использования. Инженеры Hadoop сказали мне, что для правильной работы кластера необходимо смещение максимум 3 секунды.
Конфигурация NTP сервера идентична на всех серверах, поскольку она была установлена и настроена с помощью Puppet, и все серверы используют один и тот же сервер NTP, и все они находятся в одном сегменте сети.
Когда я бежал ntpq -p на всех серверах я видел, что на некоторых серверах есть большая разница, и что смещение слишком велико.
Пример:
hadoop-dn01.company.com
remote refid st t when poll reach delay offset jitter
==============================================================================
*adnj12.domain. 10.31.0.12 3 u 90 128 377 0.372 -9.163 24.699
hadoop-dn02.company.com
remote refid st t when poll reach delay offset jitter
==============================================================================
*adnj12.domain. 10.31.0.12 3 u 19 64 377 0.367 6.632 6.050
hadoop-dn03.company.com
remote refid st t when poll reach delay offset jitter
==============================================================================
*adnj12.domain. 10.31.0.12 3 u 2 64 377 0.330 1.191 8.421
hadoop-dn04.company.com
remote refid st t when poll reach delay offset jitter
==============================================================================
*adnj12.domain. 10.31.0.12 3 u 40 64 377 0.367 11.323 8.563
hadoop-dn05.company.com
remote refid st t when poll reach delay offset jitter
==============================================================================
*adnj12.domain. 10.31.0.12 3 u 9 64 377 0.329 7.353 7.845
hadoop-dn06.company.com
remote refid st t when poll reach delay offset jitter
==============================================================================
*adnj12.domain. 10.31.0.12 3 u 56 64 377 0.317 -0.919 6.757
hadoop-dn07.company.com
remote refid st t when poll reach delay offset jitter
==============================================================================
*adnj12.domain. 10.31.0.12 3 u 24 64 377 0.405 -12.100 9.447
hadoop-dn08.company.com
remote refid st t when poll reach delay offset jitter
==============================================================================
*adnj12.domain. 10.31.0.12 3 u 62 64 377 1.539 3.186 8.965
hadoop-jn01.company.com
remote refid st t when poll reach delay offset jitter
==============================================================================
*adnj12.domain. 10.31.0.12 3 u 12 64 37 0.446 5.457 3.623
hadoop-jn02.company.com
remote refid st t when poll reach delay offset jitter
==============================================================================
*adnj12.domain. 10.31.0.12 3 u 50 64 17 0.679 -3.492 3.632
hadoop-nn01.company.com
remote refid st t when poll reach delay offset jitter
==============================================================================
*adnj12.domain. 10.31.0.12 3 u 23 64 17 0.642 5.943 3.939
hadoop-nn02.company.com
remote refid st t when poll reach delay offset jitter
==============================================================================
*adnj12.domain. 10.31.0.12 3 u 4 64 17 0.664 8.031 5.690
В чем может быть причина различий в смещениях и как уменьшить это смещение?