Синхронизация времени в кластере Nutanix с помощью ntp

Синхронизация времени на нодах кластера Nutanix без работающего в сети сервера ntp может представлять некоторые затруднения. Кода у вас есть работающий ntp, у вас в сети, или доступный кластеру в интернете, то все просто. Однако если в нодах кластера «разъехалось» время, то тут начинаются многие неприятные эффекты, например у вас могут не отображаться графики производительности в дашборде кластера Nutanix. Если вы видите такое — первым делом проверяйте и синхронизируйте время на CVM.

Сделать это можно так:
Залогиньтесь на CVM, и дайте команду:

allssh ssh root@192.168.5.1 date

Если вы еще не знакомы, то allssh позволяет выполнить приведенные далее команды на ВСЕХ хостах кластера разом, что очень удобно.
Адрес 192.168.5.1 это специальный внутренний адрес всех CVM в кластере Nutanix.

Вы получите что-то вроде:

nutanix@NTNX-15SM65300246-A-CVM:10.4.91.56:~$ allssh ssh root@192.168.5.1 date
Executing ssh root@192.168.5.1 date on the cluster
================== 10.4.91.56 =================
FIPS mode initialized
Tue Dec 15 02:46:57 PST 2015
================== 10.4.91.57 =================
FIPS mode initialized
Tue Dec 15 02:48:20 PST 2015
================== 10.4.91.58 =================
FIPS mode initialized
Tue Dec 15 02:49:04 PST 2015
nutanix@NTNX-15SM65300246-A-CVM:10.4.91.56:~$

Здесь мы видим проблему: «разбежалось» время в OS нодов кластера.

Проверим, что за ntp-серверы установлены на нодах и их состояние с помощью ntpq.

nutanix@NTNX-15SM65300246-A-CVM:10.4.91.56:~$ allssh ssh root@192.168.5.1 ntpq -p
Executing ssh root@192.168.5.1 ntpq -p on the cluster
================== 10.4.91.56 =================
FIPS mode initialized
remote refid st t when poll reach delay offset jitter
==============================================================================
us.pool.ntp.org 16 u 90 1024 0 0.000 0.000 0.000
================== 10.4.91.57 =================
FIPS mode initialized
remote refid st t when poll reach delay offset jitter
==============================================================================
us.pool.ntp.org 16 u 26 1024 0 0.000 0.000 0.000
================== 10.4.91.58 =================
FIPS mode initialized
remote refid st t when poll reach delay offset jitter
==============================================================================
us.pool.ntp.org 16 u 625 1024 0 0.000 0.000 0.000
nutanix@NTNX-15SM65300246-A-CVM:10.4.91.56:~$

Допустим, с ntp что-то не то, давайте переставим их на другую группу, например на пул российских серверов ntp.

Остановите сервис ntpd:

nutanix@NTNX-15SM65300246-A-CVM:10.4.91.56:~$ allssh ssh root@192.168.5.1 service ntpd stop
Executing ssh root@192.168.5.1 service ntpd stop on the cluster
================== 10.4.91.56 =================
FIPS mode initialized
Shutting down ntpd: [ OK ]
================== 10.4.91.57 =================
FIPS mode initialized
Shutting down ntpd: [ OK ]
================== 10.4.91.58 =================
FIPS mode initialized
Shutting down ntpd: [ OK ]
nutanix@NTNX-15SM65300246-A-CVM:10.4.91.56:~$

Обновите записи для серверов ntp:

nutanix@NTNX-15SM65300246-A-CVM:10.4.91.56:~$ allssh ssh root@192.168.5.1 ntpdate -u ru.pool.ntp.org
Executing ssh root@192.168.5.1 ntpdate -u ru.pool.ntp.org on the cluster
================== 10.4.91.56 =================
FIPS mode initialized
15 Dec 03:28:10 ntpdate[16907]: adjust time server 208.75.88.4 offset -0.014000 sec
================== 10.4.91.57 =================
FIPS mode initialized
15 Dec 03:28:20 ntpdate[14812]: adjust time server 208.75.88.4 offset -0.001235 sec
================== 10.4.91.58 =================
FIPS mode initialized
15 Dec 03:28:30 ntpdate[12209]: adjust time server 208.75.88.4 offset -0.019629 sec
nutanix@NTNX-15SM65300246-A-CVM:10.4.91.56:~$

Если у вас совсем нет никакого выхода наружу и никакого сервиса ntp в локальной сети, вы можете поднять локальный ntp, на любой ноде, и синхронизироваться с ним. В любом случае это лучше, чем совсем без ntp.

Запустите демон ntpd

allssh ssh root@192.168.5.1 service ntpd start

Теперь время синхронизировано:

nutanix@NTNX-15SM65300246-A-CVM:10.4.91.56:~$ allssh ssh root@192.168.5.1 date
Executing ssh root@192.168.5.1 date on the cluster
================== 10.4.91.56 =================
FIPS mode initialized
Tue Dec 15 03:30:39 PST 2015
================== 10.4.91.57 =================
FIPS mode initialized
Tue Dec 15 03:30:40 PST 2015
================== 10.4.91.58 =================
FIPS mode initialized
Tue Dec 15 03:30:41 PST 2015
nutanix@NTNX-15SM65300246-A-CVM:10.4.91.56:~$

Ну а лучший способ проверить, что все работает отлично, запустить в CVM наш скрипт NCC — Nutanix Cluster Check:

nutanix@NTNX-15SM65300246-A-CVM:10.4.91.56:~$ ncc
+---------------------------------------------------------------------------------------+
| Type | Name | Impact | Short help |
+---------------------------------------------------------------------------------------+
| M | cassandra_tools | N/A | Plugins to help with Cassandra ring analysis |
| M | config_based | N/A | All config based plugin |
| M | file_utils | N/A | Utilities for manipulating files on the cluster |
| M | fix_failures | N/A | Fix failures |
| M | health_checks | N/A | All health checks |
| M | help_opts | N/A | Show various options for ncc. |
| M | insights_collectors | N/A | Plugin to start the insights collectors |
| M | log_collector | N/A | Collect logs on all CVMs. |
+---------------------------------------------------------------------------------------+
nutanix@NTNX-15SM65300246-A-CVM:10.4.91.56:~$ ncc health_checks run_all

Синхронизация времени в кластере Nutanix с помощью ntp: 7 комментариев

  1. Denis

    Вот всё хорошо у nutanix, но сильно агрессивное продвижение отбивает желание его даже пробовать :(

    1. romx Автор записи

      Как-то даже, честно говоря, немного подзавис с этого комментария, конкретно к этой статье. :)
      Вы считаете, что пост в личном блоге, размером на страницу текста, из которой половина — листинги выводов команд, в котором описывается некоторая частность, с которой я столкнулся, и метод ее исправления, это — «агрессивное продвижение»?
      Люди иногда ставят меня в тупик.

      1. Denis

        Неа, речь как раз о том, что ЭТОТ блог относительно хорошо в техчасти, но, вот, например с постов на хабре и отзывов коллег складывается ощущение что есть агрессивный маркетинг который мягко говоря недружелюбен, зачем именно такая стратегия и именно на этих ресурсах — непонятно.
        Было бы круто если тут посты появлялись чащее — а не раз в неделю.

        1. romx Автор записи

          Так, Денис, почему вы недовольны блогом на Хабре, а свое недовольство пришли выражать сюда? Это разве Хабр? Я по-прежнему не понимаю людей :)

          Второе: а как по-вашему должен выглядеть «неагрессивный маркетинг». Что-то типа: «Псс, парень… Подойди, только не смотри в мою сторону сразу. Клевая гиперконвергентная технология интересует? Тс-тс, тихо. Встречаемся здесь через час, приноси бабло, покажу товар.»
          ;)

  2. Maxim

    NTP на Нутаникс будет синхронный даже если внешний недоступен — будет выбран мастер-нод и с ним синхронищируются остальные

    Но время может быть неправильным, и если оно в будущее уехало сильно — то потом придется останавливать кластер и «лечить»

    1. romx Автор записи

      Ну в теории — да, на практике пару раз уже видел разбежавшееся на нодах время при отсутствии в момент инсталляции внешнего NTP.

  3. Nemat

    Команда с allssh выше не работает на CE. Команда allssh date работает:

    $allssh date

    Executing date on the cluster
    ================== 10.50.50.137 =================
    Wed Mar 23 08:49:34 PDT 2016
    ================== 10.50.50.139 =================
    Wed Mar 23 08:49:35 PDT 2016
    ================== 10.50.50.147 =================
    Wed Mar 23 08:49:35 PDT 2016

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *