Архив за месяц: Декабрь 2016

Как посмотреть на Nutanix версию BIOS платформы?

Иногда хочется быстро и в командной строке посмотреть версию BIOS платформы нод кластера. Нет, конечно есть IPMI, и можно зайти браузером и там в менюшках посмотреть. Но есть ли еще способ (например нод у нас много, и хочется получить вывод всех нод «одним писом», а не 28 раз заходя в браузер и записывая там значение на бумажку. Оказывается — можно.

Например, у нас на хостах AHV, то есть на «железе» стоит наш CentOS Linux. Тогда в нем есть утилита dmidecode.
Войдем на CVM, и выполним на нем команду

allssh ssh root@192.168.5.1 dmidecode -t bios | grep 'BIOS Information' -A3

Как вы знаете наверняка, allssh — команда, которая передается и выполняется на каждую ноду кластера последовательно, будучи запущенной только на одной из них. Ее удобно использовать, чтобы отдать какую-то команду на всех нодах кластера. В данном случае мы командуем зайти с помощью ssh на адрес 192.168.5.1 с именем root, и выполнить в получившейся сессии команду dmidecode -t bios, а из вывода выкусить только кусочек, относящийся к BIOS Information.
Адрес 192.168.5.1 это, напомню, специальный адрес внутренней служебной сети Nutanix, ассоциированный с каждым хостом кластера.

Получаем мы что-то такое:


nutanix@NTNX-A-CVM:10.0.0.10:~$ nutanix@NTNX-A-CVM:10.0.0.11:~$ allssh "ssh root@192.168.5.1 dmidecode -t bios | grep 'BIOS Information' -A3"

Executing ssh root@192.168.5.1 dmidecode -t bios | grep 'BIOS Information' -A3 on the cluster
================== 10.0.0.11 =================
FIPS mode initialized
Nutanix AHV
BIOS Information
Vendor: American Megatrends Inc.
Version: 1.0b
Release Date: 05/21/2015 G4-1.2
Connection to 10.0.0.11 closed.
================== 10.0.0.12 =================
FIPS mode initialized
Nutanix AHV
BIOS Information
Vendor: American Megatrends Inc.
Version: 1.0b
Release Date: 05/21/2015 G4-1.2
Connection to 10.0.0.12 closed.
================== 10.0.0.13 =================
FIPS mode initialized
Nutanix AHV
BIOS Information
Vendor: American Megatrends Inc.
Version: 1.0b
Release Date: 05/21/2015 G4-1.2
Connection to 10.0.0.13 closed.
nutanix@NTNX-A-CVM:10.0.0.10:~$

В выводе я выделил жирным то, что нас интересует.

Сделаем то же самое но с использованием ESXi на хосте:
В ESXi есть подходящая утилита smbiosDump.


nutanix@NTNX-A-CVM:10.0.0.20:~$ allssh " ssh root@192.168.5.1 smbiosDump | grep 'BIOS Info' -A5"

Executing ssh root@192.168.5.1 smbiosDump | grep 'BIOS Info' -A5 on the cluster
================== 10.0.0.21 =================
FIPS mode initialized
BIOS Info: #0
Size: 0x00018
Vendor: "American Megatrends Inc."
Version: "1.0b"
Date: "05/21/2015 G4-1.2"
Start Address: 0xf0000
Connection to 10.0.0.21 closed.
================== 10.0.0.22 =================
FIPS mode initialized
BIOS Info: #0
Size: 0x00018
Vendor: "American Megatrends Inc."
Version: "1.0b"
Date: "05/21/2015 G4-1.2"
Start Address: 0xf0000
Connection to 10.0.0.22 closed.
================== 10.0.0.23 =================
FIPS mode initialized
BIOS Info: #0
Size: 0x00018
Vendor: "American Megatrends Inc."
Version: "1.0b"
Date: "05/21/2015 G4-1.2"
Start Address: 0xf0000
Connection to 10.0.0.23 closed.
nutanix@NTNX-A-CVM:10.0.0.20:~$

И, наконец, на Hyper-V, в Windows Server 2012R2 есть возможность вызвать команду winsh wmic bios get smbiosbiosversion


nutanix@NTNX-A-CVM:10.0.0.50:~$ allssh "winsh wmic bios get smbiosbiosversion"

Executing winsh wmic bios get smbiosbiosversion on the cluster
================== 10.0.0.51 =================
SMBIOSBIOSVersion

1.0b
================== 10.0.0.52 =================
SMBIOSBIOSVersion

1.0b
================== 10.0.0.53 =================
SMBIOSBIOSVersion

1.0b
nutanix@NTNX-A-CVM:10.0.0.50:~$

На примерах у нас всюду трехузловой кластер, но если кластер большой, такие команды могут быстро выручить и собрать много данных о платформе одной командой, не только версию биоса.

VSAN: facts to know

В этом блоге я так или иначе постоянно поднимаю тему сравнения с конкурирующими продуктами, и, разумеется, пишу о некоторых фактах, которые, как я замечаю, вызывают вопросы. Они, зачастую, вызывали бы вопрос не только у меня, вовлеченного в тему competitive по долгу службы, но и у пользователей, но, довольно часто, поьзователи не лазят глубоко в доки, а сотрудники вендора часто говорят о некоторых особенностях своего продукта нехотя и вскользь. Поэтому случается, что о некоторых особенностях пользователи узнают уже постфактум, на купленной и развернутой системе. Вот о таких «детальках» я обычно тут и пишу.

Ранее, в публикациях про VSAN я уже упоминал тот факт, что, согласно документации VMware, объем кэша записи (спасибо за важную поправку Nikolay из комментов) дисковой группы для ноды в VSAN ограничен емкостью в 600GB, что, явно, выглядит недостаточным даже для современных емких SSD, таких, как наши 3.8TB, и уж точно мал для ожидаемых в будушем году Самсунгов на 16TB. С этим в комментах к предыдущим постам как-то вяло пытались спорить, но я так и не понял как предлагается это ограничение обходить в жизни, и почему оно, по поводу критиков моей позиции «не важно» (пояснение почему это так — в комментариях). Ограничение это оставалось и в v6.2, если верить официальному гайду:

http://www.vmware.com/files/pdf/products/vsan/virtual-san-6.2-design-and-sizing-guide.pdf

С учетом того, что там же, в документе, ниже, указывается, что основное правило в сайзинге кэша — кэш составляет 10% от хранимой usable (не raw) емкости (cache:capacity ratio) — что означает, что конфигурации размером более 6TB на ноду на дисковую группу будут, вероятно, испытывать недостаток пространства кэширования. (также смотри в комментарии о деталях)

Изменилось ли что-то тут в VSAN 6.5? Похоже, что нет:

http://pubs.vmware.com/Release_Notes/en/vsan/65/vmware-virtual-san-65-release-notes.html

VSAN все еще требует Multicast.

http://www.vmware.com/files/pdf/products/vsan/virtual-san-6.2-design-and-sizing-guide.pdf

Поменялось ли это? Нет, multicast по-прежнему нужен в VSAN 6.5

http://pubs.vmware.com/Release_Notes/en/vsan/65/vmware-virtual-san-65-release-notes.html

Готова ли у вас сеть к использованию в ней Multicast? Умеете его настраивать, отлаживать странности, понимает ли работу с ним ваши роутеры и иное оборудование в сети?

Дедупликация И компрессия. Я не зря ставлю тут «И», потому что в VSAN они включаются ТОЛЬКО ВМЕСТЕ, и на ВЕСЬ КЛАСТЕР целиком. И по-прежнему ТОЛЬКО на AllFlash.
Если у вас есть в кластере задачи, которые плохо переносят дедупликацию или компрессию, то вам придется выключить эти фичи для всего кластера целиком, даже если какие-то задачи и нуждаются в них.

Это соханилось в VSAN 6.5:

http://pubs.vmware.com/vsphere-65/topic/com.vmware.vsphere.virtualsan.doc/GUID-2285B446-46BF-429C-A1E7-BEE276ED40F7.html

Обоатите внимание также на warning, показываемый при включении deduplication & compression.

Документация подтверждает:

http://pubs.vmware.com/vsphere-65/index.jsp?topic=%2Fcom.vmware.vsphere.virtualsan.doc%2FGUID-5A01D0C3-8E6B-44A7-9B0C-5539698774CC.html

Про Data Locality.
Даже несмотря на то, что у VMware даже есть специальный документ по этому поводу: http://www.vmware.com/content/dam/digitalmarketing/vmware/en/pdf/products/vsan/vmware-virtual-san-data-locality.pdf
просто взгляда на картинку со схемой размещения данных виртуальной машины достаточно, чтобы понять, что data locality в том смысле, в котором его понимает Nutanix, в VSAN нет.

Поэтому ничего удивительного в том, что в приведенном выше документе термин Data Locality VMware трактует иначе, и достаточно своеобразно:

Поддержка и обновления.
Поправьте меня, если я что-то понимаю не так, но из вот этой картинки следует, что обновления ПО у VxRail доступны только для Premium support:

Ну и, чтоб уж, как говорится, два раза не вставать, надо помнить, что, с точки зрения DellEMC покупатель VxRail НЕ МОЖЕТ смешивать их в одном кластере с «самосборными» нодами. То есть купили VxRail с поддержкой — продолжайте покупать их для расширения системы дальше. Но подключать в кластер из VSAN/VxRail самосборные ноды VSAN вы технически — можете, но поддерживаться эта конструкция на стороне DellEMC не будет. Помните об этом.

Как и раньше, комментарии от более знающих обсуждаемый предмет приветствуются. Возражения со ссылками на подтверждающие документы приветствуются особо.

UPD: В комментах развернулась дискуссия, где обсуждается много интересных моментов, не пропустите.