Архив рубрики: techtalk

Как это работает?

Nutanix CE — уже 5.0!

Всякий раз, когда я рассказывал где-нибудь про CE, пользователи пеняли мне на медленное обновление CE относительно «коммерческого Nutanix», что, мол, новая версия «большого» уже вышла, а CE обновляется до него месяца через два только.
Так вот, выложенная версия CE на известном вам портале, сейчас УЖЕ 5.0.

Обновляется без проблем из Prism, надо взять пак «upgrade», а не «baremetal install», и обновить прямо на живом CE.

Также обратите внимание, что в ноябре обновился и Hypervisor, то есть сам AHV. Его обновление качается там же, встает только на новый AOS. То есть сперва обновляете AOS CE до последней (codebase 5.0), как на картинке выше, а потом, вторым действием обновляйте Hypervisor. Он тоже обновляется из Prism с помощью offline bundle (tar.gz + json).

Nutanix AOS 5.0 — что нового в мажорном релизе? Ч.1.

Итак, после небольшого перерыва в блоге, вызванного новогодними праздниками, возвращаемся к регулярности. А главное событие у нас — выход «мажорного» релиза Nutanix Acropolis OS — 5.0. Релиз этот был собран еще в конце прошлого года, его «мучили» в QA, и выпустили в релиз в последние дни декабря, так что все же можно сказать, что в прошедшем, 2016 году мы выдали «на гора» три больших релиза: 4.6 весной, 4.7 осенью, и 5.0 в декабре. Все они были большие, но, конечно, замена «первой цифры» в номере версии всегда привлекает много внимания, поэтому остановимся на этом релизе особенно.
Релиз этот во внутренней документации носил внутреннее имя Asterix, следующий, Asterix.1, с некоторыми новыми фичами, подоспеет видимо весной.

Self-Service Portal

Начнем обзор с темы, которая была предметом просьб наших пользователей весь прошедший год. Это — Self-service portal, SSP. Портал — отдельный веб-интерфейс, который позволяет с использованием гипервизора AHV создать своеобразный «Acropolis Cloud Director», то есть отдельный веб-интерфейс для конечного пользователя, на котором он может, без доступа к «большому» Prism, и всем админским функциям его, создавать, модифицировать и разносторонне управлять своими VM в большой инфраструктуре. Представьте, что вы — админ большой виртуальной инфраструктуры с сотнями пользователей, и тысячами их VM. Раньше вам, как админу, приходилось в Prism вручную рулить всем этим стадом, потому что не было возможности дать конечному пользователю простой «трехкнопочный» интерфейс для создания VM из шаблонов и управления ими. Теперь он есть. Пользователь, аутентифицированный в AD, получает доступ через SSP к своему набору VM и пулу ресурсов, и может управлять им самостоятельно, как через своеобразный Cloud Director.

Лично для меня загадка, отчего, при наличии нашего RESTful API, пользователи, в первую очередь сервис-провайдеры, которым нужен этот инструмент, не писали его сами. Объективно, паре программистов со знанием какого-нибудь Python или Go, написать такое — неделя работы максимум, с перекурами, да вдобавок еще и с заточкой под конкретные нужды этого провайдера, тем более, что примеры есть. Однако ж просили постоянно. Просили — получите.
SSP получился довольно богатый возможностями, и еще будет развиваться.
Подробно о его настройке и возможностях смотрите в серии постов вот в этом блоге, например: http://vcdx56.com/category/ssp/

RESTful API 2.0

Раз уж мы затронули тему RESTful API, то стоит сразу сказать, что в этом релизе вышла новая, доработанная и причесанная его версия. Напомню, что почти всем что есть в Nutanix можно управлять не только из GUI PRISM, и не только из командной строки nCLI, но и через наш API.
Если вы разработчик, или хотите разрабатывать какие-то свои сервисы на базе Nutanix, то первая ваша «точка входа» — портал developer.nutanix.com. Там вы найдете документацию, примеры кода на GitHub, и так далее.

Affinity и Anti-Affinity

Эта фича тоже часто спрашивалась пользователями. Вкратце, это правила, с помощью которых можно было определить то, как будут мигрировать во хостам определенные VM. Например, если нам надо, чтобы определенные VM всегда располагались вместе, даже при переезде по хостам, например, если это связанные сервисы, или же определенные VM всегда работали на определенных хостах, на которых есть для них нужные им аппаратные средства, то это VM affinity. Если, напротив, определенные VM никогда не должны оказываться на одном хосте, например по требованиям безопасности или отказоустойчивости, то это — Anti-Affinity. Это было в vSphere. Теперь возможность задать такие правила есть и в AHV.

Acropolis Dynamic Resource Scheduling

Отчасти связанная с предыдущим пунктом тема — Dynamic Resource Scheduling. Тут мы тоже нагнали vSphere, теперь такая фича есть и у нас, пользуйтесь. Теперь, например, при создании VM и размещении ее на хост, или миграции между хостами, будет учитываться степень загрузки этого хоста по памяти, CPU и дискам.

Network Visualization

Появися новый удобный инструмент для визуализации ваших сетевых соединений в кластере. Когда число VM за много сотен, когда хостов и VLAN-ов — десятки, бывает непросто разобраться что с чем и где соединено. Теперь это станет проще.

Несмотря на то, что HCI сегодня в «датацентре 4.0» оставляет «вне себя», отдельно, только Top-of-the-Rack коммутаторы, Nutanix может автоматически собрать информацию о их конфигурациях через LLDP и SNMP, проанализировать и визуализировать топологию сети, и показать ее пользователю в своем интерфейсе. Это существенно сократит для него время на траблшутинг и разбирательство в «сетевой лапше» соединений крупного виртуального датацентра.

Acropolis File Services goes GA

Наш продукт, встроенный в AOS, Acropolis File Services, позволяющий запустить на Nutanix файловый сервис SMB 2.1 дорос до статуса GA, General Available, пригодный в продакшн для всех. Первоначально он разрабатывался как средство, позволяющее на инфраструктуре Nutanix хранить файлы пользователей в больших VDI, но сейчас может использоваться на множестве разных применений, требующих высокопроизводительного распределенного NAS c single namespace. Так, например, всего три ноды кластера Nutanix могут держать на себе до 60 миллионов файлов/директорий.

AFS, напомню, реализован в виде специальной VM, аналогичной CVM, что довольно практично, если пользователю не нужен этот, довольно тяжелый, сервис, он его не устанавливает и не разворачивает, и не тратит на него память и CPU. Нужен — устанавливает VM и использует. Лицензия на AFS включена в лицензионный блок Ultimate, либо может быть приобретена отдельно, на любой сет лицензий, например на Pro.

В AFS теперь поддерживается нативная Async репликация, имеющаяся у Nutanix. Поддерживаются квоты на место для пользователей, а также Access-based Enumeration.

Для обеспечения хорошей производительности сервис будет давать рекомендации по перебалансировке данных между нодами.

Acropolis Block Services

Это, как вы помните, блочная, iSCSI «SDS» на Nutanix. Она также как AFS распределенная, многопутевая, «многоконтроллерная». В новой версии к поддерживаемым ранее OS добавился VMware ESXi (раньше не работал с ABS), это позволяет использовать Nutanix со сторонними хостами, например если клиент по каким-то причинам не хочет отказываться от уже существующих у него хостов ESXi. Это также поможет при миграции и вообще постепенном внедрении Nutanix в большой системе.

Поддерживается CHAP аутентификация, dynamic load balancing, online LUN resize, IP based initiator whitelisting, Flash mode для volume groups.

И много-много других, менее значительных, но все же важных улучшений и новинок.

Nutanix официально объявил о том, что AHV теперь сертифицирован на работу Oracle VM и Oracle Linux с ABS, и поддерживает работу стека SAP Netweaver на AHV.

В Metro Availability появился собственный witness, это VM на «третьей» стороне, контролирующий двух участников синхронной репликации датасторов ESXi, и принимающий решение в случае разрыва репликации, чтобы избежать split brain. Это VM, разворачивающаяся из OVF на каком-то третьем сайте, это может быть, например, сервер в стороннем датацентре, имеющий связь по IP с двумя защищаемыми датацентрами.

Улучшена настройка и работа того, что называлось Flash Pinning. Это возможность закрепить виртуальные диски VM на уровне SSD, и сделать AllFlash для отдельных VM.

Теперь это называется VM Flash Mode.

Появился еще один self-service portal, на это раз для самостоятельного восстановления пользователем своих данных в VM из снэпшота. Раньше это было возможно только админу из PRISM GUI, отчасти это было возможно через Nutanix Guest Tool, а теперь для этого появился отдельный веб-интерфейс.

В статусе Tech Preview поддерживается Citrix Xen Server 7, под VDI инфраструктуры с GPU. Раньше для этого требовался платный vSphere, сейчас GPU у нас работает и под бесплатным Xen Server.

Расширяется поддержка серверов Cisco UCS, теперь к Cisco UCS С220/240 M4 (рэковым) добавились Cisco UCS B200-M4 (блейд). Там есть некоторая засада, связанная с тем, что в blade-сервера можно поставить только 2 диска. Это означает, во-первых, что требуется storage-node на базе UCS C240-M4SX, и, во-вторых, так как диски в blade будут SSD, это делает систему all-flash (как вы помните, мы не умеем пока смешивать all-flash и hybrid в одном кластере).
В общем получается что-то такое:

Появилась разнообразная What-if и prediction аналитика.

Она помогает ответить на вопросы и промоделировать разнообразные ситуации:

  1. Сколько VM определенного типа потянет этот кластер?
  2. Через месяц мне нужно будет развернуть еще один SQL сервер, хватит ли мне ресурсов на кластере?
  3. Если у меня вырастет нагрузка, то сколько я еще продержусь с имеющейся системой?
  4. Если у меня вот такая вот нагрузка, то если я перенесу ее на отдельный кластер, то какой он должен быть?

Теперь у вас есть куда эти вопросы задать и откуда получить ответ.

Ну и, наконец, чтобы уж чем-то закончить заметным, потому что множество еще более мелких фишечек осталось неосмотренными:
Появилась конфигурация Single Node Backup. То есть, например, вы маленькая компания, эксплуатирующая недорогую NX-1365-G5, и хотите с нее делать репликацию в бэкап. Раньше вам нужно было на резервном сайте только для бэкапов держать еще три ноды, так как это был минимум. Теперь вы можете поставить туда для бэкапов одну ноду. Ведь не секрет, что Nutanix может, без отказоустойчивости, но может работать с одной нодой, как это делает CE. Ну, вот, скорее всего без отказоустойчивости для хранения бэкапа можно обойтись в таких недорогих системах, и теперт у нас поддерживается в продуктиве, на «большом» Nutanix, но только для получателя бэкап-репликации, single node системы.

Ну, на этом, чтобы не раздувать бесконечно этот пост, поставим брейкпойнт, и продолжение с некоторыми любопытными фичами, достойными упоминания, напишу в начале следующей недели.

Обновление для действующих систем поступило на сервера обновления 3 января, можете начинать скачивать и ставить.

Как посмотреть на Nutanix версию BIOS платформы?

Иногда хочется быстро и в командной строке посмотреть версию BIOS платформы нод кластера. Нет, конечно есть IPMI, и можно зайти браузером и там в менюшках посмотреть. Но есть ли еще способ (например нод у нас много, и хочется получить вывод всех нод «одним писом», а не 28 раз заходя в браузер и записывая там значение на бумажку. Оказывается — можно.

Например, у нас на хостах AHV, то есть на «железе» стоит наш CentOS Linux. Тогда в нем есть утилита dmidecode.
Войдем на CVM, и выполним на нем команду

allssh ssh root@192.168.5.1 dmidecode -t bios | grep 'BIOS Information' -A3

Как вы знаете наверняка, allssh — команда, которая передается и выполняется на каждую ноду кластера последовательно, будучи запущенной только на одной из них. Ее удобно использовать, чтобы отдать какую-то команду на всех нодах кластера. В данном случае мы командуем зайти с помощью ssh на адрес 192.168.5.1 с именем root, и выполнить в получившейся сессии команду dmidecode -t bios, а из вывода выкусить только кусочек, относящийся к BIOS Information.
Адрес 192.168.5.1 это, напомню, специальный адрес внутренней служебной сети Nutanix, ассоциированный с каждым хостом кластера.

Получаем мы что-то такое:


nutanix@NTNX-A-CVM:10.0.0.10:~$ nutanix@NTNX-A-CVM:10.0.0.11:~$ allssh "ssh root@192.168.5.1 dmidecode -t bios | grep 'BIOS Information' -A3"

Executing ssh root@192.168.5.1 dmidecode -t bios | grep 'BIOS Information' -A3 on the cluster
================== 10.0.0.11 =================
FIPS mode initialized
Nutanix AHV
BIOS Information
Vendor: American Megatrends Inc.
Version: 1.0b
Release Date: 05/21/2015 G4-1.2
Connection to 10.0.0.11 closed.
================== 10.0.0.12 =================
FIPS mode initialized
Nutanix AHV
BIOS Information
Vendor: American Megatrends Inc.
Version: 1.0b
Release Date: 05/21/2015 G4-1.2
Connection to 10.0.0.12 closed.
================== 10.0.0.13 =================
FIPS mode initialized
Nutanix AHV
BIOS Information
Vendor: American Megatrends Inc.
Version: 1.0b
Release Date: 05/21/2015 G4-1.2
Connection to 10.0.0.13 closed.
nutanix@NTNX-A-CVM:10.0.0.10:~$

В выводе я выделил жирным то, что нас интересует.

Сделаем то же самое но с использованием ESXi на хосте:
В ESXi есть подходящая утилита smbiosDump.


nutanix@NTNX-A-CVM:10.0.0.20:~$ allssh " ssh root@192.168.5.1 smbiosDump | grep 'BIOS Info' -A5"

Executing ssh root@192.168.5.1 smbiosDump | grep 'BIOS Info' -A5 on the cluster
================== 10.0.0.21 =================
FIPS mode initialized
BIOS Info: #0
Size: 0x00018
Vendor: "American Megatrends Inc."
Version: "1.0b"
Date: "05/21/2015 G4-1.2"
Start Address: 0xf0000
Connection to 10.0.0.21 closed.
================== 10.0.0.22 =================
FIPS mode initialized
BIOS Info: #0
Size: 0x00018
Vendor: "American Megatrends Inc."
Version: "1.0b"
Date: "05/21/2015 G4-1.2"
Start Address: 0xf0000
Connection to 10.0.0.22 closed.
================== 10.0.0.23 =================
FIPS mode initialized
BIOS Info: #0
Size: 0x00018
Vendor: "American Megatrends Inc."
Version: "1.0b"
Date: "05/21/2015 G4-1.2"
Start Address: 0xf0000
Connection to 10.0.0.23 closed.
nutanix@NTNX-A-CVM:10.0.0.20:~$

И, наконец, на Hyper-V, в Windows Server 2012R2 есть возможность вызвать команду winsh wmic bios get smbiosbiosversion


nutanix@NTNX-A-CVM:10.0.0.50:~$ allssh "winsh wmic bios get smbiosbiosversion"

Executing winsh wmic bios get smbiosbiosversion on the cluster
================== 10.0.0.51 =================
SMBIOSBIOSVersion

1.0b
================== 10.0.0.52 =================
SMBIOSBIOSVersion

1.0b
================== 10.0.0.53 =================
SMBIOSBIOSVersion

1.0b
nutanix@NTNX-A-CVM:10.0.0.50:~$

На примерах у нас всюду трехузловой кластер, но если кластер большой, такие команды могут быстро выручить и собрать много данных о платформе одной командой, не только версию биоса.

VSAN: facts to know

В этом блоге я так или иначе постоянно поднимаю тему сравнения с конкурирующими продуктами, и, разумеется, пишу о некоторых фактах, которые, как я замечаю, вызывают вопросы. Они, зачастую, вызывали бы вопрос не только у меня, вовлеченного в тему competitive по долгу службы, но и у пользователей, но, довольно часто, поьзователи не лазят глубоко в доки, а сотрудники вендора часто говорят о некоторых особенностях своего продукта нехотя и вскользь. Поэтому случается, что о некоторых особенностях пользователи узнают уже постфактум, на купленной и развернутой системе. Вот о таких «детальках» я обычно тут и пишу.

Ранее, в публикациях про VSAN я уже упоминал тот факт, что, согласно документации VMware, объем кэша записи (спасибо за важную поправку Nikolay из комментов) дисковой группы для ноды в VSAN ограничен емкостью в 600GB, что, явно, выглядит недостаточным даже для современных емких SSD, таких, как наши 3.8TB, и уж точно мал для ожидаемых в будушем году Самсунгов на 16TB. С этим в комментах к предыдущим постам как-то вяло пытались спорить, но я так и не понял как предлагается это ограничение обходить в жизни, и почему оно, по поводу критиков моей позиции «не важно» (пояснение почему это так — в комментариях). Ограничение это оставалось и в v6.2, если верить официальному гайду:

http://www.vmware.com/files/pdf/products/vsan/virtual-san-6.2-design-and-sizing-guide.pdf

С учетом того, что там же, в документе, ниже, указывается, что основное правило в сайзинге кэша — кэш составляет 10% от хранимой usable (не raw) емкости (cache:capacity ratio) — что означает, что конфигурации размером более 6TB на ноду на дисковую группу будут, вероятно, испытывать недостаток пространства кэширования. (также смотри в комментарии о деталях)

Изменилось ли что-то тут в VSAN 6.5? Похоже, что нет:

http://pubs.vmware.com/Release_Notes/en/vsan/65/vmware-virtual-san-65-release-notes.html

VSAN все еще требует Multicast.

http://www.vmware.com/files/pdf/products/vsan/virtual-san-6.2-design-and-sizing-guide.pdf

Поменялось ли это? Нет, multicast по-прежнему нужен в VSAN 6.5

http://pubs.vmware.com/Release_Notes/en/vsan/65/vmware-virtual-san-65-release-notes.html

Готова ли у вас сеть к использованию в ней Multicast? Умеете его настраивать, отлаживать странности, понимает ли работу с ним ваши роутеры и иное оборудование в сети?

Дедупликация И компрессия. Я не зря ставлю тут «И», потому что в VSAN они включаются ТОЛЬКО ВМЕСТЕ, и на ВЕСЬ КЛАСТЕР целиком. И по-прежнему ТОЛЬКО на AllFlash.
Если у вас есть в кластере задачи, которые плохо переносят дедупликацию или компрессию, то вам придется выключить эти фичи для всего кластера целиком, даже если какие-то задачи и нуждаются в них.

Это соханилось в VSAN 6.5:

http://pubs.vmware.com/vsphere-65/topic/com.vmware.vsphere.virtualsan.doc/GUID-2285B446-46BF-429C-A1E7-BEE276ED40F7.html

Обоатите внимание также на warning, показываемый при включении deduplication & compression.

Документация подтверждает:

http://pubs.vmware.com/vsphere-65/index.jsp?topic=%2Fcom.vmware.vsphere.virtualsan.doc%2FGUID-5A01D0C3-8E6B-44A7-9B0C-5539698774CC.html

Про Data Locality.
Даже несмотря на то, что у VMware даже есть специальный документ по этому поводу: http://www.vmware.com/content/dam/digitalmarketing/vmware/en/pdf/products/vsan/vmware-virtual-san-data-locality.pdf
просто взгляда на картинку со схемой размещения данных виртуальной машины достаточно, чтобы понять, что data locality в том смысле, в котором его понимает Nutanix, в VSAN нет.

Поэтому ничего удивительного в том, что в приведенном выше документе термин Data Locality VMware трактует иначе, и достаточно своеобразно:

Поддержка и обновления.
Поправьте меня, если я что-то понимаю не так, но из вот этой картинки следует, что обновления ПО у VxRail доступны только для Premium support:

Ну и, чтоб уж, как говорится, два раза не вставать, надо помнить, что, с точки зрения DellEMC покупатель VxRail НЕ МОЖЕТ смешивать их в одном кластере с «самосборными» нодами. То есть купили VxRail с поддержкой — продолжайте покупать их для расширения системы дальше. Но подключать в кластер из VSAN/VxRail самосборные ноды VSAN вы технически — можете, но поддерживаться эта конструкция на стороне DellEMC не будет. Помните об этом.

Как и раньше, комментарии от более знающих обсуждаемый предмет приветствуются. Возражения со ссылками на подтверждающие документы приветствуются особо.

UPD: В комментах развернулась дискуссия, где обсуждается много интересных моментов, не пропустите.

Nutanix Acropolis Block Service: планы на ближайший релиз

Уже не раз в этом блоге я упоминал про ABS, Acropolis Block Service, нашу фичу, с помошью которой вы можете создать на хранилище Nutanix блочный LUN, и отдать его по iSCSI 10G внешним хостам, используя часть пространства Nutanix как своеобазную «SDS СХД». Сервис этот развивается, и вот какие новые фичи были объявлены на ближайший релиз.

abs

В настоящее время в списке поддерживаемых OS на внешних хостах: RHEL 6 и 7, CentOS 6 и 7, Oracle Linux 6 и 7, Microsoft Windows Server 2008 R2, 2012 и 2012 R2.
В ближайшем релизе сюда добавятся VMware ESXi 5.5 и 6.
Последние в настоящий момент не поддерживаются, но, как видите, будут. Это означает, что вы сможете использовать Nutanix как внешнее хранилище для уже существующих у вас хостов виртуализации, например, на время переходного периода, миграции, и так далее. Не думаю, что использовать Nutanix только как SDS будет хорошей идеей, в результате вы лишаетесь множества плюсов, присущих Nutanix как решению. Но как вспомогательный способ решить какие-то конкретные задачи инфраструктуры это вполне работает.

В 5.0 ожидается Online LUN resizing.

Также мы ожидаем механизм Dynamic load balancing, который поможет распределять и динамически ребалансировать нагрузку по нодам в зависимости от их загрузки.

В 5.0 также появится CHAP authentication и IP/IQN based whitelisting, что позволит обеспечить необходимый некоторым инфраструктурам уровень защиты.

Разбираемся в запутанной теме лицензирования Oracle в HCI

Перевод поста в нашем блоге, оригинал тут:
http://next.nutanix.com/t5/Nutanix-Connect-Blog/Reducing-Oracle-Licensing-Cost-on-Nutanix/ba-p/13656

Президент VCE, Chad Sakac, недавно опубликовал пост о ситуации с лицензированием, метко озаглавленный: «Oracle, вы меня печалите, разочаровываете и раздражаете». Тем не менее есть определенные шаги, которые пользователи Nutanix NX (а также Dell XC и Lenovo HX) могут сделать, чтобы оптимизировать лицензирование Oracle на платформе Nutanix Enterprise Cloud Platform.

Nutanix имеет статус Oracle Gold Partner, и является далеко оторвавшимся лидером в запуске Oracle DB и Oracle RAC на HCI-системах, мы их поддерживаем в продакшне в некоторых наших клиентах уже около 2 лет. Я не нашел ни одного опубликованного референса по установке и использованию Oracle RAC на какой-либо другой HCI-системе. Свойственная Nutanix надежность, производительность и масштабируемость и зрелость продукта завоевывают голоса бизнеса, когда он рассматривает гиперконвергентное (HCI) решение.

The Nutanix Enterprise Cloud Platform
существенно сокращает TCO, при сравнении со стоимостью владения «классических» инфраструктур (серверы+SAN+СХД). Кроме этого с Nutanix вы получаете лучше производительность, упрощение администрирования и безопасности при работе с виртуализованными инстансами Oracle.

На верхнем уровне главные преимущества Nutanix Enterprise Cloud:

  • Ресурсы как серверные, вычислительные, так и ресурсы хранения объединены в стандартных x86-серверах, что позволяет реализовать стратегию pay-as-you-grow и масштабирование типа scale-out.
  • Вся функциональность реализовано в ПО, в виде software-defined решения.
  • Для приложений обеспечивается наикратчайший путь к его данным, за счет размещения их на той же ноде, что и самого приложения, причем преимущественно данные размещаются на SSD.
  • Данные, метаданные и операции могут быть распределены по всему кластеру серверов-нод.
  • Система обладает способностями самовосстановления и выдерживает отказы своих компонентов.
  • Управляемая с помощью API
  • Один пул хранения (storage pool) Nutanix позволяет разместить и обслуживать множество кластеров vCenter (в случае vSphere), упрощая управление средой хостов виртуализации и хранилищем.

Как лицензируется Oracle
В виртуальной среде Oracle лицензируется серверный хост (нода кластера). После того, как пользователь приобретет лицензии на ядра/процессоры данного серверного хоста (ноды), он может запускать на нем столько баз данных, сколько захочет. Рекомендуется использовать процессоры с максимально высокой тактовой частотой и низким числом ядер, чтобы свести к возможному минимуму число и стоимость лицензий.

Oracle лицензируется обычно попроцессорно/поядерно, одним из следующих способов:

Per-core: Обычно используется для баз данных, middleware, BI, и т.д.
Это наиболее часто используемый вариант лицензирования Oracle. Oracle использует схему «множителей» (multipliers), ориентируясь на физическую инфраструктуру платформы (x86, SPARC, Power, и т.д.). Ниже приводится скриншот из документации Oracle, помогающий понять, что имеется ввиду.

Oracle Core Factor Table:
02/12/2016 Oracle Software Investment Guide

1677i245dc85487648930

Named User Licenses: Чаще всего используется для Dev/Test/QA. В этой схеме организация лицензирует определенное число пользователей, которые имеют право использовать систему.

Unlimited License Agreement (ULA): безлимитная лицензия на определенный набор продуктов. Это могут быть база данных, middleware, BI и другое.

Application Specific Licensing: В этой схеме лицензируются определенные приложения или модули. Например, можно лицензировать 50K пользователей платежных операций, 500 пользователей финансового отдела, и т.д.

Пользователь Oracle , например, может сделать 10-нодовый кластер Nutanix Enterprise Cloud Platform, на котором создает 2-нодовый кластер ESXi для SQL сервера, и 6-нодовый кластер ESXi для прочих задач, например, для размещения там других виртуальных серверов приложений. Он по-прежнему может использовать Nutanix Prism для управления единой storage fabric, но определенная задача, например, Oracle DB, будет «заперта» в своем выделенном сегменте кластера ESXi, выделенного под эту задачу, и только этот сегмент должен быть пролицензирован Oracle. Эта схема ничем не отличается, с точки зрения лицензирования Oracle, от использования СХД, обслуживающей два физически разделенных кластера ESXi, на двух наборах физических серверов. Такое разделение лицензий Oracle позволяет значительно проще управлять тем, сколько ядер пользователь добавляет в кластер, по сравнению с традиционной инфраструктурой.

Основные преимущества использования гиперконвергентной платформы для Oracle:
Кроме уже перечисленного выше, есть еще ряд полезных особенностей и преимуществ Nutanix Enterprise Cloud для Oracle.

Упрощение структуры хранилища Oracle Database
Nutanix позволяет вам упростить то, как устроено хранилище базы данных. Вы можете сделать всего две дисковые группы Oracle ASM, каждая из которых будет состоять из одного и более дисков Nutanix, нет необходимость конфигурировать и настраивать RAID.

1679if12844231d031dbb

Pay-as-You-Grow Scale-Out Performance
Платформа Nutanix представляет собой единую платформу хостинга приложений, как для Oracle, так и для других задач, масштабирующуюся в соответствии с потребностями пользователя и его задач. Пользователь может выбрать минимальную конфигурацию из всего 3 нод, и увеличивать масштабы своей системы небольшими шагами, по мере возникновения необходимости в этом, небольшими инкрементами объемов или вычислительной мощности.

У Nutanix также есть специальные storage-only ноды, которые не исполняют код Oracle, и работают под гипервизором Nutanix AHV. Эти ноды позволяют расширить емкость хранения кластера Nutanix, при этом они не требуют лицензирования ни со стороны VMware, ни со стороны Oracle.

Преимущества, которые я разделил на те, что относятся к «железу» и те, что относятся к «софту».

Преимущества на стороне «железа»

Лучше уровень использования серверов и хранилища: переместив хранилище непосредственно в сервер, и, тем самым, сократив значения latency, мы позволим Oracle DBA разместить на том же железе больше баз данных.
Консолидация лицензий: Используемый в Nutanix интеллектуальный тиринг данных и локальный доступ к данным позволяет получить более высокую производительность на ядро и более высокую плотность задач на ноду, чем в классических инфраструктурах.
Снижение стоимости интеграции инфраструктуры: системы Nutanix являются готовым решением всего стека, от системы виртуализации до хранилища данных.
Снижение TCO: высокая плотность размещения ведет к лучшему коэффициенту использования места и энергии, снижая занятое в датацентре место и требования по электропитанию и охлаждению.
Встроенная функциональность: Nutanix приходит со встроенными, нативными средствами защиты данных и катастрофоустойчивости, а также средствами повышения эффективности хранения (например, компрессия баз данных), что устраняет необходимость в покупке сторонних средств такого рода, и дополнительных затрат на их использование.
Возможность смешивать разные типы нод: наличие в общем кластере нод разной специализации, например, с высокой вычислительной мощностью, или, например, с большой емкостью и плотностью хранения, позволяет оптимизировать затраты на решение как с точки зрения оборудования, так и лицензий Oracle.

Преимущества на стороне «софта»

Увеличение производительности админов/DBA: Nutanix обеспечивает управление всей инфраструктуры из единого интерфейса с настраиваемыми дашбордами, в котором легко управлять и оценивать потенциальные точки роста инфраструктуры, что помогает DBA управлять работой системы более эффективно и с меньшими рисками.
Увеличение производительности системы: Data Locality и автоматический tiering устраняет проблему «noisy neighbor», увеличивает производительность и масштабируемость баз данных
Автоматизация: использование RESTful API помогает автоматизировать развертывание и клонирование production в dev/test, создавая основу для системы DBaaS (Database as a Service Cloud).
Снижение числа проблем: компоненты целостного решения Nutanix поставляются предварительно протестированными на совместимость.
Проактивный анализ и моделирование сценариев: инструмент Prism Central обеспечивает доступ к превосходным средствам аналитики и моделирования сценариев
Упрощение структуры хранения баз данных: Достаточно сделать всего две дискгруппы в ASM, каждая из них будет располагаться на одном или нескольких дисках Nutanix. Нет необходимости делать RAID.

Виртуализация физических серверов

Запуская Oracle на физическом железе вы, зачастую, получаете низкий уровень использования оборудования. Виртуализация Oracle поверх одного из популярных гипервизоров, таких как ESXi, Hyper-V, Oracle VM или нашего собственного Acropolis Hypervisor (AHV) не только консолидирует ресурсы, но также значительно увеличивает показатели использования оборудования, что эффективно высвобождает лицензии и ресурсы для их использования в других проектах.

Nutanix позволяет виртуализировать физические серверы очень легко. В отличие от традиционной, «классической» инфраструктуры тут нет централизованного хранилища и SAN-фабрики, нет и необходимости администрировать или настраивать их. Использование Nutanix AHV вдобавок позволяет устранить затраты на приобретение и поддержку, а также на стоимости администрирования системы виртуализации и инструментов управления ей.

Администраторам Oracle DB понравятся возможности защиты и восстановления данных из crash-consistent и application-consistent снэпшотов. Админ может перевести Oracle DB в hot backup mode, снять с базы данных снэпшот или клонировать раздел данных, например, для test/dev копии. Наши снэпшоты и клоны — нативный механизм нашей платформы.

Пример
Nutanix недавно поставил 44 узла для проекта замены классической 3-Tier инфраструктуры Oracle DB, работавшей без использования виртуализации, для компании, одном из крупных разработчиков ПО.
Таблица 1 показывает схему размещения оборудования в стойках датацентра.
Таблицы 2 и 3 показывают сравнение старой и новой схемы

1680idfa1ab5fa0c784f3
Table 1: Physical Rack Layout for Oracle on Nutanix

1681i20bd0ee3c9c53b11
Table 2 Physical Footprint Comparison for SaaS Oracle: Nutanix vs. Legacy

1683iba2072395dd42443
Table 3 Physical Footprint Deltas for SaaS Oracle: Nutanix vs. Legacy

Пример расчета лицензий Oracle

Пример основывается на ценах лицензий, опубликованных 18 августа 2016. Цены могут меняться со временем, и порядок цен в расчете действителен только на момент публикации.
Давайте сравним «классическую» 3-Tier инфраструктуру с использованием физического «железа» на AIX, HPUX или иного UNIX/Linux, и работающую на Nutanix.
В случае физических серверов Oracle принимает множитель для лицензий Processor Core Factor равный единице (1х), а для x86 он будет равным 0.5x.

В ценах листпрайса Oracle DB Enterprise Edition стоит $47500, добавим сюда опции Diagnostics ($7500), Tuning ($5500) и Partitioning ($11500), что увеличивает сумму на $24000. Исходим из того, что нам нужно 10 лицензий на CPU, как для физической инфраструктуры, так и для Nutanix.

«Классика»: 10 X 1 X ($47,500 + $24,000) = $710,500

Nutanix: 10 X 0.5 X ($47,500 + $24,000) = $357,500

А ведь кроме этого виртуализация позволяет вам лучше использовать ресурсы сервера, например, можно разместить не одну, а две базы данных на том же 10-ядерном сервере, что эффективно снизит в этом случае стоимость лицензий до $187750 на базу данных, что составит 1/4 от стоимости лицензий Oracle на физической «классике».

И в отличие от «классики» нет дополнительных затрат на СХД и SAN. Занятое пространство в стойке, потребленное электричество и выделение тепла также уменьшится, а стоимость затрат на администрирование существенно снизится, так как Nutanix устраняет часть затрат, связанных с администрированием СХД и автоматизирует значительную часть задач, связанных с обновлением OS/firmware/гипервизора.

Спасибо Murali Sriram, Michael Webster, Sachin Chheda, Tom Dau, Jim LeVan, Rob Simpson и Edison Diaz за помощь в написании этой статьи и правки.

Дополнительно смотрите материалы:

Licensing Databases on EMC and VMware Technology.  2016. Houses of Brick Technologies White Paper.
Scale-Out Performance Testing with Nutanix Storage-Only Nodes. Josh Odgers. 07/14/2016.  joshodgers.com.
What is the Cost of Oracle Database License? Let’s Find Out! 07/28/2016. Pawan Kumar Yaddanapudi. orskl.com
Oracle Software Investment Guide. 02/12/2016. Oracle.com.
Database Licensing. 2015. Oracle.com.
Oracle on Nutanix Best Practices. September 2014. Nutanix.com.
A Few Words on Oracle Licenses. 03/01/2013. The Oracle Alchemist.
IDC Customer Spotlight: ASM International July 2016 IDC Report

Oracle RAC на внешних хостах с использованием Acropolis Block Services (ABS)

Интересный эксперимент провели у нас в лабе. Был запущен Oracle RAC 12.1 на двух хостах Lenovo (бывш. IBM) x3850, подключенных к 4 нодам кластера Nutanix (NOS 4.7) с использованием Lenovo HX7500 в AllFlash конфигурации (суммарное число нод в кластере было 6, как видно из скриншота ниже, но 2 в тесте не участвовали и в ABS подключены не были).
Причем так как не стояла задача достигнуть максимально возможных результатов, не делалось никакого тюнинга баз, и эксперимент проводился параллельно с другими операциями на этом экспериментальном кластере, в частности там же в этот момент было развернуто около 100 рабочих мест в XenDesktop и 4 вспомогательные базы в MS SQL.

Тем не менее, было достигнуто около 90K IOPS на OLTP-подобной нагрузке (70% Read / 30% Write) при средней latency около 1ms.
Суммарная производительность всех 6 узлов кластера, обрабатывавшего кроме нагрузки Oracle RAC еще и другие задачи лабы, составила около 200.000 IOPS

sn-2057-oracle-rac-with-abs_image5

А это показания непосредственно Enterprise Manager-а Oracle.

sn-2057-oracle-rac-with-abs_image6

Показания значений latency

sn-2057-oracle-rac-with-abs_image7

Выброс latency в районе 8:35 — это создание снэпшота AWR — Automatic Workload Repository.

При тесте в качестве генератора OLTP-подобной нагрузки использовался SLOB v2.3.

Конфигурация тестовой платформы:

Four-node HX7500 all-flash (prerelease hardware version) running Nutanix AHV:

  • 24x 800 GB SSDs per node
  • 2x Intel E5 v3 CPUs per node
  • 256 GB of RAM per node
  • 2x 10 GbE NICs per node

Two-node Lenovo x3850 X6 running Oracle Linux and Oracle 12c in RAC configuration:

  • 512 GB of RAM per node
  • 2x 40 GbE per node
  • 2x 10 GbE per node

sn-2057-oracle-rac-with-abs_image3

Nutanix AHV 4.7
Oracle Linux v7.1 x86_64
Oracle 12cR1 Grid Infrastructure v12.1.0.2
Oracle 12cR1 Database v12.1.0.2

На каждой ноде Oracle RAC был установлен Oracle Linux 7.1 x86_64 с 72 cores на 512 GB памяти, 128 GB выделено Oracle SGA (System Global Area).
Oracle ASM disk groups использовали 4 MB allocation unit (AU). Параметры ASM:

Database data — 24 тома 500GB
Online Redo Logs — 6 томов 30GB
FRA — 6 томов 100GB
OCR/Vote Disk — 6 томов 20GB

Для подключения томов к хостам Oracle использовался iSCSI 10GBE.

Citrix XenServer на Nutanix: некоторые подробности

citirx-xenserver-720x340
На прошлой неделе я упомянул о новости, появившейся на сайте Citrix, о том, что Nutanix начал поддерживать четвертый гипервизор. Плюс к VMware ESXi, MS Hyper-V, и нашему собственному Acropolis Hypervisor на базе RedHat KVM, мы начали поддерживать на наших системах еще и Citrix XenServer. Таким образом, практически все сегодняшние коммерческие гипервизора на рынке у нас поддерживаются, ни одна гипервизорная web-scale система больше такого не умеет.

У меня появились некоторые материалы, которые позволяют ответить на вопросы пользователей «как, зачем и почему».

Во-первых, как я уже писал ранее, Citrix XenServer поддерживается, в первую очередь, как гипервизор для решения Citrix XenDesktop. Первая версия, в которой появится поддержка XenServer будет Nutanix OS 5.0. Как вы уже знаете, все крупные новые фичи Nutanix сперва появляются в статусе Technical Preview (TP), и становятся Production-ready в следующем релизе Nutanix OS. Таким образом, впервые XenServer появится в ближайшем релизе, который будет 5.0, и далее станет production-ready в 5.1. Единственная версия XenServer, которая будет поддерживаться — 7.0

Направленность на XenDesktop связана с тем, что в Citrix XenServer работает поддержка для GPU-карт. Это то, что, пока, еще не работает в настоящий момент на AHV. Это будет в AHV, и ожидается уже в первой половине года 2017, но, пока этого нет, если вам нужен GPU в VDI, то следует использовать XenServer как платформу для VDI-системы XenDesktop. Мы планируем поддерживать XenServer только для этой задачи. Если вы ищете бесплатный гипервизор вообще, то лучше смотрите на наш AHV.

Интеграция XenServer в готовящемся TP пока не такая полная, как для трех остальных (например в интерфейсе управления). Пока нет средств обновления гипервизора (нашими средствами, которые есть, например, для vSphere и Hyper-V), расширения кластера, по-прежнему требуется XenCenter для развертывания VM в XenServer. К Production-ready релизу это, скорее всего, допилят.

Если вам нужны: Citrix PVS, vGPU или GPU Passthru для XenDesktop, то тогда смотрите на XenServer на Nutanix. Если ваша задача НЕ XenDesktop с GPU и/или PVS, то тогда лучше выберите AHV.

В настоящее время мы планируем использование XenServer только для платформ Nutanix, наши OEM (Lenovo и Dell) пока не планируют поддержку XenServer на Lenovo HX и Dell XC, по крайней мере для TP-стадии.

Что делать, если на Nutanix случайно удалены важные данные?

Допустим, вы случайно грохнули vDisk с базой данных вашей компании, или еще что-то столь же важное. Случится может с каждым. Что делать?

don-t-panic

1. Не паниковать!
Как и в большинстве других файловых систем сегодня, при удалении на ней файла блоки, в которых хранится информация, не удаляются физически. На Nutanix они даже не мгновенно высвобождаются. Поэтому, не паникуя, нужно максимально быстро сделать следующий шаг:

2. В консоли CVM дать команду:
allssh genesis stop curator

allssh — выполнит эту команду на всех хостах, когда вы запустите ее только на одном из них
genesis stop — это команда, указывающая менеджеру сервисов Genesis остановить указанную далее службу.
curator — служба менеджера кластера Nutanix, именно он занимается очисткой удаленных vDisk-ов. Цикл сканирования partial scan проходит раз в 60 минут (например, для переноса данных с hot на cold tier), так что если вы успели остановить curator приведенной командой раньше, чем будет запущен цикл сканирования и очистки, то данные гарантированно останутся целыми.

3. Свяжитесь с техподдержкой.
Вероятность восстановить данные полностью после их удаления достаточно велики, если вы без промедления остановили службу curator.

Важно: эти действия не приводят к остановке работы кластера и других VM с вашими приложениями! Все VM по-прежнему будут работоспособны, пока вы извлекаете удаленные данные из контейнера кластера Nutanix.

Nutanix ABS: как у нас работает failover/failback?

Интересное видео, показывающее, как отрабатывает Failover и Failback на нашем ABS — Acropolis Block Storage — сервисе, который отдает внешним серверам хранилище Nutanix как блочные LUNы. Это (по крайней мере изначально) было придумано для возможности подключить к кластеру Nutanix какой-то внешний сервер, например Oracle, который нельзя, или лицензионно дорого перетаскивать под гипервизор.
Но как при этом работает failover? Что произойдет если, например, одна из нод кластера упадет?

Вот на этот вопрос отвечает видео. На нем 4-нодовый кластер Nutanix отдает LUN-ы с тестовой базой внешнему серверу Oracle DB. На Nutanix также запущен в отдельной VM swingbench, эмулирующий нагрузку к этой базе данных и показывающий графики параметров работы теста.

На первом видео мы видим, как все четыре CVM обслуживают внешний сервер, самобалансируя ввод-вывод с него между собой. Обратите внимание, что мы НЕ ИСПОЛЬЗУЕМ MPIO или ALUA, для нашей архитектуры доступа к данным они не нужны на хост-сервере! iSCSI Initiator на физическом хост-сервере обращается на общий «кластерный IP» таргета, который передается какому-то из CVM, и им обслуживается. В версии 4.7 используется равномерная «рассортировка» по CVM, начиная с версии 5.0 для выбора целевого CVM используется сравнительный уровень его загрузки. Добавляемые в кластер ноды автоматически начинают обслуживать операции ввода-вывода, без дополнительного вмешательства и перенастройки админом.

Затем мы физически отключаем одну ноду, используя команду poweroff на IPMI из консоли. (страничка по адресу CVM с портом 2009 это одна из наших служебный вебстраниц интерфейса, в данном случае — iSCSI Target Adapter-а).
Мы видим, что iSCSI target переехал на одну из нод, которая подхватила операции упавшей, с минимальной задержкой операций, в пределах таймаута. Нагрузка на CVM, подхвативший операции вышедшего из строя выросла. Операции swingbench не прерывались.

Затем, мы включаем ноду назад, и, вскоре, видим, как она включилась, и iSCSI Target самостоятельно вернулся на включенную ноду, так что нагрузка снова автоматически сбалансировалась по всем четырем CVM-«контроллерам СХД».