X vs. Y: Nutanix и VMware EVO:RAIL

Несколькими постами ранее я начал серию обзоров конкурентов Nutanix, с подробными разбором «кто есть кто», и что конкуренты предлагают в сравнении с продуктами Nutanix, и начал я с SimpliVity OmniCube.

Продолжим наше исследование ландшафта рынка гиперконвергентных систем, и представленных на нем продуктов. Следующим заметным игроком на нем является VMware со своим уже хорошо известным VSAN, и недавно объявленным новым «хардварным апплаенсом» на его базе — EVO:RAIL.
Давайте посмотрим, что интересного предлагает Vmware, и как они смотрятся в сравнении с Nutanix.
Для начала несколько слов, что же такое EVO:RAIL, и чем он отличается от VSAN, продукта уже, в общем, известного пользователям.

SYS-2027PR-HTR_25[1]

VMware EVO:RAIL это готовый аппаратный «кубик» для построения гиперконвергентного кластера, который выглядит очень похоже на Nutanix NX-3000. Это 2U серверный корпус с 4 серверными модулями в нем, а также HDD и SSD. На модули установлен VMware vSphere 5.5 и VSAN. Таким образом, EVO:RAIL — это VSAN, продаваемый как готовый железный продукт-appliance, вместе со всем необходимым «железом»: сервером, HDD, SSD и сопутствующим софтом.
Почему VMware, чисто софтверная компания, впервые, на моей памяти, начала продавать «железо» — очевидно. Высокие требования к надежности решения диктуют такой подход. Нельзя достичь «пяти девяток» надежности, если полагаться на произвольное железо, которое тебе подобрал из своих закромов пользователь. С этим, рано или поздно, сталкивается любой производитель «софтового решения».

im_ait_evorail01[1]

Поэтому мы будем говорить именно о EVO:RAIL, а не о VSAN, так как именно он является как таковым «конкурирующим продуктом» для Nutanix, держа в памяти, что это уже многим знакомый VMware VSAN, который уже многие покрутили, в бытность его бесплатной бетой.
Но вы, конечно, понимайте, что почти все, что говорится о EVO:RAIL, относится и к VSAN.

Сходство между EVO:RAIL и Nutanix довольно значительно, поэтому, прежде всего, сосредоточимся на различиях.

Первое и самое главное это, конечно, то, что EVO:RAIL это продукт только и исключительно под VMware vSphere, и никак иначе. Он использует внутренние возможности и специфику гипервизора ESXi, и работает только с ним. Nutanix «платформонезависим», и работает и с ESXi, и с Hyper-V, и с KVM.

Размеры кластера у EVO:RAIL в текущей версии ограничены 16 нодами (это 4 серверных блока по 4 серверных модуля в каждом), стоит отметить, что в VSAN лимит был 32 ноды, с чем связано такое снижение пока не ясно.
Кластер Nutanix может быть существенно больше, есть сведения о эксплуатации в реальном продакшне кластеров до 50 нод размером.

Минимальная покупаемая конфигурация EVO:RAIL — 4 ноды, то есть одни полный блок.
Минимальная стартовая покупка Nutanix — 3 ноды, затем можно приобретать расширения квантом по одной ноде (конечно, после заполнения очередного блока, вам понадобится новый корпус для новой ноды, это естественно, но мнимальный партномер для новой покупки — именно нода).

EVO:RAIL использует SSD как кэш (до 70% емкости установленного в системе SSD резервируется под кэш), Nutanix использует SSD для hot tier, хранения наиболее актуальных данных и метаданных, а под кэширование используется DRAM.

У EVO:RAIL сейчас доступна ровно одна конфигурация серверного железа. Вы не можете даже изменить объем RAM. Также следует отметить, что используются CPU с 6-cores, что означает, что расширяясь для увеличения производительности, вам понадобится больше лицензий VMware.
Nutanix NX-3460 имеет в каждом модуле два процессора Intel Ivy Bridge E5-2680v2 [10 cores / 2.8 GHz], то есть в одном блоке 2U из 4 модулей ,получается 80 cores на всего 8 CPU.

Официальные спеки на EVO:RAIL определяют емкость одного блока в 250 десктопов или 100 виртуальных серверов. Nutanix NX-3060 говорит о 440 десктопах с профилем medium открытого бенчмарка Login VSI, или 200 обычных VM, на один блок.

Nutanix держит на хосте одну Controller VM (CVM), которая обеспечивает работу VM Caliber Snapshots, онлайн- и map-reduce (распределенную) компрессию, онлайн- и map-reduce дедупликацию, аналитику, Cluster Health, выполнение репликации данных.
EVO:RAIL имеет EVO Management Software (на вебсервере), держит vCenter VM, Log Insight VM, VM поддержки железа от OEM-вендора оборудования, а также vSphere Replication VM.

У Nutanix есть средство для управления множественными кластерами — Prism Central.
У EVO:RAIL централизованное управление многокластерными конфигурациями отсутствует.

Если на Nutanix выполняется VMware vSphere, то он может иметь любую нужную вам лицензию.
У EVO:RAIL лицензия — Enterprise Plus.

У EVO:RAIL вы получаете один единый однородный вычислительный кластер с одним единственным storage container.
У Nutanix вы можете гибко изменять такую конфигурацию. Например вы можете организовать для определенной задачи небольшой по мощности процессоров вычислительный кластер с большим пространством хранения, используя NX-6000, или дополнить кластер специализированным блоком NX-7000 для виртуальных десктопов с тяжелой 3D-графикой высокого разрешения. Такая гибкость позволяет максимально эффективно настраивать кластер на выполнение нужной задачи, причем такой неоднородный кластер может существовать в рамках единой структуры.

Наконец, у EVO:RAIL нет механизма защиты, который бы обеспечил доступность данных при выходе из строя блока из 4 нод целиком. Представьте, что у вас стоят два блока по 4 ноды EVO:RAIL, и один из них падает целиком. Какие VM после такой аварии смогут продолжить работу?
У Nutanix предусмотрен в его механизме репликации данных так называемый Block Awareness, который заставляет репликацию выбирать для записи копий ноды, расположенные вне данного блока.

NDFS_BlockAwareness_DataNorm[1]

Таким образом, при выходе из строя целиком блока с 4 нодами, данные в объеме кластера останутся доступны на оставшихся нодах в других блоках. У EVO:RAIL в настоящий момент такого механизма нет.

Но все же самое важное отличие «внутри» EVO:RAIL от Nutanix, находится в том, как именно размещаются и хранятся данные на их дисках. Вот об этом давайте подробнее.

• VSAN это распределенная объектная файловая система
• Метаданные в VSAN живут вместе с VM

• Nutanix это распределенная файловая система
• Метаданные в Nutanix глобально распределены

VSAN\EVO:RAIL разбивает объекты (VMDK) на компоненты. Эти компоненты распределяются равномерно по кластеру. Я не вполне уверен в том, что за алгоритм используется, но выглядит так, как будто принцип распределения основан на емкости ноды. Когда компонент помещается на ноду, он остается на ней, пока не происходят следующие события:

• Он удаляется
• Заполняется 255 GB компонента (значение по умолчанию) и создается новый
• Нода отключилась от кластера и начался его ребилд
• Активирован режим Maintenance mode и выбрана опция «эвакуации данных» (evacuate data) .
Таким образом, на только что созданном кластере данные распределяются по нему более-менее равномерно.

VSAN

vsan1[1]
VSAN распределяет данные с использованием их компонентов

Nutanix руководствуется правилом, что данные всегда должны находится и читаться локально для использующей их виртуальной машины. Одна копия данных пишется локально, и одна (для RF=2) или две (RF=3) записываются на другую ноду. Чем больше записей происходит, тем равномернее заполняется кластер вторичными копиями данных. Чтения всегда производятся с локальной для данного нода и его VM копии нужных данных. Nutanix использует экстенты и extent groups как механизм для объединения хранимых данных (в группы до 4 MB).
Неважно, свежесозданный ли это кластер Nutanix, или уже работающий продолжительное время, он всегда будет равномерно и сбалансированно заполнен блоками данных, исходя из значения общей емкости. Этот метод работает для кластеров смешанного характера, состоящих из различных типов нод. Подробнее описано в The Nutanix Bible.

Nutanix

nutanix1[1]
Nutanix размещает копии данных с использованием extent groups.

Далее, мы решаем увеличить кластер…
Что произойдет в случае VSAN после добавления ноды (серверного блока, SSD, HDD) в кластер и запуска vMotion на новую ноду? Практически ничего. Дополнительная емкость хранения будет добавлена в кластер, но роста производительности не произойдет. Виртуальная машина, перемещенная на новую ноду будет по-прежнему пользоваться своим данными, лежащими на дисках других нод. Данные будут продолжать считываться и записываться по сети, с тех дисков, где они были изначально записаны. HDD и SSD добавленной ноды не начнут использоваться, пока на них не попадут новые компоненты данных от созданных на кластере, уже после добавления ноды, VM.

В кластер VSAN добавляется нода и выполняется vMotion

vsan-vmotion1[1]
Что происходит при добавлении новой ноды в VSAN и перемещении на нее виртуальных машин.

Когда вы добавляете ноду в кластер Nutanix и переносите на нее с помощью vMotion виртуальную машину, то ее данные начинают писаться локально, на локальные для данной ноды диски, и преимущества от использования SSD и локальных дисков начинают сказываться немедленно. Это важно не только с точки зрения производительности, но также поддерживает уровень емкости данных в системе в случае отказа ноды.

В кластер Nutanix добавляется нода и выполняется vMotion

nutanix-vmotion1[1]
Что происходит при добавлении новой ноды в Nutanix и перемещении на нее виртуальных машин.

Так как данные равномерно распределены по всему кластеру, то в случае отказа, все ноды кластера Nutanix могут помочь восстановить данные. У VSAN только те ноды, что содержат на своих дисках компоненты пропавших данных, участвуют в восстановлении.

Обратите внимание: Nutanix восстанавливает «неактивные», или «cold» данные, лежащие на HDD, на HDD-же, VSAN восстанавливает данные с использованием кэширования в SSD Cache. Если вы в VSAN теряете SSD, то все HDD «под» ним потребуют ребилда. Данные с HDD в VSAN переполнят в кластере слой SSD и это неизбежно повлияет на производительности системы в целом. Вероятно это и было причиной того, что из HCL было недавно удалено 13 RAID-контроллеров. Любопытно, что один из контроллеров из этого списка как раз успешно работает в Nutanix.

Nutanix будет всегда записывать минимум две идентичных копии данных в кластере (локальную и удаленную при RF=2 и локальную и две удаленных, при RF=3), вне зависимости от состояния кластера. Если он не может записать вторичную, удаленную копию, то приложение просто не получит уведомление-acknowledgment об успешной записи. Однако, когда VSAN теряет по какой-то причине хост, то она продолжит писать только одну копию, если, например вторая копия писалась на пропавший и кластера хост. В какой-то момент VSAN понимает, что слишком много данных записано в одной копии, и начинает ребилд компонента данных. Видимо именно тут причина, почему VSAN рекомендует писать три копии данных.
Вопрос правила размещения данных, или же «Data locality» играет важную роль в производительности, устранения сетевых «заторов» и доступности данных.

Таким образом, вы видите, что, несмотря на первоначальное внешнее сходство, EVO:RAIL и Nutanix отличаются довольно существенно.

Вновь, как и с SimpliVity, я не хочу подталкивать вас к какому-то ответу или выбору, я вижу свою задачу в том, чтобы ясно показать все важные аспекты разницы, которые могут сыграть свою роль в вашем выборе, и дать вам возможность руководствоваться не только одной лишь вендорской рекламой, где, как всегда, все хорошо и летают стрелочки, но руководствоваться полной информацией.

UPD (04.02.2015): Обратите внимание, что, в связи с выходом VSAN 6.0, часть информации о EVO:RAIL выше уже потеряла актуальность. Позже я обновлю это пост, или напишу к нему развернутый апдейт, отражающий текущее состояние дел.

X vs. Y: Nutanix и VMware EVO:RAIL: 10 комментариев

  1. Sergey

    Ром, а как данные у VMWare лежат на диске в низком уровне — там так же размазывание получается, или рейд сетевой ? И что произойдет при вылете жесткого диска, можешь пояснить процесс ребилда ? С Nutanix — понятно, данные со вторых копии начинают собираться со всего кластера и далее куратором распределяться по всему кластеру :) Ну очень утрированно. А у EVO:RAIL ?

  2. ximik

    Есть впечатление, что VMware вместо VSAN в итоге начнет использовать EMC ScaleIO, не имеющий тех «детских болезней», которые описаны в данной статье. Аналогично тому как это уже происходит с решением EMC Recover Point. RP скорее всего полностью заменит собственный внутренний механизм репликации при использовании VMware SRM. Анонсирован virtual appliance чисто под VMware с софтовым сплиттером, независящим от какого либо железа.
    Но как говориться «поживем увидим» :). В любом случае в данном сегменте Software Define «сюда подставьте нужное» в последнее время появляется все больше интересных решений :).

  3. Yaroslav

    По-моему не совсем корректно написано. EVO:RAIL специальная ОЕМ программа для производителей железа, рассчитаная на специальный форм-фактор (4 сервера в двух юнита) и не обязательное использование VSAN. Сейчас на базе этой программы начинают выпускать продукты все производители, и Dell тоже там.

    1. romx Автор записи

      Не совсем, но на момент написания поста это был именно продукт VMware с использованием VSAN на «своем» железе.
      Насчет «все производители» это вы погорячились, как мне кажется ;)

      1. Yaroslav

        EVO:RAIL is a Hyper-Converged Infrastructure (HCIA) offering by VMware and qualified EVO:RAIL partners. Partners include Dell, EMC, Fujitsu, Inspur, NetOne and SuperMicro на август 2014 года.

        Там же теперь HP, не все конечно, но многие.

        1. romx Автор записи

          Не, ну тут вопрос, что из этого станет реальными продаваемыми продуктами, а так — да, там даже NetApp есть теперь :) Мы тут в почте в Nutanix гадаем, что же это за химера такая будет :)
          Причем смотри, почти все — это вендоры серверных платформ, то есть они просто предлагают свои серверные железки под установку VMware (VSAN). Кто такие Inspur и NetOne — не знаю.

          UPD: посмотрел, Inspur — китайский серверный сборщик, NetOne — японский.

          1. Yaroslav

            У NetApp-а же есть виртуальный сторадж, которым он вроде через Фуджитсу банчил? HP ставит свой StoreVirtual VSA. Аппаратную платформу, как я понимаю, не проблема позаимствовать у СуперМикро, если своей нет.

          2. romx Автор записи

            Ну, из VSA сейчас вырос мегакрутой и перспективный Cloud ONTAP. Нет, я думаю, что это будет скорее что-то из E-series, проброшеных в VSAN по SAS, благо такая возможность есть.

  4. Уведомление: X vs. Y: VSAN 6.0. Что нового? - Virtualization solution with a nuts

  5. Уведомление: Nutanix или VMware VSAN? Критерии выбора - Virtualization solution with a nuts

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *