Nutanix как гикпорно

Начнем же тему с вещей, не оставляющих равнодушными ни одного истинного гика — с анбоксинга, сбобренного изрядной долей гикпорно, в виде откровенных снимков обнаженных контроллеров, обжатых концов и извлеченных из своих слотов жестких дисков.

В компанию приехал первый Nutanix box (модели NX-3050) в конфигурации с тремя нодами, и я попросил сделать подробную откровенную фотосессию, которая ответит на множество вопросов, «а как там оно все, под крышкой».

Уберите несовершеннолетних и подруг вашей жизни от мониторов :)

Коробка не оставляет вопросов, что же такое привезли.

Посмотреть на Яндекс.Фотках

Внутри, впрочем, сперва нет ничего нового и интересного для тех, кто привык распаковывать сервера или сетевое оборудование.

Посмотреть на Яндекс.Фотках

Два кабеля с фишками под включение в PDU стойки, рельсы для крепления в шкаф, коробка с кабелями и листок с пользовательским соглашением. Здесь же находится коробка с «мордой», (bezel).

Посмотреть на Яндекс.Фотках

Комплектные кабели — трехметровые 10G twinax SFP+.

Посмотреть на Яндекс.Фотках


Посмотреть на Яндекс.Фотках

«Звизда» и снимки на память.

Посмотреть на Яндекс.Фотках


Посмотреть на Яндекс.Фотках


Посмотреть на Яндекс.Фотках

Как не скрывает сам Nutanix, физически устройства производятся по их спецификации известными производителями серверного железа — Supermicro и Quanta. Производство при этом находится в США, в соответствии с модными нынче трендом back to USA.

Посмотреть на Яндекс.Фотках

Это неудивительно, так как до недавнего времени Nutanix ориентировался, прежде всего, на американский рынок, логистика на местный рынок проще, да и контроль качества удобнее организовывать. Как вы догадываетесь, стартап-компания, да еще ориентированная на top-enterprise, просто не может себе позволить вот так запросто испортить себе репутацию на самом старте браком (это от крутых брендов вы никуда «с подводной лодки» не денетесь;). С продуктами Supermicro в России знакомы очень многие, подчас даже не с ними самими, а с их многочисленными российскими OEM-партнерами. Второй ODM для Nutanix, по некоторым сведениям — Quanta Computer, весьма именитый ODM-производитель, возможно известный вам как физический производитель ноутбуков Apple (и он вообще, к слову, крупнейший физический производитель ноутбуков в мире), но среди их клиентов и HP, и Dell, и Cisco, и Fujitsu, и множество других производителей «первой IT-десятки» серверной электроники. Утверждается, что Quanta занимается заказным производством как раз модели NX-3050, созданной по спецификациям и полностью разработанной Nutanix.

Извлеченный из пленки Nutanix NX-3×50 сильно напомнит многим дисковую полку или небольшую систему хранения. Спереди расположены 24 слота под жесткие диски.
Текущая конфигурация была заказана, напомню, как трехнодовая, поэтому заполнено три четверти слотов, крайние справа шесть (из 24) — пустые.

Металлические перегородки конструкции делят дисковый «бэй» на три, а не на четыре части, это может запутать, при первом взгляде спереди. Смотреть надо на верхний край передней части корпуса, где нанесена подсказка, диски какой ноды где стоят.


Посмотреть на Яндекс.Фотках


Посмотреть на Яндекс.Фотках

Как видно на снимке, текущая конфигурация — 2 диска SSD 400 GB и 4 SATA 1TB. Горизонт художественно завален, резкость художественно размыта ;)

Посмотреть на Яндекс.Фотках

Трей — полноценный, не просто пластиковая заглушка. На этом снимке также видно, что конструкция бокса предполагает совершенно автономное включение каждой ноды. Справа и слева на боковых «ушах» модуля располагаются индивидуальные кнопки включения для каждого модуля, и индивидуальная «идентификационная лампочка», знакомая владельцам большинства серверов.
Фактически, в корпусе 2U физически объединены четыре полностью автономных сервера, использующих только пару redundant блоков питания и дисковый бэкплейн.

Посмотреть на Яндекс.Фотках

Диски — хорошо знакомые в серверном мире, это SSD Intel S3700 из их новой энтерпрайз-серии и HDD SATA Seagate Constellation 2. Диски самые обычные, не «перебрендованные».

Посмотреть на Яндекс.Фотках

Зайдем сзади :)

Посмотреть на Яндекс.Фотках

Два hotspare блока питания, знакомо и понятно.

Посмотреть на Яндекс.Фотках

А это — один из четырех нодов.

Посмотреть на Яндекс.Фотках

Внутри, как видите, также сплошной commodity.

Посмотреть на Яндекс.Фотках


Посмотреть на Яндекс.Фотках

На заднюю сторону ноды-контроллера выведены: порт менеджемента (IPMI), два порта Gigabit Ethernet, порты USB, VGA-консоль и два порта 10G Ethernet под SFP+.

Посмотреть на Яндекс.Фотках

Если присмотреться, можно увидеть еще один USB слева в корпусе, например для установки в него boot flash, с тем же ESXi.

Посмотреть на Яндекс.Фотках

Четвертый слот ноды на данной модели пустой. В него можно вставить ноду-контроллер позже, купив ее и диски отдельно.

Посмотреть на Яндекс.Фотках

Ну вот, обновка одета (в морду) и установлена на свое место в стойке в лабе. Ниже под ней, если кто еще не знаком — рэковые сервера Cisco UCS C220M3.

Посмотреть на Яндекс.Фотках


Посмотреть на Яндекс.Фотках


Посмотреть на Яндекс.Фотках

Основное подключение, конечно сзади.

Посмотреть на Яндекс.Фотках

Над девайсом — 24-портовый 10G коммутатор Arista 7150-S, выбор джентльменов :) Коммутатор 10G с особо низким latency, специально нацеленным на работу в средах виртуализации и конвергентных сетей хранения.

Посмотреть на Яндекс.Фотках


Посмотреть на Яндекс.Фотках

Вот так. Система в лабе, начинаем играться.

Nutanix как гикпорно: 15 комментариев

  1. German

    Спасибо за новый блог. Буду следить.
    А какие варианты RAID для дисков доступны?
    И как Ноды Бэ и Цэ будут видеть датастор Ноды А. По сети?
    Или есть внутреняя «межнодовая» шина?
    Пока не пойму в чём отличие от «обычного» HP DL 380/385 ?

    1. romx Автор записи

      > А какие варианты RAID для дисков доступны?
      А вот тут самое интересное состоит в том, что RAID как такового просто нет. Отказоустойчивость обеспечивается на уровне распределенной файловой системы, поверх физических дисков, не организованных в RAID. Это довольно популярная идея, которая активно разрабатывается в post-RAID-ном мире.
      Ведь, строго говоря, структура размещения данных, обеспечиваемая файловой системой, которая и создает избыточность, уже не может называться RAID, так работает, например ZFS, WAFL, GoogleFS, и ряд других решений.

      > И как Ноды Бэ и Цэ будут видеть датастор Ноды А. По сети?

      «Смотрите в наших следующих выпусках» :)

      > Или есть внутреняя «межнодовая» шина?

      Есть 10G Ethernet.

      > Пока не пойму в чём отличие от «обычного» HP DL 380/385 ?

      Как я уже писал в комментах к другому посту на подобный же вопрос: «Все дело в волшебных пузырьках» :)
      Nutanix, по сути, это некоторый софтовый компонент intellectual property, работающий на аппаратной платформе более-менее стандартного commodity x86 сервера. Именно наличием этого софтового компонента, и обеспечиваемыми им фичами, и создается разница между «обычными серверами», и Nutanix.

  2. comotoza

    > И как Ноды Бэ и Цэ будут видеть датастор Ноды А. По сети?
    > Или есть внутреняя «межнодовая» шина?

    Нету как такового датастора отдельной ноды, есть диски, через выделенный контроллер, проброшенный с помощью VMDirect-Path внутрь сервисной ВМ на каждом хосте, сервисная ВМ видит диски и отдает в общий пул дисков

    Внутренней межнодовой шины нет, иначе как было бы масштабирование более 1 коробки?
    Для работы распределенного хранилища надо чтобы выделенные сервисные машины видели друг друга по сети, так же видели чтобы хосты, которым они презентуют пул дисков как датастор

    На каждом хосте гипервизора имеется виртуальный коммутатор без аплинков, куда одним концом подключена сервисная ВМ, для каждого хоста это размазанное хранилище выглядит почти как локальное, в случае выхода какой-либо ноды из строя на данном коммутаторе добавляют маршруты на другую ноду, чтобы все происходило прозрачно для ВМ, когда данные после сбоя постепенно подсасываются на локальный хост, маршрут меняется на локальный и идет локальная работа

  3. Жека

    В аристу заведены 6 кабелей с 3-х нод, а как всё это счастье дальше коммутируется в общую сеть?
    То есть как достучаться до esxi, что вроде как, уже предустановлены?

    1. romx Автор записи

      Ну, думаю, что никаких чудесных способов. Можно использовать либо ту же сеть, либо, что вернее, отдельную, например для менеджмента можно использовать гигабитные порты, имеющиеся на нодах.

  4. Жека

    У Вас на картинках 2 цисковых сервера, я правильно понял что в тестовой конфигурации они никак не связывались с нутаниксом? Просто смонтированы в стойке и всё?
    Если планируем разворачивать на нутаниксе vmware horizon view, то как клиенты будут к нему цеплятся?

  5. comotoza

    1. В аристу заведены 6 кабелей с 3-х нод, а как всё это счастье дальше коммутируется в общую сеть?
    То есть как достучаться до esxi, что вроде как, уже предустановлены?

    Ответ мне кажется очевиден — подключить пользователей к Arista или через второй коммутатор, ариста поддерживает 10 Гб/1 Гб медь/оптику, потому подключить к какой-нибудь 1Гб Cisco например не проблема.
    Предустановленным сейчас будет KVM, так как он бесплатен, далее предлагается самим установить необходимый гипервизор (VMware, Microsoft) банально ручками или используя готовую машину Foundation, которая по сети может залить сразу несколько блоков — сперва гипервизор, далее служебные машины Nutanix со всеми необходимыми сетевыми настройками

    2. У Вас на картинках 2 цисковых сервера, я правильно понял что в тестовой конфигурации они никак не связывались с нутаниксом? Просто смонтированы в стойке и всё?
    Если планируем разворачивать на нутаниксе vmware horizon view, то как клиенты будут к нему цеплятся?

    Просто смонтированы в стойку, можно и к Cisco подключить Nutanix, но данный вариант поддерживается только на момент миграции на Nutanix ( через внешний IP одной из CVM).
    Касательно подключения клиентов — читай пункт один, низкая латентность нужна для работы узлов между собой, клиентов можно подключить через обычные коммутаторы, например подав определенный vlan на ту же Arista

  6. Жека

    Я правильно понял, что 10G нужен Nutanix для «самого себя». Клиентов к нему можно подключать через гигабитные коммутаторы,которые в свою очередь каким-то образом скомутированы с аристой?

    1. romx Автор записи

      Да, все верно. 10G используется для внутренней сети-магистрали между CVM, по ней идет репликация, межнодовый трафик, когда он возникает, и прочая служебная активность, а к самим VM на нодах можно подключаться любым доступным способом, если есть 10G — по нему, если нет, то по Gigabit Ethernet, например, в зависимости от требуемой производительности.

  7. Жека

    1.Можно-ли использовать аристу в качестве опорного коммутатора, кроме nutanix, ещё для пары серверной и хранилки (2хProliant DL360,Netapp FAS2240-2A) ?Пролианты и хранилка нужны для серверной виртуализации, а для клиентов Nutanix.
    Или минздрав (здравый смысл) такого категорически не рекомендуют.

  8. Comotoza

    Использовать Аристу не только для Нутаникса никто вам не запрещает.
    Если хранилки подключены по езернету, то так де можно все завести на один коммутатор и нутаникс, и хп с подключенным нетаппом.
    Позиционирование аристы-низколатентные коммутаторы для ЦОД, потому использовать их для связи с хранилкой вполне нормальная практика.
    Евгений, вы из Уфы? Похожий вопрос просто был недавно.

  9. Жека

    Ага.Я из Уфы. Не можем проработать техническое задание.Может поможете/порекомендуете?
    Есть только одно но.Всё будет приобретаться на конкурсной основе.

  10. comotoza

    Евгений, а можно получить ваш контакт?
    Что за компания я понимаю, хотелось бы пообщаться по телефону/почте и ответить на все вопросы.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *