Архив за год: 2013

С наступающими праздниками!

Блог, как и все вы, уходит на каникулы до середины января. Берегите себя. :) У меня тут пока читателей мало, каждый, фактически, на счету, поэтому мне будет жаль, если у вас что-то случится за время Russian Christmas vacation. Возвращайтесь, следующая публикация уже написана и запланирована на 16 января. Мы поговорим о том, как Nutanix собирается конкурировать с грядущим VMware vSAN (ну очень горячий вопрос, по моим наблюдениям).

Nutanix «под крышкой»: Масштабируемость системы

Продолжим нашу серию переводов технических статей компании Nutanix, посвященных техническим деталям внутреннего устройства систем Nutanix и их технологии построения кластерных систем, то есть систем, состоящих из множества (десятков, сотен и, возможно, даже тысяч) хостов.
Сегодняшняя тема — как это все работает при распределении на множество хостов, то есть то, что называется «горизонтальная масштабируемость», или scalability.

Читать далее

Nutanix «под крышкой»: Производительность

Продолжаем наши публикации переводов официальных гайдов о работе внутренней «кухни» Nutanix. Эти тексты, я надеюсь, отвечают на часть вопросов моих читателей, заданных в постах ранее.
Обращаю ваше внимание на то, чтобы два раза не вставать, что к блогу прицеплен типафорум, в котором можно задавать вопросы, не связанные напрямую с тематикой поста. Если вам хочется задать вопрос, а не просто коротко прокомментировать написанное в посте, то лучше это делать именно там, там ваш вопрос и ответ на него увидят все, а в комментариях он скоро уйдет «на дно», и люди, интересующиеся тем же вопросом его, и ответ на него, не увидят.

Nutanix Tech Note
Производительность

Nutanix Virtual Computing Platform обеспечивает работу гостевых виртуальных машин (guest VM), предоставляя им сервис хранения данных и уникальную степень масштабируемости, равно как и высокую производительность.
Эта беспрецедентная комбинация обеспечивается с помощью Nutanix Distributed Filesystem (NDFS), которая обеспечивает адаптивную реакцию на рабочую нагрузку и обеспечивает наивысшую возможную производительность для каждой из VM, но при этом не жертвуя емкостью, стоимостью, простотой или богатством функциональных возможностей.
Читать далее

NX-7000: новые хосты для «тяжелых» VDI

Как любой новичок, Nutanix постоянно радует гиков новинками. Например пару недель назад была выпущена новая серия моделей, NX-7000, ориентированная на построение высокопроизводительных VDI-десктопов, использующих графические возможности технологий PCoIP и NVIDIA GRID.

Если вы плотно занимаетесь «виртуальными десктопами», то уже знаете, что несколько лет как в области VDI, кроме привычной уже работы по знакомым «терминальным» протоколам ICA и RDP, появился «новичок», под названием PCoIP, разработанный компанией Teradici.
Эта компания разработала высокопроизводительный протокол, а также ряд аппаратных решений, помогающих его использовать, в частности специальную аппаратную плату «ускорителя» в PCIe, которые позволяют резко поднять производительность и «отзывчивость» виртуального десктопа, вплоть до возможности смотреть полноэкранное HD-видео и крутить 3D-приложения на десятках «терминалов».

Таким образом, на VDI, с такими хостами виртуализации, теперь могут перейти даже такие пользователи, которые раньше считали для себя это абсолютно невозможным по причине своих высоких аппаратных требований к графике, например пользователи CAD-систем, систем видеомонтажа и обработки, графических редакторов, и так далее.

Модель NX-7110, первый представитель нового семейства, доступен к заказу немедленно, и поставляется в конфигурации с NVIDIA GRID K1 или K2 (а значит режимов 3D vGPU: vDGA и vSGA в VMware Horizon View), или же с картами Teradici APEX для аппаратно ускоренного PCoIP.

UPD: В качестве курьеза, но любопытного, хочу также указать на забавную запись в блоге компании, где автор утверждает, что при текущей мощности NVIDIA GRID GPU, и текущей стоимости Bitcoin, такая система (возможно с дополнительно установленным ASIC для майнинга, в свободный PCIe), запущенная во внерабочее время как «майнер» биткойнов (это примерно 6700 часов в год), окупает себя, то есть затраченные на ее покупку примерно 45 тысяч денег на ноду, примерно за год.
Понятно, что такие штуки, как правило, покупают не для майнинга биткойнов, но как забавный факт о производительности и нетривиальном использовании — интересно.

Nutanix и vSphere: как это выглядит?

По умолчанию, Nutanix Complete Cluster, как система, приходит с предустановленным ESXi, и может работать в составе VMware vSphere. Опционально также полностью поддерживается и другой гипервизор виртуализации — KVM (Kernel-based Virtual Machine), проект поддерживаемый Open Virtualization Alliance (прежде всего RedHat и IBM), и базирующийся на Linux. Кроме того, в настоящий момент идет процесс по полноценной поддержке MS Hyper-V, который становится сегодня весьма влиятельным игроком на рынке виртуализации. В настоящий момент готов technical preview, пока не готовый в продакшн, но уже работающий, и процесс по созданию полноценной hypervisor-agnostic платформы, поддерживающей большинство существующих на рынке гипервизоров виртуализации идет полным ходом.
А физически Nutanix Box в vSphere Client c с развернутыми несколькими VM под CentOS выглядит, например, так:

Nutanix-vsphere

Обратите внимание на то, как видится его «локальное» хранилище данных.

Nutanix «под крышкой»: как обеспечивается надежность хранения данных

nutanix-front3

Этим постом я начну серию «Nutanix под крышкой», переводов официальных technotes о внутреннем устройстве системы, который сейчас пишутся и постепенно выкладываются в resources на офсайте продукта.
В этом посте вы узнаете, как обеспечивать надежность хранения и сохранность данных, не используя RAID, каким образом хранятся данные на дисках, и как они оказываются доступны прикладным задачам, что такое «метаданные», и какую роль они играют в работе системы хранения Nutanix, наконец, что за механизмы приводят все это в движение.

Надежность хранения данных

Nutanix Virtual Computing Platform разработан и сконструирован «с нуля», чтобы обеспечить максимальную надежность так, чтобы успешно парировать возможные отказы оборудования и программные ошибки. Распределенная программная архитектура запускает виртуальный контроллер хранения (virtual storage controller, также Controller VM или CVM) на каждом узле кластера, составляющих вместе распределенную систему. Все узлы работают совместно, собирая отдельные, непосредственно-подключенные (DAS) к этим узлам диски в общее «пространство имен» (single global namespace), которое может быть использовано всеми хостами. Все диски кластерной системы управляются специальной структурой, называющейся Nutanix Distributed Filesystem (NDFS), которая обеспечивает целостность хранимых данных, и защищает их от сбоев узла, самих дисков, или программных ошибок.

Читать далее

Почему NetApp не является конкурентом для Nutanix?

Вопрос конкуренции с уже существующими системами хранения и серверными системами, в том числе теми, которые называют себя популярным в отрасли buzz-словом «конвергентные», безусловно то, с чем Nutanix встречается постоянно. Разумеется постоянно возникает вопрос того, как и чем новая система и, в случае Nutanix, даже более того, «архитектура», превосходит традиционные и хорошо знакомые другие решения.
Так как, уверен, вы пришли в этот блог только что и в первый раз, а значит пока ничего, или почти ничего о Nutanix не знаете, то краткий elevator pitch:

Nutanix — это концепция, архитектура, и, наконец, конечный продукт, ставший результатом ответа на вопрос: «Что, если мы создадим идеальную платформу виртуализации такой, какой она должна быть, без необходимости использовать и подстраиваться под решения, придуманные 20 лет назад, для совсем другого применения и других задач?» Результатом стала компьютерная архитектура, вобравшая в себя достижения технологий, разработанных за те 20 лет, что в отрасли пока господствовали идеи SAN. Такая архитектура позволяет легко строить линейно масштабируемые (scale-up) и легко расширяемые кластера из однотипных «серверных модулей» — «IT-кирпичиков», включающих в себя одновременно и серверную платформу (с использованием новейших процессоров Intel Xeon) и элементы распределенного гибридного (SSD + HDD) хранилища, что позволяет обойтись без отдельной SAN как таковой, так как они используют идеи распределенной отказоустойчивой кластерной файловой системы, построенной поверх кластера равноправных узлов. Отказ от SAN, и использование других передовых идей, развивающихся в computersciense в последнее десятилетие, позволил построить архитектуру, идеально соответствующую требованиям решений построения «облачных» инфраструктур. В настоящий момент компания Nutanix — прочно стоящий на ногах стартап-бизнес, получивший крупное венчурное финансирование от ряда инвестфондов, и поставивший уже свыше трех тысяч своих систем нескольким сотням своих клиентов, в том числе и из «топов» отрасли, и недавно вышедший с исключительно американского на общемировой рынок дистрибуции.

Неизбежно такая новая архитектура будет снова и снова сталкиваться с вопросом пользователей: «А как насчет сравнения с %имявендора%? Вот про продукты %имявендора% мы знаем очень хорошо, и даже используем у себя, чем же вы настолько их лучше, чтобы мы все бросили, и пошли покупать ваши пока сомнительные новинки?»

Начнем мы такие разборы с продукта-конкурента, хорошо мне знакомого, с которым лично я давно работаю, и хорошо его возможности знаю, с системы хранения NetApp FAS, справедливо считающейся сегодня в отрасли одним из лучших выборов для построения облачной инфраструктуры высокого класса. Однако, справедливости ради, следует отметить, что у всего есть свои сильные и слабые стороны, и, конечно есть области, в которых новое решение от Nutanix превосходит возможности NetApp (о том, где оно ему уступает мы уже говорили в соответствующем месте).

1. Технология SAN была разработана около 20 лет назад, в совсем ином «ландшафте», и совсем для других применений чем она используется сейчас. По сути, базовый «ландшафт» SAN — это собрать индивидуальные диски серверов в одном месте и одном устройстве, объединить их в общее пространство, а потом нарезать на куски меньшего размера, которые раздать индивидуальным потребителям-серверам, словно это их индивидуальные диски, которые мы у них отобрали на первом шаге этого высокоинтеллектуального процесса. Как вы видите, в идее SAN LUN, как устройства и как протокола SCSI, вообще нет ничего, что позволило бы использовать такие LUN совместно, несколькими потребителями. Это можно сделать «поверх», с помощью внешнего, по отношению к самой SAN костыля «кластерной файловой системы», со своими оверхедами и ограничениями (пример: VMFS), но изначально SAN совершенно не предназначена была и не планировалась для такого использования. Отсюда, очевидно, что если мы не будем приспосабливать с помощью г..на и палок нечто, что для данного применения не планировалось, а возьмем что-то, более подходящее для данных задач, то мы сразу на старте получим существенное преимущество.

2. Кластерность вообще очень плохо поддается положению на идею SAN. Традиционные архитектуры систем хранения и серверов очень трудно и с большим оверхедом совмещаются со scale-up кластерами. Про необходимость использовать кластерную файловую систему поверх блочного LUN я уже упомянул выше. Все было относительно неплохо, пока IT-мир жил, покупая мощные сервера, на которых запускались отдельные приложения, а если нужно было еще — на сервере создавались новые партиции и новые приложения, или же VM. А когда мощности суперсервера не хватало — надо было просто пойти, и купить еще более мощный (и еще более дорогой). Но все перевернулось с ног на голову, когда родилась идея строить большие и мощные сервисы на базе несложных и относительно маломощных «commodity»-серверов, которые стало нужно не делить партициями, как какие-нибудь монстры p-Series, а наоборот, объединять сотни и даже тысячи таковых в единый общий сервисный пул. А вот тут сразу оказалось, что идея SAN на такой схеме не работает вовсе, или работает с большим количеством костылей и оверхеда.

3. В настоящий момент размеры масштабируемости кластера систем хранения NetApp ограничены 24 узлами для NAS-систем, и 6 узлами для SAN. К слову сказать, эта разница хорошо иллюстрирует то, насколько SAN труднее поддается «кластеризации», если даже такой специалист в этой области как NetApp, после стольких лет разработок предлагает для SAN-систем в четыре раза ниже лимит по scale-up кластерности, чем для более «интеллектуального» NAS. И это не просто так и не «просто потому, что не хочет». Компания и команда Spinnaker, разработки которой легли в основу разрабатываемой NetApp параллельно-кластерной архитектуры, была куплена еще в 2004 году, при том, что реально работающий продукт широкого применения, пригодный в продакшн у NetApp получился разве что вот в прошлом году. И крайне сомнительно, что NetApp удастся существенно увеличить эти лимиты в ближайшее время.

4. Экономичность в потреблении ресурсов (читай — минимальный операционный оверхед). Продемонстрированный Nutanix пример инсталляции, обслуживший на подтверждающем тесте 3200 VDI-пользователей, занял в стойке всего 21 юнит (8 x 2U Nutanix NX3050 и 5 x 1U Ethernet switches), в то время как построенный с использованием традиционной архитектуры NetApp система для 5000 VDI занимает существенно больше места и потребляет электричества/охлаждения из расчета «на обслуживаемый десктоп» ( 118 юнитов в 3 стойках — 90 x 1U серверов + 2x 2U контроллеров системы хранения и 4 х 4U дисков, плюс сетевая инфраструктура) при сравнимых показателях производительности, продемонстрированных на тестировании.

5. Наконец, на кластерных системах Nutanix куда проще (и дешевле!) строить распределенные фермы приложений, там где вам нужна именно такая задача. Покупая шасси с модулями Nutanix Complete Cluster вы получаете фактически готовое решение, готовые 4 хоста vSphere (или KVM), уже включающие в себя готовый к использованию отказоустойчивый датастор. В то же время, в случае «традиционной архитектуры», вы покупаете отдельно сервера и отдельно сторадж и отдельно сетевую (ethernet или FC) «кухню», и даже в случае «конвергентных систем» типа FlexPod или vBlock, они остаются логически отдельными, и лишь механически объединенными в одной стойке. При этом, пока, кластер NetApp все же ограничен размещением в едином датацентре, так как пока его географическая распределенность ограничивается размерами использующего 10G Ethernet кластерного интерконнекта. На момент написания этой статьи кластерный NetApp все еще не реализовал поддержку синхронной репликации между узлами кластера хранения.

Таким образом, как мы видим, на ряде задач решение от Nutanix, не наследующее устаревшие архитектурные концепции более чем 20-летней давности, и не снабженные разнокалиберными костылями разной степени удобства и прямости, решения, применяемые в той области, для которой они созданы, могут обеспечить беспрецедентно выгодный способ построения современных кластерных, облачных, распределенных инфраструктур; ферм виртуальных серверов и виртуальных десктопов; массивно-параллельных «шардов» веб-сервисов, подобных Facebook, Google или eBay; кластеров для BigData и датамайнинга.

Компания пока в начале своего пути, но перспективы, объективно, очень впечатляющие. Будем далее следить, а заодно — разбирать, как устроены системы Nutanix с технической стороны.

Nutanix Prism UI

Всех всегда интересует, почему такое ощущение, что в мире энтерпрайзного софта время остановилось в «лихих девяностых». В особенности этим вопросом задаются люди, впервые пришедшие в мир большихъ и суровыхъ систем. Мы, в обычной жизни, ходим по интернету, живущему в XXI веке, сидим в социальных сетях, наслаждаемся, как правило, выверенным и отточенным юзабилити, современным модным дизайном пользовательских интерфейсов и вебстраничек. Но все меняется, когда приходят ОНИ. В мире корпоративного ПО и энтерпрайзных™ инструментов время не просто остановилось в 90-е, хуже, даже сегодня, когда на дворе 2013 год, когда космические корабли выходят за пределы Солнечной системы, а компания Apple выпускает новый айфон, они по прежнему выглядят, как будто их писал обдолбанный индус после курсов «программирование на Java за 10 дней», причем ногами (а может и правда так и писал;).

Да, безусловно, какой-нибудь EMC Unisphere UI, или HP CommandView, или какой-то другой пользовательский интерфейс администратора сегодня, это значительное улучшение, но только по сравнению с тем, что БЫЛО, и только. Оно все равно остается страшным и уродливым, пусть не как семь, как было, а всего лишь как три смертных греха. :)

Есть люди, которые, возможно попеняют мне на то, что, мол, не в деньгах во внешней красоте счастье. Согласен, не только в ней. Но почему функциональное, по мнению разработчиков UI корпоративного ПО всегда должно сопровождаться внешней уродливостью и неудобством, ужасной юзабельностью и user experience? Только лишь для того, чтобы отделить познавших Дао мастеров сисадминского кунг-фу от простых смертных?

Тем ярче у меня был эффект от знакомства с пользовательским интерфейсом Nutanix (рекомендую включить в настройках ролика фулскрин и HD).

Стильно, модно, молодежно. :) REST, HTML5, AJAX, и все дела.
Будем надеяться, что вскоре, наконец, и до энтерпрайза доберется мода делать не только функциональные, но, вдобавок, красивые и удобные инструменты, с которыми мы, админы, на минуточку, проводим большую часть своей и так не слишком долгой жизни.

Nutanix как гикпорно

Начнем же тему с вещей, не оставляющих равнодушными ни одного истинного гика — с анбоксинга, сбобренного изрядной долей гикпорно, в виде откровенных снимков обнаженных контроллеров, обжатых концов и извлеченных из своих слотов жестких дисков.

В компанию приехал первый Nutanix box (модели NX-3050) в конфигурации с тремя нодами, и я попросил сделать подробную откровенную фотосессию, которая ответит на множество вопросов, «а как там оно все, под крышкой».

Уберите несовершеннолетних и подруг вашей жизни от мониторов :)

Читать далее

Nutanix — новый игрок на площадке.

Nutanix-bezelfront-mini

В этом блоге мы будем говорить, по преимуществу, о продукте и его технических особенностях, но для начала несколько слов о компании, которая этот продукт разработала, так как некоторые особенности этого продукта впрямую зависят от того, что за люди его разработали.

Nutanix была образована в 2009 году группой инженеров, работавших ранее в компании Aster Data, занимавшейся кластерной системой управления базами данных. Они покинули ее, после того, как ее поглотила корпорация Teradata Corp., известный разработчик и производитель high-end баз данных и решений для data warehouse, и они решили попробовать воплотить в жизнь пришедшую им в голову идею, как можно создать вычислительную платформу виртуализации, не наследующую старые, зачастую вынужденные, «унаследованные» решения. Платформу, созданную «с чистого листа». Такая амбициозная задача привлекла ряд первоклассных специалистов-разработчиков и вскоре, в этом стартапе, работали уже несколько десятков профессионалов, пришедших в новый стартап, зачастую из самых «топовых» технологических компаний отрасли, включая Google, Oracle, и ряд других..

Дело в том, что сегодняшние сервера и системы хранения используют для построения платформы виртуализации технологии и принципы, зачастую разработанные не просто около 20-30 лет назад, но вдобавок еще и предназначенные изначально для совсем иных задач. Да, они привычны, они хорошо знакомы, их можно приспособить для многих применений. Но что если забыть все эти привычные «костыли», и попробовать придумать серверную платформу такую, какой она должна бы быть именно для этого применения — крутить гипервизор? Не приспосабливать имеющееся, а спроектировать «начисто». Вот о том, что получилось в результате мы и будем говорить здесь.

Компания Nutanix была создана в 2009 году, и разрабатывала свой новый продукт, оставаясь «под горизонтом». Она впервые публично объявила о себе и «вышла в свет» в 2011, получив весьма впечатляющее стартовое финансирование сразу от ряда крупных инвестиционных фондов, «почуявших деньги» в их продукте.
На сегодня в компании около 200 человек персонала, преимущественно в отделе разработки (и это число выросло вдвое за прошедший год), что довольно значительная величина для вчерашнего стартапа. Причем в отличие от очень многих подобных компаний на сегодняшнем рынке она вышла в свет уже имея довольно внушительный портфель заказов и клиентов, причем из самых «верхних слоев» бизнеса, на сегодня продано уже около 3000 систем в нескольких сотнях аккаунтов, что отличный результат для вчерашнего стартапа. В 2011 она получила награду Best of VMworld, а в 2013 году она стала платиновым спонсором VMworld 2013, статус равный, например Intel, Juniper и F5 Networks. Сегодня у компании около 170 бизнес-партнеров, начавших продавать их системы, в том числе и в России.

Безусловно, решение Nutanix, это решение, глядя на него в масштабах всего Enterprise-IT — нишевое. Впрочем, следует отметить, что ниша эта сегодня велика, развивается семимильными шагами, и весьма веско грозит проглотить очень многое. Только проспавший в IT несколько последних лет сегодня не знает слова «облачные технологии» и «Software-defined Datacenter». И вот о том, как в этой обширной нише собирается играть новый, и весьма активный игрок, мы в этом блоге как раз и будем следить.