Архив метки: ec-x

Erasure Coding X: отзывы пользователя

Интересный отзыв от одного из наших зарубежных пользователей, который начал использовать у себя Erasure Coding (EC-X):

«Мы используем платформу Nutanix в продакшне уже 10 месяцев (у нас NX-3460), и за это время обновилили ее с NOS 3.x до 4.х, а сейчас и до 4.5. Я должен сказать, что процедура апгрейда, non-disruptive и one-click — великолепна, и очень отличается в лучшую сторону от того, что нам приходилось делать раньше на других системах.
После этих обновлений мы получали заметные изменения в плане ускорения работы, а сейчас и в направлении экономии пространства хранения.

После выхода версии 4.5, на которую мы обновились также без прерывания работы, и включив EC-X на контейнере, за неделю мы получили почти 20% экономии пространства хранения без заметного влияния на дисковую производительность.»

Ниже — скриншот этого нашего контейнера.

ECX-screenshot

Erasure Coding (EC-X) в вопросах и ответах

Чем отличается Nutanix EC-X от других алгоритмов и реализации Erasure Coding?

Алгоритм оптимизирован для работы на распределенной системе. Использование распределенности, присущей Nutanix, позволяет обрабатывать ситуации с отказом дисков и восстановлением данных быстрее, и с меньшим влиянием на загрузку отдельной ноды кластера.

EC-X также реализован как «постпроцессный» механизм. При записи данные записываются на диски традиционным уже для Nutanix способом Replication Factor, а процессы Erasure Coding, высвобождающие место, начинают работать в фоне, что позволяет свести к минимуму нежелательное влияние дополнительной загрузки CPU системы для основной рабочей нагрузки по вводу-выводу данных.

Как EC-X совместим с другими технологиями уменьшения storage footprint на Nutanix, например дедупликацией и сжатием данных?

EC-X совместим с ними, и может использоваться на том же контейнере, где уже используется дедупликация или компрессия, позволяя еще немного сэкономить объем хранения.
Вот пример:
CapacityOptimization

А вот на контейнере с компрессией:
CompplusECXhighlighted

EC-X работает только для capacity tier (SATA)?

Нет, он работает на всех дисках системы, и на SATA (capacity tier), и на SSD (performance tier).

Алгоритм EC-X обрабытывает только «холодные» данные?

Как уже было сказано выше, алгоритм работает так: данные поступают на диск, и, как и раньше, записываются локально, и, синхронно, куда-то еще в кластере, обеспечивая избыточную копию. Пока все происходит также, как и раньше, это то, что мы называем «метод Replication Factor». Наконец блоки данных перестали активно писаться. Этот этап называется у Nutanix «Write Cold». Они могут продолжать активно читаться пр этом, главное, чтобы экстент, длиной 4MB, перстал именно писаться. После этого он поступает в распоряжение алгоритма EC-X.
Если этот экстент расположен на SSD, то он будет обработан алгоритмом EC-X, и место на диске будет освобождено, даже в случае, если данные в этом экстенте активно читаются, и, значит,расположены на SSD.

Как использование EC-X влияет на производительность?

Так как работа EC-X это постпроцессный алгоритм, он не влияет заметно на производительность операции записи. За единственным исключением, когда записываемые данные последовательно и многократно перезаписываются, уже после первоначальной их записи. Такое поведение вызывает бОльшую загрузку системы, когда они пишутся на контейнер с EC-X, чем когда они писались на контейнер с RF (традиционным методом Replication Factor).
Если вы прогнозируете именно такое поведение записываемых данных, то рекомендуем продолжать использовать RF, и не включать EC-X, или же с бОльшей внимательностью отнестись к профайлингу рабочей нагрузки на системе.
При своей работе алгоритм стремится хранить блоки данных на SSD, а блоки парити — на SATA, что увеличиваеи эффективность именно SSD (performance tier системы), и положительно сказывается на общей производительности системы.

Какие гипервизоры поддерживаются с EC-X?

EC-X это внутренняя функциональность платформы Nutanix, она не зависит от типа гипервизора, и остается доступной для пользователя на любом используемом гипервизоре из поддерживаемых, то есть на VMware ESXi (vSphere), Microsoft Hyper-V и Linux KVM.

Сохраняется ли при использовании EC-X принцип Data Locality (хранение данных VM «рядом с ней», на локальных дисках ноды, где она исполняется)?

Да, Data Locality сохраняется, это также одна из особенностей используемого алгоритма.

Какие типы нагрузок Nutanix лучше подходят для контейнера с EC-X, а какие не подходят?

Во-первых, следует принять во внимание, что на момент написания этого текста, «первая публикация» EC-X в версии NOS 4.1.3 является technical preview, и компания не рекомендует ее для использования в бизнес-критичном продакшне. По всей вероятности к концу года мы опубликуем окончательный релиз EC-X.
Во-вторых, очевидно, что максимум выгоды при минимуме побочных нежелательных эффектов EC-X принесет таким задачам, как файловые сервера, резервные копии и архивы, ISO-репозитории, хранилища электронной почты, разделы для записи и хранения логов.
Нежелательно использовать, или же следует особо внимательно следить за возможными нежелательныи эффектми на разделах, на которых приложения активно перезаписывают уже записанные данные в небольшой промежуток времени.
Однако помните, что EC-X можно назначить на уровне отдельного vDisk Nutanix, что позволит вам достаточно гибко выбирать вариант хранения для данной VM, например один VMDK данной VM может храниться с использованием RF, а другой — с EC-X.