Erasure Coding (EC-X) в вопросах и ответах

Чем отличается Nutanix EC-X от других алгоритмов и реализации Erasure Coding?

Алгоритм оптимизирован для работы на распределенной системе. Использование распределенности, присущей Nutanix, позволяет обрабатывать ситуации с отказом дисков и восстановлением данных быстрее, и с меньшим влиянием на загрузку отдельной ноды кластера.

EC-X также реализован как «постпроцессный» механизм. При записи данные записываются на диски традиционным уже для Nutanix способом Replication Factor, а процессы Erasure Coding, высвобождающие место, начинают работать в фоне, что позволяет свести к минимуму нежелательное влияние дополнительной загрузки CPU системы для основной рабочей нагрузки по вводу-выводу данных.

Как EC-X совместим с другими технологиями уменьшения storage footprint на Nutanix, например дедупликацией и сжатием данных?

EC-X совместим с ними, и может использоваться на том же контейнере, где уже используется дедупликация или компрессия, позволяя еще немного сэкономить объем хранения.
Вот пример:
CapacityOptimization

А вот на контейнере с компрессией:
CompplusECXhighlighted

EC-X работает только для capacity tier (SATA)?

Нет, он работает на всех дисках системы, и на SATA (capacity tier), и на SSD (performance tier).

Алгоритм EC-X обрабытывает только «холодные» данные?

Как уже было сказано выше, алгоритм работает так: данные поступают на диск, и, как и раньше, записываются локально, и, синхронно, куда-то еще в кластере, обеспечивая избыточную копию. Пока все происходит также, как и раньше, это то, что мы называем «метод Replication Factor». Наконец блоки данных перестали активно писаться. Этот этап называется у Nutanix «Write Cold». Они могут продолжать активно читаться пр этом, главное, чтобы экстент, длиной 4MB, перстал именно писаться. После этого он поступает в распоряжение алгоритма EC-X.
Если этот экстент расположен на SSD, то он будет обработан алгоритмом EC-X, и место на диске будет освобождено, даже в случае, если данные в этом экстенте активно читаются, и, значит,расположены на SSD.

Как использование EC-X влияет на производительность?

Так как работа EC-X это постпроцессный алгоритм, он не влияет заметно на производительность операции записи. За единственным исключением, когда записываемые данные последовательно и многократно перезаписываются, уже после первоначальной их записи. Такое поведение вызывает бОльшую загрузку системы, когда они пишутся на контейнер с EC-X, чем когда они писались на контейнер с RF (традиционным методом Replication Factor).
Если вы прогнозируете именно такое поведение записываемых данных, то рекомендуем продолжать использовать RF, и не включать EC-X, или же с бОльшей внимательностью отнестись к профайлингу рабочей нагрузки на системе.
При своей работе алгоритм стремится хранить блоки данных на SSD, а блоки парити — на SATA, что увеличиваеи эффективность именно SSD (performance tier системы), и положительно сказывается на общей производительности системы.

Какие гипервизоры поддерживаются с EC-X?

EC-X это внутренняя функциональность платформы Nutanix, она не зависит от типа гипервизора, и остается доступной для пользователя на любом используемом гипервизоре из поддерживаемых, то есть на VMware ESXi (vSphere), Microsoft Hyper-V и Linux KVM.

Сохраняется ли при использовании EC-X принцип Data Locality (хранение данных VM «рядом с ней», на локальных дисках ноды, где она исполняется)?

Да, Data Locality сохраняется, это также одна из особенностей используемого алгоритма.

Какие типы нагрузок Nutanix лучше подходят для контейнера с EC-X, а какие не подходят?

Во-первых, следует принять во внимание, что на момент написания этого текста, «первая публикация» EC-X в версии NOS 4.1.3 является technical preview, и компания не рекомендует ее для использования в бизнес-критичном продакшне. По всей вероятности к концу года мы опубликуем окончательный релиз EC-X.
Во-вторых, очевидно, что максимум выгоды при минимуме побочных нежелательных эффектов EC-X принесет таким задачам, как файловые сервера, резервные копии и архивы, ISO-репозитории, хранилища электронной почты, разделы для записи и хранения логов.
Нежелательно использовать, или же следует особо внимательно следить за возможными нежелательныи эффектми на разделах, на которых приложения активно перезаписывают уже записанные данные в небольшой промежуток времени.
Однако помните, что EC-X можно назначить на уровне отдельного vDisk Nutanix, что позволит вам достаточно гибко выбирать вариант хранения для данной VM, например один VMDK данной VM может храниться с использованием RF, а другой — с EC-X.

Erasure Coding (EC-X) в вопросах и ответах: 8 комментариев

  1. Dmitry Morozovsky

    Работает ли (или, если нет, то планируется ли к работе в будущем) EC-X на CE?

    1. Nick

      Присоединяюсь к вопросу. Для малобюджетной версии очень-бы хотелось…

      1. romx Автор записи

        Да, ждем, что будет. Просто нынешний CE на версию отстает от официального релиза, надеемся, что со следующим обновлением CE приедет и EC-X.

    2. romx Автор записи

      Планируется. Нынешний CE собран из кода, который в релизе стал 4.1.2, а EC-X появился в 4.1.3, так что, ожидаем, что когда CE обновится, то в нем появятся фичи из 4.1.3

  2. Nick

    Легкий оффтопик.
    В случае однонодовой конфигурации, избыточность данных каким-то образом обеспечивается?
    Естесственно, SATA диск не один.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *