Экспериментирую тут с домашней лабой на CE, описанной детально в посте на Хабре.
После обновления стало интересно, как там работает LZ4HC, который мы теперь используем для компрессии.
Включил компрессию на двух томах, на одном — ISO, 14,67GB дистрибутивов, на втором — четыре разных Linux и один Windows 2012R2, общим занятым объемом 42,46GB.
После того, как компрессия отработала, получил вот такой результат. По-моему неплохо.
Надо попробовать увеличить память, выделенную CVM, и включить еще и дедупликацию, ради эксперимента.
Ты не учел один момент.
Сразу при заливке — сжатие LZ4, но после того как «охладеет» — будет LZ4HC, тобишь еще сильно может вырасти коэффициент :)
Это у меня уже отложенная. У меня было залито без компрессии, а потом я включил компрессию для уже лежащих на дисках VM. Впрочем, они сейчас у меня все на SSD поместились. У меня там 512GB SSD на M.2, и я пока данными за него не вылез, по статистике занятость SATA нулевая.
Максим,
Подождите, а как же snappy? Он уже не используется?
В 5.0 перешли на более эффективные алгоритмы.
Ок, а что тогда с overhead на компрессию? Насколько он увеличился по сравнению со snappy? Ведь:
«Nutanix же «выжимает» все что можно и нельзя из Intel X86. Например, сжатие данных на лету — вместо «общих» алгоритмов заточено под Intel, с потрясающе хорошими результатами (гугл сидит на этом-же алгоритме)
«On a single core of a Core i7 processor in 64-bit mode, Snappy compresses at about 250 MB/sec or more and decompresses at about 500 MB/sec or more.»» @Максим Шапошников
Т.е. насколько я понимаю, snappy был выбран ради уменьшения overhead на CPU при сжатии данных. Теперь используется общий/стандартный LZ4 -> overhead должен увеличиться?
Ну, время не стоит на месте, реализации алгоритмов совершенствуются, процессоры становятся мощнее, что-то, что, по разным причинам, например — отсутствия стабильности в алгоритме, использовать было рановато пару лет назад, теперь, по мере развития и взросления, стало можно. Не зря же, LC4 мы взяли только к 5 версии.
Пока у всех впечатления только положительные, собираемся компрессию включить как состояние системы по умолчанию на allflash, например, настолько хорошо и беспроблемно она там работает.
После обновления СЕ на 5 версию получили коэффициент сжатия 4 к 1 на одном кластере
http://joxi.ru/bmoOwvGu8GZXmy.jpg до этого
и на втором 3.8 к 1
http://dl3.joxi.net/drive/2017/01/19/0003/3192/232568/68/f849dfe902.jpg