Фото с полей: из HP в Nutanix

На сайте у пользователя то, что обведено синим, кучка серверов HP и хранилок LeftHand, целиком ушло в то, что обведено зеленым — один трехнодовый NX-1365.

BenchmarkFCU_Downsizing

А вот, к слову, результаты производительности такой же системы, но четырехнодовой. Это, фактически, самая слабая машинка из прошлого поколения. 2xE5-2620v2, 2.0GHz, 64GB RAM на ноду, 1х400GB SSD Intel S3700, 1х1TB SATA Seagate Momentum.

nutanix@NTNX-13SM15380001-A-CVM:192.168.88.19:~$ diagnostics/diagnostics.py --display_latency_stats --run_iperf run; diagnostics/diagnostics.py cleanup
Cleaning up node 192.168.88.15 ... done.
Cleaning up node 192.168.88.16 ... done.
Cleaning up node 192.168.88.17 ... done.
Cleaning up node 192.168.88.18 ... done.
Cleaning up the datastore, container and the storage pool ... done.
Running Iperf Test between CVMs
bandwidth between 192.168.88.19 and 192.168.88.20 is: 9.25 Gbits
bandwidth between 192.168.88.19 and 192.168.88.21 is: 9.45 Gbits
bandwidth between 192.168.88.19 and 192.168.88.22 is: 9.2 Gbits

2015-10-07_15-17-08: Running setup "Prepare disks" ...
done.
Average CPU: 192.168.88.19: 37% 192.168.88.22: 36% 192.168.88.20: 39% 192.168.88.21: 36%
Duration prepare_disks : 82 secs
*******************************************************************************

Waiting for the hot cache to flush .......... done.
2015-10-07_15-19-43: Running test "Sequential write bandwidth" ...
792 MBps , latency(msec): min=0, max=0, median=592
Average CPU: 192.168.88.19: 33% 192.168.88.22: 33% 192.168.88.20: 37% 192.168.88.21: 32%
Duration fio_seq_write : 66 secs
*******************************************************************************

Waiting for the hot cache to flush .......... done.
2015-10-07_15-22-02: Running test "Sequential read bandwidth" ...
1921 MBps , latency(msec): min=0, max=0, median=238
Average CPU: 192.168.88.19: 27% 192.168.88.22: 26% 192.168.88.20: 28% 192.168.88.21: 27%
Duration fio_seq_read : 28 secs
*******************************************************************************

Waiting for the hot cache to flush ...... done.
2015-10-07_15-23-14: Running test "Random read IOPS" ...
55320 IOPS , latency(msec): min=0, max=0, median=9
Average CPU: 192.168.88.19: 59% 192.168.88.22: 59% 192.168.88.20: 62% 192.168.88.21: 59%
Duration fio_rand_read : 103 secs
*******************************************************************************

Waiting for the hot cache to flush ......... done.
2015-10-07_15-26-01: Running test "Random write IOPS" ...
83433 IOPS , latency(msec): min=0, max=0, median=5
Average CPU: 192.168.88.19: 59% 192.168.88.22: 58% 192.168.88.20: 62% 192.168.88.21: 58%
Duration fio_rand_write : 103 secs
*******************************************************************************

Фото с полей: из HP в Nutanix: 6 комментариев

  1. Sotneo

    А какие коммутаторы вы используете на такие маленькие инсталляции?
    У меня в похожей конфигурации Nutanix CE выдает в полтора-два раза меньше результаты по iops, виноват PCI passthrough? Или мой свитч? Или в NOS 4.5 все так хорошо?
    Jumbo Frames используется во время тестирования?

    1. romx Автор записи

      > А какие коммутаторы вы используете на такие маленькие инсталляции?

      Инсталляция может быть маленькая, но «удаленькая». Чаще всего предлагаем Arista 7150-24, но, строго говоря, специальных требований к коммутаторам минимум. Для желающих есть даже карты 10Gbase-T, для них 10G коммутаторы уже ниже полутора тысяч долларов за 12 портов в розницу.

      > У меня в похожей конфигурации Nutanix CE выдает в полтора-два раза меньше результаты по iops
      Причины могут быть самые разные. Во-перых, конечно, у нас быстрые SSD. Intel S3700/S3610 и сами по себе SSD весьма быстрые, плюс, конечно, PCIe passthru. Опять же, какой процессор, как мерять (криво померять можно десятком разных способов, в аот правильно — только одним ;). Так что сложно дать однозначный ответ.

      Jumbo Frames влияет не слишком сильно, на деле. Обязвтельным JF у нас только в конфигурации с Hyper-V, в остальных он опционален.

      1. Sotneo

        >Инсталляция может быть маленькая, но «удаленькая». Чаще всего предлагаем Arista 7150-24, но, строго говоря, специальных требований к коммутаторам минимум. Для желающих есть даже карты 10Gbase-T, для них 10G коммутаторы уже ниже полутора тысяч долларов за 12 портов в розницу.
        Как раз использую 10Gbase-T. Ариста конечно круто, но дорого :) Точно не для тех кому нужно 3-4 порта.

        >Причины могут быть самые разные. Во-перых, конечно, у нас быстрые SSD. Intel S3700/S3610 и сами по себе SSD весьма быстрые, плюс, конечно, PCIe passthru. Опять же, какой процессор, как мерять (криво померять можно десятком разных способов, в аот правильно — только одним ;). Так что сложно дать однозначный ответ.
        Диски S3710 400Gb. Процессоры 2620v3x2, ну и мерил также через diagnostics.py на CVM. Ещё у вас в логе максимальная задержка ноль, а медиана выше 0, как так? :)
        Через fio 70/30 чтение/запись тоже мерил, больше вышло, правда в виртуалки при этом нужно пробрасывать много дисков, но я так понимаю это best practice для Nutanix а :)
        Аристы, к сожалению, попробовать нет, чтобы понять где проседает из-за больших задержек, или все же PCI passthrough столько отъедает.

      2. Sotneo

        Немного невнимательно прочитал, что это тест с 4 нод, а не 3ох :) Тогда ясно откуда больше iops

        1. romx Автор записи

          А, да, тесты с четырехноловой системы, которую я на прошлой неделе ставил и тестировал.

  2. comotoza

    как в период тестов и полноценной эксплуатации был загружен процессор?
    потому что 1ххх со своими 6 ядерным процессорами — это не особо мощная тема
    раньше CVM резервировал 8 vCPU, сейчас тоже самое или для слабых моделей рекомендуют уменьшать?

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *