Наша новая среда FCoE обеспечивает впечатляющую производительность, и я надеялся, что люди сообщат мне, является ли то, что мы наблюдаем, ожидаемым поведением.
Наша коммутационная среда состоит из 2 коммутаторов Cisco Nexus 5672, на каждом из которых свисает Nexus 2348 UPQ FEX, однодомный. На FEX у нас есть хосты ESX (Dell R630) с CNA Emulex в них. Наша SAN - это EMC VNX 5300 с картой 10g FCoE.
Независимо от того, подключена ли SAN к 2348 или 5672, производительность записи с виртуальных машин на хостах ESX остается постоянной. Однако производительность чтения резко меняется. Когда SAN подключен к 5672, наше среднее время отклика при чтении 4 КБ составляет около 0,25 мс. Однако при подключении SAN к 2348 время отклика при чтении увеличивается до ~ 2,5 мс. Если посмотреть на статистику в ESXTOP, все дополнительное время отклика исходит от QAVG.
Я понимаю, что FEX не имеет локальной коммутации, поэтому все пакеты должны проходить через коммутаторы 5672, но эти дополнительные 2 мс задержки кажутся исключительно высокими (особенно с учетом того, что я могу пинговать между серверами за <0,02 мс). Во всех эталонных архитектурах, которые я видел, коммутационная матрица SAN / SAN напрямую подключена к «основным» коммутаторам Nexus, но я нигде не читал, почему. Я не против такого подключения SAN, просто хочу понять, почему.
Короче говоря: нормален ли этот разрыв в производительности?