В настоящее время у нас есть двухузловой Oracle 11g RAC, использующий 1GigE в качестве частного межсоединения. В пиковое время обновления трафик между узлами достигает 35 МБ в секунду, так что с точки зрения пропускной способности у нас все еще хорошо. Мы рассматриваем возможность добавления третьего узла в кластер, чтобы поддержать наш рост объема транзакций. Мне интересно, видел ли кто-нибудь уже, как добавление узлов в кластер повлияет на трафик частных межсоединений и что вызовет использование Infiniband. Из того, что я читал, Infiniband не только может увеличить пропускную способность, но и имеет намного меньшую задержку в сети. Может ли кто-нибудь, кто использует Infiniband для частных межсоединений RAC, поделиться с нами вашим опытом? Заранее спасибо.
У меня есть база данных rac oltp с 4 узлами и база данных rac dw с 3 узлами, использующая IB в качестве межсоединений.
Мы используем коммутаторы cisco IB и карты cisco IB. Мы используем IP over IB в качестве протокола межсоединения. Пока мы вполне довольны результатами. Никогда не было проблем с межсетевым трафиком. Мы вплотную подошли к насыщению нашего общедоступного интерфейса gigE, но далеко не приблизились к пропускной способности IB. Все 7 узлов подключены к 2 переключателям Infiniband, настроенным в конфигурации активного / пассивного переключения при отказе.
Я никогда не использовал Infiniband в производстве, но, насколько я могу судить, единственный раз, когда может иметь смысл перейти на Infiniband, - это если вы обнаружите, что ошибаетесь в отношении 10GigE (если я помню, цены достигают равновесия примерно на 10GbE) . Задержка в наносекундах - это круто, но важно ли это для БД? На самом деле, нет.
Вы, вероятно, можете объединить два соединения 1 Гб (конечно, с соответствующим оборудованием) или выполнить любое количество других настроек (например, Jumbo Packets или регулировку MTU), прежде чем понадобится что-то вроде Infiniband.
Тем не менее, Infiniband очень крут, если вы просто хотите похвастаться своим товарищам ...
Предполагается, что большая разница между IB и 10GbE заключается в задержке. IB использует модель типа DMA с задержкой в диапазоне микросекунд, в то время как 10GbE требует, чтобы ваша связь перемещалась вверх и вниз по стеку с обеих сторон. Предполагается, что у IB будет более высокая необработанная пропускная способность, чем у 10GbE, но 10GbE, вероятно, будет иметь обратную совместимость, когда появятся 40 и 100GbE.
На самом деле нам только что было поручено построить 5-узловой кластер Oracle с межсоединениями IB и прототипом коммутатора IB -> 10GbE, над которым мы работаем с Dell. Итак, моя информация - это в основном исследования, которые я проводил при подготовке к POC.
Если вас больше беспокоит стоимость (для вашего приложения) массовой передачи данных для синхронизации между экземплярами, то ваша текущая скорость в 35 Мбит / с в настоящее время достаточно низка, поэтому на нее вряд ли положительно повлияет переход в другой кластер. соединить.
Не забывайте, что вы можете очень легко соединить свои Ethernet-соединения с 1 Гбит / с до 4 Гбит / с или 8 Гбит / с (в зависимости от количества физических портов, которые вы можете вставить в отдельные узлы кластера), не увеличивая задержку в сетевом стеке.
Как говорит Farseeker, IB (в коммерческой среде) круто хвастаться перед товарищами. В научном и исследовательском сообществе IB практически превратился в товар для межсетевого взаимодействия кластеров.