Иногда просто хочется побыстрее. В последнее время мы обсуждали сети 400 Гбит/с в контексте того, что это новая возможность, с которой могут справиться слоты PCIe Gen5 x16. Сегодня мы рассмотрим настройку этой возможности с помощью NDR 400Gbps Infiniband/ 400GbE.
Отдельное спасибо компании PNY. Год назад мы этого не знали, но компания PNY продает не только графические процессоры для рабочих станций NVIDIA, но и сетевые компоненты. Мы работали над коммутатором 400GbE, и в ходе обсуждения возникла необходимость провести обзор этих карт в рамках этого процесса. Это может показаться достаточно простым, но это большой скачок от сети 100 Гбит/с к сети 400 Гбит/с, а карты MCX75310AAS-NEAT сейчас являются горячим товаром, поскольку многие пользователи хотят развернуть сетевое оборудование высокого класса.
Адаптер NVIDIA ConnectX-7 400GbE и NDR Infiniband Adapter MCX75310AAS-NEAT Hardware Overview
ConnectX-7 (MCX75310AAS-NEAT) — это низкопрофильная карта PCIe Gen5 x16. Мы сделали фотографии с полноразмерным кронштейном, но в коробке поставляется и низкопрофильный кронштейн.
.
Обращает на себя внимание размер системы охлаждения. Для того чтобы понять, насколько рано мы об этом заговорили, мы поискали спецификации питания ConnectX-7 и не нашли их. Мы обратились к NVIDIA по официальным каналам с просьбой предоставить эти данные. Мы публикуем этот материал без них, так как похоже, что NVIDIA в данный момент не уверена в своих силах. Немного странно, что NVIDIA не публикует спецификации мощности этих карт в своем техническом паспорте.
А вот задняя часть карты с интересным бэкплейтом радиатора.
Здесь представлен вид карты сбоку со стороны разъема PCIe Gen5 x16.
Вот еще один вид сверху карты.
Вот вид с направления, в котором должен двигаться воздушный поток в большинстве серверов.
Если говорить кратко, то это низкопрофильная однопортовая карта, работающая на скорости 400 Гбит/с. Это огромная пропускная способность.
Установка адаптера NVIDIA ConnectX-7 400G
Для такой карты одним из наиболее важных аспектов является ее установка в систему, которая сможет использовать ее скорость.
Кроме того, мы установили в серверы Supermicro SYS-111C NR 1U и Supermicro SYS-221H-TNR 2U эти адаптеры.
К счастью, мы установили их в наши серверы Supermicro SYS-111C-NR 1U и Supermicro SYS-221H-TNR 2U, и они заработали без проблем.
SYS-111C-NR заставил нас по достоинству оценить односокетные узлы, поскольку при настройке системы нам не пришлось избегать переходов от сокета к сокету. При скоростях 10/40 Гбит/с и даже 25/50 Гбит/с мы слышали, как люди обсуждали прохождение каналов между сокетами как проблему производительности. При скорости 100 Гбит/с эта проблема становится все более острой и очень распространенной, чтобы избежать обхода, необходимо иметь один сетевой адаптер на процессор. При скорости 400 Гбит/с последствия становятся значительно серьезнее. При использовании двухсокетных серверов с одной картой 400GbE стоит обратить внимание на многохостовые адаптеры, которые могут подключаться непосредственно к каждому процессору.
OSFP против QSFP-DD
После установки карт мы столкнулись со следующей проблемой. В картах используются разъемы OSFP. В нашем коммутаторе 400 Гбит/с используются QSFP-DD.
Эти два стандарта несколько отличаются друг от друга по уровню мощности и физическому исполнению. Можно адаптировать QSFP-DD к OSFP, но не наоборот. Если вы никогда не видели оптику OSFP или ЦАП, то у них есть собственное решение по терморегулированию. В QSFP-DD сверху используются радиаторы на корпусах QSFP-DD. OSFP часто включает в себя решение для охлаждения, которое мы используем на ЦАПах и оптике OSFP в нашей лаборатории.
Это привело нас к нескольким дням паники. Имеющиеся в наличии ЦАПы OSFP Amphenol стоимостью 500 долларов, а также ЦАПы OSFP — QSFP-DD использовали решение для охлаждения радиатора. Мы отправили все в лабораторию для подключения, но в ответ получили сообщение о том, что OSFP-концы ЦАПов не подходят к OSFP-портам карт ConnectX-7 из-за прямого охлаждения ЦАПов.
Причина, по которой NVIDIA использует OSFP, скорее всего, кроется в более высоком уровне мощности. OSFP позволяет использовать оптику мощностью 15 Вт, в то время как QSFP-DD — 12 Вт. На ранних этапах внедрения более высокие уровни мощности облегчают процесс адаптации, что является одной из причин появления таких модулей, как 24-ваттные CFP8. С другой стороны, мы уже рассматривали оптику FS 400Gbase-SR8 400GbE QSFP-DD, так что рынок движется.
Через несколько звонков мы получили работающие кабели. Главный вывод, который мы вынесли для себя, используя OSFP-адаптеры ConnectX-7 сегодня или читая эту статью через 5 лет, когда они станут недорогим подержанным оборудованием, — обратите внимание на размер радиатора на конце OSFP, который вы подключаете к ConnectX-7. Если вы привыкли к QSFP/ QSFP-DD, где все подключается и работает, то столкнуться с такими глупыми проблемами, как размеры разъемов, будет сложнее. С другой стороны, если вы являетесь поставщиком решений, это открывает возможности для поддержки профессиональных услуг. NVIDIA и реселлеры, такие как PNY, также продают кабели LinkX, что было бы более простым маршрутом. Это отличный урок.
Также спасибо анонимному читателю STH, который помог нам получить кабели/оптику на несколько дней во временное пользование. Они пожелали остаться неизвестными, так как не должны были предоставлять имеющиеся у них кабели/оптику 400G.
Далее, давайте настроим и запустим все это в работу.