Иногда просто хочется побыстрее. Broadcom BCM57508 NetXtreme-E — это адаптер 200 Гбит/с OCP NIC 3.0. Нам сказали, что это адаптер на 100 Гбит/с, но позже выяснилось, что на самом деле это версия на 200 Гбит/с, поэтому мы решили показать ее нашим читателям.
Адаптер Broadcom BCM57508 NetXtreme-E 200GbE OCP NIC 3.0 — это БЫСТРО
Здесь представлена сетевая карта Broadcom BCM57508 NetXtreme-E. Одной из главных тенденций в области серверов является использование в них сетевых карт форм-фактора OCP NIC 3.0. Несколько лет назад почти у каждого производителя серверов был свой форм-фактор мезонинов. Теперь же форм-фактор OCP NIC 3.0 используется не только гипермасштабируемыми, но и традиционными производителями серверов.
На задней панели карты расположены два порта QSFP56. Они обеспечивают более высокую скорость обмена данными, чем рассмотренные нами порты 100GbE QSFP28.
Broadcom BCM57508 — одна из карт PCIe Gen4 x16 компании. Для двух подключений 200 Гбит/с потребуется PCIe Gen5 x16, чтобы обеспечить пропускную способность хоста для работы двух портов 200 Гбит/с.
Здесь можно быстро взглянуть на радиатор. Типичное энергопотребление этих карт и PCIe-версий составляет менее 20 Вт. Одной из самых больших проблем для DPU в таких форм-факторах является энергопотребление и охлаждение карт OCP NIC 3.0 с более высоким TDP.
Здесь показан вид карты сбоку.
Здесь представлена другая сторона.
В связи с этим давайте посмотрим, как выглядит установленная сетевая карта.
Broadcom BCM57508 NetXtreme-E 200GbE OCP NIC 3.0 в Linux
Хотя во время обзора Supermicro SYS-221H-TNR нам сказали, что это адаптер на 100 Гбит/с, вот что мы увидели, когда установили его в Ubuntu:
Проверяя ethtool, мы видим 200000baseCR4/Full или 200 Гбит/с в полном дуплексе.
У нас есть адаптер с поддержкой 200 Гбит/с, который мы могли бы протестировать.
Broadcom BCM57508 NetXtreme-E 200GbE Performance
Одна из проблем заключается в том, что, хотя у нас есть много оборудования 100GbE и будет много оборудования 400GbE, на стороне 200GbE у нас меньше инфраструктуры. У нас был коммутатор QSFP28-DD в Dell EMC S5248F-ON, но он не был QSFP56.
В итоге мы получили оптику на каждом конце и смогли в конечном итоге связать коммутатор с сетевой картой, но нам пришлось использовать несколько тестовых узлов 100GbE для сессий iperf3. В ближайшие несколько недель, когда начнутся работы по 400GbE, мы сможем больше узнать о том, насколько сложными становятся некоторые кабели и разъемы. В этом проекте мы потратили около 1000 долларов на поиск «недорогих» ЦАПов для подключения четырех узлов к коммутатору
.
Тем не менее, вот что мы увидели при попытке установить соединение 1x 200 Гбит/с:
Мы, конечно, получили скорость значительно выше 100 Гбит/с, но и до 200 Гбит/с нам было далеко. При таких скоростях для достижения такого уровня производительности нам потребуется гораздо больше настроек сетевых карт. Для получения результатов на скорости 400 Гбит/с в ближайшее время нам придется сделать гораздо больше, чем мы делаем здесь, поэтому, пожалуйста, прочитайте это, поскольку мы убедились, что сетевая карта подключена и передает данные на скорости выше 100 Гбит/с, но она не оптимизирована.
Вот что мы получили при попытке подключения двух клиентов со скоростью 100 Гбит/с через коммутатор к сетевой карте.
Вероятно, это ближе к тому, что мы ожидали.
Кроме того, нам необходимо запустить что-то вроде DPDK или аналогичное, что не было настроено. Загрузка процессора на скоростях 200 Гбит/с — сложная задача.
Что касается мощности, то для PCIe-версии этой карты мы ожидаем 16-20 Вт, как правило, с ЦАПами и больше с оптикой.
Последние слова
В лаборатории мы используем в основном карты NVIDIA (Mellanox) ConnectX-5/ ConnectX-6 (и BlueField-2 DPU), а также Intel серии E800. Тем не менее, Broadcom занимает солидную долю рынка сетевых карт, поэтому мы должны освещать их чаще, чем это происходит.
Это скорее двойной 100GbE адаптер или одиночный 200GbE адаптер. Благодаря PCIe Gen4 x16 мы не можем получить двойную скорость 200 Гбит/с на хосте через сетевую карту.
Эти адаптеры поддерживают RDMA и другие функции, но поскольку наши читатели ищут очень много функций, мы советуем им искать именно их, если они заинтересованы в этих картах.
Надеемся, что людям понравится смотреть на такие карты, когда мы их увидим.
Как бы то ни было, мы будем рады, если вы найдете их в продаже.