Одной из самых интересных демонстраций на Intel Innovation 2022 была демонстрация стойки QCT с жидкостным охлаждением. Мы вкратце рассказали об этом в нашем обзоре стенда QCT Intel Sapphire Rapids System Overload Booth, но в отдельном материале мы хотели бы остановиться на нем подробнее.
QCT Стойка с жидкостным охлаждением Intel Sapphire Rapids Bake-Off
Вот взгляд на стойку, которую мы видели на выставочной площадке Intel Innovation.
В середине находится, пожалуй, самая важная часть. Мы видим сервер QCT D54Q-2U с жидкостным и воздушным охлаждением, установленный в стойку.
Под серверами в нижней части стойки расположен резервный БП мощностью 3 кВт, обеспечивающий работу всего охлаждения. Это может показаться много, но это меньше, чем вентиляторы в полной стойке серверов. В самом низу расположен CDU. CDU содержит фильтр (слева) и два насоса (в центре и справа), которые можно менять в горячем режиме.
Вот задняя часть стойки. Она представляет собой массивную стену из шестнадцати вентиляторов.
Эти вентиляторы также можно менять местами с помощью отсоединяемых с задней стороны сепараторов. Хотя сами вентиляторы потребляют больше энергии, чем типичные вентиляторы серверных корпусов, они также потребляют меньше энергии для эквивалентного охлаждения по сравнению с меньшими вентиляторами корпусов. Это, пожалуй, главный фактор повышения эффективности этой стойки.
Открыв дверцу, мы видим полную установку теплообменника на задней стенке.
Для этого необходимы гибкие шланги в верхней и нижней частях стойки.
Здесь показана нижняя часть теплообменника.
Начиная с верхней части стойки, мы видим небольшой блок PDU. Скорее всего, это сделано для демонстрационных целей. Кроме того, вся стойка контролируется с помощью BMC, поэтому можно наблюдать за работой не только серверов, но и всего решения жидкостного охлаждения вплоть до CDU и насосов в нижней части блока.
Сбоку от стойки находится стоечный коллектор. В него входят только два сервера, поэтому мы видим дополнительные шланги между горячей и холодной сторонами коллектора.
Это сервер с жидкостным охлаждением, подключенный к CDU.
Вот взгляд на сервер с жидкостным охлаждением в сравнении с сервером с воздушным охлаждением. Видно, что задний слот расширения используется для подключения коллекторов жидкостного охлаждения.
О сервере с жидкостным охлаждением мы рассказывали во время экскурсии по стенду QCT.
Здесь представлен блок с воздушным охлаждением. В любом случае QCT использует вентиляторы для охлаждения накопителей и других компонентов. Снятие сотен ватт мощности с системы только за счет отвода тепла от процессора означает, что вентиляторы корпуса вращаются гораздо медленнее и эффективнее.
.
Ниже серверов расположены дополнительные шланги от горячего к холодному коллектору, которые помогают справиться с давлением, возникающим при подключении только одного сервера.
В нижней части мы видим блок питания системы охлаждения, а также заднюю часть CDU.
Эффект оказался действительно интересным. Сверху показаны температуры процессоров Sapphire Rapids Xeon при воздушном охлаждении — 61-63C. В нижней части мы видим температуры двух процессоров с жидкостным охлаждением в диапазоне 33-37C. QCT утверждает, что обычно разница составляет около 30C, и это подтверждается, по крайней мере, температурами CPU1.
В значительной степени окупаемость инвестиций обусловлена снижением затрат на охлаждение. Еще одно преимущество заключается в том, что при более низких температурах процессоры могут дольше удерживать турбо-частоты в системах с жидкостным охлаждением. Это позволяет повысить производительность во многих сценариях.
STH задал компании QCT несколько вопросов об этом решении.
STH: Существуют ли определенные отрасли или сегменты заказчиков, которые, по мнению QCT, быстрее других принимают решение для стоек с жидкостным охлаждением?
QCT: Мы видим, что все классы заказчиков в различных сегментах рынка заинтересованы в использовании такого решения, чтобы раскрыть всю вычислительную мощь, не ограничиваясь тепловыми ограничениями, или получить возможность более эффективного охлаждения постоянного тока.
STH: Какие типы систем обычно используются? (стандартные серверы, плотные CPU-вычисления, GPU-вычисления, другие?).
QCT: Масштабируемые серверы 1U, многоузловые серверы и серверы с GPU обычно используются в решениях с жидкостным охлаждением в первую очередь. QCT также будет поддерживать решения с жидкостным охлаждением для серверов конфигураций 1U, 2U и GPU, но не ограничиваться ими.
STH: Какова разница в первоначальных затратах на стойку с жидкостным охлаждением? Каковы типичные сроки окупаемости для заказчиков QCT?
QCT: При использовании решений с жидкостным охлаждением заказчики несут более высокие капитальные затраты, но получают более высокие эксплуатационные расходы. В течение определенного периода времени они получают более высокую совокупную стоимость владения (TCO), которая в значительной степени зависит от ситуации в каждом конкретном случае, например, от различных затрат на электроэнергию. Мы работаем с заказчиками над этим показателем совокупной стоимости владения.
STH: Какова в настоящее время доля мощности воздушного охлаждения серверов в мощности системы?
QCT: Это может варьироваться в широких пределах. В предыдущих поколениях мы надеялись, что мощность охлаждения не превысит 5% от общей мощности системы. Сегодня такие ожидания или расчеты не оправданы для большинства проектов из-за слишком высокой мощности CPU и GPU. В настоящее время этот показатель вполне может достигать двузначных цифр, но реальные цифры варьируются.
STH: Существуют ли какие-либо важные требования к установке решения L2A, такие как высота над уровнем моря, глубина/вес стойки или другие?
QCT: Стойка QCT L2A соответствует стандартам 19″ EIA и 21″ OCP, а дополнительная глубина, необходимая для установки задней двери RDHx, составляет 220 мм, что на 80 мм меньше, чем в спецификации ORV3. Единственный фактор, который необходимо учитывать, — это допустимый вес пола, вес стойки QCT liquid to air составляет около 500 кг (без серверов). Кроме того, стойка имеет гибкую конструкцию L11, не требующую дополнительной инфраструктуры ЦОД, и может быть размещена рядом с традиционной серверной стойкой с воздушным охлаждением любой марки.
Последние слова
На выставке Intel Innovation 2022 мы увидели решение QCT для стоек с жидкостным охлаждением и продемонстрировали его наглядно. Демонстрация показала разницу в температурах процессоров при жидкостном охлаждении примерно в 30 С. Помимо более низкой температуры (и, следовательно, более высокой производительности при турбонаддуве) важна и более низкая стоимость охлаждения. Мы также надеемся, что это поможет нашим читателям понять, что варианты жидкостного охлаждения существуют даже без добавления воды в каждую стойку. Несмотря на то, что в демонстрационном ролике были показаны всего два 2U-сервера, мы надеемся, что он помог объяснить концепцию жидкостного охлаждения.