Как выбрать охлаждение стойки с ускорителями

Воздушное и жидкостное охлаждение нельзя выбирать по моде или по средней летней температуре города. Для стойки с ускорителями выбор определяют максимальная электрическая мощность оборудования, допустимая температура на входе, реальная способность помещения отвести тепло при отказе одного элемента и готовность эксплуатационной службы обслуживать выбранную схему.

В Казахстане сухой воздух и холодная зима дают много часов экономайзинга, но не превращают 80- или 120-киловаттную стойку в обычную серверную нагрузку. Если существующий зал способен подать нужный расход очищенного воздуха без рециркуляции, воздушная схема остается разумной. Если расчетный расход не проходит через стойку, фальшпол, коридор или кондиционеры, прямое жидкостное охлаждение становится инженерной необходимостью, а не дорогой опцией.

Сначала посчитайте тепло, а не количество ускорителей

Система охлаждения должна отводить почти всю электрическую мощность ИТ-оборудования в виде тепла, поэтому считать надо киловатты на стойку при расчетной нагрузке, а не число серверов или паспортную мощность одного GPU. В расчет входят ускорители, процессоры, память, сетевые коммутаторы, накопители, блоки питания и потери внутри стойки. Отдельно добавляют оборудование охлаждения, которое питается от той же системы электроснабжения, но не относят его потребление к полезной ИТ-нагрузке.

Первый рабочий документ для проекта может состоять из пяти строк:

P_IT_MAX_KW=
AIR_HEAT_FRACTION=
LIQUID_HEAT_FRACTION=
DESIGN_INLET_C=
REDUNDANCY_MODE=N+1

P_IT_MAX_KW берут из согласованной конфигурации и профиля мощности, а не из лимита вводного автомата. Доли тепла должны в сумме давать единицу. У полностью воздушного сервера AIR_HEAT_FRACTION равна 1. У гибридной системы холодные пластины могут забирать основную нагрузку с CPU и GPU, но вентиляторы все равно отводят тепло от памяти, преобразователей питания, накопителей и сетевых узлов. Производитель обязан дать эти доли для конкретной комплектации.

Для воздушной части полезна проверка по тепловому балансу: объемный расход воздуха приблизительно равен Q / (ρ × cp × ΔT). При 100 кВт, плотности воздуха 1,2 кг/м³, теплоемкости 1,005 кДж/(кг·К) и нагреве воздуха на 12°C получается около 6,9 м³/с, или примерно 24 900 м³/ч. Это не проектный расход, а быстрая проверка порядка величины. Фильтры, высота над уровнем моря, утечки через заглушки, сопротивление дверей и резервирование увеличат требуемую производительность.

Высота особенно важна для Алматы и площадок в предгорьях. При меньшей плотности тот же массовый расход требует большего объема воздуха, а вентиляторы работают ближе к пределу. Нельзя переносить расчет, сделанный для уровня моря, без поправки на высоту и без проверки кривых вентиляторов.

Документация NVIDIA для DGX H100/H200 дает полезный масштаб: максимальная электрическая мощность системы указана как 10,2 кВт, рабочая температура как 5-30°C, относительная влажность как 20-80% без конденсации, а расход воздуха как 1105 CFM при 80% ШИМ вентиляторов. Эти цифры относятся к конкретной системе. Их смысл не в том, чтобы копировать параметры в чужой проект, а в том, чтобы запросить у своего поставщика такой же полный набор данных.

Казахстанский климат помогает снаружи стойки

Континентальный климат Казахстана увеличивает потенциал свободного охлаждения, но одновременно требует проектировать систему на жару, пыль, очень сухой воздух и зимнее замерзание. Среднее значение за июль для этой задачи почти бесполезно. Нужны почасовые климатические данные конкретного города, расчетный максимум сухого термометра, совместное распределение температуры и влажности, пыльные периоды, направление ветра и минимальная зимняя температура.

Казгидромет публикует Государственный климатический кадастр с долгосрочными рядами температуры и экстремумами по станциям. В годовом бюллетене за 2023 год служба зафиксировала максимум +46,0°C на станции Каратобе в Западно-Казахстанской области. Это не значение для проектирования любого объекта в стране, но хороший довод против единого «казахстанского» климатического профиля. Астана, Алматы, Актау, Атырау и Шымкент требуют разных расчетных точек и разных режимов автоматики.

Сухой наружный воздух полезен для воздушного или водяного экономайзинга, когда его температура и влагосодержание позволяют отключить либо разгрузить компрессоры. Он также повышает эффективность испарительного охлаждения. Однако бесплатного холода не бывает: наружный воздух надо фильтровать, заслонки и датчики надо обслуживать, а испарительная схема расходует воду и оставляет соли в контуре.

Прямой воздушный экономайзер в степном климате нельзя оценивать только по температуре. Пыль увеличивает перепад давления на фильтрах и уменьшает расход, а дым или городские загрязнения могут закрыть режим наружного воздуха в самый неудобный день. Руководство Министерства энергетики США по энергоэффективным ЦОД рекомендует учитывать загрязнения, влажность и блокировку экономайзера по точке росы; для наружного воздуха оно указывает фильтры MERV 13 как обычную меру снижения риска частиц. Для проекта в Казахстане класс фильтра выбирают по анализу местной среды и требованиям оборудования, а не по одной зарубежной рекомендации.

Очень сухой воздух тоже не дает права бесконтрольно увлажнять весь зал. ASHRAE советует контролировать влагосодержание по точке росы, потому что относительная влажность меняется вместе с температурой по помещению. Увлажнение задают по допустимому диапазону конкретных серверов, способу подачи воздуха и оценке электростатического риска. Слишком узкий диапазон заставляет соседние установки попеременно увлажнять и осушать воздух, тратя энергию и воду.

Зимой у схемы появляются другие опасности: замерзание наружных теплообменников, сухих охладителей и труб на остановленном участке, снежная пыль на воздухозаборе, холодный пуск и конденсация при неправильном переключении режимов. Для наружного жидкостного контура проверяют концентрацию гликоля, тепловые спутники, слив, резервное питание насосов и логику запуска после простоя. Низкая зимняя температура снижает стоимость отвода тепла только тогда, когда автоматика безопасно использует ее.

Воздушное охлаждение упирается в путь воздуха

Воздушная схема годится для стойки с ускорителями, пока весь тракт способен доставить расчетный расход к лицевой стороне и забрать нагретый воздух без смешения. Номинальная холодопроизводительность кондиционеров сама по себе этого не доказывает. Я видел залы с запасом по холодильным машинам, где верхние серверы перегревались из-за короткого замыкания воздушного потока между горячим и холодным коридорами.

Проверять надо последовательную цепочку: выход кондиционера, пленум или верхняя разводка, перфорированная плитка либо решетка, холодный коридор, двери стойки, серверные вентиляторы, горячий коридор и возврат в кондиционер. Самое узкое место задает предел всей схемы. Если стойке нужно 25 000 м³/ч, бессмысленно ставить еще один чиллер, когда решетки и фальшпол пропускают лишь часть этого расхода.

Локализация холодного или горячего коридора обычно дает больше пользы, чем снижение уставки кондиционера. Руководство NVIDIA по проектированию DGX SuperPOD прямо объясняет, что ограждение коридора предотвращает возврат горячего воздуха ко входам серверов, который искусственно повышает температуру и снижает способность воздуха принимать тепло. Я согласен с этим приоритетом: сначала разделите потоки и закройте пустые юниты заглушками, затем меняйте уставку.

У воздушного решения есть сильные стороны:

• нет воды и быстроразъемных соединений внутри серверной стойки;
• персонал обычно уже умеет менять вентиляторы, фильтры и кондиционеры;
• стойку легче переставить или перекомпоновать;
• резервный кондиционер можно использовать для нескольких стоек;
• при умеренной плотности проще найти запчасти и подрядчика.

Но простота заканчивается, когда растет расход. Увеличиваются вентиляторная мощность, шум, размеры воздуховодов и площадь коридоров. Фальшпол, который нормально обслуживал 8 кВт на стойку, не обязан обслужить 40 кВт после замены серверов. Часто приходится распределять ускорители по нескольким стойкам, оставлять пустые юниты или ставить задние теплообменные двери. Тогда следует честно сравнить стоимость дополнительной площади и переделки воздуха со стоимостью жидкостного контура.

Жаркий день проверяет не только чиллер. Проект должен выдерживать загрязненный фильтр, отказ одного кондиционера, открытие двери коридора на время работ и максимально допустимую ИТ-нагрузку одновременно в согласованной аварийной комбинации. Если при отказе N+1 температура на входе выходит за предел производителя до завершения управляемого снижения нагрузки, резерв существует только на схеме.

Жидкость снимает плотность, но не отменяет воздух

Прямое жидкостное охлаждение переносит большую часть тепла от холодных пластин к CDU и далее к системе здания, поэтому оно резко уменьшает требуемый расход воздуха через стойку. Оно не охлаждает автоматически все компоненты. Большинство современных стоечных систем используют гибридную схему: GPU и CPU отдают тепло жидкости, а вентиляторы охлаждают память, накопители, блоки питания, кабели и часть сетевого оборудования.

Это различие часто теряется в коммерческом описании. «Жидкостная стойка» может означать холодные пластины, заднюю дверь с водяным теплообменником, погружение или просто CDU рядом со стойкой. Эти решения предъявляют разные требования к серверам, жидкости, трубам и сервису. В техническом задании нужно писать способ переноса тепла и границу ответственности, а не общее слово «жидкость».

Для холодных пластин типовая цепочка состоит из двух контуров. Facility Water System отводит тепло на уровне здания. Technology Cooling System циркулирует подготовленный теплоноситель через серверы. CDU разделяет их теплообменником, поддерживает расход и давление, фильтрует жидкость, измеряет параметры и управляет насосами. Такое разделение не гарантирует отсутствие протечки, но не пускает воду здания прямо в тонкие каналы ускорителей.

Open Compute Project в документе Cold Plate Cooling Loop Requirements требует проверять совместимость теплоносителя со всеми смачиваемыми материалами и регулярно контролировать химию воды даже при исходно совместимых материалах. Это практичнее лозунга «залейте дистиллированную воду». Состав меняется из-за кислорода, продуктов коррозии, загрязнения при сервисе и смешения несовместимых материалов.

Новые классы воды ASHRAE обозначают верхнюю температуру подачи прямо в названии: W17, W27, W32, W40, W45 и W+; нижний предел для этих классов равен 2°C. Более теплая подача расширяет часы работы без компрессорного охлаждения и может облегчить утилизацию тепла. Но класс выбирает производитель оборудования. Нельзя подать 40°C на сервер только потому, что наружный сухой охладитель так работает эффективнее.

Реальная плотность современных систем показывает, почему спор уже нельзя сводить к предпочтениям эксплуатации. Документация NVIDIA описывает DGX GB200 NVL72 как гибридно охлаждаемую стойку примерно на 120 кВт: процессоры и ускорители подключены к жидкостным коллекторам, а остальные компоненты охлаждает воздух. Для такой архитектуры жидкость заложена в сам серверный комплекс. Попытка заменить ее мощным обдувом меняет сертифицированную конструкцию и не является вариантом проекта.

При меньшей плотности задняя теплообменная дверь может быть промежуточным решением. Серверы остаются воздушными, а дверь забирает тепло из их выхлопа в водяной контур. Она снижает нагрузку на помещение, но не уменьшает расход через сами серверы, добавляет вес, шланги и требования к зазору сзади. Ее проверяют как отдельное изделие по допустимому расходу воздуха, температуре воды, падению давления и поведению при открытии.

Стоимость надо сравнивать на одном горизонте

Правильное сравнение считает всю площадку на одинаковой нагрузке, уровне резервирования и сроке, а не сопоставляет цену кондиционера с ценой CDU. Воздушная схема часто дешевле для одной умеренной стойки в уже подготовленном зале. Жидкостная может выиграть при высокой плотности, дорогой площади, длинном сроке эксплуатации или обязательной архитектуре сервера.

Используйте одну формулу для обоих вариантов:

TCO = CAPEX + ENERGY + WATER + SERVICE + SPARES + DOWNTIME_RISK + REFIT - RESIDUAL_VALUE

В CAPEX для воздуха входят кондиционеры, чиллер или DX-секция, локализация коридоров, фальшпол либо воздуховоды, силовая часть и автоматика. Для жидкости добавляют CDU, коллекторы, трубы, теплообменник, сухой охладитель или чиллер, подготовку теплоносителя, датчики протечки, дренаж и строительные работы. Обоим вариантам нужны резервирование, пусконаладка и мониторинг.

ENERGY считают по почасовой модели или хотя бы по нескольким режимам наружной температуры и ИТ-нагрузки. Паспортный PUE без границ измерения мало что дает. Отдельно учитывают компрессоры, вентиляторы серверов и кондиционеров, насосы, увлажнение, подогрев и вспомогательное оборудование. Жидкость часто снижает вентиляторную энергию, но слишком высокое гидравлическое сопротивление или постоянно работающие резервные насосы способны съесть часть выигрыша.

WATER нельзя приравнивать к жидкостному охлаждению. Закрытый контур холодных пластин содержит теплоноситель, но почти не расходует его штатно. Воду обычно потребляет внешний способ сброса тепла, например градирня или адиабатическая секция. Воздушно охлаждаемый сервер, подключенный к водяному чиллеру с градирней, может расходовать больше воды площадки, чем жидкостный сервер с сухим охладителем. Сравнивайте водный баланс всей системы.

SERVICE включает анализ теплоносителя, фильтры, насосные уплотнения, вентиляторы, очистку теплообменников, калибровку датчиков и обязательные регламентные испытания. В SPARES кладут не абстрактный процент, а перечень: насосный модуль, контроллер CDU, фильтроэлементы, быстроразъемы, датчики, вентиляторы и платы, которые реально можно заменить на площадке. Срок доставки в Казахстан и таможенная логистика иногда важнее скидки в коммерческом предложении.

Риск простоя не превращают в выдуманную точную сумму. Сначала описывают сценарии, допустимую длительность, способ обнаружения и ущерб для вычислительной очереди. Затем владелец бизнеса назначает стоимость часа или предельное время восстановления. Так становится видно, стоит ли второй CDU своих денег и нужна ли возможность менять насос без остановки стойки.

Сделайте расчет минимум для трех точек: текущая загрузка, максимальная конфигурация первого этапа и расширение через два-три поколения ускорителей. Если воздушная схема проходит сегодня, но потребует полной переделки зала при следующей закупке, дешевый CAPEX первого этапа может оказаться отсроченным счетом.

Протечка становится аварией из-за слабой реакции

Риск жидкости нельзя обнулить, но его можно разложить на предотвращение, раннее обнаружение, автоматическую изоляцию и безопасное восстановление. Фраза поставщика «быстроразъемы не текут» не заменяет план. Соединение может быть исправным на заводе и получить боковую нагрузку от неправильной укладки шланга, загрязнение при сервисе или повреждение уплотнения после нескольких циклов.

Предотвращение начинается с совместимости материалов, допустимого давления, контроля крутящего момента, фиксации шлангов и понятной процедуры подключения. Быстроразъемы располагают так, чтобы техник видел и держал обе стороны, а кабели не тянули их вниз. Под стойкой и CDU предусматривают путь жидкости к датчику или поддону, не позволяя ей уйти под соседнее оборудование незамеченной.

OCP в требованиях к холодным пластинам разделяет косвенное обнаружение по падению давления или изменению расхода и прямые датчики, которые реагируют на жидкость. Документ советует ставить точечные датчики или чувствительный кабель там, где жидкость действительно соберется. Это важная оговорка: датчик над уклоном пола или на противоположной стороне борта создает уверенность, но не сокращает время обнаружения.

Для дорогой стойки разумна многоуровневая схема:

1. контроллер узла следит за локальным датчиком и температурой компонентов;
2. стойка контролирует чувствительный кабель, давление и расход в коллекторе;
3. CDU сравнивает подачу и обратку, управляет клапанами и насосами;
4. BMS получает независимый сигнал и запускает согласованный сценарий;
5. дежурная смена видит место, серьезность и требуемое действие, а не общий alarm.

Автоматическое действие зависит от масштаба утечки. Для малого сигнала система может изолировать ветвь и снизить мощность узла. Для быстрого падения давления она останавливает насос, закрывает клапаны и инициирует управляемое отключение затронутого оборудования. Нельзя автоматически обесточивать весь зал от одного влажного датчика без анализа последствий, но нельзя и оставлять единственным действием письмо дежурному.

При приемке проливать теплоноситель на сервер не нужно. Датчик проверяют тестовой жидкостью или способом производителя, изменение расхода имитируют на испытательном контуре, связь с BMS разрывают контролируемо, а закрытие клапана подтверждают по положению и фактическому расходу. В протоколе записывают время от события до сигнала, время до изоляции, остаточный объем, реакцию ИТ-нагрузки и порядок возврата в работу.

Страхование и правила объекта тоже проверяют до поставки. Помещение над архивом, медицинской зоной или электрощитовой может потребовать двойных труб, поддонов, отдельного дренажа или вообще другого размещения. Риск протечки определяется не только вероятностью, но и тем, куда попадет жидкость.

Помещение меняется по-разному для двух схем

Воздушное охлаждение требует пространства для большого потока, а жидкостное требует пространства и несущей способности для гидравлики. В обоих случаях начинать надо с обследования здания: мощность вводов, селективность защиты, нагрузка на перекрытие, пути заноса, высота дверей, пожарные отсеки, доступ к наружной площадке и возможность остановить часть системы для ремонта.

Для воздушной стойки главные элементы помещения такие:

• изолированные горячие и холодные потоки с заглушками в пустых юнитах;
• достаточная площадь воздуховодов, решеток или фальшпола;
• фильтрация наружного воздуха и контроль перепада на фильтрах;
• датчики температуры на входе стойки внизу, посередине и вверху;
• возврат горячего воздуха без карманов и короткого замыкания.

Для прямого жидкостного охлаждения нужны трассы подачи и обратки, место для CDU, сервисные зазоры, точки заполнения и слива, контроль протечки, дренаж и доступ к теплообменнику. Массу заполненной стойки, коллектора и двери сравнивают с допустимой точечной нагрузкой перекрытия. Ширину прохода проверяют при открытых дверях и подключенных шлангах, а не по пустому плану.

Разделение контуров должно совпадать с организационными границами. Служба здания отвечает за температуру, давление и доступность FWS до согласованной точки. ИТ-служба или поставщик отвечает за TCS, CDU, коллектор и серверы. На границе задают диапазон температур, расход, перепад давления, качество воды, тип соединения, резервирование и формат телеметрии. Иначе при перегреве каждая сторона покажет на соседний манометр.

Конденсация для холодных пластин обычно опаснее протечки большого объема, потому что начинается тихо на холодной поверхности. Температура подачи должна оставаться выше точки росы воздуха с согласованным запасом во всех режимах, включая открытие двери летом, влажную уборку и отказ датчика. Если проект требует воду ниже точки росы, ему нужны пароизоляция, изоляция и отдельный анализ, а не надежда на сухой климат.

Зимняя наружная часть жидкостной схемы требует защиты от замерзания. Воздушная схема с прямым экономайзером требует защиты от слишком холодного и слишком сухого притока. Обеим нужна автоматика переходных режимов. Самая опасная погода часто не расчетный мороз или жара, а быстрое изменение условий, когда заслонка, клапан и уставка расходятся по времени.

Пожарная автоматика, аварийное отключение, ИБП и генератор должны знать о новой тепловой инерции. После пропадания внешнего питания ускорители еще выделяют тепло, а насосы и вентиляторы могут остановиться раньше управляемого завершения задач. Рассчитывают время выбега, питание контроллеров и насосов, порядок ограничения мощности и возможность отвода остаточного тепла при работе от генератора.

Обслуживание решает доступность сильнее технологии

Лучшей будет схема, которую местная команда способна диагностировать и восстановить в любое время года. Воздушная установка знакомее, но это не делает ее необслуживаемой. Жидкостная установка добавляет новые операции, но при правильном проекте дает более точную локализацию отказа и заменяемые насосные модули.

Для воздуха эксплуатация ежемесячно или по состоянию проверяет перепад на фильтрах, расход, положение плиток и заслонок, герметичность локализации, температурную карту и работу резервного кондиционера. После прокладки нового кабеля снова смотрят воздушный тракт. Один пучок в выхлопе сервера способен испортить результат хорошего расчета.

Для жидкости регламент включает отбор пробы теплоносителя, проводимость или другие заданные производителем показатели, состояние ингибиторов, перепад на фильтре, работу насосов, герметичность соединений и тест датчиков. Нормы химии нельзя придумывать общими для всех систем: вода, водно-гликолевая смесь и диэлектрический теплоноситель требуют разных методов, а гарантийные пределы задает поставщик.

Нужны процедуры для четырех обычных работ: подключение нового узла, отключение ветви, замена насосного модуля и локализация тревоги протечки. В каждой процедуре указывают, кто разрешает действие, чем измеряют остаточное давление, куда сливают жидкость, как защищают разъемы от грязи и какие показатели подтверждают возврат в норму. Техник должен пройти эти операции на учебном участке до работы над стойкой с ускорителями.

Запасные части выбирают по времени восстановления. Для воздушной схемы на площадке обычно держат фильтры, вентиляторы, приводы заслонок и критичные платы управления. Для жидкости добавляются уплотнения и быстроразъемы утвержденного типа, фильтры CDU, датчики, насосный модуль и запас подготовленного теплоносителя. Случайный шланг из промышленного магазина не должен попадать в серверный контур.

Мониторинг обязан сводить ИТ и инженерные показатели на одной временной шкале. Температура GPU без температуры подачи мало помогает; тревога CDU без мощности стойки тоже. Храните подачу и обратку, расход, давление, положение клапанов, состояние насосов, точку росы, температуры входного воздуха, мощность стойки, скорость вентиляторов и события ограничения частоты. Тогда разбор инцидента опирается на причинную цепочку.

Круглосуточная поддержка имеет смысл только с матрицей эскалации и реальными запасными частями. GSE проектирует AI- и дата-центровую инфраструктуру, выпускает серверы в Казахстане и располагает общенациональной сервисной сетью, поэтому при интеграции такой стойки можно связать выбор оборудования с возможностью обслуживания на месте. Однако заказчик все равно должен принять регламенты, обучить смену и провести аварийные учения.

Решение принимают по порогам и проверяют нагрузкой

Воздух выбирают, когда серверы сертифицированы для воздушного охлаждения, расчетный расход проходит через весь тракт с резервом, помещение выдерживает отказ N+1, а расширение не потребует немедленной перестройки. Жидкость выбирают, когда ее требует архитектура оборудования, воздушный расход физически не проходит, плотность делает площадь и вентиляторную энергию слишком дорогими либо теплая вода дает обоснованный эффект экономайзинга.

Гибрид часто оказывается не компромиссом, а точным ответом. Холодные пластины снимают тепло с CPU и GPU, а небольшой воздушный контур обслуживает остальные компоненты. Для существующего зала возможен поэтапный переход: отдельный CDU и одна жидкостная ветвь запускаются рядом с сохраненным воздушным резервом. Но такой этап должен иметь конечную архитектуру, иначе временные шланги и переносные кондиционеры останутся на годы.

Зафиксируйте решение в таблице с измеримыми порогами:

До закупки проведите два обзора. На design review поставщик показывает исходные данные, расчет тепла и потоков, диаграмму управления, перечень отказов, границы ответственности и спецификацию теплоносителя. На operational review служба эксплуатации проверяет доступ, расходники, запасные части, инструкции, телеметрию и договорное время реакции.

Приемка должна пройти на расчетной ИТ-нагрузке, а не на пустой стойке. Испытание включает устойчивый максимум, переход на резервный насос или кондиционер, загрязненный фильтр в допустимом пределе, потерю одного датчика, имитацию протечки, переключение наружного режима и восстановление после пропадания питания. Для каждого опыта заранее задают допустимую температуру, время реакции, разрешенное снижение мощности и условие остановки теста.

Если оба варианта проходят пороги, выбирайте тот, для которого десятилетняя модель затрат и местная эксплуатация дают меньший риск. Если воздух не проходит по расходу, спор о его дешевизне окончен. Если жидкость не имеет утвержденной химии, датчиков, изоляции и обученной смены, высокая плотность не делает ее готовой к работе.