Стойка на 40 кВт в существующей серверной

Стойку с IT-нагрузкой 40 кВт нельзя добавить в существующую серверную как еще один шкаф. Она меняет электрическую схему, тепловой баланс, аэродинамику помещения и нагрузки на строительные конструкции. Если хотя бы одна из этих систем останется прежней, стойка либо не выйдет на расчетную мощность, либо заберет запас надежности у соседнего оборудования.

Правильное начало такого проекта выглядит непривычно для закупки серверов: сначала инженеры фиксируют измерениями, что может здание, затем выбирают архитектуру питания и отвода тепла, и только после этого утверждают конфигурацию стойки. Паспортная свободная мощность кондиционера или ИБП почти всегда описывает систему целиком. Высокоплотной стойке нужен гарантированный ресурс именно в ее точке и при отказе одного элемента.

Сорок киловатт превращают шкаф в инженерный проект

Расчет надо вести от фактической IT-мощности, профиля нагрузки и требований к доступности, а не от суммы номиналов блоков питания. Сервер с двумя блоками по 2 кВт не потребляет 4 кВт: второй блок обычно делит нагрузку или резервирует первый. Обратная ошибка опаснее, когда проект берет среднее потребление за месяц и не видит короткие пики вычислений, ускорителей и вентиляторов.

Для начала запросите у поставщика оборудования четыре набора данных: максимальную входную мощность заданной конфигурации, типичную мощность на вашей задаче, расход воздуха или расход жидкости, массу полностью собранного узла. Нужны значения для выбранной температуры на входе и режима отказа вентилятора или блока питания. Общая надпись «до 40 кВт» не дает проектировщику исходных данных.

Есть полезное различие, которое часто стирают в переписке. «Стойка рассчитана на 40 кВт» означает допустимость шкафа, шин и PDU. «Серверная поддерживает стойку 40 кВт» означает, что электрика, охлаждение, пол, пожарная автоматика и мониторинг выдержат эту нагрузку вместе. Первое можно подтвердить каталогом. Второе подтверждает проект и комплексное испытание.

Intel описывала переоборудованный высокоплотный зал, где воздушное охлаждение работало со стойками до 43 кВт. Этот пример опровергает категоричное утверждение, что после 30 кВт воздух всегда бесполезен. Он доказывает другое: 40 кВт на воздухе возможны в помещении, которое целиком организовали под высокий расход и исключили смешение потоков. Обычная серверная с настенными сплит-системами от одного такого примера подходящей не становится.

До проектирования составьте профиль минимум из трех состояний: обычная нагрузка, расчетный максимум и рост на ближайший цикл расширения. Отдельно задайте поведение после отказа. Если при потере одного модуля разрешено временно ограничить вычисления до 28 кВт, это допустимое инженерное решение, но автоматика ограничения должна быть реальной и проверяемой. Фраза «операторы успеют снизить нагрузку» резервом не считается.

Обследование должно отличать установленную мощность от доступной. Перепишите шильдики, но рядом поставьте показания анализатора сети и тренды хотя бы за рабочий цикл нагрузки. Для охлаждения запишите не только модель блока, но и фактические температуры подачи и возврата, положения клапанов, обороты вентиляторов и аварии контроллера. Свободный модуль в щите, пустой слот ИБП и незанятая площадь пола выглядят как резерв, хотя каждый из них может упираться в общий элемент выше по цепи.

Проверьте и физическую компоновку. Глубокая стойка с двумя вертикальными PDU, кабельными органайзерами и задним теплообменником требует места для дверей, радиуса изгиба силовых кабелей и выдвижения сервера на направляющих. Узкий горячий проход может сделать обслуживание опасным или перекрыть выхлоп. План с прямоугольником 600 на 1 200 мм этого не показывает, поэтому инженер должен нанести рабочие зоны и траекторию замены самого длинного узла.

Ввод питания придется считать от источника

Для 40 кВт нужен трехфазный ввод с запасом по длительной нагрузке, потерям и расширению. При линейном напряжении 400 В и коэффициенте мощности 0,95 ток оценивается так:

I = P / (√3 × U × cos φ)
I = 40 000 / (1,732 × 400 × 0,95) ≈ 61 А

Эти 61 А не являются готовым номиналом автомата. Электропроектировщик должен проверить местные нормы, допустимую длительную загрузку аппарата, способ прокладки и температуру кабеля, селективность защит, ток короткого замыкания, гармоники и перекос фаз. На практике ввод стойки часто оказывается в классе 80 А или выше, но переносить этот номинал в проект без расчета нельзя.

Граница проекта проходит не у розетки стойки. Проверьте цепь от точки присоединения здания: трансформатор, главный распределительный щит, дизель-генератор, АВР, ИБП, байпас, распределительный щит зала, кабель и обе стоечные PDU. Свободные 50 кВт на ИБП ничего не дают, если байпас, генератор или вводной кабель уже загружен. Точно так же новый кабель не исправит нехватку мощности трансформатора.

Для двухканальной схемы A/B каждый канал проектируют на ту нагрузку, которую он примет после потери второго. При нормальном делении 50/50 канал несет около 20 кВт, но после отказа соседнего должен безопасно принять все 40 кВт, если серверы не ограничивают мощность. Поэтому два фидера по 25 кВт не образуют резервную систему на 40 кВт.

Eaton в справочнике по распределению питания разделяет напольную распределительную PDU и стоечную PDU: первая подводит и распределяет мощность в зале, вторая дает контролируемые выходы оборудованию. Это не взаимозаменяемые уровни. Для стойки такой плотности нужны измерения тока по фазам и по каналам, пороговые предупреждения, понятная нумерация розеток и фиксация вилок. Иначе небольшая перестановка серверов легко перегрузит одну фазу, хотя сумма по стойке останется ниже 40 кВт.

ИБП выбирают не только по кВА. Сверьте активную мощность в кВт, коэффициент мощности, допустимый ступенчатый наброс, работу с генератором, время автономии при расчетной нагрузке и температуру аккумуляторной зоны. Если текущий ИБП уже обслуживает зал, добавление 40 кВт может вынудить менять его модули, батарейные шкафы, байпас и ввод сразу. Модульное расширение помогает лишь тогда, когда шасси, коммутация и охлаждение изначально имеют нужный запас.

Тепло придется снимать там, где оно возникает

Стойка, потребляющая 40 кВт, почти все эти 40 кВт отдаст в помещение как тепло. Это около 136 500 BTU/ч или 11,4 тонны холода, еще до учета потерь ИБП, PDU, вентиляторов охладителя, освещения и теплопритоков через ограждения. Поэтому «в зале есть кондиционер на 40 кВт» не равно «для стойки доступно 40 кВт охлаждения».

Паспортную холодопроизводительность надо привести к проектным условиям. На нее влияют температура и влажность воздуха, температура наружного воздуха, длина и перепад высот трассы, температура воды, расход через теплообменник и загрязнение фильтров. Затем добавляют резерв регулирования и принимают решение об отказоустойчивости. Два агрегата по 20 кВт покрывают нагрузку только вместе, после отказа одного останется половина требуемого холода.

Для оценки воздушного контура годится уравнение явного тепла, которое приводит ASHRAE:

Q = P / (ρ × cp × ΔT)
Q = 40 000 / (1,2 × 1 000 × 12) ≈ 2,78 м³/с
2,78 м³/с ≈ 10 000 м³/ч

Расчет предполагает плотность воздуха 1,2 кг/м³, теплоемкость 1 000 Дж/(кг·К) и нагрев воздуха в стойке на 12 °C. При перепаде 10 °C потребуется уже около 12 000 м³/ч. В высокогорной местности плотность воздуха ниже, поэтому объемный расход вырастет. Точное значение берут из документации серверов, потому что встроенные вентиляторы меняют расход с нагрузкой и температурой.

ASHRAE TC 9.9 задает для типичного серверного оборудования рекомендуемый диапазон температуры на входе 18-27 °C. Слово «на входе» здесь важнее самих границ. Датчик кондиционера под потолком может показывать 23 °C, пока верхние серверы получают 31 °C из-за рециркуляции. Поставьте датчики у передней плоскости стойки снизу, посередине и сверху, а также контролируйте температуру выходящего воздуха и перепад давления.

Обычные комфортные сплит-системы для такой задачи плохи не только по мощности. Они могут не держать заданный расход круглосуточно, не управлять влажностью, терять производительность зимой или летом вне расчетного диапазона и не давать согласованной работы N+1. Их можно оставить для фоновой нагрузки помещения, но 40 кВт лучше привязать к локальному контуру: внутрирядным блокам, задней двери с теплообменником, канальному отводу горячего воздуха или жидкости у источника.

Место сброса тепла снаружи здания тоже входит в расчет. Наружный блок или сухой охладитель должен работать при расчетной летней температуре, не засасывать собственный горячий выхлоп и оставаться доступным для очистки. Проверьте шум на границе помещений и вибрацию на перекрытии. Если трасса проходит через занятые этажи или фасад, разрешения и строительные работы могут занять больше времени, чем монтаж оборудования в серверной.

Холодный и горячий воздух нельзя оставлять в одной комнате

При расходе около 10 000 м³/ч малейший короткий путь воздуха превращается в перегрев. Холод, который обошел серверы и сразу вернулся в кондиционер, снижает температуру обратного потока и полезную мощность теплообменника. Горячий выхлоп, вернувшийся к передней панели, поднимает температуру входа. Комнатный термометр усредняет две ошибки и показывает вполне спокойное значение.

Сначала выберите, что изолировать: холодный коридор или горячий. В существующей небольшой серверной чаще проще закрыть горячую сторону стойки и вернуть выхлоп прямо к охладителю. Если конструкция помещения не позволяет сделать герметичный коридор, задняя дверь с воздушно-жидкостным теплообменником или кожух с верхним каналом может создать локальную границу.

Практические детали решают больше, чем название схемы. Установите заглушки во все свободные юниты, закройте щели вокруг кабелей и под стойкой, проверьте направление вентиляторов сетевых коммутаторов, уберите мотки кабеля из пути выхлопа. Schneider Electric в материалах об изоляции коридоров отдельно разбирает байпас и рециркуляцию. Я согласен с самим принципом, но одна дверь коридора не исправит недостаточный расход через перфорированные плиты или неверно повернутый коммутатор.

Фальшпол не обязателен. Он полезен, если пленум достаточно высокий, кабели не перекрывают сечение, проемы загерметизированы, а плиты выдают нужный расход при доступном давлении. Для одной стойки на 40 кВт несколько стандартных перфорированных плит могут оказаться узким местом. Не заменяйте их плитами с большей открытой площадью вслепую: это изменит баланс всего зала и может отнять воздух у соседних стоек.

Проверять схему надо под тепловой нагрузкой, а не дымовой палочкой в пустом шкафу. Дым показывает направление в конкретный момент, но не температуру входа при полном расходе серверных вентиляторов. Тепловая карта с девятью точками на передней плоскости, расход или перепад давления, температура подачи и возврата дадут намного более честную картину.

Пол проверяют по массе и точкам опоры

Электрические 40 кВт ничего не говорят о нагрузке на пол. Два шкафа одинаковой мощности могут отличаться по массе вдвое из-за количества ускорителей, систем хранения, медных шин, кабелей и жидкостных коллекторов. Проектировщику нужна ведомость масс, схема центра тяжести и геометрия опор полностью собранной стойки.

Считать только среднюю нагрузку в кг/м² опасно. Стойка передает вес через четыре регулируемые опоры или ролика, а фальшпол передает его через плиты, стрингеры и стойки. Проверять надо как минимум несущую плиту здания, точечную реакцию, местное продавливание, допустимую нагрузку плиты фальшпола и устойчивость шкафа. Распределительная стальная рама может разнести усилие на несколько опор, но ее тоже рассчитывают, а не подбирают по толщине на глаз.

Не путайте грузоподъемность шкафа с несущей способностью пола. Испытание шкафа по UL 2416 подтверждает, что его рама выдерживает заявленную статическую массу и не теряет устойчивость в заданных тестах. Оно ничего не сообщает о конкретном перекрытии вашего здания. Сертификат стойки и заключение конструктора отвечают на разные вопросы.

Маршрут доставки входит в тот же расчет. Проверьте грузоподъемность лифта, пороги, ширину дверей, радиус поворота, уклон рампы и временную нагрузку от транспортной тележки. Полностью собранный шкаф иногда нельзя безопасно завезти, хотя его конечное место усилено. Тогда тяжелые узлы заносят отдельно и собирают на месте по утвержденной последовательности.

К массе оборудования добавьте PDU, кабели, двери с теплообменником, распределительные коллекторы и жидкость, если она есть. Оставьте монтажный запас: во время работ у стойки могут одновременно оказаться выдвинутый сервер, подъемник и два специалиста. Сейсмическое крепление и анкеровку определяет строительная часть проекта с учетом площадки, а не инструкция на шкаф.

Резерв без независимых путей только выглядит надежным

Высокая плотность увеличивает цену общего отказа, поэтому схему надо рисовать до физического источника каждого канала. Две стоечные PDU, подключенные к одному щиту, защищают от отказа одной PDU, но не от автомата, кабеля, щита или ИБП выше по цепи. Два кондиционера на одном автомате имеют такую же проблему.

На однолинейной схеме отметьте A и B разными цветами от серверного блока питания до трансформатора или другой согласованной границы. Затем найдите места, где линии сходятся: общий ввод здания, АВР, генератор, байпас, система управления, топливная система. Полная независимость стоит дорого и нужна не всем, но общие точки отказа должны быть сознательным решением владельца, а не находкой во время аварии.

Резервирование охлаждения считают после потери агрегата при неблагоприятных наружных условиях. Формула N+1 работает, только если оставшиеся блоки действительно снимают 40 кВт и сохраняют нужный расход через стойку. Один резервный компрессор не помогает при общем отказе насоса, сухого охладителя, контроллера или трубопровода. Для жидкостной схемы так же проверяют CDU, насосы, фильтры, клапаны и питание автоматики.

Есть еще переходный процесс. После отключения охлаждения температура на входе в плотную стойку растет быстрее, чем в зале со средней нагрузкой. Автоматика должна рано обнаружить отказ, запустить резерв и, если нужно, ограничить IT-мощность. Уставки согласуют с тепловой инерцией помещения и временем запуска, а потом испытывают. Звуковой сигнал, который услышит только дежурный в соседнем здании, защитой не является.

Пожарную автоматику тоже пересматривают. Новый шкаф и коридор меняют движение дыма, расположение извещателей и выпуск огнетушащего вещества. Кабельные проходки после прокладки силовых линий восстанавливают материалом с требуемым пределом огнестойкости. Если применяется вода или водный раствор у стойки, проект задает обнаружение протечки, отсечные клапаны, поддон или дренаж и сценарий отключения без опасного общего останова.

Приемка должна доказать мощность, а не наличие оборудования

До монтажа серверов проведите обследование под нагрузкой существующего зала. Снимите суточные тренды мощности, токов по фазам, температуры и состояния охлаждения, проверьте однолинейные схемы на месте и зафиксируйте свободные автоматы, сечения кабелей и модели оборудования. Несовпадение маркировки со схемой исправляют до подключения новой стойки.

После переделки проведите интегрированное испытание с управляемыми нагрузочными модулями. Серверы для первой проверки неудобны: они создают неравномерную нагрузку, могут уйти в защиту и рискуют данными. Рабочая последовательность укладывается в пять этапов:

1. Подайте 10, 20, 30 и 40 кВт ступенями, выдерживая каждую ступень до стабилизации температуры.
2. На каждой ступени запишите ток A/B по фазам, напряжение, мощность, температуру входа в девяти точках и состояние всех охладителей.
3. При 40 кВт отключите по очереди один фидер, модуль ИБП, охладитель и элемент управления, который заявлен резервируемым.
4. Проверьте сигнализацию, автоматическое переключение, ограничение мощности и восстановление без ручных скрытых действий.
5. Повторите критичные тесты при работе от генератора, если он входит в контур доступности.

Критерии приемки задают до теста. В них входят допустимая температура на входе, максимальная загрузка фаз и аппаратов, время переключения, отсутствие конденсата и утечек, сохранение давления и время выхода резерва на режим. Результатом должны стать протоколы с трендами, обновленные исполнительные схемы, уставки и перечень отклонений. Фраза подрядчика «все держится» к эксплуатации отношения не имеет.

Не пропускайте частичную нагрузку. Некоторые кондиционеры нестабильно регулируют малую мощность, воздушный баланс меняется с оборотами серверных вентиляторов, а модульный ИБП работает с другой эффективностью. Стойка будет жить не только в точке 40 кВт, поэтому испытайте обычный режим и переходы между режимами.

Бюджет переделки начинается примерно с 70 млн тенге

Для предварительного решения по одной стойке разумный порядок бюджета составляет 70-190 млн тенге без стоимости серверов, внешнего трансформатора, нового генератора и крупного строительного усиления. Это не коммерческое предложение. Диапазон нужен, чтобы понять класс проекта до обследования, а не утвердить закупку по средней цифре.

Бюджет раскладывается на пять рабочих пакетов:

• обследование, рабочий проект и приемочные испытания: 6-16 млн ₸;
• ввод, щиты, кабели и каналы A/B: 8-25 млн ₸;
• ИБП 60 кВт, батареи и байпас: 18-45 млн ₸;
• локальное охлаждение с резервом: 25-70 млн ₸;
• стойка, изоляция воздуха, пол, пожарная часть и мониторинг: 10-30 млн ₸.

Цену первого пакета сильнее всего меняют состояние исходных схем, расчеты конструкций и число сценариев отказа. В электрической части решают длина трасс, селективность и необходимость менять главный щит. Для ИБП важны автономия и резерв модулей, для охлаждения тип наружного контура и схема N+1. Строительная часть дорожает из-за усиления, дверей-теплообменников, датчиков и восстановления проходок.

Открытые цены дают полезную проверку порядка величин. В Казахстане трехфазный ИБП 60 кВА без привязки к батарейной автономии встречается в карточках поставщиков примерно за 19 млн тенге. В закупке Национального банка на два прецизионных кондиционера с демонтажом, монтажом и пусконаладкой была выделена сумма около 43,9 млн тенге. Эти позиции нельзя сложить и назвать ценой проекта: неизвестны требуемая резервность, трассы, наружные условия и состав работ. Они лишь показывают, почему обещание переделать такую серверную за несколько миллионов не выдерживает проверки.

Три сценария помогают не спорить о слишком широком диапазоне. При наличии свободных модулей ИБП, готовых A/B трасс, прочного пола и места для локального охладителя проект может остаться у нижней границы. Если нужны новый ИБП, два охладителя, изоляция воздуха и переделка щита, ориентир смещается к середине. Новый трансформатор, генератор, усиление перекрытия или наружный жидкостный контур выводят проект выше 190 млн тенге.

Считать надо стоимость владения, но без гадания на одном показателе PUE. Запросите электрическую мощность охладителей при расчетной наружной температуре, потери ИБП на обычной и пиковой нагрузке, обслуживание фильтров и батарей, ресурс насосов, расход воды и стоимость обязательных проверок. Дешевый блок, который требует остановки всей стойки для обслуживания, может оказаться самым дорогим решением за несколько лет.

Резерв на непредвиденные работы закладывают после обследования. До вскрытия трасс разумно держать 15-25 процентов, потому что в действующей серверной обнаруживаются занятые каналы, неподписанные кабели, негерметичные проходки и несоответствие исполнительных схем. После выпуска рабочего проекта неопределенность должна уменьшиться, иначе проект просто не закончен.

Воздух или жидкость решает конфигурация серверов

При 40 кВт воздушное охлаждение еще возможно, но оно требует примерно 10 000-12 000 м³/ч направленного потока и хорошо изолированного пути возврата. Если выбранные серверы целиком воздушные, локальные внутрирядные блоки или задний воздушно-жидкостный теплообменник часто проще, чем попытка переделать сами вычислительные узлы. Решение проверяют по картам расхода производителя и испытанием полной стойки.

Прямое жидкостное охлаждение имеет смысл, когда серверы штатно отводят значительную часть тепла в жидкость, плотность должна расти или помещение не может пропустить нужный объем воздуха. Оно не убирает тепловую задачу, а переносит ее в CDU, трубопроводы и наружный контур. Остается остаточное тепло от памяти, накопителей, блоков питания и сетевого оборудования, поэтому небольшой воздушный контур обычно все равно нужен.

Не соглашайтесь на рекомендацию «сразу ставить жидкость, потому что 40 кВт много». Она популярна из-за роста AI-нагрузок, но число на стойке не определяет интерфейс охлаждения. Сначала выясните, какую долю тепла конкретная конфигурация передает жидкости, какие температуры и расходы требует, кто отвечает за качество воды, и допускает ли гарантия выбранные соединения. Без этих ответов жидкостная система добавит насосы и риск протечки, не решив охлаждение компонентов.

GSE.kz может связать подбор серверов, инженерную инфраструктуру дата-центра и дальнейшую поддержку в одном проекте, что особенно полезно на границе ответственности между IT и эксплуатацией здания. При любом составе подрядчиков владелец должен получить одну согласованную модель мощности, тепла и отказов, а не три независимых запаса на бумаге.

Решение о модернизации принимают после четырех подписанных результатов: замеров доступной мощности, тепловой концепции с режимом отказа, заключения по конструкциям и сметы по рабочему проекту. Если хотя бы одного документа нет, стойка на 40 кВт пока существует только в спецификации сервера. Включать ее в действующем зале рано.