Готово ли электропитание серверной стойки к монтажу?

Розетка рядом со стойкой еще не означает, что стойку можно включать. До монтажа нужно доказать расчетом и измерениями, что вся цепь от вводного устройства до каждого rack PDU выдержит рабочую и аварийную нагрузку, правильно отключит повреждение и сохранит нужную схему резервирования.

Я не принимаю фразу электрика «там стоит 32 ампера» без однолинейной схемы, маркировки кабеля, характеристики автомата и протоколов измерений. Номинал на рукоятке ничего не говорит о сечении, длине линии, способе прокладки, петле повреждения, селективности и загрузке вышестоящего щита. Ошибка обнаруживается не при установке пустой стойки, а позже, когда серверы уже обслуживают пользователей и отключить их для переделки трудно.

Ниже описан порядок приемки для обычной серверной стойки в здании с низковольтной сетью. Конкретные сечения, аппараты защиты и уставки выбирает проектировщик по действующим в Казахстане нормам, условиям площадки и паспортам оборудования. Задача владельца серверной состоит в том, чтобы дать ему полные исходные данные и получить проверяемый результат.

Сначала считайте нагрузку, а не мощность блоков питания

Расчет начинается с перечня оборудования и реалистичного режима работы. Сумма максимальных ватт на шильдиках блоков питания обычно завышает рабочее потребление, но текущие показания пустых серверов его занижают. Для каждого устройства нужны как минимум рабочая мощность, ожидаемый пик, число вводов питания и поведение при потере одного ввода.

У сервера с двумя блоками по 1600 Вт нет автоматически нагрузки 3200 Вт. В обычном режиме блоки могут делить фактическую нагрузку, а при отказе одного второй должен принять ее целиком. Точный режим зависит от настроек и модели. Поэтому считайте нагрузку сервера по конфигуратору производителя, телеметрии сопоставимой конфигурации или измерению под характерной вычислительной нагрузкой. Номиналы блоков используйте как проверку верхней границы и совместимости разъемов, а не как единственную основу проекта.

Заведите таблицу с отдельной строкой на каждый потребитель. Не прячьте коммутаторы, KVM, консоль, системы хранения и вспомогательные устройства внутри общей строки «сеть». Такой список пригодится и при распределении по фазам, и при проверке отказа одного ввода.

В этом учебном примере рабочая активная мощность равна 4 × 650 + 1100 + 2 × 180 + 70 = 4130 Вт, а сумма пиков равна 5670 Вт. Это не готовый номинал линии. Добавьте подтвержденный резерв роста, учтите коэффициент мощности, КПД UPS, заряд батарей и другие нагрузки на том же источнике. Не складывайте произвольные запасы на каждом уровне: так легко получить дорогую систему, в которой автоматы, кабели, UPS и генератор рассчитаны по четырем разным предположениям.

Разведите в документе четыре числа: текущую нагрузку, расчетный пик, проектную нагрузку с ростом и установленную предельную мощность. Резерв роста должен отражать план закупок. Если в стойку через год добавят два ускорителя по известной спецификации, внесите их. Фраза «оставим еще 50 процентов на всякий случай» без сценария только маскирует отсутствие решения.

Eaton в пояснении «VA Versus Watts» напоминает, что ватты равны произведению вольт-ампер на коэффициент мощности. Для выбора UPS и проверки тока нельзя считать ватты и VA одним числом. Получите коэффициент мощности из паспорта или измерения во всем рабочем диапазоне. Современный серверный блок питания часто показывает высокий коэффициент, но проект не должен держаться на слове «часто».

Один ввод должен выдержать расчетный отказ

Схема A/B дает резерв только тогда, когда каждый оставшийся тракт выдерживает нагрузку после отказа другого. Если два блока питания делят 4 кВт поровну, на каждом PDU можно увидеть примерно 2 кВт. После отключения A нагрузка B приблизится к 4 кВт. Приемка только в нормальном режиме пропускает именно тот случай, ради которого покупали два ввода.

Нарисуйте путь обоих вводов до источника. Два PDU, подключенные к двум розеткам одного автомата, не образуют A/B. Два автомата на одной секции шин защищают от повреждения конечной линии, но не от отказа секции. Две секции после одного UPS сохраняют часть распределения, однако сам UPS остается общей точкой отказа. Уровень независимости задает бизнес, а схема должна честно его показывать.

Для каждого тракта ответьте на четыре вопроса:

1. Какой отказ он должен пережить: кабель, автомат, PDU, UPS, секцию щита или внешний ввод?
2. Какая нагрузка перейдет на него после отказа?
3. Не превысит ли эта нагрузка номинал любого разъема, PDU, кабеля, аппарата и источника по пути?
4. Как оператор узнает, что резерв уже потерян?

Одношнуровое устройство не становится резервированным от того, что рядом стоят два PDU. Его подключают к выбранному тракту либо через подходящий автоматический переключатель ввода, совместимый с нагрузкой и источниками. Такой переключатель тоже имеет предел по току и время переключения. Решение нужно проверить на конкретном устройстве, а не считать универсальным.

Документ Schneider Electric «Rack Powering Options for High Density» отдельно рассматривает число вводов, однофазное и трехфазное питание, автоматы, разъемы, перегрузку и потерю резервирования. Это полезная рамка: выбирать разъем или PDU отдельно от режима отказа нельзя. Я бы добавил обязательное испытание отказа, потому что аккуратная схема не доказывает, что блоки питания и мониторинг ведут себя так, как ожидалось.

Проверьте переходный режим. После возврата пропавшего ввода серверные блоки могут снова начать делить нагрузку, UPS может перейти между режимами, а автоматический переключатель выполнить обратное переключение. Запишите токи до отказа, во время работы на одном тракте и после восстановления. Если при тесте срабатывает сигнал перегрузки или один блок питания не принимает полную нагрузку, стойка не готова.

Автомат и кабель выбирают как одну защитную цепь

Номинал автомата нельзя назначать по желаемой мощности стойки. Проектировщик сначала определяет расчетный ток и характеристики нагрузки, затем проверяет допустимый ток кабеля с учетом материала, сечения, температуры, групповой прокладки, числа нагруженных жил и способа монтажа. После этого он согласует аппарат защиты с кабелем, током короткого замыкания и требуемым временем отключения.

Для однофазной нагрузки ориентировочный ток получают так:

I = P / (U × PF)

Для симметричной трехфазной нагрузки:

I = P / (√3 × Uline × PF)

Эти формулы дают рабочий ток, но не выбирают сечение. Например, они не учитывают падение напряжения, температуру в кабельном лотке, совместную прокладку нескольких нагруженных линий и допустимый ток конкретного типа кабеля. Таблица сечения без контекста опасна, поэтому универсального ответа «для стойки нужен кабель 6 мм²» не существует.

Попросите электрика выдать расчет, где видны марка кабеля, материал жил, сечение, длина, способ прокладки, поправочные коэффициенты, расчетный ток, допустимый длительный ток, падение напряжения, ожидаемый ток короткого замыкания и время отключения. Для автомата нужны номинал, характеристика расцепителя, отключающая способность и согласование с вышестоящей защитой. Если на листе есть только «автомат C32, кабель 5 × 6», это спецификация, а не обоснование.

Отключающая способность аппарата должна быть не ниже ожидаемого тока короткого замыкания в точке установки. При этом на дальнем конце линии ток повреждения может оказаться слишком мал для быстрого срабатывания выбранного расцепителя. Поэтому проверяют обе границы: аппарат должен безопасно отключить большой ток возле щита и достаточно быстро отключить повреждение возле стойки.

Селективность тоже нельзя обещать словами. При повреждении конечной линии желательно отключить ее автомат, а не ввод всего серверного помещения. Сравните времятоковые характеристики и таблицы селективности производителя для конкретных аппаратов. Простое правило «вышестоящий номинал в два раза больше» не доказывает селективность во всем диапазоне токов.

Отдельно согласуйте защиту от дифференциального тока. У IT-оборудования, фильтров и UPS есть токи утечки, а несколько устройств суммируют их. Неправильно выбранный тип или уставка УЗО могут давать ложные отключения, но это не повод самовольно убрать защиту. Проектировщик определяет, где она требуется по правилам и паспорту оборудования, какой тип совместим с формой возможного тока повреждения и как обеспечить селективность.

Не ставьте бытовой удлинитель между строительной розеткой и rack PDU. Он добавляет разъемы неизвестного состояния, ухудшает механическую фиксацию и часто становится самым слабым звеном цепи. Ввод PDU, ответная розетка, кабель и автомат должны быть одной согласованной системой с понятными номиналами и маркировкой.

Фазы распределяют по аварийному сценарию

Баланс фаз проверяют не только при штатном делении нагрузки, но и после потери одного ввода или группы оборудования. В трехфазном PDU однофазные серверные блоки распределяются между фазами. Если все тяжелые серверы случайно попали на одну фазу, среднее значение по PDU скроет перегруженную линию.

Составьте карту «розетка PDU - устройство - блок питания - фаза». У управляемого или измеряемого PDU возьмите показания по каждой фазе; при отсутствии телеметрии электрик измеряет ток подходящим прибором. Значения снимают в характерной нагрузке, а не только при загрузке операционной системы.

Пример распределения удобно проверять такой таблицей:

Цифры здесь только показывают форму протокола. Допустимость определяют номиналы вашей системы и расчет проектировщика. Добивайтесь разумного баланса перестановкой подключений, но не переносите один из двух блоков одного сервера так, чтобы оба в итоге зависели от одной фазы, одного автомата или одной группы розеток.

Нейтраль нельзя считать ненагруженной по школьной картинке трех одинаковых резисторов. Импульсные источники питания создают гармонические токи, и гармоники, кратные трем, могут складываться в нейтрали вместо взаимного погашения. Проектировщик учитывает состав нагрузки и выбирает нейтральный проводник и аппаратуру соответствующим образом. При приемке полезно измерить ток нейтрали в типовой и высокой нагрузке, особенно если в помещении много однофазных IT-потребителей.

Eaton описывает PDU с чередованием фаз по розеткам как способ упростить балансировку. Механизм полезен, но маркировка розеток не заменяет карту подключений: монтажник легко подключит несколько мощных узлов подряд, не понимая шаблон. Зафиксируйте фазу каждой розетки в исполнительной документации и на самой стойке понятной маркировкой.

После ввода стойки сохраните базовые измерения. Рост тока на одной фазе через несколько месяцев часто объясняется новой установкой, которую никто не внес в таблицу. Порог предупреждения в мониторинге ставят ниже точки отключения и связывают с процедурой реакции. Сигнал, который месяцами игнорируют, не защищает резерв.

Заземление проверяют прибором и осмотром

Стойка должна иметь надежную связь с защитной системой здания, а приемка должна подтвердить непрерывность защитных проводников. Провод, который визуально уходит под фальшпол, ничего не доказывает. Электрик идентифицирует точку присоединения, проверяет соединения и измеряет цепь установленным методом.

Правила устройства электроустановок Республики Казахстан требуют автоматического отключения питания при косвенном прикосновении для сетей до 1 кВ с глухозаземленной нейтралью, присоединения открытых проводящих частей к защитной системе и уравнивания потенциалов. Правила технической эксплуатации электроустановок потребителей также говорят, что каждая подлежащая заземлению часть присоединяется отдельным проводником. Это важное ограничение: нельзя последовательно соединить несколько стоек тонкой перемычкой и считать, что первая точка решает все.

Проверьте следующие соединения:

• защитный контакт каждого питающего разъема с PE проводником линии;
• корпус rack PDU согласно инструкции изготовителя;
• основную раму стойки и двери или съемные панели, если этого требует конструкция;
• металлические кабельные лотки и другие проводящие части по проекту;
• шину уравнивания потенциалов и ее связь с системой здания.

Краска, анодирование, грязь и слабая шайба ухудшают контакт. Для заводских точек заземления применяют предусмотренный крепеж, наконечники и момент затяжки. Самодельно снимать краску в случайном месте корпуса не следует: можно повредить защитное покрытие и все равно не получить стабильное соединение.

Не устраивайте отдельную «чистую землю» для серверов без проекта. Изолированный заземлитель рядом с общей системой может создать опасную разность потенциалов при повреждении или грозе. Если оборудование требует функционального заземления для помех, проектировщик согласует его с защитным заземлением и системой уравнивания потенциалов.

Одно измерение сопротивления заземлителя не отвечает на вопрос о безопасности конечной линии. Нужны данные, соответствующие принятой системе: непрерывность PE, параметры петли повреждения или иной расчет автоматического отключения, работа защитных аппаратов и состояние уравнивания потенциалов. Требуемый набор определяет электрик по схеме сети.

IEC 60364-6:2016 требует начальной проверки новой установки, а также дополнений и изменений, через осмотр, испытания и отчет. Мне нравится именно эта логика: сначала убеждаются, что монтаж соответствует проекту, затем измеряют. Прибор не обнаружит неправильную идею схемы, а осмотр не подтвердит время отключения.

Ввод начинается далеко от стойки

Конечная линия может быть выполнена безупречно, а серверная все равно останется без питания из-за перегруженного этажного щита, малого UPS или общей точки отказа выше по цепи. Перед монтажом проследите ввод до согласованной границы ответственности и проверьте свободную мощность каждого элемента.

Однолинейная схема должна показать трансформатор или ввод здания, главный и промежуточные щиты, секции шин, аппараты, байпас, UPS, генератор, автоматический ввод резерва, конечные линии и PDU. Для каждого элемента запишите номинал и существующую нагрузку. Если часть инфраструктуры принадлежит арендодателю, запросите подтверждение выделенной мощности и точку, где начинается ответственность вашей организации.

UPS выбирают одновременно по ваттам и VA. Проверяют выходную мощность, коэффициент мощности нагрузки, допустимую перегрузку, время автономии при расчетном сценарии, зарядный ток после разряда, байпас и ограничения изготовителя. Паспортные «10 кВА» без значения доступных киловатт и режима работы не закрывают расчет.

Генератор и UPS должны быть совместимы по динамике, диапазону частоты, гармоникам и переходным процессам. Проверка запуска генератора без нагрузки доказывает только то, что двигатель запускается. Нужен согласованный тест с переводом реальной или эквивалентной нагрузки, наблюдением за UPS и возвратом на сеть. Такой тест планируют специалисты, потому что он затрагивает действующие системы.

Устройства защиты от импульсных перенапряжений выбирают и координируют в составе проекта, с короткими соединениями и правильной защитой. Купленный отдельно модуль в конечном щите не исправит отсутствие общей концепции молниезащиты и защиты от перенапряжений. Спросите у проектировщика, какие ступени установлены выше и как конечная ступень согласована с ними.

Проверьте также охлаждение. Практически вся активная мощность IT-нагрузки превращается в тепло в помещении, а потери UPS и распределения добавляются отдельно в зависимости от их расположения. Электрический резерв без соответствующей холодопроизводительности позволяет установить серверы, которые затем будут снижать производительность или отключаться по температуре.

Для проектов с серверами S200 Series и другой инфраструктурой GSE может связать спецификацию оборудования с системной интеграцией и инфраструктурой дата-центра. Но владелец площадки все равно должен принять электрическую часть по расчетам, схеме и протоколам, а не по совпадению названий в коммерческом предложении.

Измерения выполняют до подключения серверов

До установки дорогого оборудования электрик завершает начальную проверку линии, оформляет результаты и устраняет несоответствия. Состав испытаний зависит от системы заземления, схемы и местных требований, но фраза «на розетке есть 230 вольт» не является приемкой.

В программу обычно входят осмотр монтажа и маркировки, проверка непрерывности защитных проводников, сопротивления изоляции, полярности, чередования фаз, параметров петли повреждения, работы устройств автоматического отключения и функциональные испытания переключений. Где установлены УЗО, проверяют их подходящим прибором. Измеряют напряжение без нагрузки и под согласованной нагрузкой, токи фаз и нейтрали, а также фиксируют настройки аппаратов.

Работы внутри щита и измерения в действующей установке выполняет квалифицированный персонал с подходящими средствами защиты и измерительными приборами. Системному администратору не нужно держать щупы на шинах. Его работа состоит в том, чтобы задать сценарии, сверить идентификаторы линий и получить понятный протокол.

Испытательная нагрузка должна отражать проектный режим. Пустой PDU потребляет почти ничего, поэтому не выявит нагрев плохого соединения и заметное падение напряжения. Электрик подбирает безопасную нагрузку и длительность теста. После стабилизации он проверяет ток, напряжение, соединения и отсутствие ненормального нагрева методом, предусмотренным программой работ.

Проведите функциональную приемку по воспроизводимой последовательности:

1. Зафиксируйте напряжения и токи A и B при нормальной работе испытательной нагрузки.
2. Отключите тракт A штатным аппаратом по утвержденной программе и подтвердите питание всех предусмотренных потребителей через B.
3. Запишите токи по фазам, напряжение, сигналы UPS, PDU и серверных блоков питания или эквивалента.
4. Восстановите A, дождитесь устойчивого режима и повторите действия для потери B.
5. Если проект включает UPS, байпас, генератор или автоматический ввод резерва, отдельно испытайте разрешенные переходы и сохраните журнал событий.

Не имитируйте отказ выдергиванием вилки под нагрузкой, если разъем и инструкция не разрешают такое отключение. Используйте штатный коммутационный аппарат и согласованную процедуру. Заранее определите критерий успеха: какие устройства не должны перезагрузиться, какое время допускается, какие сигналы обязаны появиться и какие токи считаются приемлемыми.

Сохраните не только итог «годно», но и фактические значения, модель прибора, дату, идентификатор линии и условия теста. Через год эти данные позволят отличить нормальное изменение нагрузки от ухудшения соединения или самовольной переделки.

Документы должны совпадать с маркировкой на месте

Стойку принимают по комплекту, в котором любой аппарат и кабель можно однозначно сопоставить со схемой и протоколом. Если на автомате написано «Server 1», на розетке «R-07», а в схеме «ЩР-2 группа 14», поиск нужного отключения во время аварии превратится в эксперимент.

Попросите передать однолинейную схему в фактическом исполнении, кабельный журнал, план трасс, спецификацию аппаратов и разъемов, расчеты нагрузок и токов короткого замыкания, протоколы измерений, настройки UPS и защит, инструкции переключений и ведомость замечаний с отметками об устранении. Для арендованной площадки приложите письмо о выделенной мощности и границе ответственности.

Маркировка должна быть одинаковой на обоих концах кабеля, на автомате, розетке, PDU и в документах. Для A и B используйте устойчивое цветовое или буквенное различие, но не полагайтесь только на цвет: человек с нарушением цветового зрения и фотография при плохом освещении должны сохранять смысл.

Проверьте версии документов. Проектная схема до монтажа не заменяет исполнительную схему после переноса линии на другой автомат. Ручная правка карандашом допустима на рабочей копии во время монтажа, но к приемке изменения должны попасть в контролируемую версию с датой и ответственным лицом.

У каждой уставки должен быть владелец. Если автомат, UPS или PDU допускает настройку порогов, зафиксируйте значение, основание и права на изменение. Заводской пароль или неизвестная учетная запись подрядчика после сдачи создает эксплуатационную проблему, даже когда силовая часть собрана правильно.

Сфотографируйте щит и точки подключения после завершения работ, пока маркировка читается и доступ не закрыт другими кабелями. Фотографии помогают при обслуживании, но не заменяют протокол и схему. В них нет расчетного тока, длины скрытого кабеля и результата измерения петли.

Приемка заканчивается контролируемым включением

Разрешение на монтаж дают только после закрытия расчетов, осмотра, измерений, испытания отказов и документации. Удобно вести один лист допуска со ссылками на доказательства, а не десять независимых переписок, где каждый считает, что проверил кто-то другой.

Минимальный лист допуска должен отвечать «да» на следующие вопросы:

• перечень оборудования, рабочая мощность, пики и рост согласованы;
• каждый тракт выдерживает предусмотренную нагрузку после отказа другого;
• кабели, автоматы, разъемы, PDU, UPS и вышестоящий ввод согласованы;
• фазы распределены, а ток нейтрали проверен в нужных режимах;
• защитные проводники и автоматическое отключение подтверждены измерениями.

К листу приложите номера протоколов, схему и открытые замечания. Замечание «добавить бирку позже» не равно замечанию «не подтверждена непрерывность PE»: первое можно оценить как организационный долг, второе блокирует безопасное включение. Право принять остаточный риск должно быть определено заранее, а электротехнический подрядчик не должен единолично принимать бизнес-риск простоя.

Первое включение выполняйте по плану. Подключайте оборудование группами, следите за токами фаз и обоих трактов, сверяйте показания с расчетом. После выхода на рабочую нагрузку повторите снимок параметров и сохраните его как базовую точку. Если факт заметно расходится с расчетом, остановитесь и найдите причину до заполнения стойки.

Заранее назначьте повторную проверку после изменения конфигурации. Новый сервер, ускоритель, PDU или перенос вилки между розетками меняет исходные данные. Для крупных изменений нужна инженерная проверка; для мелких должна работать процедура учета мощности и фаз. Стойка перестает соответствовать принятому проекту в тот момент, когда команда меняет нагрузку без записи.

Хорошая приемка оставляет после себя не обещание электрика, а цепочку доказательств: расчет объясняет выбор, схема показывает путь, маркировка связывает бумагу с оборудованием, измерения подтверждают защиту, а испытание отказа проверяет эксплуатационный сценарий. Пока хотя бы одно звено отсутствует, монтаж серверов стоит отложить.