Серверлік стойкадағы қоректендіру және резервтеу: A/B схемалары мен фазалық бақылау

Неліктен стойка кенеттен өшеді

Кенеттен стойка өшуі көбіне бірдей көрінеді: бір бөлігі өшеді, бір бөлігі қалады, кейін қайта жүктеу тізбегі басталады. Осы кезде дерекқорлар, виртуализация немесе файл-сервистер жұмыс істесе, салдары тек тоқтау емес, деректердің зақымдану тәуекелі.

Көбінесе себебі бір «жаман» серверде емес, бүкіл қуат тізбегінде. Бір автомат, артық жүктелген фаза, әлсіз немесе дұрыс таңдалмаған PDU, A мен B керісінше қосылған сымдар, штепсель немесе клеммадағы нашар контакт — нәтижесінде бірнеше құрылғы бірден өшеді. Сондықтан стойкадағы қоректендіру мен резервтеуді розеткалар жиынтығы емес, жүйе ретінде қарастырған дұрыс.

Аңғару белгілері көбінде алдын ала болады: автомат кейде үзіледі (әсіресе шың кезінде), бір кабель немесе PDU айтарлықтай жылығады, UPS немесе PDU логтарында перегруз жазбалары пайда болады, бір фазада ток басқаға қарағанда едәуір жоғары. «Кенеттендіктің» жиі себебі — стойкада жасалған кішкентай жұмыстар, нәтижесінде неге және қайда қосылғаны байқалмай өзгереді.

Көп нәрсені серверлік бөлменің толық қайта құрылысынсыз түзетуге болады. Мысалы, шағын стойкада барлық "маңызды" құрылғылар ыңғайлылық үшін бір PDU-ға қосылады, ал екіншісі бос тұрады. Бірінші жаңарту немесе маусымдық шыңға дейін бұл байқалмауы мүмкін.

Жылдам және қауіпсіз қадамдар:

• қоректену желілерін және розеткаларды белгілеп, критикалық құрылғыларды әртүрлі кірістерге (A/B) бөліңіз.
• автоматтар, штепсельдер мен кабельдердің номиналдарын тексеріп, күмәнді ұзартқыштардан арылыңыз.
• әр желідегі және фазадағы токты өлшеп, жүктемені қайта таратыңыз.
• UPS параметрлері мен шектері тексеріп, бір кірісті қысқа тест түрінде өшіруді өткізіңіз.
• қосылым схемасын тәртіпке келтіріп, кез келген өзгеріс тек чек-лист бойынша жасалсын деген ережені енгізіңіз.

Стойка қуаты неден тұрады — қарапайым тілмен

Қуатты тізбек ретінде елестеткен ыңғайлы: тізбектің қай да бір буында ақау жиі бірдей нәтиже береді — жабдықтың бір бөлігінің өшуі. Толық суретті көру маңызды, тек «штепсельге салып қойдық — жұмыс істейді» деп ойламаңыз.

Типтік тізбек: серверлік бөлмеге келетін кіріс (щиттан немесе кірістік автоматтан), желі автоматтары, UPS (бар болса) және оның шығыстары, стойкаға дейінгі кабель немесе магистраль және стойкадағы PDU. Одан әрі серверлердің, СХД, коммутаторлардың қуат блоктары орналасады.

Терминдерде жиі шатасу болады:

• «Линия» — щиттан стойкаға немесе UPS-ке дейінгі жеке қоректендіретін кабель/автомат.
• PDU ішіндегі «розеткалар тобы» — жалпы автоматқа, өлшеу каналына немесе ортақ басқаруға жататын розеткалар бөлігі.
• «Жеке розетка» — PDU-дегі нақты шығыс, оған бір қуат шнуры қосылған.

Линия өшсе — тұтас стойка құлауы мүмкін. Топ өшсе — сол топтағы бір бөлігі ғана өшеді. Бір розеткадағы нашар контакт бір құрылғыны ғана құлатуы мүмкін және бұл «мистикаға» ұқсайды.

Тағы бір маңызды жайт — жабдықтағы қуат блоктарының саны. Бір БП бар сервер әрқашан бір ғана тізбекке тәуелді болады. Екі БП бар серверді шартты түрде A және B түрлі желілерге қосқан дұрыс: бір желі жоғалғанда сервер өшпейді, бірақ қалған жақтың жүктемесі өседі.

Бастапқыда төрт нәрсені тіркеу пайдалы: жалпы қуат пен нақты жүктеме, қоректену түрі (1ф немесе 3ф), әрбір линия/UPS/PDU бойынша рұқсат етілген жүктеме және жауапкершілік шекарасы (щит, UPS, PDU, розеткалар). Бұларсыз «әлсіз буынды» табу қиын.

A/B резервтеуі: қалай жұмыс істейді және қай жерде үзіледі

Стойкадағы A/B схемасы — жабдыққа дейінгі екі тәуелсіз қуат жолы. Идея қарапайым: A жолы істен шықса, B жолы жұмыс істеп тұрады және критикалық құрылғылар жұмысын жалғастырады.

Идеалда тәуелсіздік мүмкіндігінше ертерек басталады: щиттағы әр түрлі автоматтар, әр түрлі розеткалар топтары, әр түрлі UPS, ал үлкен орындарда — әр түрлі кірістер. Шағын серверлік бөлмелерде жиі қолжетімді нұсқа — әр түрлі автоматтардан екі линия және стойкада екі PDU (PDU-A және PDU-B).

Егер серверде екі қуат блогы болса, базалық ереже: бір шнур A-ға, екіншісі B-ге. Бірақ бұл тек жолдарда ортақ сәтсіздік нүктелері болмаса ғана жұмыс істейді.

A/B көбінесе былайша «бұзылады»:

• Екі PDU бір UPS немесе бір автоматтан қоректенсе (шын мәнінде резерв жоқ).
• Бір жол уақытша ұзартқыш арқылы өтсе, оны оңай ажыратуға болады.
• B штепселі уақытша A-ға қосылып қала береді.
• A және B бір сүзгіде немесе кірістік разъёмде бірігеді.
• Екі БП бір кабельге Y-разветвитель арқылы қосылған.

Кейде бір БП бар жабдықтар (бастапқы деңгей СХД, мониторинг) бар бөлімдерде қиындықтар болады. Мұндай құрылғылармен тәуекел деңгейін алдын ала анықтаған дұрыс. Минимум — оларды бір таңдаулы жолға (көбінесе A) орналастырып, қосалқы блок немесе жылдам ауыстыру тәсілін даярлау. Егер тоқтау қабылданбайтын болса, сыртқы автоматты переключатель (ATS) немесе екі БП бар модельдер көмектеседі.

PDU-ны қалай таңдау керек, ол кейін өкініш тудырмау үшін

PDU — жай ғана ұзартқыш емес. Одан A/B дұрыс таратуыңызға, қызуды болдырмауыңызға және қай автоматтың сработавын тез білуіңізге байланысты.

Әдетте таңдау мақсатына қарай жүреді. Базалық PDU розеткалар үшін және сенімділік үшін жеткілікті. Өлшеу жасайтын PDU кіру бойынша ток пен қуатты көруге мүмкіндік береді, бұл қай жерде перегруз барын анықтауға көмектеседі. Шығаруын қашықтан бұғаттай алатын switching PDU қажет болса, ілініп қалған қуат блогын қайта жүктеу ыңғайлы. Басқарылатын PDU-лар мен розеткалық мониторинг қажет болса, оларды қолданған жөн.

Орнату форматы бойынша: горизонтальды (1U/2U) шағын стойкаларға ыңғайлы; вертикальды (0U) тығыз серверлік орнатуларға жақсы: юниттерді «жеп» қоймайды және кабельдерді жинақы ұстауға мүмкіндік береді.

Сатып алмас бұрын аварияға әсер ететін сипаттамаларды тексеріңіз: номиналды ток пен қуат (пик пен өсуге есеппен), кірістік вилканың түрі және жүйеңізге сәйкестік (1ф/3ф), розеткалардың саны мен түрі, қорғаныс және түсінікті индикаторлардың болуы.

Эксплуатация тұрғысынан ойлаңыз: розеткаларға ыңғайлы нумерация, критикалық пен некритикалық бөліктерді ажыратуға болатын топтар және A мен B айқын белгілері. PDU мен кабельдерді бірдей маркерлермен белгілеп қою жақсы әдет — серверді ауыстырғанда ешкім екі қуат блогын да бір жолға қоспасын.

Жүктемені тарату: болжаудан гөрі қарапайым логика

Жүктемені тарату — барлық тұтынушыларды бір желіге немесе PDU тобына жинамау. Автоматтар мен UPS «резерві бар» көрінгенімен, мәселе нақты шнур мен бір PDU тармағында жасырын болуы мүмкін. Соның кесірінен бір автомат сработап, жарты стойка құлайды.

A/B схемасында негізгі мақсат — бір жақ істен шыққанда қалғанының өз лимитін аспауы. Практикада бұл жиі 50/50-ге жақын, бірақ тура симметрия сирек: бір жақта бір БП бар құрылғылар көп болуы мүмкін, UPS айырмашылығы немесе батареяда ұзақ тұру қажеттілігі болуы мүмкін.

Есептеу тек "орташа" көрсеткішпен емес, пиктермен де жүргізіледі. Серверлер қосылғанда, жаңартуларда, резервтеуде, жоғары CPU/GPU жүктемесінде шығындар көтеріледі. Запас қалдырмау — ризик.

"Жасырын" тұтынушыларды ұмытпаңыз: желілік жабдық (коммутаторлар, маршрутизаторлар, брандмауэр), СХД және дискілік полкылар, KVM, консоль, зарядтағыштар, вентиляторлар, датчиктер, конвертерлер. Жеке-жеке олар аз тұтынса да, бірге қуат бюджетін айтарлықтай жұтып қояды.

Мысал: серверлерді A/B бойынша жақсы бөліп қойғанмен, СХД мен коммутатор әдет бойынша бір PDU-ға қосылып қалған. Дискілік белсенділік кезінде бір жақтың жүктемесі секіріп, қорғау сработап қалады. Егер СХД мүмкін болса екі кіріске бөлінсін немесе коммутатор басқа PDU-ға шығарылсын — стойка шыңдарды жұбатуға дайын болады.

Фазалар бойынша бақылау және баланс — тәжірибеде

Үшфазалық кірісте бір фазаның шамадан тыс жүктелуі себепті стойка өшіп қалуы мүмкін, ал жалпы қуат қалыпты көрінеді. Автомат пен кабель нақты фазаны қорғайды, ал «орташа по стойке» жүргізілмейді. Типтік сценарий: екі фазада запас бар, ал үшіншісі шектен асып, жылығады да автоматты түсіреді.

1ф немесе 3ф екендігін енгізу автоматтың маркіровкасынан немесе кабельден және PDU сипаттамасынан көруге болады. 3-фазалы PDU жиі L1/L2/L3 бойынша токты көрсетеді.

Баланс жасау қарапайым: ірі тұтынушыларды әртүрлі фазаларға тарату. Егер сізде A/B схемасы болса, баланс A ішінде және B ішінде бөлек жүргізілуі керек, өйткені бұл екі тәуелсіз «мини-жүйе».

Алдын ала тәртіп:

• 3–5 ең ауыр құрылғыны табыңыз (серверлер, СХД, GPU-тораптар);
• олар қандай фазаларда отырғанын тексеріңіз;
• вилкаларды ауыстырып, ауыр құрылғыларды әртүрлі фазаларға қойыңыз;
• әр қадамнан кейін өлшеу жүргізіп отырыңыз.

Қарапайым кесте жүргізіңіз: құрылғы, A немесе B, фаза (L1/L2/L3 немесе "1ф"), өлшенген қуат (Вт) немесе ток (А) типтік жүктемеде, өлшеу күні. Бұл тәртіп айқын перекостарды көрсете алады және жаңа серверлерді қауіпсіз жоспарлауға көмектеседі.

Өлшеу және мониторинг: неге үнемі назар аудару керек

Кенеттен өшулердің алдын ала белгілері жиі бар: бір желідегі токтың өсуі, фазалар арасындағы перекос, контактілердің қызуы, автоматтардың жиі сработавы. Бұл сигналдарды ерте көрсеңіз, жүктемені қайта бөлуге немесе артықты өшіруге уақыт болады.

Минималды бақылау жиынтығы (мүмкін болса өлшейтін PDU арқылы, кейбірін қолмен де өлшеуге болады): әр кіріс бойынша ток пен қуат (A және B) PDU деңгейінде, фазалар бойынша токтар (L1/L2/L3) және олардың перекосы, розеткалар тобы немесе негізгі тұтынушылар бойынша жүктеме, кернеу мен жиілік (егер PDU/UPS көрсетсе), шкафтағы және PDU/кабель кірістеріндегі температура.

Шектөрлерді екі деңгейде орнатқан ыңғайлы: ескерту — желінің/автоматтың рұқсат етілген токының 70–80% шамасы, критикалық деңгей — 90–95%. Фазалар үшін ережe: бір фаза ұзақ уақыт бойы басқалардан айтарлықтай жоғары болса, жоспар бойынша жүктемені бөліңіз.

Егер орталықтандырылған мониторинг жоқ болса, қолмен тексеру режимін енгізіңіз: шкафтағы өзгерістерден кейін (сервер қосылды, PDU ауыстырылды, қуат өзгертілді) — бірінші 1–2 айда апта сайын, кейін айына бір рет. Ток клещтары арқылы жылдам өлшеу PDU көрсеткіштерімен салыстыру арқылы инциденттердің алдын алады.

Оқиғалар журналы іздеуде сағаттарды үнемдейді. Күні, не істелгені, A/B бойынша токтар мен фазалар, қай шектер сработал, нәтиже — бәрін тіркеңіз. 24/7 маңызды ұйымдарда бұл регламенттер жауапты адамдар мен сервистік контактілермен (мысалы, GSE.kz сияқты интегратор) бірге бекітіледі.

Қадам-қадам: стойканы 1–2 күнде ретке келтіру

Жоспармен жұмыс істесеңіз, стойканың қоректенуі мен резерві демалыс күндерінде немесе екі жұмыс күні ішінде ретке келеді. Маңызды — фактылардан бастау: стойкада не бар, қайдан қоректенеді және нақты жүктеме қандай.

Күн 1: инвентаризация және өлшеулер

Әрбір құрылғыны, оның қанша қуат блогы барын (бір немесе екі) және қазір қайда қосылғанын тізімдеңіз. Бір стойкада әдетте екі БП-лі серверлер, бір БП-лі желілік құрылғылар, KVM, сақтау полкалары және шағын қуат блоктары аралас орналасады — дәл осылар жиі жүктемені шектеуге әкеледі.

Әрі қарай әрбір "аяқтың" (A және B) көзін тізбек бойынша тексеріңіз: PDU -> автомат -> UPS (бар болса) -> кіріс. Көп жағдайда A және B бір UPS немесе бір автоматқа қосылғанын көресіз, және резерв қағаз жүзінде ғана болады.

Күнді өлшеулермен аяқтаңыз: әр желідегі және фазадағы ағымдағы жүктемені (3-фазалық кіріс болса) тіркеңіз. Тексеруге тек ағымдағы мән емес, жұмыс күніндегі типтік және пиковые мәндерді де жазыңыз.

Күн 2: қайта бөлу, маркировка және тест

Енді қосылымдарды қайта бөлуге болады. Екі БП бар құрылғыларды әртүрлі PDU және әртүрлі желілерге орналастырыңыз. Бір БП бар құрылғыларды бір жағында орналастырып, сол жақты шамадан тыс жүктемеуден сақтаңыз.

• Вилкаларды ауыстырып, A және B тек стойка деңгейінде ғана емес, автомат/UPS деңгейіне дейін тәуелсіз болуын қамтамасыз етіңіз.
• Фазалар бойынша баланс жасаңыз, «бір фаза шектеуде, екісі бос» деген жағдайдан аулақ болыңыз.
• Кабельдерді және розеткаларды белгілеп шығыңыз: A немесе B, PDU нөмірі, розетка нөмірі.
• PDU/UPS-те ток бойынша шектер мен хабарландыруларды орнатыңыз.
• Жоспарлы тест өткізіңіз: бір желіні өшіріп, стойка жұмысының сақталуын тексеріңіз.

Тесттен кейін бір-беттік схема мен өзгерістер ережесін жасаңыз: кім жаңа жабдық қосады, қалай фазаны тексереді және қайда A/B қосады. Егер стойка жобамен жинақталса (мысалы, серверлер мен интеграция үшін), жеткізуші мен сервисті алдын ала келісу пайдалы болады, сонда жұмыс уақытында өшірулермен «емдемеуге» тура келмейді.

Жиі қателіктер мен тұзақтар

Көптеген кенеттен өшулер бір ғана «жаман серверден» емес, уақыт өте келе жиналған кішкентай шешімдерден туындайды.

Ең қауіпті тұзақ — "псевдо A/B". Формалды түрде серверлердің екі БП-сы бар, кабельдер әртүрлі PDU-ға қосылған, бірақ екі PDU-бір автоматқа немесе бір UPS-ке байланған. Авария кезінде резервтеу бар деп ойланса да, бәрі бірден құлап қалуы мүмкін.

Екінші проблема — ұзартқыштар, тройниктер және уақытша шешімдер. Олар қызады, нашар контакт береді және жұмыста оңай қозғалады. Егер штепсель немесе розетка қыза бастаса — бұл қарапайым нәрсе емес, ескерту.

Тағы бір көз: пусковые токтар мен қысқа шоқтар. Бір уақытта бірнеше сервер қосылғанда, жүктеме секундтар бойынша номиналдан жоғары секіруі мүмкін, автомат немесе UPS сработап қалады, тіпті "есеп бойынша" бәрі шыдауы тиіс болғанда да.

Басқа типтік жағдайлар: критикалық және некритикалық құрылғылар бір желіде араласып тұр (мысалы, сервер мен обогреватель/зарядтағыш/принтер бір топта), қызметтен кейін A мен B әкеліп ауыстырылып қалуы, бір фаза шамадан тыс жүктелгені және екі фаза өте бос, белгісіз немесе жоқ маркировка.

Интегратормен жұмыс істесеңіз, олардан тек схема ғана емес, ұқыпты маркировка және A/B тексеру актісін талап етіңіз. GSE.kz сияқты жобаларда мұндай талаптарды қабылдау актісіне қосу жиі кездеседі — кейінгі үнем уақытты береді.

Жылдам чек-лист іске қосар алдында және өзгерістерден кейін

Стойканы қосарда және кез келген өзгерістан кейін (сервер қосылды, PDU ауыстырылды, қуат өзгерді) бірдей қысқа бақылаудан өтіңіз. Ол 10–15 минут алады, бірақ жиі кездейсоқ өшулерден сақтайды.

A мен B тәуелсіздігін тексеріңіз — тек стойка деңгейінде емес, кіріс көздеріне дейін. Практикалық минимум — әртүрлі PDU, әртүрлі желілер, әртүрлі автоматтар. Егер A мен B бір автоматта немесе бір UPS-те түйіссе, резервтеу жоқ, тек екі кабель бір сәтсіздік нүктесіне келеді.

Содан кейін — жүктеме. Әр желіде запас болуы керек, «впритык» емес. Пусковые токтар, жаңартулар, тапсырма шыңдары мен UPS батареяларының деградациясы уақыт өте жүктемені арттырады.

Үшфазалы жүйеде фазалар балансы бөлек қарастырылуы керек — жалпы қуат қалыпты болса да бір фаза өтіп кетуі мүмкін. Кірістегі фазалар токын салыстырып, біркелкі жүктеме ұстаныңыз.

Тәртіптің белгісі — айқын маркировка. Бір қарағанда A және B қай жерде екенін көруге болу міндетті: кабельде, PDU-да және нақты розеткаларда (мысалы, "A-PDU1-12"). Бұл жұмыстарды жеделдетеді және ауыстыру кезінде қателерді азайтады.

Соңғысы — реакция тәртібі. Шектерді орнатыңыз (ток, қуат, температура, бір жолдың жоғалуы), жауапты тұлғаны тағайындаңыз және әрекеттер тізбегін белгілеңіз. Әйтпесе мониторинг графиктерге айналып, тоқтаулардан қорғайтын құралға жатпайды.

Мысал: ұйымдағы кіші серверлік

Типтік жағдай: офис ішіндегі бір стойка, екі PDU, сегіз сервер, бір СХД және аздап желі (коммутаторы, маршрутизатор, басқару үшін UPS). Қуат щиттен бір автомат арқылы кірген және қағазда бәрі дұрыс көрінген. Практикада шың сағаттарда (айдың жабылуы, резервттеу, жаңарту) автомат кейде үзіліп, қалпына келтіру 10–20 минутқа созылатын.

Тексеру екі себепті көрсетті. Біріншіден, көп БП-лар бір PDU-ға қосылған — монтаж кезінде ыңғайлы болғандықтан. Екіншіден, стойка бір фазада орналастырылған және шыңдағы ток шекті мәнге жақындаған, ал орташа тұтыну қауіпсіз көрінген.

Шешім: A/B схемасын нақтылау — әр екі БП бар сервердің бір шнуры PDU A-ға, екіншісі PDU B-ға өтті. СХД мен негізгі желі жабдықтары да (мүмкін болса) екі кіріске бөлінді, бір БП-лі құрылғылар A-да қалдырылып, онда запас сақталды. Клещтармен әр желі мен фазада өлшеп, нақты картинаны көрдік, паспорттық Ваттарға сенбестен. Мониторингке шектер қойып, ескерту мен критикалық деңгейлер белгіленді.

Нәтижесінде бір желі немесе PDU істен шықса, сервистер бірден құламайды. Олар жұмыс істей береді, әкімшіге кабель, PDU модулі немесе автоматпен жайлап жұмыс істеуге уақыт болады. Осылайша қоректену мен резервтеу лотереядан шығарылады.

Жұмыстан кейін үш пайдалы артефакт қалады:

• A/B және автоматтарға байланысқан біржолды схема;
• желілер мен фазалар бойынша жүктеме кестесі (не қайда қосылғаны және шыңдағы ток);
• жаңа жабдық қосу ережелері (қайда қосу, не өлшеу, қандай шектерді жаңарту).

Келесі қадамдар: нәтижені бекіту және масштабациялау

Ағымдағы күйді бекіту: стойканың фотосын түсіріп, кабельдерді белгілеп, қандай құрылғылар A және B-де отырғанын, қандай PDU тұрғанын және оларды қандай автоматтар қоректендіріп тұрғанын жазыңыз. Бұл жанжалды, бірақ осындай жазбалар кейін авария және жоспарлы жұмыстар кезінде уақыт үнемдейді.

Одан кейін қарапайым «қуат картасын» жасаңыз: әр сервер мен желілік құрылғы үшін қуат блоктарының типін, нақты тұтынуды және қай фазаға қосылғанын көрсетіңіз. Жаңарту кезінде қуат жоспарына сәйкес шешім қабылдаңыз: екі БП бар және тұтынуы прогнозделетін жабдық A/B схемасын болжаулы етеді.

Интеграторды тарту орынды, егер 3-фазалық жүйе бар болса, критикалық сервистер көп болса немесе инциденттер қайталанса. Жиі оқиға: бірнеше сервер қосылғанда бір фаза жүктеліп, стойка шыңда құлайды.

Нәтижені бекітіп, бірнеше стойкаға тарату үшін:

• стандартты схема шаблондарын енгізіңіз: A қай жерде, B қай жерде, PDU розеткалары мен автоматтардың маркировкасы;
• өзгерістер ережесін келісіңіз: кез келген жаңа құрылғы схемаға тіркеліп, қуат өлшеуі жүргізілуі тиіс;
• әр маңызды өзгерістен кейін фазалар балансын қайта қарап отырыңыз;
• критикалық жерлерде бір БП-лі құрылғыларды екі БП-лі модельдерге ауыстыруды жоспарлаңыз;
• қуат картасының, өлшеулердің және тәртіптің жауапты тұлғасын тағайындаңыз.

Егер стойканы серверлер мен СХД үшін жаңартсаңыз, кейде "бастапқыдан кілтке дейін" тәсілі ыңғайлы: үйлесімді жабдық таңдап, A/B схемасы, фазалық баланс және мониторингті алдын ала жобалау. Бұл жерде GSE.kz өндірістік және интеграциялық шешімдер ұсына алады: стоечные серверлер (S200 Series қоса) мен инфрақұрылым жобалау және 24/7 қолдау қызметтеріне дейін.