Серверлердің қуат сенімділігі: «бір кабельді ажырату» тесті

«Бір кабельді ажырату» тесті не көрсетеді

«Бір кабельді ажырату» тесті — қарапайым тапсырма: сервер бір қуат желісін жоғалтқанда сервистер тоқтамай ма. Бұл резервтің қағаздағы схемадан гөрі шындықта қалай жұмыс істейтінін жылдам тексерудің әдісі.

Осындай тексеріс әдетте сол сәтке тура келетін мәселелерді алдын ала әшкерелейді. Мысалы, екі блок та бір PDU-ға қосылған, стойка розеткалары дұрыс белгіленбеген немесе ИБП индикаторлары көрсеткеннен нашар ұстайды. Қос қуатты серверлерде тест жүйенің екінші блокқа тыныш ауысуды және жұмысты жалғастыра алатынын көрсетеді.

Көбінесе тест үш топ қателікті көрсетеді: A/B енгізулері нақты бөлінбеген, тізбекте әлсіз буын бар (кабель, разъем, PDU, автомат, ИБП) немесе мониторинг оқиғаны тіркемейді да ескерту жібермейді.

Табыс тексерістің өзі емес, бүкіл жүйенің болжаулы әрекеті болып есептеледі. Жақсы нәтиже мынадай болады:

• қызметтер мен ОС перезагрузкасыз жұмысын жалғастырады;
• екінші БП жүктемені қабылдап, панельде және жүйеде күй дұрыс көрінеді;
• журналдарда түсінікті жазба пайда болады және ескерту жіберіледі;
• кабель қайтарылғаннан кейін схема қалыпқа келіп, жаңа қателер пайда болмайды.

Егер ажырату кезінде перезагрузка болса, дискілер жоғалса, басқару желісі үзіліп қалса немесе ескертулер «дыбыссыз» болса — бұл бақылау жағдайында орын алған инцидентке ұқсайды.

Дайындық: қауіпсіздік, техникалық терезе және кері қайтару жоспары

Тест сөз жүзінде жеңіл көрінгенімен дайындық оның қысқа тексерістен трагедияға айналмауын қамтамасыз етеді. Бастысы — пилоттық жүріс: бір сервер немесе бір стойка, жүктемесі алдын ала белгілі және тоқтау салдары минималды.

Техникалық терезені келісіңіз. Жұмысты төмен жүктемелі уақытта өткізу жақсы: кешкі уақытта, таңертеңгісін немесе алдын ала бекітілген техникалық терезеде. Мүмкін болса уақытша жүктемені азайтыңыз: ауыр тапсырмаларды көшіріп қойыңыз, резервтік көшіруді тоқтатыңыз, пакет операцияларын шектеңіз.

Алдын ала қызметкерлерге хабарлаңыз: дежурный администратор, жердегі инженер, сервистің иесі, электроқызмет, мониторинг командасы немесе SOC және қажет болса пайдаланушылар.

Кері қайтару жоспарын ойластырыңыз. Ол қысқа және стресс жағдайында орындалатын болу керек: қуатты қалпына келтіру, БП-ларды тексеру, сервер перезагрузкаға түсіп кетпегенін растау және штаттық схеманы қалпына келтіру. Егер бұл критикалық узел болса — алдын ала жедел астам көшірме немесе кластер арқылы жүктемені басқаға ауыстыру жолын дайындаңыз.

Тест басталар алдында қолыңызда бар-жоғын тексеріңіз:

• сервер мен стойкаға физикалық қолжетімділік, жеткілікті жарық;\
• A және B желілерінің түсінікті маркировкасы (немесе қайсысы қай жерде екенін дәл білу);\
• сервер басқару консольдері мен мониторинг жүйесіне қолжетімділік;\
• электр немесе ИБП бойынша тез көмек көрсететін адаммен байланыс;\
• әрекеттен кейін бақылау үшін 5–10 минут уақыт.

Ең бастысы — қауіпсіздік: ештеңені «ауыртпай» жасамаңыз, кабельді күшпен тартпаңыз, суланған қолмен жұмыс істемеңіз және тарату қорапшасына рұқсатсыз кірмеңіз. Күмән туындаса, жұмысты тоқтатып, маман шақырыңыз. Қуаттың сенімділігі батылдықтан емес, тәртіптен басталады.

Қуат резерві қалай ұйымдастырылуы керек

Резерв әдетте екі тәуелсіз желіге, шартты түрде A және B-ге негізделген. Оңай айтқанда — электр серверге екі бөлек жолмен келеді. Идеалда олар серверге дейін қиылыспау керек: түрлі автоматтар, түрлі кабельдер, түрлі розеткалар және жиі әртүрлі ИБП.

Сервердегі екі БП бір желі жоғалғанда сервердің жұмысын жалғастыруы үшін қажет. Көбінесе олар жүктемені бөлісу режимінде жұмыс істейді: әрқайсысы бір бөлігін көтереді, ал біреуі сөнсе, қалғаны жылдам 100%-ды қабылдайды.

Нағыз резерв үшін PDU-лардың бөлек болуы және тәуелсіз вводтар маңызды. Егер екі кабель бір PDU-ға, бір автоматқа немесе бір ИБП-ға шықса — бұл резерв емес, екі кабель бір нүктелік ақаулыққа шақталғаны. Жиі кездесетін проблема — A мен B тізбектерінің бір ұзарғыш немесе бір розетка арқылы «қосылып қалуы».

Жиі кездесетін схемалар:

• 2 БП және 2 желі (A → PDU-A, B → PDU-B) — дұрыс нұсқа;\
• 2 БП және 1 желі — сервер бір БП ақауын өткізеді, бірақ желінің жоғалуын өткізбейді;\
• 1 БП және 2 желі — нақты резерв жоқ;\
• 2 БП, бірақ екеуі бір PDU-ға қосылған — сырттай сенімді көрінеді, бірақ PDU немесе оның қуаты түскенде екеуі де бірге құлайды.

Қадамдық: тестті қалай қауіпсіз өткізу

Тесттің мәні — бір кабельді ажырату және сервердің екінші желіде жұмысын сақтауын тексеру. Абайсыз жасасаңыз, оң нәтижені жалған деп есептеуге немесе кенеттен өшілуге алып келуге болады.

Біріншіден, бұл шынымен екі түрлі желі ме екенін тексеріңіз. Жиі қателік — екі шнур бір PDU-ға немесе бір автоматтан тамаша қосылған екі розеткаға қосылған. Минималды тексеріс: кабельді PDU-ға дейін және одан әрі ИБП немесе щитке дейін қадағалау және A мен B қай жерде екенін белгілеу.

Ажыратар алдында бастапқы күйді тіркеңіз. Қазіргі жүктемені (CPU, дискілер, желі), БП статусын сервер панелінде, PDU және ИБП индикаторларын тексеріңіз және сыни ескертулер жоқтығына көз жеткізіңіз. Егер ауыр операция жүріп жатса (резервтік көшіру, миграция, жаңарту), тестті кейінге қалдырыңыз.

Қауіпсіз тәртіп:

• техникалық терезе мен кері қайтару жоспарын растаңыз;\
• екі БП қосулы және әртүрлі желілерге бөлінгенін тексеріңіз;\
• бір кабельді ажыратып, реакция уақытын белгілеп алыңыз;\
• перезагрузка болмағанын тексеріңіз: басқару консольдерін ашып, қызметтер мен байланыстарды тексеріңіз;\
• кабельді орнына қойып, екі БП-ның қалыпқа келгенін бақылаңыз.

Тест кезінде сервер дыбысына назар аударыңыз: вентиляторлардың қысқа үдеуі қалыпты, ал ілініп қалу, желінің жоғалуы немесе перезапуск — мәселе.

Сервер және БП‑ларда не қарау керек

Тест кезінде сервер тек қосулы қана емес, сонымен қатар қалай өткергенін түсіну маңызды. Кейде жүйе «қалада» қалады, бірақ қысқа просадка болады, бір БП қате күйге өтеді немесе ескерту режиміне түседі, оны кейін ешкім байқамайды.

Алдымен фронт панеліндегі индикаторларға және БП-ларға назар аударыңыз. Қабылданатын норма: бір кабель ажыратылғанда екінші БП «OK» күйінде жанып тұруы, ал ажыратылған жағында «fault/AC lost» (немесе кіріс қуат индикаторы сөнуі) көрінуі. Короткий дабыл және вентиляторлардың бірнеше секундтық үдеуі рұқсат етіледі.

Төмендегі белгілер күмән тудырады:

• индикаторлардың жыпылықтауы, щелчок пен байқалатын пауза, перезагрузкаға ұқсас;\
• резервтің деградациясы ұзақ жалғасса;\
• бір БП-ға толық жүктелгендегі қатты шу мен қызып кету;\
• қайта-қайта қосылуға тырысу, индикаторлар түсінің өзгеруі, авариялық режимге өту;\
• сервер жұмыс істей берсе де желі немесе дискілер секундқа жоғалуы (просадканың жанама белгісі).

Жүктемені қайта бөлуге бөлек назар аударыңыз: қалыпты жағдайда екі желіде жүктеме бөлінеді, ал бірін ажыратқанда қалғаны 100%-ды қабылдауы тиіс, дірілсіз және қызып кетпестен.

Тест хаттамасына ең азында келесі деректерді жазып алыңыз: нақты ажырату уақыты, индикаторлар мен дыбыстардың бұрынғы және кейінгі күйі, жұмыс үзілісі (тіпті секундтың үлесі), және қорытынды — сервер жұмысын жалғастырды ма. Бұл BMC және ОС оқиғаларымен сәйкестендіруге көмектеседі.

ИБП, PDU және стойка электротізбегін тексеру

Тест жиі серверден гөрі бүкіл қуат тізбегін тексеруге айналады. Схемада екі бөлек желі бейнеленсе де, шындықта екеуі бір нүктеге қосылған болуы мүмкін: бір ИБП, бір PDU немесе бір автомат.

ИБП: батареяға өту әрқашан дұрыс белгі емес

Егер бір желіні ажыратқанда ИБП батареяға өтсе, бұл ИБП-ның кіріс қуатын жоғалтқаныңызды білдіреді, яғни сіз серверге дейінгі желіні емес, ИБП-ның өз кірісін жоғалттыңыз. Әдетте осылай болады, егер екі сервер кабелі бір ИБП-дан немесе бір енгізуден қоректенсе.

Екі тәуелсіз желі үшін қалыпты көрініс: A ажыратылды, сервер B-де қалды, ал A желісіндегі ИБП желіден жұмысын жалғастырды және батарея разрядталмады. Батареяға ауысу тек алдын ала сол сценарий үшін ойластырылған кезде ғана қалыпты.

PDU және автоматтар: жүктеме «ауысып» кетпей ме

Бір желіні ажыратқанда барлық жүктеме екіншіге көшеді. Бұл сәтте PDU, кабель немесе автоматтың шамадан тыс жүктелуі оңай байқалады. Әдеттегі қате: жеке-жеке әр желі «нормада» көрінеді, бірақ ауысқаннан кейін біреуі шетке шығады.

Қарапайым тексеріс: тестке дейін әр желінің жүктемесін (ИБП дисплейі, өлшенетін PDU немесе автоматтың көрсеткіші) қараңыз. Ажыратқаннан кейін қалған желінің автоматы 10–30 секундта сработай ма тексеріңіз. Егер желі «мейлінше қарыс» болса, бұл пиковая жүктемелер мен құрылғылар іске қосылғанда қауіп төндіреді.

Фазалау және жүктеме бөлінісі: жылдам сәйкестендіру

Кіші сервер бөлмелерінде «екі желі» мен «екі розетка» арасында шатасу жиі кездеседі. Шынайы тәуелсіздіктің белгісі — A мен B әртүрлі қорек көздерінен және әртүрлі қорғаныс құрылғыларынан келеді.

Қарапайым тексеріс: кабельдердің маркировкасын салыстырып, қай PDU-ға және қай автоматқа қосылғанын анықтаңыз; бір автоматын өшіру екінші желіні де өшірмейтінін тексеріңіз. Егер бір автоматты өшіру екі желіні де өшірсе — резерв тек қағазда бар.

Журналдар мен ескертулер: не жазылуы тиіс

Мұнда маңыздысы тек сервердің сөнбеуі емес. Жүйе бір кірістің жоғалуын тіркеуі, қай БП мен қай кіріс зақымдалғанын көрсетуі және түсінікті ескерту жіберуі тиіс. Әйтпесе нақты ақау тыныш өтіп, екінші канал істен шыққаннан кейін ғана көрінеді.

Қандай жазбалар нормалды саналады

Бір кабель ажыратылғаннан кейін оқиғалар бірнеше жерде пайда болады. Идеал жағдайда көрінетін біріктірілген тізбек: кіріс жоғалады → бір каналға жұмыс істеу → қуат қайтарылғанда қалпына келу.

Күтілетін оқиғалар түрлері:

• PSU A немесе PSU B бойынша кіріс қуаты жоғалуы (AC lost, input lost);\
• резервтің күйінің өзгеруі (redundancy lost, degraded);\
• резервсіз жұмыс туралы ескерту, сервер тоқтамай жұмыс істейді;\
• кабель қайтарылғаннан кейін кірістің қалпына келуі (AC restored).

Қаралатын орындар: сервер басқару контроллері (BMC, iLO/iDRAC/IPMI), ОС оқиғалары және мониторинг жүйесі. Үшеуін салыстырып тексеру жақсы.

Логтардағы уақыт: шағын нәрсе, бірақ тергеуді қиындайды

Егер BMC, ОС және мониторингтегі уақыттар сәйкес келмесе, кейін не бірінші болғанын дәлелдеу қиын болады: қуаттың жоғалуы ма, БП қате ме, әлде перезагрузка ма. Тесті бастамас бұрын уақыт синхрондауын (NTP) тексеріңіз.

Қандай ескертулер жетуі тиіс

Ескерту қысқа және нақты болуы керек, дереу әрекет етуге мүмкіндік беруі тиіс. Минимум: сервердің атауы және орналасқан жері (сайт, стойка), қай БП немесе кіріс жоғалғаны, қазіргі резервтің жағдайы, оқиға уақыты және эскалация бағыты (дежурный ИТ және электр жауаптысы).

Егер сіз кабельді ажыраттыңыз, сервер жұмысын жалғастырды, ал мониторинг үнсіз қалса — бұл бақылаудың әлсіз екенін білдіреді. Мұндай тест бақылау тесіктерін көрсетеді.

Тесттің аяғында жиі болатын қателіктер

Ең жиі кездесетін себеп — физикалық түрде «екі кабель» бар, бірақ шындықтағы резерв жоқ.

Бірінші тұзақ — екі кабель бір көзге қосылған болуы: бір розетка, бір PDU, бір автомат немесе бір ИБП. Ажыратқанда бірден екі «тең» жол да өшеді.

Екінші қателік — екі БП орнатылған, бірақ біреуі істемейді немесе өшірілген. Себептері қарапайым: БП-дағы тумблер, бос тұрған модуль, қате кабель немесе деградация.

Үшінші — қуаттың запасы бір БП‑ға шектелген. Екі БП жұмыс істегенде жүктеме бөлінеді, бірақ бірін ажыратқанда қалғаны қорғанысқа өтуі мүмкін.

Төртінші — ИБП‑ның сезімтал параметрлері немесе жалған ауысулар, сондықтан сіз шынымен жолды емес, ИБП‑ның реакциясын тестеп қаласыз.

Бесінші — тест «көзсіз» өтіп кетуі: BMC, ОС және мониторинг хабарламаса, бір БП ақауы байқалмай қалады.

Түсініксіз нәтиже шықса не тексеру керек

Резерв қағазда болғанын көрсететін белгілер:

• екі шнур бір PDU немесе бір автомат тобына келеді;\
• бір БП қалыпты күй көрсетпейді (қате, индикатор жоқ, IPMI‑де көрінбейді);\
• жалпы қуат бір БП‑ның шегіне жақын;\
• ИБП кешігуімен батареяға өтеді немесе қысқа просадка береді;\
• қуатты мониторинг және ескертулер өшірілген, сол себепті шынымен не болғаны белгісіз.

Қысқа чек‑лист: табысты тест үшін

Сәтті тест қап-қарапайым көрінеді: сервистер жұмысын жалғастырады, ал сіз нақты A желісінің шығындалғанын және жүйенің резервке өткенін көресіз.

• Кабельдер шын мәнінде бөлінген: A бір желіге, B басқаға шығып тұрғаны трассировка мен маркировкамен расталған;\
• Тексеру нақты жүктеме жағдайында өткен: қызметтер мен ВМ жұмыс істеп тұр, «жәй ғана ойдан» перезагрузка жасалмады;\
• ИБП мен PDU‑лар күткендей әрекет еткен: ИБП себепсіз батареяға өтпейді, автоматтар секірмейді, PDU перегрузка көрсетпейді;\
• Журналдарда нақты жазба бар: уақыт пен анық сипатталған оқиға (мысалы, «AC input lost / PSU redundant state changed»);\
• Ескерту қажетті адамдарға жеткен: нақты арналарға хабар келіп, не болғаны түсінікті.

Аяқта кабельді қайтарғанда барлық жүйе бастапқы қалыпқа қателіксіз оралуы тиіс. Бір пункт орындалмаса, тестті әлі ерте деп санаңыз.

Тәжірибеден мысал: офис стойкасы немесе кіші сервер бөлмесі

Кіші компания кладоваяда тұрған бір стойканы пайдаланған: екі 1U сервер және 3 кВА ИБП. Серверлерде екі қуат блогы бар, стойкада екі PDU болғанымен, қосу «ыңғайлы түрде» жасалған — схема жоқ. Бір сервер файлдар мен 1С‑ты, екіншісі резервтік көшіру мен доменді атқаратын.

Тесті бір серверде тыныш уақытта өткізуге шешім қабылданды. Панельде екі индикатор жанып тұр, вентиляторлар тұрақты. Админ бір кабельді ажыратады және қарап тұрады: сервер перезагрузка жасамауы керек, ал қуат күйі «1 из 2» режиміне түсуі тиіс.

Кейін секундтарда серверде бір БП жайлы ескерту пайда болды, бірақ мониторингте үнсіздік. ОС журналында бір PSU жоғалғаны жазылған, BMC (IPMI/iDRAC/iLO) журналында да оқиға бар, ал ескертулер келмеген.

Тексеріп көрсе, проблема айқын болды: екі шнур бір PDU‑ға келіп тұрған, ал екінші PDU сол ИБП және сол автомат тобы арқылы қоректенген. Формальды түрде «екі шнур бар», бірақ PDU немесе автомат істен шықса — сервер толық өшеді.

Жылдам түзету әрекеттері:

• шнурларды PDU A және PDU B бойынша бөліп, белгіледік;\
• PDU‑лардың шынымен әртүрлі желілерден немесе кем дегенде әртүрлі ИБП шығысынан қуат алғанын тексердік;\
• мониторингте қуат оқиғаларына алерттер қостық және ескерту жеткізілімін сынадық;\
• тестті қайталап, әрекет пен реакция уақытын жазып алдық.

Қайталау тестінде сервер жұмысын жалғастырып, ескерту бір минут ішінде келді, ал ИБП журналында жүктеменің өзгергені жазылды. Осындай қарапайым түзетулер қуат сенімділігін едәуір арттырады, тіпті егер стойкада бірнеше машина ғана болса.

Келесі қадамдар: нәтижені бекітіп, сенімділікті сақтау

Бір реттік тест пайдалы, бірақ қуат сенімділігі әдеттерге байланысты сақталады. Сәтті тексерістен кейін нақты не ажыратылғанын, не байқалғанын және қандай түзетулер қажет екенін тіркеңіз. Келесі рет тест жылдамырақ және сенімді өтеді.

Процедураны жүйелерге енгізіңіз: критикалық стояк үшін квартал сайын, қалғандары үшін жартыжыл сайын және ИБП, PDU немесе сервер өзгерісі болған сайын өткізіңіз. Ең бастысы — тестті бір адам зейініне емес, әр ауысым белгілі сценарий бойынша жүргізе алатындай етіп рәсімдеу.

Стандарттауды ұсыныңыз:

• кабельдер мен розеткаларды (A және B) екі жақтан да белгілеу;\
• стойканың қуат схемасын рәсімдеу (қандай PDU A‑ға, қайсысы B‑ге, қай жерде вводтар);\
• хаттама шаблонын енгізу (күні, стойка, сервер, не ажыратылды, не болды, кім растады);\
• A және B кабельдері бір қатарда жүрмеуі және бір нүктелік ақаулыққа жұмыр болмауы;\
• жауапкершілік пен ескертулер арналарының анық болуы.

Егер жиі «қызыл флагтар» байқалса — бір PDU екі БП‑ны қоректендіреді, A мен B бір автоматта отыр, ИБП шамадан тыс жүктелген немесе тесттен кейін серверлердің бір бөлігі перезагрузкаға түссе — қуатты аудит және қайта разводка қажет. Көбінесе мұндай мәселелер көшу, кеңейту немесе «уақытша» қосылымдардан кейін белең алады.

Егер A/B жобалауда, екі БП бар серверлерді таңдауда, интеграцияда немесе қолдауда көмек керек болса, мәселені GSE.kz (gse.kz) арқылы жабу ыңғайлы: жабдық қана емес, пайдалану барысында тексерілетін және сенімділік қамтамасыз етілген шешім ұсынады.