Шкафтағы ыстық нүктелер: 1–2 күнде артық қызуды жою

Шкафтағы ыстық нүкте деген не және неліктен қауіпті

Шкафтағы ыстық нүкте — бұл бір шкафтағы (көбіне нақты 1–3U немесе бет деңгейіндегі/төменгі бөліктегі) шағын аймақ, онда серверге түсетін ауа температурасы айтарлықтай жоғары болады. Қасындағы құрылғылар қалыпты болып қалуы мүмкін, ал бір деңгейдегі құрылғылар тұрақты түрде жоғары көрсеткіштер көрсетеді.

Көбіне мәселе «ЦОД салқындатпайды» дегенде емес, шкаф ішіндегі ауа сіз ойлағандай қозғалтылмайды. Суық ауа қажет жерге жетпейді, ал ыстық ауа қайтадан сервердің забырына оралады. Бұл — рециркуляция: сервер ыстық ауаны шығарады және сол ауа қайтадан сорылады.

Ыстық нүктелер цифрлардан ғана қорқынышты емес. Артық қызу өнімділіктің төмендеуімен (CPU/GPU троттлинг), жауап уақыттарының ұзаруымен, дискілер мен контроллерлердегі қателердің көбеюімен, вентиляторлардың жоғары айналуынан шу мен тозумен, қайта жүктелулер мен апатты өшірулермен көрінеді. Тіпті «бәрі жұмыс істеп тұрса» да, компоненттердің үнемі жоғары температурада жұмысы олардың қызмет ету мерзімін қысқартуы мүмкін.

Көбіне ыстық аймақтар қарапайым себептерден пайда болады: бос U-лардың қақпағы жоқ болуы, кабельдер арқылы ауа қабылдаудың бітелуі, ағындардың теріске бағытталуы (мысалы, бүйірге шығарылатын ауа тығыз орналасқан шкафта), есіктердегі және бүйір қақпақтардағы саңылаулар және басқа «қысқа жолдар».

Кейде бір ғана өзгеріс жеткілікті: серверді қуаттылығы жоғары модельге ауыстырған немесе қосымша блок питания орнатқан кезде, кабельдерді қайта бөлу кезінде ішкі аэродинамика өзгереді және ыстық «қалта» пайда болады. Сондықтан ыстық нүктелер жиі кенеттен білінеді: «кеше бәрі қалыпты еді, бүгін ыстық».

Жедел белгілер: локальды қызуды қалай анықтауға болады

Локальды қызу көбіне «жазық арал» тәрізді көрінеді, яғни залдағы жалпы температураның өсуінен гөрі бір-екі U немесе бір деңгейдегі құрылғылар зардап шегеді.

Бастау үшін логтар мен мониторингке назар аударыңыз. Тек "температура жоғары" деп емес, өзгерістер динамикасын салыстыру пайдалы: соңғы сағаттар немесе күндерде не өзгерді.

Логтар мен датчиктер не айтады

Тіпті белгілі сигналдар:

• Жүктеме өзгермей тұрғанда кейбір серверлерде вентиляторлар айналымы кенет өседі.
• Бір зонадағы бірнеше құрылғыда inlet температурасының секірісі байқалады.
• Сол топтағы inlet/outlet айырмасы басқа жерде есептелгеннен өзгеше үлкен.
• Логтарда троттлинг немесе thermal event ескертулері пайда болады.
• Бір немесе бірнеше түйінде диск қатесі көбейеді.

Егер CPU әдеттегі деңгейде болса, бірақ inlet пен вентиляторлар өсіп жатса, көп жағдайда мәселе ауыр қосымшада емес, сол нүктеге ауа жеткізудің нашарлығында.

Орында жүргізілетін тез тексеріс

Кейде орындық тексеріс те көмектеседі. Мысалы, шкафтын есігі немесе бүйір қақпағы тек белгілі бір деңгейде ғана қатты жылы болуы мүмкін (мысалы, 18–26U). Шуды барлық жерден емес, тек 1–2 сервер ғана шығарып тұрған сияқты естілуі мүмкін.

Қосымшалардан байқалатын әсер: жауап уақыттарында шапшаңдық пайда болуы, фондық тапсырмалардың баяулауы, қысқа үзілістер — алайда желі мен диск жалпы қалыпты көрінуі мүмкін. Мысалы, жұмыс күні соңында есептер екі есе ұзақ есептеледі, бірақ 20 минуттан кейін жиілік төмендеп, бәрі қалыпқа келеді.

Локальды мәселені залдағы жалпы салқындату проблемасынан ажырату үшін көрші шкафтар мен биіктіктегі деңгейлерді салыстырыңыз. Егер залда жалпы ыстық болса, көбінесе көптеген шкафтарда жоғары бөліктерде температура өседі. Ал егер бір шкафта немесе бір U диапазоны «жанса», ал көршілер қалыпты болса, себебі әдетте ішкі орналасуда.

Сағаттық дайындық: өлшеулер мен қайта орналастыруға дейін не керек

1–2 күнде мәселені шешу үшін ерлік емес, мұқият дайындық маңызды. Бір сағат ішінде минималды деректер жинап, қауіпсіз жұмыс уақыты туралы келісе аласыз.

Әрбір обходқа пайдалы құралдар:

• ИК-термометр (немесе термопаралы датчик)
• Фонарик
• Кабельге арналған стяжкалар
• Маркер және маляр таспасы жазбалар үшін
• Қарастырмалар үшін дәптер немесе телефондағы шаблон

Одан кейін эксплуатациядан сұраңыз: алдына берілу температурасын (егер белгілі болса), бөлмедегі режимдерді және қатарлардың схемасын. Егер кондиционер параметрлері немесе жөндеу жұмыстары жақында өзгертілген болса, бұл ақпарат маңызды.

Өлшеулерге дейін 1–2 сағаттық терезені келісіңіз, онда серверлерді абайлап шығарып немесе кейбір түйіндерді қысқа тоқтату мүмкін болады. Біреуді жауапты етіп тағайындап, қандай сервистерді қозғауға болмайтынын анықтаңыз.

Қауіпсіздік қағидаларын сақтаңыз: PDU қуатын, жабдықтың салмағын, салазканың бар-жоғын және уақытша қою орындарын тексеріңіз. Бір уақытта бірнеше ауыр серверді тартпаңыз — шкаф алға қарай қисайып қалуы мүмкін. Қайда не алынғанын және қай портына қайсы қайта орнатылатынын жазып отырыңыз.

Мәселелі U-ларды қалай табу: шкафтағы обход

Алдымен дәл қай U-де температура «шарықтап» жатқанын анықтау керек. Бір шкаф бойынша обход әдетте 20–40 минут алады егер жүйелі жұмыс жасасаңыз.

Бастамас бұрын бір режимді таңдаңыз: алдыңғы және артқы есіктерді не барлығы жабық, не барлығы ашық күйде қалдырыңыз. Әйтпесе ауа ағымдарын өзіңіз бұзып, әр түрлі өлшемдер аласыз.

Шкаф бойынша бес тексеріс

1. Алдыңғы жағынан U-лар бойынша inlet температурасын өлшеңіз, жоғарынан төменге дейін. Датчикті ауа қабылдау аймағында (әдетте құрылғының алдыңғы панелінің ортасы) ұстаңыз, есік пен бүйір қақпағында емес.
2. Артқы жағынан шығатын ауаны тексеріңіз. Ыстық ауа артқы есікке жабысып қалған жерлерді, саңылаулар арқылы алға қайта өтетін жолдарды іздеңіз.
3. Бүйірден немесе төменнен ауа тартатын құрылғыларды белгілеңіз — олар көбіне көршілерді қыздырады.
4. Көрші U-лармен салыстырыңыз. Егер бір U көршілеріне қарағанда 3–6°C жоғары болса, бұл жиі локальды себепті көрсетеді.
5. Өздеріңіз өлшеген мәндерді сервердің өз датчиктерімен салыстырыңыз. Егер сервер inlet жоғары көрсетсе, ал сіздің фронттағы өлшеміңіз қалыпты болса, сіз дәл жерді өлшемеген боларсыз немесе ауа айналымы басқа бағыттан келеді.

Себебін тез анықтау

Егер фронт өзгермелі, ал артқы жағы бірізді жылы болса, жиі себеп — бос U-лар, есік немесе кабель аймағындағы саңылаулар арқылы рециркуляция. Егер артқы жағында локальды ыстық болса, артқы шықтан ауа бөлініп жатқан нүктені іздеңіз: кабельдердің «кілемі», қаптамасыз тығыз сервер немесе бағыттағыштың дұрыс орнатылмауы.

Мысалы: шкафта ортада тұрған екі 1U сервер inlet мәні көрші U-лардан 7°C жоғары көрсетті. Артқы жағында олардан шыққан кабельдер шығуды жауып тұрғандықтан, ыстық ауа бүйірге тарап, алға қайта тартылып тұрған. Көбіне кабельдерді орналастыру және аздаған қайта орналастыру мәселені шешеді.

Шкаф картасы: нәтижелерді қалай жазып қалдыру керек

Өлшеулерден кейін ең құндысы — жеке сандар емес, шешім қабылдауға көмектесетін түсінікті карта. Қарапайым схема жасаңыз: 42 жол (U бойынша) және бірнеше баған. Белгілеңіз, қай құрылғы қай U-де, ауа қайдан түсіп, қайда шығатынын. Бүйірден ауа алатын құрылғыларды бөлек көрсетіңіз.

Мінімум жазылатындар

• U немесе U диапазоны (мысалы, 18–20U)
• Құрылғы (модель немесе қысқаша атауы) және қызметі (сервер, коммутатор, UPS)
• Шамамен қуат тұтыну немесе жүктеме (груб шкаламен)
• Кіріс және шығыс температуралары (сол әдіспен өлшенген)
• Ескертпелер: кабельдер, саңылаулар, бос U, бүйір қақпақтары, алынған панельдер

Бірінші обходтан кейін ондыққа дейін дәлдікпен таласпайтын болыңыз. Маңыздысы — қай жерде мәндер айтарлықтай асатынын және биіктік бойынша профильдің қай жерде «сынып» жатқанын көру.

Жылдам жеңістерді белгілеу

Шкафтағы оңай түзетілетін элементтерді бөлек көрсетіңіз: бос U-лар (blanking panels), бүйірдегі саңылаулар, фронттағы кабельдердің ілмектері, артқы есіктің тығыз жабылмауы. Қызыл сызықпен мәселелі U-ларды белгілеңіз.

Ескерту критерийін өз саясаттарыңызға сай қойыңыз: inlet температура лимиті немесе авариялық шектен қанша дәрежеден төмен екендігін белгілеңіз. Негізгі міндет — өзгерістерден кейін қайта өлшеуге жарамды бірдей критерий болуы.

Шкафты қайта орналастырмай-ақ қолдануға болатын 5 әдіс

Барлық жағдайда кондиционерді қайта баптауға асықпаңыз. Көбіне бір күнде орындалатын бірнеше қарапайым қадам жеткілікті.

1) Ең ыстық узелді ауа жақсы келетін жерге қою

Адатта жақсырақ ауа ағыны шкафта төменгі бөліктерге келеді. Егер сол жерлерде температура төменірек болса, ең қуаттаны сол жаққа орнатыңыз. Алдымен сол шкафта бос U-тарды пайдаланыңыз.

2) Қуатты құрылғыларды биіктік бойынша таратыңыз

Бір үстіне бірнеше ыстық серверлерді бірден жинамаңыз. Мүмкіндігінше олардың арасына 1U бос орын қалдырыңыз немесе аз қуатты құрылғылар орналастырыңыз.

3) Ішкі рециркуляцияны жойыңыз

Ыстық ауа кейде саңылаулар арқылы қайта алға келеді. Бос U-ларды жабыңыз, кабельді енгізудің щеткаларын тексеріңіз, есіктердің тығыз жабылуын қамтамасыз етіңіз.

4) Ауыр және жеңіл құрылғыларды ауыстырыңыз

Егер ортада қуатты сервер тұрса, оның айналасына салқын құрылғыларды орналастырыңыз: коммутатор, KVM немесе кіші серверлерді жоғары/төмен жылжытып, 2–3 U буфер қалдырыңыз.

5) Ағынға кедергі келтіретіндерді алып тастаңыз

Салынатын сөрелер, терең бағыттағыштар және келеңсіз кабель орналасуы ауаның өтуін бөліп қоюы мүмкін. Ауыр жабдықты төменге қойып, аксессуарлардың желдеткіштер алдында «қабырға» болмайтынын қадағалаңыз.

Әр өзгерістен кейін 15–30 минут күтіп, сол U-ларда қайта өлшеу жасаңыз — қай өзгеріс көмектескенін осылай тез көруге болады.

Шкафтағы ауа: қақпақтар, кабельдер, есіктер және қысқа жолдар

Тіпті залдағы салқындату қалыпты болса да, ішкі ағындардың қате орналасуы ыстық нүктелер тудырады. Суық ағын кейбір серверлерге жетпей, ыстық ауа қайтадан бегеда қабылдауға оралады.

Қақпақтар мен бос U-лар: нәтиже бірнеше минутте

Бос U-лар — жай ғана «тесіктер» емес. Олардың арқылы арттан шыққан ыстық ауа алға өтіп, көрші құрылғылардың заборына араласады. Бұл әсіресе орташа және жоғарғы бөліктер үшін қауіпті.

Тексеру: проблемалы бос орындарды қақпақтармен жауып, 10–20 минуттан кейін inlet өзгерісін салыстырыңыз. Көп жағдайда температура 2–5°C төмендейді.

Кабельдер, есіктер және щеткалар: қысқа жолдардың пайда болуы

Кабель менеджментіндегі ең жиі қате — пучкалардың фронттық заборды немесе артқы выхуды жабуы, немесе «перде» жасап, тігінен қозғалысты бөгеп қоюы. Екінші проблема — саңылаулар: есіктің тығыз жабылмауы, кабель вводтарындағы щеткалардың жоқтығы, бүйір қақпақтардың ашық қалуы. Осы жерлерден ауа айналып, шкаф өз ыстық ауасымен «тамақтануы» мүмкін.

Тез тексеріс, тоқтатусыз:

• Алдыңғы және артқы есіктер толық жабылғанын тексеріңіз.
• 15 минут бойы үлкен кабель ілмектерін алып тастаңыз.
• Үлкен саңылауларды щеткалармен немесе уақытша тығындармен жабыңыз.
• Проблемалық серверлердің жанындағы бос U-ларға 2–3 қақпақ қойыңыз.
• Inlet температура мен вентилятор жылдамдығын до және кейін салыстырыңыз.

Бүйірден ауа алу және көршілер

Бүйірінен ауа тартатын құрылғылар (кейбір желілік жабдықтар, СХД) көрші құрылғыларды қыздыра алады. Оларға бүйірге орын қалдырыңыз, орталыққа емес, шетке қойыңыз немесе көрші ретінде температураға төзімдіірек жабдық орналастырыңыз.

Егер 1–2 күн ішінде температураны тұрақтандыру керек болса, алдымен қысқа жолдарды жойыңыз. Содан кейін қайта орналастыру тезірек өтеді, себебі негізгі рециркуляция себептері жойылған болады.

Ыстық нүктелердің қайта пайда болуына әкелетін жиі қателіктер

Ең жағымсызсы — сіз бір рет «жөндедіңіз», бірақ аптадан соң тағы да қызу пайда болды. Көп жағдайда бұл бір үлкен қателік емес, бірнеше кіші нәрселердің жиынтығы.

Бірінші қате — құрылғыны қайта орналастырып, сол әдіспен қайта өлшеуді ұмытқандық. Егер сіз белгілі бір U-де өлшеген болсаңыз, кейін де дәл сол жерден өлшеңіз.

Екінші қате — бос U-ларды толық жаппау. Бір-екі саңылау ыстық узелдің жанында ауа араласуына жеткілікті.

Үшінші қате — артқы жағымен жұмыс істемеу. Бағыттағыштар, кабель пучектері, блок питания және ашық артқы есік ыстық ауаның шығуына кедергі келтіруі мүмкін.

Вентилятор немесе салқындату баптаулары арқылы мәселені тек «жасырған» жағдайда бұл нашар шешім: бұл шу мен энергия шығынын арттырып, көрші шкафтарда жағдайды нашарлатып жіберуі мүмкін.

Пики туралы бөлек: тыныш уақытта тексерсеңіз, әдемі профиль аласыз, бірақ пиковые нагрузкалар кезінде бәрі өзгеруі мүмкін.

Күдік туғызбайтын бақылау тізімі:

• Өлшеулерді до және кейін дәл сол U мен нүктелерден қайталаңыз.
• Бос U-ларды, әсіресе ең ыстық серверлер жанындағысын, толығымен жабыңыз.
• Кабельдер мен аксессуарлардың артқы шығуды бітемейтінін қадағалаңыз.
• Жүктемелік сағаттарда да жағдайды тексеріңіз.

Мысал: сіз 2 серверді биіктік бойынша таратып, қақпақтар қойдыңыз — күндіз бәрі жақсы болды, бірақ түнгі бэкап кезінде inlet қайта өсті. Бұл жақсарту бар екенін, бірақ ауа запасымен және қуатпен әлі резерв аз екенін көрсетеді.

1–2 күнге арналған чеклист: не істеу және жақсарғанын қалай анықтауға болады

Тез әрі жүйелі жұмыс маңызды — солайша «жақсарды ма» деген дау болмайды: сандар және нақты U-лар көрсетіледі.

Алдымен базаны тіркеңіз: шкафтың алдыңғы және артқы фотосуреттері (бос U және кабельдерді көрсету үшін), U бойынша схема, кіріс/шығыс температуралар және сервер датчиктері (жоғарғы, ортаңғы, төменгі).

1-күн: жылдам түзетулер және алғашқы қайта орналастыру

Сағат ішінде әсер ететін ең жиі шаралар:

• Проблемалы аймақтардағы бос U-ларды қақпақтармен жабыңыз.
• Кабельдерді ретке келтіріңіз: перфорацияларды жауып тастаудан сақтаңыз, выхуды бітейтін ілмектерді алыңыз.
• Саңылаулар мен өтпелерді тексеріңіз: бүйір қақпақтар, щеткалар, есіктердің тығыздығы.
• Ең ыстық құрылғыларды биіктік бойынша таратыңыз.
• Алдыңғы жағын ештеңе жабатындай етпеңіз.

Кешке дәл сол нүктелер бойынша қайта өлшеулер жасаңыз және схемаға қандай U-лар салқындағанын белгілеңіз.

2-күн: нүктелі баптау және жүктеме астында тексеру

Қалған пиктері бар 1–2 U-ға оралыңыз. Бір ретте бір ғана түзету жасаңыз (мысалы, құрылғыны 2–4U жылжыту немесе қақпақ қосу) және қайта өлшеңіз. Әдеттегі жүктемеде, не бос режимде емес, тексеріңіз.

Жақсарғанының анық белгілері:

• U бойынша температураның дисперсиясы азайды, көрші деңгейлер арасында өткір секірістер жоқ.
• Артқы жағында локальды пиктер жоқ.
• Вентиляторлар тұрақтырақ жұмыс істеп, сирек жоғары айналымға шығады.
• Температуралар минимум 1–2 сағат тұрақты болып тұрады.

Егер екі күннен кейін де пиктер бар болса, себебі сыртта болуы мүмкін (суық ауа жеткізілуін теңестірмеу, қатар балансы). Бұл кезде интегратор шақыру қисынды болады — олар ауа жолын толық көріп, қуат пен салқындатуды бағалайды.

Мысал: 2 күнде шкафтағы температураны тұрақтандыру

Шындық: 42U шкаф. Ортада тығыз орналасқан алты 1U сервер болды. Логтар мен тез өлшеулер бір нақты U-дың жүктеме кезінде «жанып жатқанын» көрсетті, ал көршілері қалыпты еді.

Обход екі себепті көрсетті: тығыз блоктың айналасында бос U-лар ашық тұрған және артта кабельдер выхуды жауып, ыстық ауа бүйірлерге таралып, алға қайта тартылған.

Жұмыс екі қысқа терезеде жүргізілді.

1-күн: ауа жолдарын жабу

Бос U-ларды қақпақтармен жаптық, кабельдерді қайта орналастырдық (силовые және желілік кабельдерді бөліп, стяжкалармен тартып, выхуды бітемеу үшін орналастырдық), есіктер мен кабель вводтарының тығыздығын тексердік.

2-күн: жүктемені биіктік бойынша тарату

Екі ең ыстық серверді біреуін жоғарыға, біреуін төменге жылжыттық. Олардың арасына буферлік U қалдырдық.

Нәтиже: дәл сол нүктелерден қайта өлшеу профильді біркелкі еткенін және локальды пик жоғалғанын көрсетті. Inlet/outlet айырмасы болжамды қалыпқа келді.

Одан әрі ереже ретінде: ыстық құрылғыларды қатар жинамау, бос U-ларды аша кетпеу және выхуды кабельдермен бітемеу. Сонымен қатар шкаф картасының шаблонын енгіздік (U, құрылғы, жүктеме, кіріс/шығыс, ескертпелер) — бұл келесі өзгерістер кезінде тез әрекет етуге көмектеседі.

Келесі қадамдар: мониторинг және қашан интегратор шақыру керек

Егер ыстық нүктені 1–2 күнде алып тастаған болсаңыз, нәтижесін сақтау маңызды. Кішігірім өзгерістер (жаңа сервер қою, кабельдерді ауыстыру, қақпақты алу) нәтижені қайта бұзуы мүмкін.

Тұрақты мониторинг: не қарау керек және қаншалықты жиі

Қарапайым ереже: сирек тексеруден гөрі қысқа әрі жиі бақылау жақсы. Деректерді iDRAC/iLO/BMC, шкаф датчиктері және өлшемдерден алыңыз.

• Күнделікті: CPU және inlet температурасының ескертпелері, плюс вентилятор жылдамдықтары.
• Апталық: шкафты жылдам тексеру (бос U, кабель пучектері, есіктер).
• Ай сайын: U бойынша картаны қайта қарап, өткен аймен салыстыру.
• Әр өзгерістен кейін: жаңа жабдық қойылды ма, патч-кордтар ауыстырылды ма, қақпақтар алынды ма.

Стандарттаңыз: бос U-ларға қақпақтар, кабелдер ережелері (перфорацияны жаббау) және орналасуды биіктік бойынша жолдар.

Қашан интегратор шақыру керек

Келесі белгілер болса:

• Ыстық нүктелер шкафтар арасында көшіп жүреді немесе бірнеше қатарда қайталанады.
• Inlet температурасы өсіп жатыр, ал шкаф ішінде бәрі дұрыс көрінеді.
• Вентиляторлар үнемі жоғары айналады, ал перестановкалардың әсері қысқа мерзімді.
• Кеңейту жоспары: жаңа серверлер, U бойынша тығыздық, қуат және салқындатуға резерв қажет.
• 24/7 қолдау және жауапкершілік керек.

Мұндай жағдайда интегратор толық көріністі: жылулық жүктеме, орналасу, қуат және инфрақұрылымды қарайды. Егер сіз Қазақстанда болсаңыз, бұл мәселені GSE.kz-пен талқылауға болады: компания серверлер мен жұмыс станцияларын жеткізіп қана қоймай, жүйелік интеграция және инфрақұрылымды қолдау қызметтерін де ұсынады.