Серверлерді салқындату: кондиционерлер жетпегенін қалай түсінуге болады

Кондиционерлер жетіспей қалғанын қалай түсінуге болады

Көп жағдайда көрініс мынадай: серверлік бөлме әлі «ұсталуда», апаттар жоқ, бірақ бөлме әлдеқайда жылыраққа айналады. Кондиционерлер үзіліссіз жұмыс істейді, шкаф есігіне алаңшамен тигенде жылы сезіледі, ал ыстық күндері немесе пиковая жүктеме кезінде температура «ағып» кетеді.

Себебі әдетте қарапайым: жүктеме өсті, сонымен бірге жылу тарату да өсті. Бірнеше сервер қосылды, қуатты процессорлар орнатылды, виртуализация белсенді болды, дискілер көбейді, стойкадағы тығыздық артты — және әр ватт тұтынған энергия жылуға айналады. Кондиционер дұрыс болуы мүмкін, бірақ ол шектік режимде істеп жатыр. Содан кез келген кішігірім фактор (ішкі сүзгілердің бітелуі, решеткалардың жабылуы, ауа ағымының бұрмалануы) температураның секірісін тудырады.

Қызып кету тек жайсыздық қана емес: ол троттлингке әкеледі (серверлер жиілікті төмендетеді, тапсырмалар ұзағырақ орындалады), кенеттен қайта жүктелулер мен қателер, вентиляторлар, қуат блоктары мен дискілердің тез тозуы. Егер мәселе байқалмай дамыса, тоқтау мен деректер жоғалтуға дейін жетуі мүмкін.

Төменде — кондиционерлер жеткіліксіз екенін анықтау жолдары: құралсыз көрінетін белгілер, өлшеуге тұратын метрикалар мен олардың орналасуы, стойкадағы орналастырудың температураға әсері және бір күнде ауа ағындарын жақсартатын әрекеттер.

Құралсыз байқалатын қызып кету белгілері

Кейде бөлмеде бәрі қалыпты көрінеді: бөлме салқын, кондиционерлер жұмыс істейді, адамдар шағымданбайды. Бірақ шкаф ішіндегі жағдай басқаша болуы мүмкін. Егер шкаф есігіндегі алдыңғы панель өтетін жерде қолмен түрткенде айтарлықтай жылы болса немесе артқы жағынан айқын ыстық ауа шығып тұрса — бұл сигнал.

Ең жиі кездесетін «тірі» белгі — шудың өсуі. Серверлер вентиляторларын жылдам айналдыра бастаса және ұзақ уақыт жоғары айналымда тұрса, олар ауа жеткіліксіз немесе ол тым жылы екенін танытады. Көп жағдайда басқару интерфейсінде (BMC/ILO/DRAC) ескертулер шығады, кейде операциялық жүйенің журналында да хаталар көрінеді.

Одан әрі «темірдегі қателік» деп оңайқа сүретін симптомдар басталады: өнімділік секіріп түседі, бірдей жүктемеде тапсырмалар ұзағырақ орындайды, күтпеген қайта жүктелулер немесе ілініп қалулар болады, диск, контроллер немесе желілік карталардағы қателер саны артады.

«Ыстық нүктелерге» назар аударыңыз. Бірдей жүктемеде бір стойкадағы бірнеше юниттер басқалардан айтарлықтай ыстық болуы мүмкін. Бұл көбінесе алдыңғы панельдің жанынан немесе артқы шығудың жерінде қолмен анықталады: мысалы, стойканың ортасы «қайнап» жатыр, ал жоғарысы мен төменгісі қалыпты. Мұндай контраст әдетте жалпы кондиционер әлсіздігінен гөрі ауа ағымының бұзылуын көрсетеді: ыстық пен салқын ауа араласып жатыр, бос орындар бар, кабельдер ауа ағынын жабады немесе жабдық ауа шығаратын жаққа емес бағыттап тұр.

Егер осы белгілер күн сайын қайталанса, салқындату шегінде жұмыс істеп тұр. Мұндай режимде кез келген жаңа орнату «сыдырма» жағдайды апаттыға айналдырады.

Негізгі метрикалар: не өлшеу керек және қайда

Егер кондиционерлер жұмыс істеп тұрса да «ыстық» пайда болса, болжамдардан гөрі нақты сандардан бастаңыз. Салқындатуда ең маңыздысы — жабдықтың сезінетін жері, яғни серверге кіретін ауа температурасы.

Минималды метрикалар:

• кіру (inlet) және шығу (exhaust) температуралары. Кіру салқын ауа қаншалықты жететінін көрсетеді. Шығу — сервер жүктемеде ағаны қаншалықты қыздыратынын көрсетеді.
• Суық және ыстық аймақтар арасындағы температура айырмасы. Егер суық аймақ іс жүзінде ыстықтан айтарлықтай ерекшеленбесе, ауа араласып немесе салқындық жетіспейді.
• ылғалдылық. Өте құрғақ болса статикалық электр қатері жоғарылайды, тым ылғалды болса — конденсат пен коррозия қаупі бар. Қауіпсіз шектерді жабдық талаптарымен салыстырыңыз.
• вентилятор айналымдары мен тұтыну. Егер вентиляторлар жиі жоғары айналымда «қысқыштап» тұрса және тұтыну артса, бұл салқындату проблемасының жанама белгісі.

Келесі қадам — өлшеу нүктелерін дұрыс таңдау. Бір стойка төменгі жағынан салқын, ал жоғарғы жағынан қызып тұрған болуы мүмкін, ал орташа мән бұл локальды проблемаларды жасырады.

Практикалық минимум:

• шкафтың алдында, еденге жақын жерде (ауа алу аймағы);
• шкафтың орта бөлігінде, сервер кіріс деңгейінде;
• шкафтың жоғарғы бөлігінде, сервер кіріс деңгейінде;
• шкафтың артында, ыстық аймақта (exhaust үшін).

Мысалы: қабырғадағы сенсор «нормальды» көрсетсе де, жоғарғы юниттерде inlet төменгіге қарағанда 5–8°С жоғары болуы мүмкін. Бұл әдетте ағымның «қысқа тұйықталуын» (ыстық ауа қайтадан кіріске барып жатқанын) немесе салқын ауа жоғарғыға жетпейтінін көрсетеді — бос орындар, кабельдер немесе дұрыс орналаспаған жабдық себеп болуы мүмкін.

Мәселе жүйелі ме, әлде жалғыз оқиға ма

Жалғыз оқиғаға байланысты қызып кету әдетте белгілі бір оқиғамен тұспа-тұс келеді: сервер бөлмесінің есігі ашылды, ішкі блок сөндірілді, біреу решетканы жауып тастады немесе уақытша жүктеме өсті. Жүйелі мәселе басқа болады: жағдайлар шамамен солай болса да, «ыстық» жиі әрі бірдей орындарда пайда болады.

Орташа бөлме температурасына емес, ең ыстық нүктелерге назар аударыңыз. Кондиционерлер орташа есеппен қалыпты ұстап тұрса да, кеңестің бір жоғарғы юниті үнемі троттлингке кетуі мүмкін. Тексеру үшін 3–5 бақылау нүктесін таңдаңыз: ең тығыз серверлердің алдыңғы ауа қабылдағыштары, шкафтың жоғарғы бөлігі және бұрын қателік көрініп қалған жерлер. Жүйелі проблема дәл сол жерден басталады.

Температураны уақытпен байланыстырыңыз. Көбінесе қайталанатын шыңдар байқалады: күндізгі пайдаланушы белсенділігі кезінде немесе түні бойы бэкаптар кезінде. Егер «ыстық» шамамен бірдей уақыт аралығында қайталанса, ағымдағы салқындату нақты жүктеме графигіне жетпейді деген айқын белгі.

Ескерту трендтері:

• сол нүктелердегі температура аптадан аптаға өседі, жүктеме ұқсамай тұрғанымен;
• қызып кету бұрынғыдан аз жүктемеде пайда бола бастады;
• сүзгілерді тазалағаннан немесе кабельдерді реттегеннен кейін 1–2 күн ғана жақсарса, сосын бәрі қайта нашарлайды;
• салқын дәліз бен сервер кірісі арасындағы айырмашылық артып келеді.

«Сезімге» сенбеу үшін қарапайым журнал жүргізіңіз: өлшеу күні мен уақыты, нүктелер мен мәндер, жүктеме (кем дегенде «төмен/орта/жоғары»), оқиғалар (бэкап, жаңарту, сервер қосылды, заглушкалар жабылды) және симптомдар (вентилятор шуылы, қателер, қайта жүктелулер).

7–10 күн ішінде әдетте айқын болады: бұл бір реттік бұрмалану ма немесе орналастыру мен ауа ағымдарын өзгертуді талап ететін қайталанатын картина ма.

Қайдан пайда болады: төрт жиі себеп

Қызып кету сирек «жай ғана» болып қалады. Көбінесе кондиционерлер жұмыс істеп тұрады, бірақ суық ауа мұқтаж жерге жетпейді, ал ыстық ауа қайта құралғыға оралады. Сондықтан салқындату мәселелері жиі бөлме мен шкафтардағы ауа ағымының ұйымдастырылмауымен байланысты.

Төрт ең жиі кездесетін себеп:

1. Ауа ағымының қысқа тұйықталуы. Суық ауа жабдық арқылы өтпей, тікелей қайтарымға түсіп кетеді (немесе жақын решетка/саңылауға), сол арқылы серверлер салқын алмайды. Мұндай жағдай подача мен возвраттың орын алмауында, шкафтағы үлкен саңылауларда немесе жабдықтың вентиляторлары ағынды өзіне тартып алғанда болады.

2. Ыстық ауаның қайта айналуы. Серверлердің ыстық шығару орны ыстық зонадан тез шыға алмай, алға қайта тартылады. Себеп — суық және ыстық дәліздердің бөлінбеуі, бүйірлік саңылаулар, алынған заглушкалар немесе тығыз орналасқан шкафтар.

3. Бөлме температурасын басшылыққа алу орнына кіріс температурасын бақыламау. Бөлмеде «нормальды» көрінгенмен, сервер алдыңғы панелінде 30–35 °C болуы мүмкін — ауа ағындары араласқанда осындай жағдай болады. Қабырғадағы бір градус сенсор нақты картинаны көрсетпейді.

4. Орналастыру мен кедергілердің дұрыспауы. Кабель табандары алдыңғы ауа қабылдағышты жауып қоюы, артық полкалар, перфорациялардың бітелуі, жабдықтың хаотикалық орналасуы ағынға қарсылық жасайды. Нәтижесінде кейбір серверлер ауа жеткіліксіз алып, бірінші болып қызып кетеді.

Мысалы: үстіңгі бөлікке тығыз екі түйін қосылды, ал қалған бос орынды ашық қалдырдық. Ауа ағымдары "сұрқырап" бос орындар арқылы өтіп, жаңа серверлерге жетпей қалады. Сырт көзге бәрі бұрынғыдай көрінуі мүмкін, бірақ осы түйіндер троттлингке немесе апаттық қайта жүктелулерге барады.

Жабдықты орналастыру: қарапайым ережелер

Кондиционер қуаты «жетеді» сияқты болғанымен, шкафтар қызып тұрса, көбіне мәселе ауа ағымының қалай ұйымдастырылғанында. Дұрыс орналастыру мен бірнеше қарапайым түзету жиі айтарлықтай әсер береді және жаңа блок қоюдан әлдеқайда арзан.

Алдымен суық және ыстық аймақтарды бөліңіз. Серверлер алдымен суық жақтан ауа алып, артқы жағынан ыстық ауа шығарауы керек. Егер шкафтар қисық-қисық тұрса немесе кейбір жабдықтар керісінше бағытта орнатылған болса, ағымдар араласып, температура өседі.

Шкаф ішіндегі жүктеу логикасы маңызды. Ең «ыстық» жабдықты (тығыз серверлер, қуатты коммутаторлар, стойкадағы UPS) төменгі бөлікке қою ұсынылады: бұл стойканың тұрақтылықты жақсартады әрі жоғарғы бөлік қызып кетпеуі керек. Бос U-ларды ашық қалдырмаңыз: ауа сол жерлерден «айланып» кетеді.

Тез нәтиже беретін қадамдар:

• бос U орындарын заглушкалармен жабыңыз және бүйірлік саңылауларды жабыңыз, ауа серверлер арқылы өтуі тиіс;
• кабельдерді фронталды решеткаларды жауып тастамайтындай етіп реттеңіз;
• барлық құрылғылардың ауа ағымы бір бағытта екеніне көз жеткізіңіз (алдынан → артқа);
• шкафтардың артында шығуға орын қалдырып, оларды қабырғаға қыстамаңыз;
• шкафтың жоғарғы бөлігіне назар аударыңыз — онда жиі «ыстық қалта» пайда болады.

Практикалық мысал: екі сервер қосылды, ортасында екі бос 2U қалды, кабель-пучок ауа қабылдағышты жауып тұрды. Нәтижесінде жоғарғы серверлердің температурасы 5–8°С өсті. Заглушкалар мен кабельдерді реттеу көбінесе кондиционерді ауыстырмай-ақ мәселені шешеді.

Бір күндік жоспар: ауа ағындарын тез жақсарту

Кондиционерлер шектелгенде, жаңа техника емес, ағымдарды ретке келтіру жиі көмектеседі. Төменде бір жұмыс күнінде салқындатуды тұрақтандыруға және суық қайда «жоғалатынын» анықтауға арналған жоспар.

Алдын ала термометр (сыртқы датчигі бар) немесе пирометр және қарапайым маркерлер (скотч, стикерлер) дайындаңыз. Маңыздысы — сезімге емес, цифрларға сүйену.

План әрекеті:

1. 6–9 нүктеде жедел өлшеу жасаңыз: алдымен ауа қабылдағыштарда (төмен, орта, жоғарғы деңгей) және артқы шығудан. Қай жерде кіріс жылы және кіріс-шығыс айырмашылығы ең үлкен екенін белгілеңіз.

2. Суық ауа нақты қайда баратынын тексеріңіз. Алдыңғы шкаф есігінің алдында жұқа қағаз жолағы немесе жеңіл лента ауа қабылдағышқа қарай бар-жоғын көрсетеді.

3. Ыстық пен салқын араласуын тоқтатыңыз. Бос юниттерді заглушкалармен жауып, кабель енгізу жерлерін тығыңыз, есіктер мен бүйір панельдердің мықты орналасуын тексеріңіз.

4. Кабельдер мен кедергілерді реттеңіз. Алдыңғы ауа қабылдағыш алдында кабель ілінген болса, оны алып тастаңыз; кабель ілмектерін вентилятор аймағынан алыңыз, жгуттарды стойкаға бойлай бекітіңіз.

5. Ең ыстық түйіндерді қайта орналастырыңыз. Ыстық серверлер мен UPS-ті бір вертикальға тығыз қоймаңыз, оларға ауа «еркіндігі» беріңіз және өлшеулерді қайталаңыз.

Осыдан кейін цифрлар мен белгілерді салыстырыңыз: кіріс температурасы төмендеді ме, кіріс-шығыс айырмашылығы азайды ма, локальды шыңдар жоғалып кетті ме. Егер қызып кету қалса — бөлме схемасы мен кондиционер қуатын тексеру қажет. Кеңейту жоспарланған жағдайда (мысалы, тығыз конфигурацияға өту) әуелі жылу жүктемесін және орналастыру талаптарын бағалау маңызды.

Қателіктер, жағдайды нашарлататындар

Ең кең тараған қате — бір көрсеткішке қарап «барлығы жақсы» деп ойлау. Бөлмеде 22–24 °C болса да, сервер кірісінде (inlet) 30–35 °C болуы мүмкін, және дәл сол кіріс температура троттлинг пен апаттық өшірілулерге шешуші әсер етеді. Салқындатуда маңыздысы — жабдықтың нақты кіріс температурасы, орташа бөлме емес.

Тағы бір қате — ауа ағымын реттемей қосымша кондиционер орнату. Егер ыстық шығару мен суық ауа араласатын болса, жаңа блок көбінесе вирлерді күшейтіп, суықтың жолын бұзады. Нәтижесінде суық «жоғалады», ал ыстық нүктелер сол күйінде қалады.

Жиі кездесетін қателер:

• қабырғадағы бір датчикке сеніп, әрбір стойканың inlet-терін өлшеуді елемеу;
• бос юниттерді заглушкасыз қалдыру;
• шкафтарды және техниканы қабырғаға тым жақын қою немесе проходтарды бітеп қою;
• ауа ағымының бағытын шатастыру: кейбір жабдықтар суық дәлізге шығарып, ыстық ауа көрші қабылдағышқа түседі;
• мәселені шешпей тек қосымша кондиционер қою.

Мысал: бір жаңа коммутатор мен екі сервер қосылды, бөлме температурасы өзгермеді, бірақ бір жоғарғы сервер үнемі қызып кетті. Себебі жоғарғы бос орындар бар еді және ыстық ауа сол жерден қайта кіріп отырған.

Егер мұндай қателер күдік туғызса, кішігірімден бастаңыз: ауа ағымының бағытын тексеріңіз, заглушкаларды орнатыңыз, проходтарды босатыңыз және 3–5 құрылғының кіріс температурасын (төмен/орта/жоғарғы) өлшеңіз. Көп жағдайда осы жеткілікті болады.

Жедел чек-лист: қазір бәрі дұрыс па

Быстро анықтау үшін сервер «нақты тыныс алатын» жерлерге назар аударыңыз. Ең пайдалы бақылаулар — қалыпты жұмыс кезінде және пиковое жүктеме кезінде алынғандары.

10 минутта тексеріңіз

• сервер кіріс температуралары тұрақты, күн ішінде күрт ауытқулар жоқ;
• шкаф бойынша биіктікпен айқын ыстық аймақтар жоқ — жоғарғы бөлік айтарлықтай жылы емес;
• сервер вентиляторлары негізсіз үнемі максималды режимде емес;
• ауа жабдықтар арқылы өтуде, айналым жоқ (үлкен саңылаулар, ашық U жоқ);
• өзгертулерден кейін (орналастыру, сервер қосу, бос орындарды жапқаннан кейін) көрсеткіштер тұрақты қалды.

Егер 1–2 тармақ сәйкес келмесе, салқындатудың резерві аздап төмендеген деп есептеңіз, тіпті кондиционерлер «әлі ұстап тұрса да».

Жергілікті жылдам тексерістер

Шкафтың алдыңғы жағында қолмен салыңыз: ауа ағысы төменгі және жоғарғы бөліктерде бірдей сезілуі тиіс. Шкафтың артында «көміртекті» ыстық бұлт ұзақ тұруы — қалыпты емес, ол әлгіндей қайта оралу көрсеткіші.

Проблема тек пике кезінде ғана көрінсе, есептік уақытты күтіп, қайта өлшеңіз.

Реалистік мысал: кеңейту салдарынан қызып кету

Компания стойкаға екі жаңа сервер қосқан. Бір апта бойы бәрі жақсы болған, кейін сигналдар пайда болды: бір серверде вентилятор айналымдары өсті, екіншісінде кіріс температурасы туралы ескерту пайда болды. Бөлмедегі кондиционерлер әдеттегі режимде, қабырғадағы термометр 22–23 °C көрсеткен.

Жылдам өлшеу көрсеткендей: проходтағы температура нормада, бірақ стойкадағы жоғарғы юниттердің кіріс температурасы айқын жоғары болды. Төмен мен жоғарғы арасындағы айырмашылық байқалды, ал жылы ауа төбедегі қақпағының астында тұрып қалғандай сезілді. Бұл — салқындық бар, бірақ ол қажетті жерге жетпейтін жағдайдың типтік мысалы.

Сол күні жасалған әрекеттер:

• бос U-ларға заглушкалар қойылды, ыстық ауаның алға қайта кіруі тоқтатылды;
• бір сервер төменге ауыстырылды, ең ыстық аймақтан шығарып алынды;
• кабельдер алынып, алдыңғы ауа қабылдағышты жауып тұрған жгуттар реттелді;
• бүйірлік саңылаулар мен панельдердің тығыздығы түзетілді.

Нәтижені бекіту үшін кіріс температураларды өзгерістерге дейін және кейін салыстырды және 2–3 күн бақылады, соның ішінде пиковые жүктемелерді. Жақсару — кіріс температуралардың тұрақты төмендеуі, вентилятор айналымдарының секірістерінің азаюы және ескертулердің жоғалуы болды. Егер симптомдар тек ыстық күндерде немесе жүктеме өссе қайталанса, кондиционер резерві шекті екенін білдіреді және күрделі шаралар қажет.

Келесі қадамдар: жедел шаралар жеткіліксіз болса

Егер бос юниттерді жаптыңыз, кабельдерді реттедіңіз, суық пен ыстық дәліздерді теңестірдіңіз, бірақ температура шектен аспай қалса — мәселе жергілікті емес, бөлме жоспарында болуы мүмкін.

Қашан бөлме деңгейіндегі өзгерістер қажет

Көбінесе шығыңыздар қажет, егер:

• сервер кіріс температурасы тіпті түнде де мақсатыңыздан жоғары тұрақты;
• шкафтың жоғарғы бөлігінде немесе қатар соңында қайталанатын ыстық нүктелер пайда болса;
• 1–2 сервер қосу-ақ температура мен вентилятор айналымдарын күрт арттырса;
• кондиционерлер үнемі жұмыс істеп, нәтижесі нашар болса;
• қуатты арттыру жоспары бар, ал салқындату резерві аз болса.

Интегратормен сөйлескенге дейін не дайындау керек

Талқылау нақты болу үшін қарапайым, бірақ дәл ақпарат жинаңыз:

• стойкалар мен жабдық тізімі: не қайда, биіктігі (U), ауа ағынының бағыты;
• тұтыну бойынша деректер (нақты өлшеулер), пиковые орындар;
• өлшеулер: сервер кірісінде (төмен/орта/жоғарғы) температуралар, ылғалдылық деректері;
• бөлме схемасы: стойкалардың, кондиционерлердің, решеткалардың, есіктер мен преградалардың орналасуы;
• 6–18 айға жоспарланған өсу: қанша жаңа түйін, болжамды қуат.

Мысал: компания қатарға бірнеше қуатты түйін қосқанда көршілес стойкалар қызып кетті. Себеп — қатардың жалпы жылу бөлуі өсті, ал суық беру орны бұрынғы қалпында қалды. Локальды шаралар көмектеспей, ауа ағымын қайта бөлу және нақты есептер қажет болды.

Егер кеңейту немесе тығыз конфигурацияға өту жоспарласаңыз, жабдық пен инфрақұрылымды алдын ала бірге есептеп алған жөн. Мысалы, GSE.kz (gse.kz) өндіруші және жүйелік интегратор ретінде сервер таңдау мен салқындатуды есептеуде көмектесе алады, сонда қуат өсуі қызып кетумен күреске айналмайды.