7 мин

GPU серверлік бөлмесі инженерлік шектерден басталады

GPU серверлік бөлмесі қуат, салқындату, желі және қауіпсіздікті тексеруді талап етеді. Өз бөлмеңізді интегратордың дайын алаңымен салыстырамыз.

GPU серверлік бөлмесі инженерлік шектерден басталады

Бір GPU стойкасын қымбат серверлер қойылған кәдімгі серверлік стойка сияқты жоспарлауға болмайды. Оның қуат тығыздығы басқа, жүктемесі күрт өзгереді, ыстық ауа ағыны үлкен, ал желі пайдалы өнімділікке үдеткіштермен бірдей дерлік ықпал етеді. Сондықтан интегратордың дайын алаңы мен өз серверлік бөлмеңізді жаңартудың бірін бос юнит санына қарап емес, өлшенетін инженерлік шектерге сүйеніп таңдау керек.

Менің жұмыс ұстанымым қарапайым: ұйым бөлменің электрмен жабдықталуын, салқындатуын және пайдаланылуын өзі басқарып, толық стойкаға жеткілікті қор барын дәлелдей алса, өз алаңын жаңартқаны дұрыс. Осы тармақтардың әрқайсысына жеке құрылыс жобасы қажет болса, дайын алаң әдетте тезірек әрі болжамдырақ болады. Бөлменің ұйымға тиесілі болуы оны ИИ инфрақұрылымына жарамды етпейді.

Алдымен стойка профилін бекітіңіз

Шешім кемінде алдағы үш жылға арналған жүктеме сипаттамасынан басталады. Алғашқы кезеңде сатып алынатын серверлер тізімі жеткіліксіз. Қуат желілерін, құбырларды, кабель жолдарын және еденнің көтеру қабілетін іске қосылғаннан кейін қайта жасау бастапқыда есептік қор қалдырудан қымбат.

Профильді әр құрылғы бойынша жинаңыз: юнит саны, тереңдігі, салмағы, қуат кірістерінің саны, номинал және ең жоғары қуаты, ауа ағынының бағыты, салқындату түрі, желілік порттары және кабельдің рұқсат етілген ұзындығы. Сұйықтықпен салқындату қолданылса, коммутаторларды, сақтау жүйесін, басқару тораптарын, консольді және CDU құрылғысын бөлек енгізіңіз. Ерте сметада жиі ұмытылғанымен, олар орын алып, жылу бөледі.

Келесі үзіндіні жабдық жеткізушісіне, алаң инженеріне және пайдалану қызметіне беруге болады. Мұндағы мәндер үлгі ретінде көрсетілген, оларды таңдалған конфигурацияның сандарымен ауыстыру қажет:

{
  "rack_id": "AI-R01",
  "design_horizon_years": 3,
  "it_load_kw": {
    "day_one_expected": 24,
    "day_one_peak": 31,
    "final_peak": 46
  },
  "cooling": {
    "mode": "air_or_direct_liquid",
    "heat_rejection_kw_final": 46,
    "required_inlet_c": "per_equipment_spec"
  },
  "power": {
    "feeds": 2,
    "voltage": "per-equipment-spec",
    "redundancy_target": "defined-by-business"
  },
  "network": {
    "fabric_ports": 16,
    "management_ports": 12,
    "storage_ports": 8
  },
  "rack": {
    "usable_u": 42,
    "max_static_load_kg": "verify",
    "max_depth_mm": "verify"
  }
}

Мұнда қуаттың үш бөлек мәні маңызды. day_one_expected қалыпты режим мен электр төлемін бағалауға көмектеседі. day_one_peak іске қосуға дайындықты анықтайды. final_peak кабель желілерінің, қуат таратудың және салқындатудың шегін белгілейді. Оларды араластыруға болмайды. Орта есеппен 24 кВт қабылдайтын, бірақ 31 кВт кезінде қуат кірісін ажырататын алаң бұл стойкаға дайын емес.

Жұмыс режимін де бекітіңіз. Үйрету үдеткіштерді бірнеше сағат бойы толық жүктемеге жақын ұстай алады, инференс басқа профиль береді, ал зертханалық әзірлеу тәжірибелер арасында бос тұрады. BMC немесе жоспарлаушы арқылы қуатты шектеуді басқарылатын саясат ретінде қолдануға болады, бірақ ол әлсіз қуат кірісін ақтамайды. Саясат істен шықса да, жабдық қауіпсіз электрлік және жылулық күйде қалуы тиіс.

Электр кірісін ақау жағдайына есептеңіз

Қуат жүйесі жоспарланған бір ақаудан кейін жобалық жүктемені көтерсе ғана жарамды. «32 кВт-тан екі кіріс» деген жазба көздердің тәуелсіздігі, UPS жүктемесі, жолдағы автоматтар және қалған тармақтың бүкіл рұқсат етілген жүктемені қабылдау қабілеті белгісіз болса, ештеңе айтпайды.

Сыртқы электр көзінен стойкадағы PDU блоктарына дейінгі бір сызықты схемадан бастаңыз. Онда автоматтардың номиналы, кабельдердің қимасы мен ұзындығы, UPS сипаттамалары, резерв топтары, байпастар, дизель генераторы және ортақ ақау нүктелері көрсетілуі керек. Әр тармақ үшін жергілікті нормалар мен жобалық жағдайға сай ұзақ уақыт рұқсат етілетін жүктемені жазыңыз. Автомат номиналының бәрін қолжетімді ИТ қуаты деп санауға болмайды.

GPU жүйелерінде бірнеше қуат блогы мен бірнеше сым болады. Олар дұрыс бөлінгенде ғана резерв береді. Жүйенің бір жартысындағы барлық сым ортақ PDU немесе жоғары деңгейдегі бір автоматқа қосылса, тармақтың өшуі өнімділікті түсіруі немесе торапты тоқтатуы мүмкін. «PSU - розетка - PDU - автомат - UPS - кіріс» картасы түрлі түсті кабельдерден пайдалырақ, өйткені нақты тәуелсіздікті көрсетеді.

NVIDIA DGX H100 алаңын жоспарлау нұсқаулығында бір 8U торап үшін ең жоғары 10,2 кВт көрсетілген. Осындай төрт торап көмекші жүктеменің бір бөлігін есептемегенде бір стойкада 40,8 кВт береді. Бұл әмбебап конфигурация емес және оны қайталау жөніндегі ұсыныс та емес. Бұл ауқымды сезінуге арналған жақсы тексеріс: корпоративтік серверлік бөлмедегі бос стойка көбіне әлдеқайда төмен тығыздыққа жобаланған.

Өтпелі үдерістер де маңызды. Қуат қалпына келгенде серверлер, желдеткіштер, сорғылар және желілік жабдық бір мезгілде дерлік іске қосылуы мүмкін. Кезеңмен іске қосуды, сызықтық емес жүктеме кезіндегі UPS жұмысын, генератор іске қосылғанға дейінгі автономия уақытын және сыртқы желі қайтқандағы жүйе әрекетін тексеріңіз. Чиллер немесе сорғы контуры келісілген резерв схемасына қосылмаса, UPS-тің он минуттық автономиясы көмектеспейді.

Дайын алаңнан әр кіріс бойынша стойкаға бекітілген қуатты, резерв схемасын, рұқсат етілген қосқыштарды, PDU деңгейіндегі өлшеуді және лимитті арттыру тәртібін сұраңыз. Өз серверлік бөлмеңізге электриктің қол қойған есебі және жүктемемен өткізілген нақты сынақ керек. Екі жағдайда да жауап киловатт пен ақау сценарийлері арқылы берілуі тиіс.

Ауамен салқындату ағын шегіне тіреледі

Ауа жүйесі сервер кірістеріне жеткілікті суық ауа жеткізіп, бүкіл ыстық ағынды кері айналымсыз шығара алуы керек. Бөлменің жалпы салқындату қуаты бір тығыз стойка өз үлесін алатынын дәлелдемейді.

ИТ жабдығы тұтынған электр қуатының барлығы дерлік бөлме ішінде жылуға айналады. Сондықтан алғашқы есепте 40 кВт жүктемеден шамамен 40 кВт жылуды шығару қажет деп алынады. Содан кейін инженер нақты шығындар мен жүйе шектеулерін қосады. BTU/сағ бірлігіне ауыстыру физиканы өзгертпейді, тек өлшемді өзгертеді: 1 кВт жылу шамамен 3412 BTU/сағ болады.

NVIDIA DGX H100 алаңы жөніндегі нұсқаулық бір киловатқа минутына 157 текше фут ауа ағынын ең төменгі бағдар ретінде береді, бірақ оны жергілікті жағдайға, биіктікке және жабдықтағы температура айырмасына қарай нақтылауды тікелей талап етеді. 40 кВт стойка үшін бұл бағдардың өзі 6000 CFM шамасынан асады. Бұл дайын техникалық тапсырма емес, ауқымды тексеруге арналған сан.

ASHRAE Thermal Guidelines жабдық кірісіндегі температура мен ылғалдылықтың ұсынылатын және рұқсат етілетін ауқымдарын бөледі. Рұқсат етілетін шекті қалыпты баптау ретінде қолданбаңыз. Ол сүзгі бітелгенде, желдеткіш істен шыққанда немесе күн ысығанда қорды азайтады. Температураны кондиционер жанындағы қабырғадан емес, стойканың төменгі, орта және жоғарғы бөлігіндегі сервер кірістерінен өлшеу керек.

Бос юниттерді бітеуіштермен жабу, суық және ыстық дәліздерді бөлу, кабель өтетін тесіктерді тығыздау және желдеткіш бағытын дұрыс орнату ауаның кері айналуын тоқтатады. Ағыны бүйірге бағытталған коммутаторға алдынан артына қарай ауа жүретін стойкада ауа арнасы немесе басқа нақты шешім керек. Әйтпесе шағын желілік құрылғы көрші GPU торабының кірісіне ыстық ауа жібере алады.

Кәдімгі жайлылық кондиционерін тақтайшасындағы санмен бағалау қауіпті. Ол тәулік бойы нашар жұмыс істеуі, қажетті ағынды ұстамауы, қысқы жиынтығы болмауы, қуат қысқа уақытқа өшкеннен кейін қосылмауы немесе мониторингке апат туралы хабар бермеуі мүмкін. Өз серверлік бөлмеңізде блоктардың резервін, автоматты қайта іске қосуды, конденсат ағызуды, сүзгілеуді және стойканы тоқтатпай қызмет көрсету мүмкіндігін тексеріңіз.

Дайын алаң нақты орында расталған тығыздықты ұсынса және ауа ағындарының картасын көрсетсе, оның артықшылығы бар. Бірақ «дата-орталық» атауы кепілдік бермейді. Кейбір залдар бір стойкаға 5-10 кВт үшін жобаланған. Жанындағы ұқсас жүктеменің өлшеу нәтижелерін және оператор қуатты азайтуды қандай жағдайда талап ететінін сұраңыз.

Сұйықтық контуры жауапкершілік шегін өзгертеді

Ауа ағыны, шу немесе қуат тығыздығы есептік конфигурацияны орналастыруға кедергі болғанда сұйықтықпен салқындату орынды. Ол кондиционерлеуді жоймайды. Қуат блоктары, жад, жинақтауыштар және желілік жабдық жылудың бір бөлігін әлі де ауаға бөлуі мүмкін.

Салқындатылатын артқы есік пен компоненттерге сұйықтықты тікелей жеткізудің айырмасын түсіну керек. Есік шығыс ауасынан жылуды алып, әдетте серверге азырақ өзгеріс енгізеді. Direct-to-chip сұйықтықты процессорлар мен үдеткіштердің суық пластиналарына жеткізеді, бірақ сервер контурын, CDU құрылғысын, сұйықтық сапасын, қысымды, ағынды және температураларды келісуді талап етеді. Иммерсиялық тәсіл жабдық құрылымы мен қызмет көрсету үдерісін одан да қатты өзгертеді. Бұл нұсқаларды «сумен салқындату» деген бір жолға біріктіруге болмайды.

ASHRAE сұйықтықпен салқындату материалдарында ғимарат контурын жабдықтың технологиялық контурынан бөледі. Олардың арасында жылуды жылу алмастырғыш арқылы өткізетін, ағынды басқаратын және сервер талаптарын ғимарат суынан оқшаулайтын CDU жиі тұрады. Мұндай бөлу пайдалы: ғимарат тобы қолжетімді температура мен жылуды шығару қуатына, ал ИТ пайдалану тобы екінші контур параметрлері мен тораптардың үйлесімділігіне жауап береді.

Жабдыққа тапсырыс бермей тұрып төрт шекті бекітіңіз:

  • CDU, сорғылар, сүзгілер мен датчиктерді кім жеткізіп, қызмет көрсетеді;
  • сұйықтық сапасы мен сынама талдауына кім жауап береді;
  • жапқыш клапандар, ағу датчиктері және апаттық төгу қайда орналасады;
  • сорғы немесе сыртқы салқындату жоғалғанда есептеу тапсырмаларына не болады.

Беру температурасын жабдық талаптары мен шық нүктесіне қатысты таңдаңыз. Тым суық сұйықтық, әсіресе ауа ылғалды және құбырлар ашық болса, конденсат қаупін арттырады. Оқшаулау, ылғалдылықты басқару және автоматика бір жүйе ретінде жұмыс істеуі керек. Ағу датчигінің сигналы журналға жазылумен шектелмеуі тиіс. Ол алдын ала белгіленген әрекетті, мысалы хабарлау, сорғыларды тоқтату, тармақты оқшаулау немесе тапсырмаларды басқарылып аяқтауды іске қосуы керек.

Дайын алаңда жылдам ажыратылатын қосқыштардың түрін, рұқсат етілген сұйықтықтарды, температура ауқымын, қысымды, CDU резервін және контур нақты қабылдайтын киловатт санын нақтылаңыз. Өз серверлік бөлмеңізде құбырларды қауіпсіз өткізу мүмкіндігін, ғимараттың қосымша жабдықты көтеруін, жылудың қайда кететінін және түнгі апатқа кім келетінін тексеріңіз. Бұл сұрақтарға әртүрлі мердігер жауап берсе, жауапкершілік матрицасын шартқа қосыңыз.

Қанша GPU пайдалы жұмыс істейтінін желі анықтайды

Жасырын шектеусіз қуат жүйесі
Интегратор сервер конфигурациясын алаң талаптарымен және пайдалану схемасымен байланыстырады.
Шешім таңдау

Желі схемасын бос порт санына емес, есептеу сипатына қарай таңдаңыз. Бірнеше GPU бар бір сервер, үлестірілген үйрету кластері және тәуелсіз тапсырмалар фермасы кідіріс, өткізу қабілеті мен пакет жоғалуына әртүрлі талап қояды.

Үлестірілген үйрету кезінде градиент алмасу тораптар арасындағы фабриканы тез арада шектеушіге айналдыра алады. Адаптерлер мен коммутаторлардың жылдамдығы келісілген, өткізу қоры жасырын артық жазылымсыз, кідіріс болжамды, ал таңдалған тасымалдау баптауы тексерілген болуы керек. Технология атауы нәтижені дәлелдемейді. Үлгілік ұжымдық операцияны орындап, екі, төрт және одан көп тораптағы масштабталуды салыстырыңыз.

Жобалау деңгейінде кемінде басқару, дерек сақтау және есептеу фабрикасы контурларын бөліңіз. Оларды үнемі физикалық бөлу міндетті емес, бірақ мекенжайлау, қолжетімділік, мониторинг және ақау сценарийлері түсінікті болуы тиіс. BMC құрылғысын пайдаланушылардың жұмыс станциялары кіре алатын желіде қалдырмаңыз. Стойкадағы барлық юнитті есептеуіштер алып тұрса да, басқару порттары қажет.

Сыртқы арна деректер жиынтығын жүктеуге, образдарды жаңартуға, сақтық көшірмеге және қашықтан жұмыс істеуге ықпал етеді. Бірақ үлкен интернет арнасы стойка жанындағы баяу сақтау жүйесін түземейді. Бүкіл жолды өлшеңіз: дерек көзі, массив, сақтау сервері, коммутаторлар, желілік адаптерлер және файлдық жүйе. Тізбекті оқудың орташа жылдамдығы мыңдаған шағын файлмен жұмыс істеуді көрсетпейді.

Кабель жолына орын, иілу радиусы, таңбалау және рұқсат етілген ұзындық қажет. Тығыз стойкадағы қалың кабель шоғы ыстық ауа ағынына және қуат блоктарына қызмет көрсетуге кедергі болуы мүмкін. Жоғары жылдамдықты мыс кабельдердің ұзындық шегі бар, ал оптика модульдер мен коннектор тазалығына талап қосады. Стойканы көрші бөлмеге көшіру желі сипаттамасы мен сметаны өзгерте алады.

Қажетті топологиядағы фабрика, кросстар және сыртқы арналар дайын болса, интегратор алаңы ыңғайлырақ. Бірақ қай компонент тек сізге бөлінгенін, ортақ инфрақұрылым қай жерде басталатынын және коммутатор ауыстыру қанша уақыт алатынын тексеріңіз. Өз серверлік бөлмеңізді жаңартудың артықшылығы, қолданыстағы сақтау жүйесі ИИ жүктемесін шынымен көтерсе, оған дейінгі жолдың қысқалығында. Өлшеусіз жақындық ештеңе дәлелдемейді.

Бөлме пайдалануға шыдауы керек

Физикалық дайындық стойканы жеткізуге, орнатуға, қызмет көрсетуге және қауіпсіз ажыратуға болатынын білдіреді. Қолжетімділікті басқару мен камера әлсіз еденді, тар есікті немесе ауыр серверді шығаратын орынның жоқтығын өтемейді.

Жүк түсіру аймағынан басталатын бүкіл жолды тексеріңіз: ойықтардың биіктігі мен ені, лифтінің жүк көтерімділігі, табалдырықтар, бұрылыстар, уақытша сақтау орны және көтергішті пайдалану мүмкіндігі. Стойканың паспорттық массасына серверлер, PDU, кабельдер, есіктер, CDU және қор кіруі керек. Ғимарат инженері жалпы массамен бірге еденге түсетін таралған және нүктелік жүктемені тексереді.

Рельстерді орнату, тораптарды ауыстыру және арбамен жұмыс істеу үшін стойканың алды мен артында орын қажет. Тереңдігі бір метрге жуық сервер кабель ұйымдастырғыштарымен бірге ескі шкафқа сыймауы мүмкін. Стойка есіктері, салқындатылатын артқы есік және еден панельдері эвакуация жолын жаппай ашылуы тиіс.

Қолжетімділік жүйесі бөлмеге кіру мен нақты стойкада жұмыс істеуді ажыратуы керек. Кім жалғыз кіре алатынын, кімге еріп жүруші қажет екенін, мердігерге уақытша рұқсат қалай берілетінін және құқықтар қалай қайтарылатынын бекітіңіз. Камералар ұйымның жазба сақтау ережесін сақтай отырып, келу жолдары мен қызмет көрсету әрекеттерін қамтуы керек. Дайын алаңнан келу журналын және дерек тасығышты беру тәртібін сұраңыз. Өз алаңыңызда бұл үдерісті ішкі қауіпсіздік қызметімен байланыстырыңыз.

Өрттен қорғау жергілікті нормаларға, жабдыққа және бөлмедегі адамдарға сай жобаны талап етеді. Стойка жанына газ баллонын жай ғана қоюға болмайды. Анықтау, хабарлау, қауіпсіз кідіріс, желдету бұғаттары және іске қосылғаннан кейін кіру тәртібі қажет. Қуатты апаттық ажыратуды кездейсоқ басудан қорғап, тұрақты тексеріңіз.

Шу да қауіпсіздікке жатады. Толық желдету режиміндегі тығыз GPU жүйелері есту мүшесін қорғауды және жанында жұмыс істеу уақытын шектеуді талап етуі мүмкін. NVIDIA DGX H100 үшін дыбыс қуатының жоғары деңгейін жариялап, жеке қорғаныс құралдарына бөлек назар аударады. Басқа жабдық таңдалса да, жүктеме кезіндегі шуды өлшеп, нәтижесін нұсқаулыққа енгізіңіз.

Дайын алаң ауыр жеткізілімдерге, жоспарлы жұмыстарға және тәулік бойғы апаттарға әдетте жақсырақ бейімделген. Өз серверлік бөлмеңіз тікелей басқару мен топтың тез кіруіне мүмкіндік береді, бірақ ол үшін кезекшілік, қосалқы бөлшектер және инженерлік жүйелерді басқару өкілеттігі қажет. Түнде электрик болмаса, рұқсат картасы электрді қалпына келтіру уақытын қысқартпайды.

Интегратор мен иесінің шегін жазбаша бекітіңіз

Стойка іске қосылғаннан кейінгі қолдау
Тәулік бойғы техникалық қолдау мен сервистік желі Қазақстандағы орнатылған инфрақұрылымды қамтиды.
Жобаны талқылау

Дайын алаң құрылыс пен пайдалану жұмыстарының бір бөлігін алады, бірақ бүкіл ИИ жүйесінің жауапкершілігін операторға бермейді. Иесі деректерге, бағдарламалық ортаға, қолжетімділік құқықтарына, тапсырма жоспарлауға, сақтық көшірмеге және өнімділікті тексеруге әлі де жауап береді.

Электр, салқындату, стойка, кабельдер, желі, микробағдарлама, қосалқы бөлшектер, мониторинг және әрекет ету үшін RACI матрицасын жасаңыз. Әр апатта қызметті қалпына келтіретін бір орындаушы және шешімге жауап беретін бір иесі болуы керек. Атаулы әрекеттері жоқ «ортақ жауапкершілік» ақау кезінде көбіне кідіріс тудырады.

Дайын алаң шартында жарнамалық қолжетімділік пайызына қарағанда өлшенетін шектер маңызды. Электр SLA шегі қайда аяқталады? Қай датчиктегі қандай температура бұзушылық саналады? PDU құрылғысын кім ауыстырады? Сіздің инженеріңізді кіргізуге қанша уақыт керек? Салқындату мәселесінде оператор стойка қуатын шектей ала ма? Қай жұмысқа қызмет көрсету терезесі қажет?

Өз серверлік бөлмеңізде осы сұрақтар ішкі регламентке өтеді. Ғимаратты пайдалану қызметі мен ИТ тобының басымдығы жиі әртүрлі. Біріншісі тұрақты режим мен сирек өзгерісті қалайды, екіншісіне тораптарды ауыстырып, сынақ өткізу керек. Жұмыс терезелерін, ажырату тәртібін, шығын материалдары қорын, мәселені көтеру байланыстарын және қауіпті жұмысты тоқтату құқығын келісіңіз.

Нұсқаларды бірдей шекпен салыстыру қажет. Дайын алаң бағасына екі қуат кірісі, салқындату, физикалық күзет және кезекші ауысым кірсе, оны өз бөлмеңіздегі жаңа кондиционер шотымен ғана салыстыруға болмайды. Жобалау, құрылыс жұмыстары, UPS, генерация, қызмет шарттары, мониторинг, тексерулер, қосалқы бөлшектер және қызметкерлер уақытын қосыңыз.

GSE.kz мұндай жобаға ИИ және дата-орталық инфрақұрылымының жүйелік интеграторы ретінде қатысып, серверлік бөлікті таңдауға және кейінгі қолдауға көмектесе алады. Бұл инженерлік қабылдауды алмастырмайды: тапсырыс беруші мен интегратор жеткізілгенге дейін жүктеме профилін, жауапкершілік шегін және сынақ өлшемдерін бекітуі керек.

Шектеулер кестесі шешімді айқын етеді

Интеграцияға жауапты бір тарап
GSE сервер жабдығын, ИИ инфрақұрылымын және дата-орталықтың инженерлік талаптарын біріктіреді.
Шешім таңдау

Әр талаптың саны, иесі және растауы болғанда алаңды таңдау түсініктірек болады. «Жақсы» немесе «жаман» бағасы әртүрлі тәуекелді жасырады, сондықтан «расталды», «жұмыс қажет» және «белгісіз» мәртебелерін қолданыңыз.

Салыстыруды бес топқа жинаңыз:

  • Қуат бойынша дайын алаң әр кіріске бекітілген лимит беруі керек, ал өз серверлік бөлмеңіз бір сызықты схема мен UPS қорының тексерісінен өтуі тиіс.
  • Жылу бойынша оператор нақты орынның лимиті мен ақау режимін растайды. Өз бөлмесінің иесі ауа немесе сұйықтық контурын есептеп, кейін сынайды.
  • Дайын алаңның мерзімі бос орынға, кросстарға және шартқа тәуелді. Өз алаңыңыздың мерзімі жобаға, сатып алуға, рұқсаттарға және құрылыс жұмыстарына байланысты.
  • Дайын зал қолжетімді арналар береді, бірақ дерекке дейінгі ақы мен кідірісті арттыруы мүмкін. Сақтау жүйесі мен фабрика жүктемені көтерсе, өз бөлмеңіз жолды қысқартады.
  • Сыртқы алаңға кіруді оператор реттейді. Топ өз серверлік бөлмесіне тезірек кіреді, бірақ оған тәулік бойғы рұқсат, кезекші мамандар және қосалқы бөлшектер қажет.

Кеңейтуді бөлек бағалаңыз. Дайын алаңда көрші стойкаларға қуат, салқындату және желілік порттар алдын ала сақталса ғана олардың пайдасы бар. Өз серверлік бөлмеңізде шекті бөлме, электр кірісі және бүкіл ғимараттың инженерлік жүйелері белгілейді. Сыртқы алаңда жауапкершілікті шарт бөледі, ал ұйым ішінде ол өз қызметтері мен мердігерлерінде қалады. Екі нұсқаға да аты көрсетілген жауапты адамдар қажет.

Іске тез қосу қажет болса, стойка қолданыстағы залдың тығыздығынан асып кетсе немесе ғимаратта тәулік бойғы инженерлік қызмет болмаса, дайын алаң әдетте ұтымды. Нақты жүктеме профилі әлі өлшенбеген және ұйым жорамалға сүйеніп инфрақұрылым салғысы келмеген алғашқы кезеңде де бұл орынды шешім.

Бөлмеде жеткілікті қуат кірістері мен қор бұрыннан болса, үлкен дерек массивтері жақын тұрса, ереже жабдықты сыртқа шығаруға тыйым салса немесе топ темірмен жиі жұмыс істеуі керек болса, өз серверлік бөлмеңізді жаңарту басым түседі. Ұйым бірнеше стойка жоспарласа, күрделі шығындар көбірек пайдалы қуатқа бөлінетіндіктен бұл уәж күшейеді. Бірақ болашақ стойкалар бүгінгі артық шығынды ақтайтын сылтау емес, бекітілген жоспар болуы тиіс.

Нұсқаларды бір жылға арналған жалғыз қорытынды сомамен бағаламаңыз. Бір реттік шығынды, тұрақты төлемді, ішкі еңбекті және іске қосудың кешігу құнын бөліңіз. Содан кейін үш оқиғаға сезімталдықты есептеңіз: жүктеменің өсуі, мерзімнің жылжуы және негізгі салқындатудың істен шығуы. Бастапқы бағасы төмен нұсқа алғашқы осындай оқиғадан кейін қымбат болып шығуы мүмкін.

Қабылдау кезінде стойка қызуы керек

Құжаттар жобалық ойды растайды, ал жүктеме сынағы жиналған жүйенің жұмысын дәлелдейді. GPU стойкасын серверлердің қосылу фактісімен қабылдауға болмайды. Бос режимде ол ұзақ есептеу тапсырмасына қарағанда әлдеқайда аз қуат тұтынып, бөлмені азырақ қыздырады.

Сынақты келісілген ретпен өткізіңіз:

  1. Барлық кірістердің, PDU, розеткалардың, желілік порттардың, датчиктердің және жапқыш арматураның таңбасын орындалған схемамен салыстырыңыз.
  2. Жүктемені сатымен көтеріп, әр сатыны температура, қуат, ауа немесе сұйықтық ағыны тұрақтанғанша ұстаңыз.
  3. Жобалық жүктемеде стойка биіктігі бойынша кіріс температурасын, тармақ қуатын, қуат блоктарының күйін, GPU жиілігін, желі қателерін және сақтау жылдамдығын тіркеңіз.
  4. Келісілген ақауларды бір-бірден жасаңыз: қуат кірісінің, салқындату модулінің, сорғының, желі жолының және мониторинг арнасының жоғалуы.
  5. Қалпына келгеннен кейін автоматты іске қосуды, артық жүктеменің жоқтығын, тапсырма тұтастығын және барлық хабарламаның жеткенін тексеріңіз.

Қабылдау өлшемдерін сынаққа дейін белгілеңіз. «Температура қалыпты» деген сөз жарамайды. Нақты жабдық кірісіндегі шекті көрсеткіштерді, кірістер арасындағы рұқсат етілген теңсіздікті, температура салдарынан жиіліктің төмендемеуін, ең аз өткізу қабілетін, сигнал жету уақытын және ақау кезіндегі тапсырма әрекетін жазыңыз.

Жылу сынағы бөлме, су және құрылыс құрылымдары тұрақты режимге жеткенше созылуы керек. Қысқа іске қосу тек электрдің қосылуын тексереді. Алғашқы қабылдау суық мезгілде өтіп, жүйе сыртқы ауаны немесе құрғақ салқындатқыштарды қолданса, жазда сынақты қайталау немесе есеп моделін тексеру қажет болуы мүмкін.

Бастапқы деректерді салыстыру негізі ретінде сақтаңыз: микробағдарлама нұсқалары, BIOS және BMC конфигурациялары, қуат лимиттері, температура мен ылғалдылық, PDU графиктері, GPU телеметриясы, желі есептегіштері және сақтау сынағының нәтижелері. Микрокод өзгергеннен, торап қосылғаннан немесе ауа ағыны қайта құрылғаннан кейін қабылдаудың тиісті бөлігін қайталаңыз. Бастапқы өлшемдер болмаса, топ көрсеткіштерді салыстырудың орнына әсер жайлы дауласады.

Екі нұсқа бір сипаттамамен жазылып, олардың бірі ақау және жылу сценарийлерінен өтетінін дәлелдегенде алаң туралы шешім дайын болады. Жеткізуші немесе ішкі қызмет қолжетімді киловатты, шығарылатын жылуды және апатқа әрекет ететін иені атай алмаса, бұл бағалаудың дайын нәтижесі. Сызбада қанша бос орын көрсетілсе де, мұндай алаң GPU стойкасына әзір емес.

FAQ

Бір GPU стойкасына қанша қуат керек?

Нақты мән таңдалған конфигурациядағы серверлердің, желінің, сақтау жүйесінің және көмекші құрылғылардың ең жоғары жүктемесін қосу арқылы есептеледі. Жобалау үшін соңғы шекті мәнді алып, қуат кірісі немесе модуль істен шыққаннан кейін жүйенің оны көтеретінін тексеріңіз.

GPU серверлерін кәдімгі серверлік бөлмеге қоюға бола ма?

Бөлме қажетті қуатты, жылуды шығаруды, еденнің көтеру қабілетін, стойка тереңдігін және қауіпсіз пайдалануды растаса, болады. Бос юниттер мен жұмыс істеп тұрған кондиционер дайындықты өздігінен дәлелдемейді.

GPU стойкасына сұйықтықпен салқындату қашан керек?

Есептік ауа ағынын жабдық кірістеріне тұрақты жеткізу немесе ыстық аймақтан шығару мүмкін болмағанда ол қажет. Жауап таңдалған сервер сипаттамасына да байланысты, сондықтан контур түрін сатып алудан бұрын анықтаңыз.

Дайын алаң арзан ба, әлде өз серверлік бөлмеңіз бе?

Жауап есеп шегіне байланысты. Дайын алаңның төлемдерін өз бөлмеңізге қажет құрылыс, инженерлік қызмет, кезекшілік, қосалқы бөлшектер және іске қосу кідірісінің бүкіл құнымен салыстырыңыз.

Екі тәуелсіз қуат кірісі қажет пе?

Бір тармақ істен шыққаннан кейін жұмыс жалғасуы керек болса, қалған қуаты жеткілікті екі шынымен тәуелсіз жол қажет. Бір автоматтан немесе бір UPS құрылғысынан шыққан екі кабель тәуелсіздік бермейді.

GPU серверлері келмей тұрып салқындатуды қалай тексеруге болады?

Басқарылатын жылу жүктемесін немесе келісілген сынақ конфигурациясын қолданып, стойканың бүкіл биіктігіндегі кіріс температурасын өлшеңіз. Сынақ тұрақты режимге жетіп, жоспарланған бір салқындату элементінің ақауын қамтуы тиіс.

Жергілікті ИИ инфрақұрылымына қандай желі керек?

Желіні жүктемеге қарай таңдаңыз, өйткені бір торапқа, үлестірілген үйретуге және тәуелсіз инференске әртүрлі фабрика қажет. Порт жылдамдығымен шектелмей, ұжымдық операцияларды, сақтау жолын, кідірісті және артық жазылымды тексеріңіз.

Дайын алаң операторынан нені сұрау керек?

Әр кіріске бекітілген қуатты, таңдалған орындағы жылу шығару лимитін, резерв схемасын, қолжетімді желілік қосылымдарды және апаттық кіру тәртібін сұраңыз. Әр шектеудің саны, өлшеу нүктесі және әрекетке жауапты иесі болуы керек.

GPU стойкасын физикалық тұрғыда қалай қорғау керек?

Басқарылатын қолжетімділік, жұмыс журналы, лайықты өрттен қорғау және ауыр жабдықты қауіпсіз жеткізу жолы қажет. Қызмет көрсету орнын, еден жүктемесін, қуатты апаттық ажыратуды және шу деңгейін де тексеріңіз.

Монтаждан кейін стойканы қалай қабылдау керек?

Есептеу жүктемесін жобалық деңгейге дейін сатымен көтеріп, электрлік, жылулық және желілік телеметрияны жинаңыз, содан кейін келісілген бір реттік ақауларды жасаңыз. Нәтижені серверлердің қосылуына емес, алдын ала жазылған шектерге қарап қабылдаңыз.