Жасанды интеллект серверін қалай таңдау: GPU, PCIe, қуат және салқындату

Қайдан басталады ИИ серверді таңдау кезінде проблемалар

Көбіне қате қарапайым есептен шығады: үлкенірек GPU алсаң бәрі жылдам жұмыс істейді. Шындығында, ИИ тапсырмаларында GPU деректерді күтіп отыруы оңай. Тар жерлерге дискілер, желі, PCIe шиналары немесе тіпті қуат пен салқындату айналуы мүмкін. Нәтижесі көңілсіз: ақша жұмсалған, ал жылдамдық күткендей емес.

ИИ үшін сатып алу әдеттегі сервер жаңартудан өзгеше — жүктеме біркелкі емес. Модельдерді оқыту энергия мен жылудың ұзақ шыңдарын тудырады, CPU, жад, GPU және сақтау арасында белсенді деректер алмасуды жасайды және кешігулерге өте сезімтал болады. Тіпті аналитика мен инференсте де маңызды тек ядра мен RAM саны емес, жүйе үдеткіштерді қаншалықты тез «қоректей алатыны.

Ең қиыны — прайсында көрінбейтін сипаттамаларды салыстыру. Мысалы: нақты PCIe өткізу қабілеті (және жолдардың слоттарға қалай бөлінетіні), қанша NVMe қоюға болады жылдамдық жоғалтпай, GPU-ларға арналған қуат лимиттері және қуат блогының резерві не береді. Салқындатуда да ұқсас: маңыздысы «вентиляторлар бар» емес, сервер сіздің сервер бөлмеңіздің температурасында ұзақ уақыт тұрақты жиіліктерді ұстай ала ма.

Жеткізушімен сөйлесерден бұрын бірнеше сұраққа жауап беру пайдалы. Сіз не істейсіз (оқыту, инференс, аналитика) және типтік тапсырмалар қанша уақытқа созылады? Деректер қайдан және күніне қанша оқылады/жазылады? Қазір және 6–12 айдан кейін қанша GPU қажет болады? Стойка бойынша шектеулер бар ма: қуат, жылу шығарылым, шу деңгейі, орын? Қандай метрикалар маңызды: нәтиже уақыты, жалпы иелену құны, төзімділік?

Осы енгізулер жиналған кезде, таңдау GPU моделін ұту емес, деректерден қуатқа дейінгі бүкіл тізбекті тексеруге айналады.

Сценарийді анықтау: оқыту, инференс немесе аналитика

Бастауыш қадам — күн сайын сервер не істеуі керек деген сұрақтан бастау. Бірдей GPU жиынтығы оқытуда жақсы көрсеткіш беріп, инференсте қолайсыз болуы немесе керісінше болуы мүмкін. Сценарий артық шығындарды шектейді.

Оқыту (training) көбіне GPU жады (VRAM) және GPU мен басқа компоненттер арасындағы деректер алмасу жылдамдығына тіреледі. Егер модель VRAM-ға сыймаса, батчты кішірейтесіз немесе күрделі схемалар қолданасыз, оқыту уақыты күрт ұзаруы мүмкін. Ұзақ тұрақты жүктемелер үшін сервер ұзақ уақыт бойы жиіліктер мен температураны ұстай алуы маңызды.

Инференс (production) көбіне кешігулер мен болжалылықпен шектеледі. Мұнда ең жоғары шыңдық қуат емес, белгілі бір кешігу шегінде секундқа қанша сұрау өңделетіні және бір уақытта жадта қанша модель орналасатыны маңызды. Кейде қарапайымырақ бірнеше GPU немесе тіпті CPU-ға сүйену тиімдірек болады — егер модельдер кіші болса немесе алдын ала өңдеу көп болса.

Аналитика және ETL жиі қымбат GPU-дан гөрі мықты CPU-ға, үлкен RAM-ға және жылдам дискілерге қажет. Егер команда күнделікті үлкен есептер мен құйылған қосылыстар (joins) орындайтын болса, тар жер жад пен I/O болады, ал GPU босқа тұра алады.

Сценарийді талапқа айналдыру үшін бірнеше енгізуді бекітіңіз: деректер көлемі және жаңарту жиілігі, жүктеменің түрі (пачкалық немесе ағындық), модельдердің көлемі және дәлдігі (FP16/FP32), бір уақытта қанша модель ұсталуы керек және не көп уақыт алады — деректер оқу, алдын ала өңдеу немесе GPU есептеуі. Егер SLA бар болса — ең үлкен кешігу мен қолжетімділік талаптарын алдын ала белгілеңіз.

Фреймворк пен «модалы» кітапхана көбінесе екінші орында. Маңыздысы — модель түрі (LLM, CV, кестелік), оның нақты өлшемі және деректерді қалай берілетіні.

GPU: нәтижеге әсер ететін негізгі параметрлер

ИИ сервер туралы айтқанда алдымен видеокарталарға тоқтайды. Бұл қисынды: GPU көбінесе жылдамдық береді. Бірақ олар күтпеген шектеулер де тудырады.

Бірінші сұрақ — шынымен қанша GPU керек. Пилот, гипотеза тексеру және кішкентай модельдер үшін көбіне 1–2 GPU жеткілікті: кодты жөндеу оңай, қуат пен салқындату арзанырақ, үйлесімділік тәуекелі аз. Егер жүктеме тұрақты болса (жоспарлы оқыту, бірнеше командалар, тапсырма кезегі), әдетте 4–8 GPU қаралады, сонда күту уақыты азаяды.

Екінші параметр — видеожад көлемі. Модель немесе батч сыймаса, қағаздағы TFLOPS көмектемейді: компромистер басталып, сапа төмендеуі немесе оқыту уақыты ұзаруы мүмкін. Көп тапсырмаларда жад көлемі «қағаздағы жылдамдықтан» маңыздырақ.

GPU арасындағы байланыс

Таралған оқыту жоспарласаңыз, GPU-лар қалай байланысатынын анықтаңыз. Карталар арасындағы байланыс тез болған сайын деректер алмасуда жоғалту аз және нақты жылдамдық күткендей жақын болады.

Форм-фактор және орналастыру

GPU екіслотты немесе үшслотты болады, серверлер 2U немесе 4U форматында. Бұл карталардың физикалық сыйымдылығына және салқындатуына тікелей әсер етеді.

Сатып алмас бұрын тексеретін заттар: шассиде қанша GPU орнатуға болатынын және олардың салқындатуына әсер ете ме; VRAM сіздің модельдеріңізге және батч өлшемдеріңізге жеткілікті ме; оқыту үшін жылдам GPU-аралық байланыс керек пе; 2U/4U биіктігі мен карталардың ені шейінгі шектеулер жоқ па.

PCIe және жолдар: шинада жылдамдықты қалай жоғалтпау

Мықты GPU-лар болса да, деректер видеокарталарға уақытында жетпесе сервер баяулауы мүмкін. Көбіне себеп дискілерде немесе желіде емес, ішкі PCIe жолдарының бөлінісінде және әр слоттың нақты қандай жылдамдықта жұмыс істейтінде болады.

PCIe-ді жолдармен салыстырса болады: қанша «жолақ» (линия) және қандай буын (PCIe 4.0/5.0) — өткізу қабілеттігін анықтайды. Бірақ жолдар шексіз емес: оларды процессор береді, ал кейбір құрылғылар чипсет арқылы қосылады — онда ортақ «көпір» пайда болып, кешігулер ұлғаяды.

Типтік жағдай: 2–4 GPU және жылдам NVMe қою. Егер GPU-лар x16 орнына x8 немесе x4 алып жатса, ал NVMe чипсет арқылы қосылған болса, датасет жүктеу мен деректер алмасу таршылыққа ұшырайды. Мониторингте бұл былай көрінеді: GPU күтілгендей емес, 40–60% жүктелген.

Санаңызда «қанша слот» емес, олардың қалай бөлінгені болсын:

• таңдалған CPU қанша PCIe-жол береді және олар барлық GPU мен NVMe үшін жеткілікті ме;
• қай слоттар x16 жұмыс істейді, қайсысы жолдарды бөліседі (мысалы, x16 -> x8/x8);
• бифуркация қолдау бар ма және BIOS-та қалай қосылады;
• не чипсет арқылы қосылған, не тікелей CPU-ға барады;
• райзерлер жол санына және жұмыс режиміне қалай әсер етеді.

Жеткізушіден PCIe схемасын (block diagram) сұраңыз және оны сатып алмас бұрын GPU, NVMe және желі карталарыңызбен салыстырыңыз.

CPU және жад: жүктемеге не сәйкес болуы керек

GPU серверде де CPU мен RAM жиі шешеді: GPU-ды «жұмысқа қабылай ма» әлде күтіп отыра ма. Тар жер көбіне деректерді дайындауда пайда болады.

CPU маңызды болады, егер GPU-дан бұрын көптеген қадамдар болса: суреттер мен видеоны декодтау, токенизация, feature engineering, сығу және шифрлау, параллель деректер жүктеу. Бұл қадамдар бітпесе, GPU босқа тұрады, эксперимент уақыты ұзартылады.

CPU таршылығы белгілері:

• GPU жүктемесі төмен немесе тұрақсыз, ал оқыту тұрақты болуы тиіс;
• CPU ядрлары жиі 100% деңгейге жетеді;
• DataLoader/ETL модель есептелуінен ұзақ жұмыс істейді;
• қуатты GPU-ға ауыстырғанда тез өсім байқалмайды.

Жадпен қателесу оңай, себебі «орташа жетеді» дегені «пикте жеткілікті» дегенмен бірдей емес. RAM таусылғанда жүйе свопқа түседі — өнімділік бірнеше есе төмендейді, кешігулер тұрақсыз болады.

RAM-ды бағалау: пилоттағы RAM шығынын алыңыз, оны 1.5–2 есе көбейтіңіз, файл кеші мен буферлер үшін резерв қосыңыз (әсіресе белсенді датасет оқуда), сонымен қатар параллелизмді ескеріңіз (көп деректер жүктеу worker-лары қосымша жады талап етеді).

NUMA бөлек тақырып. Екіпроцессорлы платформада тек RAM-ның жиынтығы маңызды емес — деректер қай жерде орналасқан да әсер етеді. Егер GPU-ны тамақтандыратын процесс басқа сокеттен жады алса, кешігулер өседі. CPU, RAM және PCIe құрылғылары орналастыру бойынша сәйкес болуы тиіс, әсіресе бірнеше GPU бар конфигурацияларда.

Өсуге алдын ала жоспар жасаңыз: жадыға қосу үшін бос слоттар қалдырыңыз және модульдерді толық ауыстырмай көбейтуге мүмкіндік беретін конфигурация таңдаңыз.

Деректер: сақтау және желі, GPU-ны қоректендіретін элементтер

GPU-лар даталар ырғақты келмесе оңай бос тұрады. Сондықтан таңдау жиі видеокартада емес, датасетті қаншалықты жылдам оқып, батчтарды дайындап және GPU жадына жіберуге байланысты.

Сақтау: өткізу қабілеті және IOPS

Оқыту үшін өткізу қабілеті мен кіші оқулардың жылдамдығы (IOPS) маңызды. Типтік датасет — мыңдаған және миллиондаған кіші файлдар, онда таршылық — IOPS пен кешігулер (әсіресе кездейсоқ араластыру мен аугментация кезінде). Аналитикада әрі ETL-де көбіне үздіксіз ағын (MB/s) маңызды және уақытша нәтижелер үшін орын керек.

Локалды NVMe мен желілік сақтау таңдау тапсырмаға байланысты:

• локалды NVMe — 1–2 GPU-ны ең жылдам қоректендіру және «ыстық» датасетті жақын ұстау үшін;
• желілік хранилище — деректер команда арасында ортақ, рұқсаттар мен біртұтас бэкап қажет болғанда ыңғайлы;
• компромисс — бастапқы деректер желіде, серверде NVMe-кэш белсенді таңдаулар үшін.

Практикада: аналитика бөлімі күнделікті есептерді жүргізсе және параллельно суреттерге пилот оқыту болса, «желілік бастапқы + NVMe кэш серверде» схемасы жиі тиімді. Әйтпесе оқыту есептермен диск үшін бәсекелес болып қалуы мүмкін.

Желi мен деректер жолы: қайдан пайда болады кешігулер

Желіні деректермен бірге масштабтаған жөн. Көп аналитикалық тапсырмалар және орташа датасеттер үшін 10G жеткілікті. 25G көбіне бірнеше GPU бар серверлер үшін минимум ретінде ақылға қонымды. 100G — бірнеше түйін бір уақытта үлкен көлемдер оқитын немесе кластер үшін ортақ деректер пулын құратын кезде ақталады.

Кешігулер көбіне көптеген кіші файлдар мен файл жүйесіндегі баяу метадеректерден, NVMe кэш пен уақытша файлдардың жетіспеуінен, 10G желінің бірнеше тұтынушыға бөлінуінен немесе деректер дайындау CPU-ға тірелгенде туындайды — нәтижесінде GPU күтіп қалады.

Қуат және салқындату: өндірісте жоспарларды не бұзады

ИИ сервер жиі модель немесе бағдарламаға емес, қарапайым нәрселерге: қуат жетіспеушілігіне немесе GPU жиіліктерінің тым жоғары температурадан құлауға байланысты «ұшпай қалады». Әдетте бұл алғашқы апталарда көрінеді, жүктеме тұрақты болғанда.

GPU-ларда орташа тұтынудан басқа қысқа пиктер болады. Егер қуат блоктары шектелген болса, сервер қайта жүктелуі, қаталар пайда болуы немесе толық жүктеме кезінде тұрақсыз жұмыс істеуі мүмкін. Қуатқа резервы заложыңыз және CPU, RAM, дискілер мен вентиляторлардың да айтарлықтай шығынын ескеріңіз, әсіресе стартерде және жоғары температурада.

БП туралы үш маңызды нәрсе: резервлену (N+1, егер тоқтау қымбат болса), жоғары тиімділік және қуат жолдарының дұрыс бөлінуі. Кейде формалды түрде «ватт жетеді», бірақ кейбір коннекторлар немесе жолдар бірнеше GPU үшін қажетті токқа арналмаған, бұл конфигурацияны шектейді.

Салқындатуда қате біреу: паспорттағы көрсеткіштерге сеніп, стойкадағы ыстық аймақтарды ескермеу. Тексеріңіз, серверде ауа ағыны (front-to-back) дұрыс па, ауа алу орны жеткілікті ме, және стояк пен бөлме жылуды шығара ала ма. Қалың GPU конфигурацияларында кіріс температурасы мен салқындатудың нақты қуаты шешуші болады.

Егер сервер адамдарға жақын тұрса, жоғары жүктеме кезінде шу деңгейін, кіріс температураға рұқсат, алдыңғы және артқы жағындағы бос кеңістікті және сервис үшін қажет сақтандырғыштарды алдын ала анықтаңыз.

Мысал: бөлім ИИ пилотын қояды және GPU серверін кеңсе қоржысына орналастырады. Бір сағаттан кейін вентиляторлар максимумға шығады, температура өседі, GPU троттлингке түседі — оқыту баяулайды. Мұндай тәуекелдерді сатып алмас бұрын қуат пен жылу есептерін сұрау арқылы жоюға болады.

Қолданбалы қадамдар: сатып алмас бұрын конфигурацияны қалай таңдау

Жұмысты сипаттаудан бастаңыз. Бірдей GPU сервер бір тапсырмада керемет нәтиже бере алады, ал басқа тапсырмада деректерге немесе шинаға тірелуі мүмкін.

1) Жүктемені нақтылап алыңыз

2–3 типтік сценари мен олардың шыңдарын жазыңыз: параллель қанша тапсырма, қаншалықты жиі, бір жүгіру қанша уақыт, не маңызды — жауап уақыты немесе жоғары дәлдік. Осылай қай жерге басымдық беру керектігін түсінесіз: оқыту, инференс не аналитика.

Содан кейін қысқа жоспар бойынша өтіңіз. Бір тапсырмаға қанша видеожад керек және қанша GPU бір уақытта қажет (көп жағдайда аз GPU, бірақ үлкен жад жеткілікті). Деректер ағымын шамалап алыңыз: датасеттер қайдан оқылады, нәтижелер қайда жазылады, типтік батч өлшемі және бір уақытта қанша ағын болады. CPU мен RAM-ды GPU-ға сәйкестендіріңіз, әсіресе көп препроцессинг болса. Шасси конфигурациясын тексеріңіз: PCIe жолдары, қуат коннекторлары мен бөлінісі, салқындату толық жүктемені көтере ме. Және өсуге ерте-жосар жоспарлаңыз — вертикальды (GPU көбеюі) немесе горизонтальды (қосымша түйіндер) кеңейту.

2) «Тар жерлерді» қағазда іске қосуды орындаңыз

Мысал: аналитика бөлімі дашбордтар жасап, пилот суреттерді тануға жүктеме жүргізеді. Күндіз инференс маңызды, түнде оқыту жүреді. Мұндай сценарийде әдетте тар жер дискілер мен желіде болады, GPU емес.

Сатып алмас бұрын қуат пен жылу есептері бар спецификацияны және PCIe бойынша бөліністі сұраңыз — бұл жасырын шектеулерді тез анықтайды.

Спецификацияны бекітерден бұрын жедел тексерулер

Спецификацияға қол қоймас бұрын бірнеше қысқа тексерісті жасаңыз. Осы 10 минут кейде сервердің жарты жыл бойы күтуіне жол бермейді.

5 минуттық чек-лист

Жеткізушіден сұраңыз (және өзіңіз тексеріңіз):

• GPU немесе NVMe шиналар бойынша «қысқартылып» жүр ме: барлық құрылғылар үшін PCIe жолдары мен версиясы жеткілікті ме;
• қуат резерві бар ма: GPU/CPU шығындарының пиктері, БП саны, резерв схемасы (мысалы, N+1) және стойкадағы нақты қолжетімді қуат ескерілген бе;
• салқындату көтере ме: корпус суммарлы TDP-ге сай ма, ұзақ жүктемеде троттлинг болмай ма;
• деректер GPU-ны қоректендіре ала ма: NVMe IOPS/өткізу қабілеті жеткілікті ме, желі өткізу қабілеті мен кешігу талаптарына сай ма;
• серверді қалай сервистеу жоспарланған: диск, вентилятор, GPU және БП-ға жылдам қолжетімділік, ауыстыру уақыты және қолдау үлгісі.

Жақсы тәжiрибe — конфигурацияның «худший» режимде қалай жұмыс істейтінін көрсетуін сұрау, яғни GPU, CPU бір уақытта жүктеліп, датасет актив түрде оқылып жатқанда. Мұнда ескерту болса, тар жерлерді тағы тексеріңіз.

Жиі қателіктер мен тұзақтар

Ең көп кездесетін тұзақ — презентациядағы тек сандарға сену. Жүйе тізбек сияқты жұмыс істейді, ал әлсіз сілтеме қымбат GPU-ның артықшылығын жұтып қояды.

Типтік қателіктер:

• үдеткіштерді TFLOPS пен жаңалығы бойынша таңдайды, бірақ модельге қажет VRAM-ы жеткіліксіз;
• тесті « үстелде » өткізіп, стойкада ұзақ жүктеме кезінде троттлингті ескермеу;
• қуат блоктарын резервсіз таңдау — пиктерде сөнулер немесе PSU біреуі шығып қалса жүйе тоқтауы мүмкін;
• өсуге жоспарсыз жинау: бос слоттар, орын, қуат пен салқындату резерві жоқ;
• «ұқсас» конфигурацияға сүйеніп, өз моделіңізбен және пайплайнмен сынамай сатып алу.

Мысал: күндіз инференс, түнде оқыту. Датасеттер желілік хранилищеде болса және ол шамадан тыс жүктелсе, GPU босқа тұрып, «тағы да үдеткіш керек» деген қате шешімге келуге болады — шынымен желіні жылдамдату немесе локалды NVMe қосу жеткілікті болуы мүмкін.

Мысал: аналитикалық бөлімге және ИИ-пилотқа арналған сервер

Мысал үшін 8–10 адамнан тұратын аналитика бөлімі. Аптасына бір рет модель үйретеді (мысалы, сұранысты болжау), күнде инференс пен дашбордтар жұмыс істейді. Мақсат — пилот ИИ 2–3 айдан кейін темірге тірелмей жұмыс істеуі.

Вариант A (пилот пен күнделікті инференс): 1–2 GPU және датасеттер мен кэш үшін жылдам локалды NVMe-ге басымдық. Бұл баға мен жылдамдықтың жақсы балансы, себебі команда көбіне есептеп, сирек оқытады. CPU тым әлсіз болмауы керек — деректерді дайындау, декодтау және препроцессинг GPU-ды уақытында қоректендіруі тиіс.

Вариант B (аптасына бір рет тезірек оқыту): оқытуды түнде немесе демалыста аяқтау үшін көбірек GPU қажет. Мұнда әдетте тек GPU-ға бюджет қана емес, қуат, салқындату және желіні қайта қарастыру керек болады. Қосымша GPU қуатты БП, жақсы вентиляция және деректер серверге қалай жетуі жайлы ойлануды талап етеді.

Тар жер қай жерде болатынын алдын ала білу үшін өз деректеріңізде қысқа тест жүргізіңіз (кемінде бөлігінде) және жауап беріңіз: датасет оқу мен препроцессинг GPU есептеуінен қанша уақыт алады, CPU жүктелуі 90–100% жетеді ме және своп басталады ма, PCIe жолдары мен слоттары жеткілікті ме, GPU жиілігі 10–20 минуттан кейін температураға байланысты төмендей ме, егер датасет локалды болмаса — желі оқытуды үзіп қалмай жеткізе ме.

Келесі қадамдар: бағалаудан сатып алуға өту

Бағалауды қысқа талаптар пакетін ретінде рәсімдеңіз. Ол сіздің командаңызға да, сатып алу қызметіне де, жеткізушіге де түсінікті болуы керек.

1) Жүктеме профилін 1–2 бетке бекітіңіз

"Күшті сервер керек" емес, нақты қандай жұмыс және қашан орындалатынын жазыңыз. Өлшенетін пункттер жеткілікті: қандай модельдер мен фреймворктер, оқыту немесе инференс және қаншалықты жиі, деректер көлемі және жаңарту жиілігі, мақсатты орындау уақыты (мысалы, оқыту түн ішінде аяқталуы тиіс), сервер қай жерде тұрады және шу/жылу бойынша қандай шектеулер бар, қауіпсіздік талаптары және оқшаулау шарттары.

Содан кейін жобалық конфигурацияны келесі критикалық жерлер бойынша салыстырыңыз: PCIe жолдары және өткізу қабілеті барлық GPU мен накопительдерге жетеді ме, қуат пен салқындату нақты жылулық жүктемені көтере ме, желі мен сақтау GPU-ны үзіліссіз қоректендіре ала ма.

2) Сатып алудан бұрын сізді қорғайтын сұрақтар дайындаңыз

Қол қою алдында сұраңыз: 6–12 айда қалай өсу жоспарланатыны (GPU, жад, дискілер қосу), қызмет көрсету және қалпына келтіру шарттары, стойкаға, қуат пен салқындатуға қойылатын талаптар, және финалдық қабылдау алдында сіздің тест жиынтығыңызда өнімділік қалай тексерілетіні.

Егер жергілікті өндіруші, жеткізілімнің ашықтығы және Қазақстандағы қолдау маңызды болса, GSE.kz (gse.kz) серверлері мен интеграциялық қызметтерін қарастыруға болады: олардың стоечные шешімдері бар, соның ішінде S200 Series, және нақты жүктеме мен орналастыру шарттарына сай конфигурация таңдауда тәжірибесі бар.