Үдеткіштері бар серверді қабылдау толық жүктемені талап етеді

Үдеткіштері бар серверді құрамдас бөлшектер тізімі мен бір қысқа сынаққа қарап қабылдауға болмайды. Қабылдау кезінде барлық карта жоспарланған есептеу жүктемесін бір уақытта орындайтынын, жад деректерді күтілген жылдамдықпен тасымалдайтынын, картааралық бағыттар жобаға сай екенін, ал салқындату мен қуат көзі қызғаннан кейін де нәтижені сақтайтынын дәлелдеу керек. Қабылдау комиссиясының негізгі қатесі қарапайым: бір реттік жоғары көрсеткішті сервердің жарамдылығы деп қабылдайды. Іс жүзінде сервер алғашқы минутта жақсы сан көрсетіп, кейін температураға немесе қуат шегіне байланысты жиілікті төмендетуі мүмкін. Басқа карталар бос тұрғанда бір карта жылдам жұмыс істей алады. Жобада үдеткіштердің тікелей байланысы қарастырылса да, сынақ баяу PCIe бағытымен өтуі мүмкін. Сондықтан қабылдау нәтижесі жай ғана «сынақтан өтті» деген белгі емес, бастапқы деректерден, уақыт қатарларынан, шектерден және қорытындылардан тұратын қайта орындалатын жинақ болуы тиіс.

Критерийлерді серверді қоспай тұрып келісіңіз

Қабылдау кездейсоқ бенчмаркті іске қосудан емес, талаптар матрицасынан басталады. Матрица сипаттамадағы әр талапты тексеру әдісімен, өлшенетін шамамен, жүктеме ұзақтығымен, рұқсат етілген ауытқумен және хаттамаға кіретін материалмен байланыстырады. Мұндай матрица болмаса, тараптар сынақтан кейін дауласады: жеткізуші бір картаның нәтижесін көрсетеді, тапсырыс беруші сегіз картаның жиынтық нәтижесін күтеді, ал сатып алу құжатында жұмыс режимі жазылмаған.

Сервер құрамын тіркеңіз: үдеткіштердің моделі мен саны, әр картаның жад көлемі, процессорлар, жедел жад, жинақтауыштар, желілік адаптерлер, қуат блоктары, BIOS және микробағдарлама нұсқалары. Бағдарламалық бөлік үшін операциялық жүйені, ядроны, драйверді, есептеу ортасын, ұжымдық операциялар кітапханасын және сынақ нұсқасын жазыңыз. Пакет атауларымен шектелмей, түгендеу пәрмендерінің толық шығысын сақтаңыз. Іске қосу параметрлері жоқ нұсқа нөмірі өлшемді қайталауға жеткіліксіз.

Күтілетін мәнді жарнамадағы ең жоғары көрсеткіштен алуға болмайды. Тензорлық операциялардың теориялық өнімділігі дерек түріне, сиректік режиміне және рұқсат етілген алгоритмдерге тәуелді. Сипаттамадағы жад өткізу қабілеті нақты сынақ кодын емес, картаның кристалы мен жадын сипаттайды. Екі үдеткіш арасындағы жылдамдық интерфейс буынына, желі еніне, өтулер санына және тасымалдау бағытына байланысты. Әр көрсеткіштің шегін үш көздің бірінен алыңыз: техникалық тапсырмадағы міндетті сан, құрамы бірдей эталон сервердің келісілген нәтижесі немесе екі тарап қол қойған қайта орындалатын бастапқы сынақ.

Дұрыс критерий төменгі шек пен шашырауды бірге белгілейді. Мысалы: «20 минут қыздырғаннан кейін әр карта келісілген нәтижеден төмен түспейді, карталар арасындағы айырма келісілген пайыздан аспайды, есептеу мен жад қатесі жоқ». Нақты пайыз платформа мен жүктемеге тәуелді. Барлығына ортақ 90 немесе 95 пайыз ыңғайлы көрінеді, бірақ эталонсыз ештеңені дәлелдемейді.

Міндетті және ақпараттық көрсеткіштерді бөліңіз. Міндетті критерий комиссия шешіміне әсер етеді: жад қатесі, жұмыс істемейтін желі, келісілген жылдамдықтың жетіспеуі немесе тыйым салынған жылулық шектеу серверден бас тартуға не жөндеуден кейін қайта сынауға әкеледі. Ақпараттық көрсеткіш жүйені сипаттайды, бірақ оның бекітілген шегі жоқ. Бұл бөлу қызық метриканы сынақтан кейін бас тарту себебіне айналдыруға немесе міндетті көрсеткішті ескертпе ішіне жасыруға жол бермейді.

Тексерілетін нысанның шекарасын жазыңыз. Үдеткіштер процессорларға, NUMA орналасуына, жедел жадқа, PCIe, желілік карталарға және қуатқа тәуелді, сондықтан «GPU сынағы» көбіне бүкіл түйінді тексереді. Сатып алуда бірнеше бірдей сервер болса, толық цикл әр данамен өте ме, әлде кейбір тексеріс іріктеп жасала ма, алдын ала шешіңіз. Қымбат көп карталы жүйенің өнімділігін іріктеп тексеруді қабылдамас едім: райзердің немесе кабельдің басқа орналасуы әр түйінді бөлек конфигурацияға айналдырады.

Бөлме мен сөре жағдайын келісіңіз. Кіретін ауа температурасы, жабық панельдер, көрші бос орындардың толуы және желдеткіш профилі нәтижеге әсер етеді. Қақпағы шешіліп, үстелде сыналған сервер жабық сөреде жұмыс істеуге қабылданған жоқ. Сынақ алдында уақытты сәйкестендіріңіз, үдеткіштерді бөгде процестерден босатыңыз, қуат пен жиіліктің бастапқы баптауын сақтаңыз. Жақсы сан алу үшін қуат шегін өзгертуге жоба дәл сол режимді талап етіп, пайдалану кезінде де сол режим қолданылғанда ғана болады.

Түгендеу жүктемеге дейінгі қатені табады

Жүктеме бермес бұрын құрылғылардың сәйкестігін, желілердің күйін және жиналған аппараттық қателердің жоқтығын растаңыз. Бұл қағаз толтыру емес: басқа ұяға салынған карта, ені тар PCIe желісі, сәйкес емес драйвер немесе белсенді бөгде процесс кейінгі барлық сынақты бұрмалайды.

NVIDIA жүйесінің ең аз күй суретін мына пәрмендермен алуға болады:

nvidia-smi -L
nvidia-smi topo -m
nvidia-smi -q -d PCI,ECC,POWER,TEMPERATURE,CLOCK
dcgmi discovery -l

Бірінші пәрмен карта индексін модельмен және UUID мәнімен байланыстырады. topo -m матрицасы үдеткіштер, процессорлар және желілік адаптерлер арасындағы қатынасты көрсетеді. Толық сұрау PCIe желісінің ағымдағы және ең үлкен енін, ECC күйін, қуат шектерін, температура мен жиілікті тіркейді. DCGM түгендеуі диагностикалық жинақ көретін нысандардың тәуелсіз тізімін береді. AMD жүйесінде осы міндетті AMD SMI және ROCm құралдары атқарады, бірақ өрістер мен пәрмен атауларын бөтен есептен көшірмей, орнатылған нұсқаға сай бекіту керек.

UUID және PCI мекенжайларын жобадағы ұялар сызбасымен салыстырыңыз. Микробағдарлама жаңарғаннан немесе құрылғы орны ауысқаннан кейін 0, 1, 2 индекстері өзгеруі мүмкін, сондықтан индекс тұрақты сәйкестендіргіш бола алмайды. Хаттамада нәтижені UUID, қолжетімді болса сериялық нөмір және шина мекенжайымен байланыстырыңыз.

Желі ені мен буынын жүктеме кезінде тексеріңіз. Кейбір платформалар бос кезде қуатты үнемдеу үшін байланыс жылдамдығын төмендетеді, сондықтан жүктемесіз төмен мән ақауды бірден білдірмейді. Егер дерек тасымалдау кезінде де желі тар режимде қалса, ұяны, райзерді, BIOS баптауын немесе процессор желілерінің бөлінуін тексеріңіз.

Әр үлкен кезеңге дейін және кейін ECC, PCIe replay есептегіштері мен ядро журналдарын түсіріңіз. Екі суреттің айырмасы маңызды. Ескі түзетілген қате зауыттық сынақтан қалуы мүмкін, ал сіздің жүктемеңіз кезінде өскен есептегіш оқиғаны осы сынақпен тікелей байланыстырады. Алғашқы суретке дейін есептегіштерді тазаламаңыз, әйтпесе жеткізілген сервердің бастапқы күйін жоғалтасыз.

Жылдам диагностика драйвер мен кітапханалардың жүктелетінін, контекст құрылатынын және құрылғы қолжетімді екенін растайды. NVIDIA DCGM нұсқаулығы дайындық тексерісін белсенді аппараттық сынақтан анық бөледі: өткізіліп кеткен тексеріс ішкі жүйенің күйі анықталмағанын білдіреді, оның жарамды екенін емес. Pass, Fail, Warn және Skip күйлерін бөлек сақтаңыз. Skip мәртебесін сәтті нәтиже деп бояуға болмайды.

Есептеу мен жадқа бөлек жүктеме керек

Бір матрицалық сынақ үдеткіштің бәрін тексермейді: есептеу блоктарына, жергілікті жадқа және дерек тасымалдау жолына бөлек жүктеме қажет. Өндіруші диагностикасынан бастап, кейін жобада керек дерек түрлерімен өлшенетін есептеу сынағын және жад сынағын іске қосыңыз.

DCGM ұзақ жинағына есептеу диагностикасы, жергілікті жад өткізу қабілеті, нысаналы есептеу жүктемесі және қуат жүктемесі кіреді. Орташа жинақ бағдарламалық ортаны жылдам тексеруге жад пен PCIe сынақтарын қосады. DCGM құжаттамасы диагностиканы карталарға айрықша қолжетімділік қажет ететін белсенді тексеріс деп сипаттайды. Бұл орынды талап: қабылдау нәтижесі жадтың бір бөлігін алып қойған немесе жиілікті өзгерткен бөгде тапсырмаға тәуелді болмауы тиіс.

Барлық қолжетімді картаға арналған қайта орындалатын тізбек:

dcgmi diag -r 2 -j > dcgm-medium.json
dcgmi diag -r targeted_stress -p targeted_stress.test_duration=1200 -j > dcgm-compute.json
dcgmi diag -r memory_bandwidth -p memory_bandwidth.is_allowed=True -j > dcgm-memory.json

Іске қоспас бұрын синтаксисті орнатылған dcgmi нұсқасымен салыстырыңыз: параметр пішімі мен плагиндердің қолжетімділігі өзгереді. Плагин жоқ болса немесе сынақ Skip алса, бұл теріс нәтиже де, сәтті тексеріс те емес. Хаттамаға «тексерілмеді» деп жазып, комиссия басқа қолдау көрсетілетін құралды таңдауы керек.

Есептеу сынағы секундына орындалған операция санымен бірге нәтиженің дұрыстығын тексеруі тиіс. DCGM Diagnostic Plugin үлкен матрицаларды көбейтуді кадр буферінің әр аймағына жазу және одан оқумен біріктіреді, XID, түзетілмейтін жад қатесі мен температуралық ауытқуды бақылайды. Қолданбалы сынаққа эталон нәтижемен немесе бақылау қосындысымен салыстыруды қосыңыз. Жылдам, бірақ қате матрица қабылдаудан өтпейді.

Қажет дерек пішімдеріне жүктеме беріңіз. Модель оқытатын сервер BF16 немесе FP16 және тензорлық блоктарға тәуелді болуы мүмкін, ғылыми есепке FP64 керек, ал инференс FP8 не бүтін сан түрлерін қолдануы мүмкін. FP32 нәтижесін басқа режимге автоматты түрде көшіруге болмайды. Есепте өнімділікпен қатар дерек түрін, матрица өлшемін, кітапхананы, сиректік режимін және төмен дәлдікпен дөңгелектеуге рұқсатты көрсетіңіз.

CPU жағындағы тар орынды бөлек алып тастаңыз. Дерек генераторы барлық картаны жеткілікті жылдам қамтамасыз етуі керек, ал процеске дұрыс жад бекітуі мен жеткілікті ағын қажет. Үдеткіш жүктемесі құбылса, жадта алдын ала дайындалған деректермен сынақты қайталап, процессор жүктемесін тексеріңіз. Жинақтауыш бұл кезеңге кірмесе, үдеткішті қабылдау сынағы байқаусызда баяу дисктен оқу өлшеміне айналмауы тиіс.

Сынақ тек жиынтық жылдамдықты шығарса да, әр картаның нәтижесін қараңыз. Жұмысты тең бөлмейтін құрал істемейтін есептеу блогын немесе аз тапсырма алған картаны жасыра алады. Жүктеме мен қуат телеметриясы мұндай теңсіздікті көрсетеді, бірақ құрылғы бойынша бөлек нәтиже беретін сынақ дұрыс. Ондай мүмкіндік болмаса, әр картада бірдей қосымша сынақ өткізіп, оны жалпы серияның қасына тіркеңіз.

Жад сынағы кэштегі кішкентай буферді қайталап оқымай, қолжетімді көлемнің елеулі бөлігін алып, әртүрлі мекенжайдан өтуі керек. Тұтастық пен жылдамдықты бөліңіз. Үлгімен жазып, кейін тексеру ұяшық пен мекенжайлау қатесін табады; ағындық көшіру немесе триада өткізу қабілетін өлшейді. Екі нәтиже де керек, өйткені қатесіз жад дұрыс емес жиілік режимінде баяу жұмыс істеуі мүмкін, ал жылдам тасымалдау бүкіл көлемде қатесіз сақтауға кепіл бермейді.

Барлық үдеткішті бір уақытта жүктеңіз

Сервер жобалық құрамымен қабылданады, сондықтан негізгі серия барлық үдеткішті бір уақытта жүктеуі керек. Әр картаны кезекпен тексеру ақауды табуға көмектеседі, бірақ ортақ қуат қорын, ауа ағынын, процессор түбірлерінің өткізу қабілетін және ұжымдық операцияларды тексермейді.

Алдымен әр картаны бірдей пәрменмен жеке өлшеңіз. Бұл сынақ шектен шыққан құрылғыны көрсетеді: бір карта желісі тар, қуат шегі өзгеше немесе салқындату жанасуы нашар болғандықтан баяулауы мүмкін. Кейін сол сынақты барлық картада бір уақытта қайталаңыз. Жиынтықты ғана емес, әр картаның мәнін салыстырыңыз. Жалпы нәтиже өсіп, қызғаннан кейін бір карта төмендесе, жиынтық көрсеткіш мәселені жасырып тұр.

Жеке және ортақ серияда тапсырма өлшемі мен операциялар кезегін бірдей әрі жеткілікті үлкен ұстаңыз. Өте кішкентай матрица үдеткіштің орныққан жылдамдығын емес, ядроны іске қосу мен CPU жұмысын өлшейді. Шағын деректер жиыны кэшке сыйып, жад туралы артық әсер береді. Өлшем құрылғыны бос қалдырмай, құралға сай болуы керек, бірақ дискіге ауыстыруға немесе жад жетіспеуінен тоқтауға жеткізбеуі тиіс.

Ұзақтықты әдемі дөңгелек санмен емес, жылулық режимнің орнығуымен таңдаңыз. Екі минут сынақтың басталатынын тексеруге жетеді, бірақ тығыз корпустағы қуатты пассив салқындатылатын үдеткішке аз. Температура мен жиілік графигін құрыңыз. Екі қисық та тұрақты деңгейге келген соң жүктемені тағы келісілген уақыт ұстаңыз. Көп серверде 30-60 минуттық серия бес минуттық диагностика байқамайтын құбылысты көрсетеді, бірақ аралықты қызу графигімен және жоба талабымен негіздеу керек.

Негізгі сериядан соң салқындаған күйде бірнеше рет, толық салқындатпай тағы бір рет қайталаңыз. Бірінші топ бірдей бастапқы күйден қайталануды тексереді. Ыстық қайталау өндірісте тапсырмалар бірінің артынан бірі келгендегі жағдайды көрсетеді. Тек ыстық басталғанда қайталанатын төмендеу де, егер мұндай режим жұмыс кестесінде болса, сервердің қасиетіне жатады.

Біреу «күйдіру сынағы» деп атағаны үшін бұзатын немесе қолдау көрсетілмейтін утилитаны іске қоспаңыз. Қауіпсіз қабылдау сынағы микробағдарламаның штаттық шегінде жұмыс істейді, кернеуді өзгертпейді, қорғанысты өшірмейді және құрылғыға жаңа микробағдарлама жазбайды. Ұзақ жүктеме алдында өндірушінің салқындату мен бос кеңістік талаптарын тексеріңіз. Сынақ құжаттама тыйым салған режимді тудырмай, әлсіз тұсты табуы керек.

Температураны жиілікпен және шектеу себебімен бірге қараңыз

Температура графигі жалғыз өзі жиілік шектелмегенін дәлелдемейді. Басқару жүйесі жиілікті төмендеткендіктен үдеткіш қалыпты температураны ұстап тұруы мүмкін немесе төмен температурада қуат шегіне жетуі ықтимал. Бір уақыт осіне ядро мен жад температурасын, есептеу және жад жиілігін, тұтынуды, қуат шегін, жүктемені және жиілік шектеу себептерін салыңыз.

nvidia-smi нұсқаулығы бағдарламалық қуат шегін, бағдарламалық және аппараттық жылулық баяулауды, сыртқы Power Brake сигналын және жиілікке әсер ететін басқа себептерді ажыратады. Бұл жалпы «троттлинг» сөзінен пайдалырақ. Сервер келісілген өнімділікті ұстаса, штаттық қуат шегіне тірелу есептеу жүктемесінің қалыпты әрекеті болуы мүмкін. Аппараттық жылулық баяулау немесе Power Brake орташа нәтиже шектен өтсе де, салқындату мен қуатты тексеруді талап етеді.

Уақыт қатарын бір секунд аралықпен немесе бақылау құралы сынаққа елеулі әсер етпей көтеретін жиілікпен жинаңыз. NVIDIA үшін қуат, температура, жүктеме, жиілік, шектеу және қателерді жазатын nvidia-smi dmon жарайды. AMD SMI үшін температура, қуат, жиілік және шектеу себептерінің сәйкес өрістерін тіркеңіз. Лездік және орташаланған мәндерді белгісіз араластырмаңыз: мысалы, NVIDIA нұсқаулығы қолдау көрсетілетін құрылғылардағы плата қуатын соңғы аралықтағы орташа мән деп сипаттайды.

Қисықтың пішініне қараңыз. Жарамды жүйе әдетте қызады, тұрақты режимге шығады және өнімділікті соған жақын ұстайды. Температура шегіне тиюмен қатар жүретін ара тісті жиілік циклдік шектеуді көрсетеді. Температура өскенде жиіліктің біртіндеп төмендеуі жылулық қордың аз екенін білдіреді. Қуат өскенде барлық карта бірге баяуласа, ортақ қуат шегі себеп болуы мүмкін; бір карта ғана баяуласа, көбіне оның салқындату арнасы, ұясы немесе баптауы кінәлі.

Температура шегін нақты модель құжаттамасы мен құрылғы телеметриясынан алыңыз. Барлық картаға бір мән тағайындауға болмайды: модульдер әртүрлі сенсор көрсетіп, әртүрлі нысаналы температураны қолданады. Кейбір пассив үдеткіштер корпус желдеткіштеріне тәуелді және барлық көрсеткіш түрін бермеуі мүмкін. Жоқ өріске нөл қоймай, «қолжетімсіз» деп белгілеңіз.

Теріс нәтиже алынса, ауа ағынын, сүзгілерді, бітеу панельдерді, желдеткіш бағытын және кіріс температурасын тексеріп, сынақты қайталаңыз. Қақпақты алу диагностика ретінде пайдалы: жиілік қалпына келсе, корпус мәселесін таптыңыз. Бірақ мұндай сынақ штаттық конфигурациядағы қабылдауды алмастырмайды.

Ұялар сызбасы нақты топологиямен сәйкес келуі керек

Топологияны орнатылған карта санына емес, құрылғылар арасындағы нақты жолдарға қарап қабылдаңыз. Үдеткіштері бірдей екі сервер карталар бөлек PCIe түбірлік кешендеріне қосылса, байланыс процессорлар арасындағы арнадан өтсе немесе жобадағы көпір іске қосылмаса, ұжымдық операцияда әртүрлі жылдамдық береді.

Алдымен физикалық ұяларды, PCI мекенжайларын және nvidia-smi topo -m матрицасын немесе өндіруші баламасын сәйкестендіріңіз. Матрица салыстырмалы бағытты көрсетеді: тікелей картааралық байланыс, бір не бірнеше PCIe көпірі, ортақ түбірлік кешен, процессор интерфейсі арқылы өту. Ол желілік адаптерлердің жақындығы мен процессорға тәуелділікті де көрсетеді. Жоғары жылдамдықты желіден деректерді тікелей үдеткішке алатын сервер үшін бұл маңызды.

Кейін әр жұптың тікелей қолжетімділік мүмкіндігін тексеріңіз. Екі карта бар болуы қолданба деректі тікелей тасымалдай алады деген сөз емес. Режим аппараттық қолдауға, драйверге, виртуалдандыру және IOMMU баптауына тәуелді. Тікелей қолжетімділік болмаса, дерек хост жады арқылы өтіп, кідіріс пен процессор жүктемесін арттыруы мүмкін.

Топология белгісі өлшенген жылдамдыққа тең емес. Ол деректің қандай жолмен өтетінін айтады, бірақ желі енін, күйін және бәсекенің жоқтығын дәлелдемейді. Тек topo -m суреті бар есеп толық емес. Сызбадан кейін барлық бағытталған жұптың нақты өткізу қабілеті мен кідіріс матрицасы болуы керек.

«Үдеткіш пен процессор жады» байланысын екі бағытта да тексеріңіз. Модель жүктеу және ағындық өңдеу үшін host-to-device және device-to-host маңызды. Процесті сынақтағы картаға жақын процессор түйініне бекітіп, кейін қашық түйінде қайталаңыз. Үлкен айырма NUMA бағасын көрсетіп, қызметтің пайдалану кезінде дұрыс бекітілетінін тексеруге көмектеседі. Жақын және қашық бағытты бір санға орташаламаңыз.

Сипаттамада бөлек картааралық фабрика көрсетілсе, оның барлық желісінің күйі мен қате есептегішін сұраңыз. Тікелей бағыт бар болып, белсенді желілер саны азаюы мүмкін. Бұл жерде жеткізу сызбасы, телеметрия және өлшем бірдей нәтиже беруі тиіс.

Картааралық байланысты толық матрицамен өлшеңіз

Карталар арасындағы өткізу қабілетін әр бағытталған жұп үшін және бір уақыттағы алмасу кезінде бөлек өлшеу керек. Тек 0 және 1 карталарын тексеру төртінші картаның қате орнатылуын, бағыттың асимметриясын немесе бір көпірге бірнеше тасымалдың таласын байқамайды.

CUDA ішіндегі p2pBandwidthLatencyTest үлгісі GPU жұптары арасында тікелей қолжетімділікті, өткізу қабілетін және кідірісті тексереді. Оның шығысы жолдары мен бағандары құрылғыларға сәйкес келетін матрицалардан тұрады. Құрал мен платформа мүмкіндік берсе, тікелей қолжетімділік қосылған және өшірілген матрицаны сақтаңыз. Айырма тікелей жолды драйвер жай жариялап қоймай, шынымен қолданатынын көрсетеді.

Бірнеше картада модель оқытатын серверге ұжымдық сынақ қосыңыз. NVIDIA ресми NCCL Tests жинағы all_reduce_perf құралын берілген құрылғылар санында іске қосып, хабар көлемін, уақытты, алгоритмдік өткізу қабілетін, busbw және қате санын шығарады. Жинақ құжаттамасы algbw мен busbw бір нәрсе емес екенін түсіндіреді: busbw нақты ұжымдық операциядағы тасымалдарды ескеріп, нәтижені қалыпқа келтіреді. Бірдей бағанды, бірдей карта санын және бірдей хабар көлемін салыстырыңыз.

Сегіз карталы бір сервер үшін:

./build/all_reduce_perf -b 8 -e 8G -f 2 -g 8 -n 50 -w 10

Өлшем ауқымы іске қосу кідірісінің қай жерде өткізу қабілетіне орын беретінін көрсетеді, он қыздыру итерациясы суық бастауды алып тастайды, ал елу өлшенетін қайталау шашырауды бағалауға материал береді. Карта саны жеткізілген құраммен сәйкес болуы керек. Серверде басқа сан болса, -g параметрін өзгертіп, пәрменді толық хаттамаға сақтаңыз.

Кіші және үлкен хабарды бір шекпен салыстырмаңыз. Кіші хабарда іске қосу кідірісі, үлкен хабарда желілер мен алмасу алгоритмі басым болады. Жұмыс тапсырмасына сай бірнеше тірек өлшемге қабылдау шегін қойыңыз. Таратылған инференске бір ауқым, үлкен модель оқытуға басқа ауқым қажет болуы мүмкін.

Алдымен бір жұптан, кейін қиылыспайтын бірнеше жұптан, соңында барлық картадағы ұжымдық операциядан өткізіңіз. Әр жұп жеке жылдам болып, бір уақыттағы алмасу баяуласа, ортақ ресурс табылды: көпір, түбірлік кешен, процессораралық арна немесе фабрика баптауы. Сондықтан жеке жұптардың нәтижесін қоса салу жеткіліксіз.

Ең жақсы нәтижеден қайталану маңызды

Жарамды сервер бірдей қыздырудан кейін тар әрі түсіндірілетін шашырау береді. Сериядағы ең жақсы нәтиже қабылдау үшін пайдасызға жақын, өйткені ол сәтті іске қосуды таңдап, сирек қатені, фондық процесті және жылулық тұрақсыздықты жасырады.

Орташа мәнді ғана емес, әр итерацияны сақтаңыз. Өнімділік үшін медиана, минимум, максимум және үлестірімнің төменгі бөлігіндегі бір процентиль пайдалы. Қандай статистика қолданылатынын алдын ала бекітіңіз. Техникалық тапсырма минимумды талап етсе, сынақтан кейін оны орташамен ауыстыруға болмайды.

Төрт кесіндіні салыстырыңыз: бір картаны сондай картамен, суық бастауды ыстықпен, жеке жүктемені бір уақыттағы жүктемемен, алғашқы сынақты қайталаулармен. Әр кесінді бөлек сұраққа жауап береді. Карталар арасындағы шашырау жергілікті ақауды іздейді, ыстық бастау салқындатуды тексереді, бір уақыттағы серия ортақ ресурсты тексереді, қайталау тұрақсыздықты көрсетеді.

Кез келген шектен шыққан мәнді телеметрия және журналмен уақыт арқылы байланыстырыңыз. Жылулық шектеумен қатар болған төмендеу салқындатуға меңзейді. Жиілік өзгермей, PCIe replay өскенде болған төмендеу енгізу мен шығару жолын көрсетеді. Ядро хабарымен қатар барлық карта тоқтаса, драйвер мәселесі немесе құрылғыны қайта іске қосу болуы мүмкін. Сағаттар сәйкестендірілмесе, бұл зерттеу жорамалға айналады.

Орташа мән сирек, бірақ жұмысқа әсер ететін тәуекелді жасырады. Елу қадамның бірі он есе ұзақ болса, орташа өткізу қабілеті талаптан өтуі мүмкін, ал кідіріске талап қоятын қызмет өтпейді. Мұндай жүктеме үшін қадам уақытының үлестірімін және кідірістің жоғарғы процентильдерін сақтаңыз. Бір сағаттағы жиынтық жұмыс маңызды пакеттік есепте тұрақты өткізу қабілетінің төменгі шегі бір реттік максимумнан пайдалырақ.

Кітапханалардың автоматты баптауы да айырма тудыруы мүмкін. Алғашқы іске қосу алгоритм таңдайды, кэш жасайды немесе ядроларды құрастырады, сондықтан оны орныққан итерациялармен жасырын араластырмаңыз. Қыздыру мен өлшеуді бөліп, қыздыру қайталауларының санын сақтаңыз. Кэш сериялар арасында қалса, оны бекітілген тәртіппен тазалаңыз немесе бұл қалыпты ыстық күй екенін ашық көрсетіңіз.

Сәтсіздіктен кейін сынақты үнсіз қайта қоспаңыз. Сәтсіз шығысты, ядро журналын, драйвер күйін және жаңа қате есептегіштерін сақтап, содан кейін ғана қайталаңыз. Сәтті қайталау алғашқы оқиғаны жоймайды. Кабельді, ұяны, микробағдарламаны, BIOS параметрін немесе салқындатуды өзгертсеңіз, екі нәтижені де және түзету түсіндірмесін хаттамаға қалдырыңыз.

Бірдей карталар арасындағы шағын айырмаға бола ма? Иә, егер ол алдын ала келісілген аралықта қалса, қызғаннан кейін өспесе және қате не жиілік шектеуімен байланысты болмаса. Кез келген айырманы ақау деу дұрыс емес, бірақ бір карта төмен нәтиже көрсеткеннен кейін аралықты кеңейту одан да жаман.

Қолданбалы сынақ жарамдылықты растайды, диагностиканы алмастырмайды

Синтетикалық сынақтар ақауды тауып, салыстырылатын сандар береді, ал соңғы сынақ болашақ жұмыстың сипатын қайталауы тиіс. Ол таңдалған драйверлер, кітапханалар, дерек түрі, пакет өлшемдері және тарату сызбасы бірге жұмыс істейтінін растайды.

Кіріс дерегі өзгермейтін және нәтижесі белгілі бір тұрақты тапсырманы алыңыз. Оқыту үшін бұл тұрақты деректер жинағындағы модельдің бірнеше жүз итерациясы, шығынды, қадам уақытын және қатені бақылау болуы мүмкін. Инференс үшін пакет өлшемін, кіріс ұзындығын, дәлдікті, кідірісті және өткізу қабілетін тіркеңіз. Инженерлік есеп үшін бақылау нәтижесі мен шешу уақытын сақтаңыз. Өзгеретін дерек пен автоматты параметр таңдауы сынақты қайталауға кедергі келтірсе, оларды қолданбаңыз.

Қолданбалы сынақты диагностиканың орнына емес, одан кейін іске қосады. Модель тоқтаса, алдыңғы кезеңдер қай жерден іздеу керегін көрсетеді: жад, есептеу, байланыс немесе бағдарламалық орта. Модель сәтті өтсе де, жадтың барлық мекенжайы үлгілермен тексерілгенін немесе әр карта жұбы жобалық бағытты қолданғанын дәлелдемейді.

Контейнер нәтижені өздігінен қайта орындалатын етпейді. Образды өзгермейтін сәйкестендіргішпен, іске қосу пәрменімен, орта айнымалыларымен, қолжетімді құрылғылармен, CPU және NUMA бекітуімен, қосылған деректермен және ресурс шектерімен бірге тіркеңіз. latest тегі қабылдауға жарамайды, өйткені ертең басқа образға сілтеуі мүмкін.

Синтетикалық және қолданбалы кезең арасында драйвер жаңартылса, алдыңғы сынақтарды қайталаңыз. Өзгерген бағдарламалық орта жаңа тексеру нысанын жасайды. Бұл BIOS, үдеткіш микробағдарламасы, ұжымдық операциялар кітапханасы және қуат профиліне де қатысты.

Жасанды интеллект инфрақұрылымы жобаларында GSE.kz сервер конфигурациясын, бағдарламалық стек интеграциясын және кейінгі қолдауды бір жобаға байланыстыра алады, бірақ қабылдау шектерін жеткізуге дейін техникалық тапсырмада жазу қажет. Өндіруші де, интегратор да тапсырыс беруші қай режимді жұмыс режимі деп санайтынын болжауға тиіс емес.

Хаттама әр қорытындыны қайталауға мүмкіндік беруі керек

Жақсы қабылдау хаттамасы басқа инженерге сынақты ауызша түсіндірмесіз қайталауға мүмкіндік береді. Терминал суреттері бұл міндетке нашар жарайды: пәрмен, жолдардың бір бөлігі, машиналық уақыт және бастапқы файлдар жоғалады. Мәтіндік және құрылымдалған нәтижелерді сақтап, файлдардың бақылау қосындысын хаттамаға енгізіңіз.

Әр кезеңге мақсатты, пәрменді, бастапқы күйді, басталу және аяқталу уақытын, кіріс ауа температурасын, құрылғы сәйкестендіргіштерін, бағдарламалық нұсқаларды, критерийді, нақты нәтижені және шешімді жазыңыз. Жеткізу мұрағатындағы бастапқы журналдарға сілтемені көрсетіңіз. Құрал аяқталу кодын берсе, оны да сақтаңыз.

Қорытынды тізілімді жеті өріспен құру ыңғайлы: тексеріс ID, атауы, конфигурациясы, критерийі, нақты мәні, материал атауы және шешім. Есептеу үшін дерек түрін, өлшемін және нұсқаларды көрсетіңіз; жад үшін тексерілген көлем мен үлгіні қосыңыз; жылулық режим үшін максимумдар мен уақыт қатарын сақтаңыз; байланыс үшін жұптар матрицасы мен busbw тіркеңіз. Жолдардың бірдей пішімі толықтықты тексеруді жеңілдетеді, ал критерий мазмұны әр кезеңге жеке қалады.

«Ескертумен қабылданды» шешіміне мерзім, жауапты адам және жабудың нақты шарты керек. «Өнімділік сәл төмен» деген сөз жарамайды. Қай карта, қандай сынақ, тапсырма өлшемі, күтілген және нақты мән, ауытқу болған температураны жазыңыз және түзетуді растайтын қайталауды белгілеңіз.

Мұрағатта бастапқы сипаттама, түгендеу суреттері, жобалық және нақты топология, іске қосу пәрмендері немесе сценарийлері, бастапқы нәтижелер, телеметрия, жүйелік журналдар, түзету мәліметтері және қол қойылған қорытынды болуы керек. Файлдардың бөлек машинада ашылатынын және сынақ өткізген адамның командалық жол тарихына тәуелді емес екенін тексеріңіз.

Файл атауларын final2 сияқты белгімен емес, тексеріс ID және уақытпен байланыстырыңыз. Үлкен журналдар үшін бақылау қосындысы мен уақыт белдеуін көрсетіңіз. Мұрағатты бермес бұрын құпияларды, қолжетімділік токендерін және жеке деректерді алып тастаңыз, бірақ өлшемдерді қолмен өзгертпеңіз. Журналды тазарту керек болса, сүзгілеу сценарийін және бастапқы файлды жинақтың қорғалған бөлігінде сақтаңыз, сонда комиссия нәтиженің шығу тегін тексере алады. Тараптар мұрағат құрамын тексергеннен кейін қол қояды, өйткені бастапқы дерегі жоқ қорытынды құжат жүктеме ұзақтығын да, жеке карталардың күйін де дәлелдемейді.

Плагин жоқ болғандықтан сынақ іске қосылмаса, нәтиже карталардың бір бөлігінде ғана алынса, телеметрия қызу аяқталғанға дейін үзілсе немесе шек өлшемнен кейін ойлап табылса, серверді қабылдамаңыз. Мұндай жағдай «дәлел жеткіліксіз» дегенді білдіреді. Қосымша бір сынақ жүйе пайдалануға берілгеннен кейінгі өнімділік дауына қарағанда арзан.