2026 жылы жергілікті ЖИ үшін NVIDIA CUDA әлде AMD ROCm?

2026 жылы жергілікті ЖИ жүйесін енгізетін командалардың көбі үшін NVIDIA CUDA тәуекелі азырақ таңдау болып қала береді. AMD ROCm платформасын ашық стекке қызыққандықтан немесе үдеткіштің бағасы тартымды көрінгендіктен алмау керек. Оны нақты модельдер, кітапхана нұсқалары және жүктеме режимдері дәл сол AMD GPU құрылғысында тексерілген кезде таңдаңыз. Мұндай тексеріс болмаса, баға айырмасын инженерлердің жұмыс сағаты тез жоққа шығарады.

Бұл ROCm тек тәжірибеге жарайды деген сөз емес. PyTorch HIP-пен бұрыннан жұмыс істейді, vLLM ROCm жинақтарын шығарады, ал llama.cpp CUDA-мен қатар HIP-ті қолдайды. Айырмашылық енді негізгі функцияның бар-жоғында емес. Ол тексерілген үйлесімдер ауқымынан, жаңа ядролардың шығу жылдамдығынан және қолайсыз ерекшеліктердің санынан байқалады. Таңдауды жұмыс жүктемесі мен жадтан бастаңыз, содан кейін энергия мен сүйемелдеу шығынын есептеңіз, сервер бағасын ең соңында салыстырыңыз.

Таңдауды жұмыс жүктемесі анықтайды

Команда модельдерді оқытса, архитектураларды жиі ауыстырса, жаңа кванттау әдістерін қолданса немесе бөгде репозиторийлерді жеке көшіру жобасынсыз іске қосқысы келсе, CUDA бастапқы нұсқаға сай келеді. Бұл платформаға арналған дайын бинарлық пакеттер, мысалдар және контейнерлер көбірек. Репозиторийде тек pip install деп жазылса, таза PyTorch коды HIP арқылы жұмыс істей алғанымен, автор көбіне CUDA-ны тексерген.

ROCm жүктеме тұрақты болып, ресми үйлесімділік матрицасына кіргенде орынды. Жақсы үміткердің сипаты мынадай: бекітілген Linux нұсқасы, қолдау көрсетілетін AMD GPU, бір немесе екі модель, белгілі салмақ пішімі, өлшеуге болатын сұрау профилі және өз контейнер бейнесін ұстай алатын команда. Осындай ортада жад көлемі немесе сервер конфигурациясы бағдарламалық стектің қолайсыздығынан маңыздырақ болуы мүмкін.

Үш бөлек шешімді араластырмаңыз. Бірінші шешім PyTorch көмегімен әзірлеу мен оқытуға қатысты. Екіншісі vLLM арқылы көп сұрауға қызмет көрсетуге қатысты. Үшіншісі llama.cpp көмегімен квантталған GGUF модельдерін шағын жергілікті жүйеде іске қосуға қатысты. Бір GPU өндірушісі бірінші сценарийде ұтып, үшіншісінде ұтылуы мүмкін, сондықтан «бізге ЖИ платформасы керек» деген сөз сатып алу үшін тым жалпылама.

Мен қысқа таңдау жолын қолданамын:

1. Коды жиі өзгеретін зерттеу командасына жеткізу немесе жад бойынша қатаң шектеу болмаса, CUDA таңдаймын.
2. Тұрақты vLLM сервисіне ROCm платформасын қажетті модель, кванттау және параллель жұмыс тексерілгеннен кейін ғана қараймын.
3. llama.cpp негізіндегі автономды көмекші үшін нақты GPU құрылғыларын жад, жылдамдық және қуат бойынша салыстырамын, өйткені бұл жерде платформалар арасындағы алшақтық аз.
4. Аралас парк үшін екі бейне жиынтығының, мониторингтің және екі түрлі біліктіліктің құнын есептеймін. Бұл шығын сатып алу икемділігінің пайдасынан жиі асып кетеді.

Мұндай тәртіп бренд туралы дауды тоқтатады. Команда тексеру тізімін алады, ал сатып алу маманы қабылдау талаптарына енгізуге болатын шарттарды алады.

Бұлттағы сынақ нәтижесін тексермей жергілікті серверге көшірмеңіз. Бұлт бейнесінде ұйымыңыздың стандартты дистрибутивінде жоқ таңдалған драйвер, ядро түзетулері және байланыс баптаулары болуы мүмкін. Бір модельдің өнімділігі қуат шегіне, PCIe топологиясына және CPU жылдамдығына қарай да өзгереді. Бұлт бағдарламаның таңдалған GPU құрылғысында қалай жұмыс істейтінін көрсетеді, бірақ сіздің толық жүйеңіз туралы сұраққа жауап бермейді.

PyTorch айырмашылықты тек Python деңгейінде жасырады

Кәдімгі PyTorch коды CUDA-дан ROCm-ға ауысқанда жиі өзгеріс сұрамайды. PyTorch құжаттамасында HIP жинағы torch.cuda интерфейстерін сақтайтыны анық жазылған: құрылғы әлі де cuda деп көрсетіледі, ал torch.cuda.is_available() екі стек үшін де жұмыс істейді. Бұл дұрыс инженерлік шешім, бірақ одан толық өзара алмастыру туралы тым кең қорытынды жасамау керек.

Мәселе Python API деңгейінен төмен басталады. Арнайы CUDA кеңейтімі, жаңа Triton операторы, модель репозиторийіндегі біріктірілген ядро немесе сирек қолданылатын torch.compile режимі HIP үшін бөлек іске асырылуы, бір нұсқаға кешігуі немесе тек бастапқы кодтан жиналуы мүмкін. Кодтағы cuda сөзі NVIDIA-ға міндетті тәуелділікті дәлелдемейді, ал ортақ API әр ядроға бірдей қолдау барын дәлелдемейді. Команда бұл айырманы жабдық сатып алғанға дейін түсінуі тиіс.

Бэкендті анықтау құрылғы атауына қарап болжау емес, диагностиканың бір бөлігі болуы керек:

import torch

if not torch.cuda.is_available():
    raise RuntimeError("GPU backend is unavailable")

backend = "rocm" if torch.version.hip else "cuda"
print({
    "backend": backend,
    "torch": torch.__version__,
    "cuda_runtime": torch.version.cuda,
    "hip_runtime": torch.version.hip,
    "device": torch.cuda.get_device_name(0),
})

CUDA жүйесінде нәтиже cuda_runtime өрісінде нұсқаны, ал hip_runtime өрісінде None мәнін көрсетеді. ROCm жүйесінде керісінше болады. Осы сөздікті әр сынақ нәтижесімен бірге сақтаңыз. Онсыз драйвер жаңарғаннан кейін «сынақ стендінде бәрі жұмыс істеді» деген сөздің пайдасы жоқ.

Оқытуда алғашқы итерацияның іске қосылуын ғана тексермеңіз. Шығын қисығының сәйкестігін, аралас дәлдіктің тұрақтылығын, бақылау нүктесін сақтау мен жүктеуді, таратылған іске қосуды және ақаудан кейін жалғастыруды тексеріңіз. Жоба арнайы кеңейтімдерге тәуелді болса, оларды кэшсіз таза контейнерде жинаңыз. Жаңа торапта қайта жинау кезінде ғана шығатын қате де платформа қатесі саналады.

Зерттеушілер жаңа кодты үнемі әкелетін ортада CUDA басым. ROCm белгілі операторлар жиынтығында дұрыс нәтиже бере алады, бірақ команда GPU, операциялық жүйе және ROCm нұсқаларының матрицасын келісім ретінде қабылдауы керек. AMD есептеу үдеткіштері мен Radeon өнімдеріне бөлек матрица жариялайды. Тізімге кірмейтін GPU кодты іске қосуы мүмкін, алайда ресми қолдауы жоқ тәжірибені өндірістік SLA шартына айналдыруға болмайды.

vLLM бүкіл нұсқалар тізбегін бекітуді талап етеді

2026 жылы vLLM үшін CUDA да, ROCm да қолжетімді, бірақ орнату ыңғайы мен үйлесімдер ауқымы әртүрлі. vLLM-нің қазіргі құжаттамасы Linux жүйесін негізгі операциялық жүйе ретінде, тиісті compute capability мүмкіндігі бар CUDA GPU құрылғыларын және AMD архитектураларының шектеулі тізімін көрсетеді. ROCm үшін жоба тек белгілі ROCm және Python нұсқаларына дайын wheel пакеттерін жариялайды, ал сәйкес келмейтін PyTorch жинағы vLLM-ді бастапқы кодтан жинауға мәжбүр етуі мүмкін.

Бұл орнатушыдағы ұсақ қолайсыздық емес. vLLM көптеген арнайы ядроларды жинайды, сондықтан бинарлық үйлесімділік PyTorch нұсқасына, драйверге, runtime ортасына және жинақтау параметрлеріне тәуелді. Пакетті кездейсоқ ортаға орнатса, CUDA-да да қайшылық шығуы мүмкін. Айырмасы, кең тараған CUDA конфигурацияларында дайын жол әдетте кеңірек, ал ROCm бүкіл жинақтау тізбегін ертерек өз бақылауыңызға алуды талап етеді.

Бір API жауабын алғаннан кейін vLLM серверін қабылдамаймын. Қабылдау сынағы мыналарды қамтуы керек:

• нақты модель мен салмақтар ревизиясын;
• таңдалған дерек түрін немесе кванттау пішімін;
• контекстің ең қысқа, қалыпты және шекті ұзындығын;
• бір уақытта орындалатын сұраулардың қажетті санын;
• бір GPU режимін және бірнеше GPU болса, нақты параллель жұмыс сызбасын.

Нақты кванттау әдісінің vLLM матрицасында бар-жоғын тексеріңіз. Жоба тақырыбында AMD қолдауының көрсетілуі AWQ, GPTQ, FP8 және әр жаңа әдіс барлық архитектурада бірдей жұмыс істейді дегенді білдірмейді. «Келесі шығарылымда қосады» деген уәдеге сүйеніп сатып алу өте қауіпті. Қабылдау кезінде қазір орнатып, қайта шығаруға болатын нұсқа ғана есепке алынады.

Контейнерді latest тегімен емес, өзгермейтін идентификатормен бекітіңіз. Онымен бірге хост драйверін, микробағдарлама нұсқасын, іске қосу аргументтерін және шағын бақылау сұрауларының жиынтығын сақтаңыз. Жаңартудан кейін секундтағы токендерді ғана емес, бірінші токенге дейінгі уақытты, ең баяу сұраулардың кідірісін, ең жоғары жад көлемін және сәтсіз сұраулар үлесін салыстырыңыз.

Практикалық қорытынды анық: vLLM ішкі API негізі болса және команда жаңа модельдерді тез енгізгісі келсе, CUDA азырақ шарт қояды. Қажетті өнімділік сынақпен дәлелденіп, бейне қолмен түзетусіз жиналса, бекітілген сервис үшін ROCm таңдауға болады. AMD GPU сатып алып, содан кейін онда Triton-ның қай нұсқасы бүгін жиналатынын анықтау архитектуралық шешімді кезекші инженерге жүктейді.

llama.cpp айырмашылықты едәуір азайтады

llama.cpp GPU құрылғыларының өзін салыстыруға қолайлырақ, өйткені жоба орындау жолының үлкен бөлігін басқарады және бірнеше бэкендті қолдайды. CUDA GGML_CUDA арқылы, ал ROCm GGML_HIP арқылы жиналады. Квантталған GGUF файлдарын машиналар арасында тасымалдауға болады, бірақ тиімді параметрлер мен жылдамдық әртүрлі болады.

Ең аз тексеріс екі платформада да бірдей түсінікті:

# NVIDIA
cmake -S . -B build-cuda -G Ninja -DGGML_CUDA=ON
ninja -C build-cuda

# AMD
cmake -S . -B build-hip -G Ninja -DGGML_HIP=ON
ninja -C build-hip

Жинақтаудан кейін бір GGUF файлын бірдей -c, -b, CPU ағындарының саны және -ngl мәнімен іске қосыңыз. Кірістірілген өлшеу нәтижесін промптты өңдеу мен генерация үшін бөлек жазыңыз. Бір жалпы көрсеткіш маңызды айырманы жасырады: GPU ұзын промптты жылдам өңдеп, бірізді генерацияда орташа жылдамдық көрсетуі немесе керісінше болуы мүмкін.

Бірнеше GPU қолдауын жылдамдықтың тегін екі есе өсуі деп санамаңыз. llama.cpp мүмкіндіктер матрицасы бэкендтер бірнеше құрылғыны пайдалана алатынын, ал HIP арқылы ROCm-ға аударылған CUDA коды жолдарды GPU құрылғыларына бөле алатынын түсіндіреді. Бұл режим кез келген екі картада емес, байланыс жеткілікті жылдам болғанда пайда береді. Кәдімгі PCIe желілерінде алмасу кідірісі мен біркелкі емес жүктеме жалпы жадтың әдемі есебін бұзуы мүмкін.

llama.cpp Vulkan бэкендін де ұсынады, бірақ оны бөлек бэкенд ретінде бағалау керек. Ол тасымалдау мүмкіндігі мен кейбір жұмыс үстелі конфигурацияларына пайдалы, алайда Vulkan-ның болуы ресми қолдауы жоқ ROCm GPU құрылғысын қолдау көрсетілетін есептеу үдеткішіне теңестірмейді. Сүйемелдеуге болатын сервер керек болса, команда қайта жинап, диагностика жасай алатын жолды таңдаңыз.

Пайдаланушылар саны аз, GGUF моделі бекітілген және бір GPU қолданылатын жағдайда AMD орынды шешім бола алады. Мұнда ең жаңа біріктірілген ядроға қолжетімділіктен гөрі жад көлемі жиі маңызды. Егер сол сервер ертең vLLM-ге көшіп, адаптерлерді оқытып, тәжірибелік модельдерді қабылдауы керек болса, llama.cpp артықшылығын бүкіл стекке қолдануға болмайды.

GPU моделін таңдамай тұрып жадты есептеңіз

Жергілікті ЖИ үшін шекті ең жоғары терафлопс көрсеткішінен бұрын бейнежад көлемі қояды. Модель KV кэшімен және жұмыс буферлерімен бірге сыймаса, команда қабаттарды жедел жадқа ауыстырады, контексті қысқартады немесе жүктемені бірнеше GPU арасында бөледі. Әр амал кідірісті, энергия тұтынуды және күрделілікті өзгертеді.

Модель салмағынан бастаңыз. Шамамен алынатын төменгі баға параметрлер санын бір параметрге кететін байтқа көбейтуге тең: FP16 немесе BF16 үшін екі байтқа жуық, 8 бит үшін бір байт, 4 бит үшін жарты байт. Нақты файл мен жадта орналастыру метадеректер, кванттау шкалалары, туралау және уақытша буферлер салдарынан көбірек орын алады. Сондықтан 4 биттік 70 миллиард параметрлі модельдің тек өңделмеген салмағы шамамен 35 ГБ болады, ал іс жүзіндегі қор одан жоғары болуы керек.

Жадтың екінші тұтынушысы, KV кэші, контекст пен бір уақытта орындалатын тізбектер санына қарай өседі. Кәдімгі multi-head attention үшін шаманы мына формуламен тексеруге болады:

KV bytes ≈ 2 × layers × hidden_size × bytes_per_value × tokens × sequences

Екі көбейткіші кілттер мен мәндерді есепке алады. Grouped-query attention қолданатын модельдерде көлем KV бастарының санына тәуелді және кішірек болады, сондықтан басқа жазбадағы әмбебап калькуляторды емес, модельдің өз конфигурациясын алыңыз. vLLM орындауға жад сақтап, кэш блоктарын басқарады, сол себепті арифметикалық қосындының GPU паспортындағы көлемге дәл келуі іске қосылатынына кепілдік бермейді.

Тек жүктелгеннен кейінгі күйге емес, ең жоғары тұтынуға қор қалдырыңыз. Сервис үшін рұқсат етілген ең ұзын сұрау мен ең жоғары параллельдік кезіндегі жадты өлшеңіз. Оқытуда салмақтарға градиенттер, оңтайландырғыш күйлері және активациялар қосылады, сондықтан қажеттілік салмақ файлының көлемінен бірнеше есе артуы мүмкін. 24 ГБ-қа сыятын квантталған инференс конфигурациясы сол модельді қосымша оқыту мүмкіндігі туралы ештеңе айтпайды.

CUDA мен ROCm жадын қолжетімді сервер конфигурациялары деңгейінде салыстыру керек. Жады жеткілікті бір GPU екі шағын GPU құрылғысынан әрдайым дерлік оңай: алмасу аз, ақау нүктелері аз және кідіріс болжамды. AMD конфигурациясы бір қолдау көрсетілетін үдеткіште қажетті көлем берсе, бұл салмақты дәлел. Үнемдеу үшін ресми қолдауы жоқ жұмыс үстелі картасын алып, шектеуді CPU-ға түсіру арқылы жасыру қажет болса, үнем тек сатып алу кестесінде бар.

Энергия тұтыну TDP-мен емес, жұмыспен өлшенеді

GPU паспортындағы қуат бүкіл сервердің тұтынуына тең емес. Есепке CPU, жад, жинақтауыштар, желдеткіштер, қуат блоктары және түрлендіру шығыны кіреді. TDP немесе power limit салқындату мен жоғарғы шекті бағалауға көмектеседі, бірақ бір миллион токенге немесе бір түндік қосымша оқытуға қанша энергия кететінін айтпайды.

Қуатты сервер кірісінде өлшеп, орындалған жұмыспен байланыстырыңыз. Әр сынақ үшін ваттпен орташа қуатты, ұзақтықты, өңделген кіріс токендерінің және жасалған шығыс токендерінің санын белгілеңіз. Энергия қарапайым есептеледі:

energy_kWh = average_power_W × duration_hours / 1000

Екі өлшем жасаңыз: тұрақты жүктеме кезінде және модель жүктелген бос күйде. Ішкі көмекші тәуліктің көп бөлігінде сұрау күтуі мүмкін, сондықтан толық жүктемедегі төмен қуат нашар бос режимнің орнын толтырмайды. Ал топтамалық өңдеу көбіне ең жоғары өткізу қабілеті мен тапсырманы жылдам аяқтаудан пайда көреді.

nvidia-smi және amd-smi утилиталары құрылғы телеметриясын береді, бірақ серверлерді салыстыруға сыртқы өлшегіш немесе басқарылатын қуат тарату блогының деректері қажет. GPU бағдарламалық сенсоры жүйенің қалған бөлігін көрмейді. Екі дереккөзді салыстырыңыз: біріншісі жиіліктің төмендеуін және біркелкі емес жүктемені табуға көмектеседі, екіншісі ұйымның нақты не үшін төлейтінін көрсетеді.

Қуатты шектеу бір ватқа шаққандағы нәтижені жиі жақсартады, бірақ оны қажетті кідірісте сынау керек. Қуатты 15 пайыз үнемдеп, жауапты 40 пайыз ұзартатын шектеу бір сұрауға кететін энергияны арттырады. Бұл пайыздарды басқа GPU үшін болжам ретінде қолданбаймын. Олар қуат пен уақыттың көбейтіндісін неге есептеу керегін көрсетеді.

Қазақстанда есепке тіректегі нақты тығыздықты, қолжетімді салқындатуды, тарифті және алаңның жұмыс режимін қосқан жөн. Электр энергиясы бюджетіне сай сервер жылу немесе резервтік қуат талабына сай келмеуі мүмкін. Бұл шектеулер техникалық тапсырмаға үдеткіш моделінің нөмірінен бұрын енуі керек.

Жұмыс үстелі GPU мен серверлік үдеткіштің міндеті бөлек

Жады көп арзан карта тартымды көрінеді, бірақ серверді пайдалану үйдегі сынақ стендінде жоқ талаптар қояды. Физикалық өлшемді, қуат беруді, бағытталған ауа ағынын, рұқсат етілген температураны, қашықтан диагностиканы және таңдалған шассидегі ресми жұмыс режимін тексеріңіз. Ашық корпуста дұрыс салқындайтын карта тіректе көрші үдеткіштердің арасында жиілігін төмендетуі мүмкін.

ROCm үшін «іске қосылады» және «ресми қолдау көрсетіледі» ұғымдарының арасы ерекше маңызды. AMD матрицасы есептеу жүктемелеріне арналған GPU, операциялық жүйе және ROCm нұсқаларының үйлесімдерін көрсетеді, ал Radeon үшін бөлек шарттар бар. Орта айнымалысы немесе бейресми түзету кейде бағдарламаға басқа архитектураны таныта алады, бірақ ол өндіруші сынағын, қосалқы бөлшектерді немесе болжамды жаңарту жолын қоспайды. Зертханада бұл рұқсат етілетін тәжірибе. Міндетті қалпына келтіру уақыты бар сервис үшін ол бірінші күннен техникалық қарыз жасайды.

NVIDIA ойын карталарын да кішірейтілген сервер картасы деп қабылдауға болмайды. GPU арасындағы тікелей алмасу, виртуализация, жад қатесін түзету, телеметрия және салқындату режимі нақты модель мен платформаға тәуелді. CUDA бағдарламалық бэкендке кепілдік береді, бүкіл каталогтың пайдалану қасиеттері бірдей болатынына кепілдік бермейді.

Дәл осы жол сынақтан өтсе, Windows жұмыс станциялары мен llama.cpp үшін жарайды. vLLM негізгі құжаттамасында Linux жүйесіне бағытталған және нативті Windows негізгі өндірістік жол ретінде көрсетілмейді. WSL мен бөгде жинақтар әзірлеушіге пайдалы, бірақ олар жаңартып, диагностика жасау қажет қосымша қабат қосады. Жауапты иесі мен бөлек қабылдау сынағы болмаса, оларды сервер жобасына қоспаймын.

Соңында, дәл сондай ауыстыру құрылғысының қолжетімділігін тексеріңіз. Бір жылдан кейін істен шыққан GPU құрылғысын сол архитектурамен ауыстыру мүмкін болмаса, жаңа үдеткіш басқа драйвер мен бейнені қайта тексеруді қажет етуі мүмкін. Резервтік торап бағасы мен жеткізу мерзімі генерация жылдамдығы сияқты платформа есебіне кіреді.

Сүйемелдеу сағаты үнемді жоққа шығаруы мүмкін

ROCm платформасының негізгі жасырын шығыны лицензия емес, сирек үйлесімсіздіктерге кететін инженерлік уақыт. CUDA-ның негізгі жасырын шығыны ұйым стектің таныстығын бәрін тексерусіз жаңартуға рұқсат деп қабылдағанда пайда болады. Екі платформа да тәртіпті талап етеді, бірақ ROCm қолдайтын үйлесімдер дәлізі әдетте тарлау.

Әдеттегі ақау болжамды түрде дамиды. Команда PyTorch-ты жұмыс станциясында тексеріп, GPU қолжетімді екенін көреді. Содан кейін vLLM-ді PyTorch нұсқасы ядролар жиналған нұсқаға сәйкес келмейтін бар ортаға орнатады. Пакет импорт кезінде құлайды немесе жинауды талап етеді. Жинау барысында ROCm нұсқасының бейнеге сай келмейтіні, ал ROCm жаңарту үшін операциялық жүйенің басқа қолдау көрсетілетін нұсқасы керегі анықталады. Бір сәйкес келмеген пакет хостты өзгертуге әкеледі.

CUDA-дағы ұқсас тізбек тым ескі драйверден немесе кітапханалардың кездейсоқ қоспасынан басталады. NVIDIA құжаттамасы жаңа драйверлердің ескі CUDA қолданбаларымен кері үйлесімділігін және toolkit негізгі тармағындағы шектеулі үйлесімділікті сипаттайды, бірақ бұл кез келген нұсқаны араластыруға рұқсат емес. PTX JIT, драйвердің жаңа мүмкіндіктері және динамикалық кітапханалар ерекшелік туғызады. Контейнер хосттағы ядро драйверін алмастырмайды.

Ай сайынғы еңбек шығынын төрт жұмыс бойынша сағатпен есептеңіз:

• негізгі бейнелерді жинау және тексеру;
• жаңа модельдер мен кванттау пішімдерін растау;
• драйверлерді, операциялық жүйені және микробағдарламаны жаңарту;
• ақауларды талдау және кезекші ауысымды оқыту.

Қалпына келтіру уақытын қосыңыз. Бейне қайта жасалса, алдыңғы нұсқа сақталса және бақылау сынағы автоматтандырылса, кері қайтару уақыты түсінікті болады. Инженер пакетті жұмыс істеп тұрған контейнердің ішінде қолмен жинаса, сол өндірушінің резервтік GPU құрылғысы сервисті құтқармайды.

Жабдық қымбатырақ болса да, шағын командаға CUDA сүйемелдеу жағынан әдетте арзанырақ. AMD негізіндегі Linux кластерлерін бұрыннан басқаратын, ядроларды жинай алатын және модельдер каталогын тар ұстайтын команда үшін ROCm дәл сондай үстеме шығын әкелмейді. Біліктілік экономиканы өзгертеді, сондықтан басқа ұйымның толық шығын есебін өз сатып алуыңызға көшіре алмайсыз.

Сүйемелдеу құнын жабдық пен электр энергиясы көрсетілген кестеге жазыңыз. Жоспарлы жаңарту сағатын инженердің ішкі құнына көбейтіңіз, әр жаңа модельді тексерудің күтілетін уақытын және жоспардан тыс ақауға қор қосыңыз. Тиынына дейін дәлдік қажет емес. Адал болжамдары бар ауқым штаттағы маман еңбегін тегін деп қате санаудан шыққан нөлден пайдалырақ.

Пилот қабылдау хаттамасымен аяқталуы керек

Пилот әсерлі чат көрсетілімі үшін емес, қайта жасалатын конфигурацияны бекіту үшін қажет. Жабдыққа тапсырыс бермей тұрып әр керек түрден бір нақты сценарий таңдаңыз: ұзын контексті интерактивті сұрау, топтамалық тапсырма және қажет болса, оқыту немесе қосымша оқыту. Оларды CUDA және ROCm үміткерлерінде бірдей дерекпен және сапа шарттарымен іске қосыңыз.

Хаттамада GPU моделі, жад көлемі, операциялық жүйе, драйвер, runtime, PyTorch, vLLM немесе llama.cpp коммиті, салмақ пішімі және барлық іске қосу аргументі болуы тиіс. Бастапқы нәтижелерді тіркеңіз: бірінші токенге дейінгі кідіріс, тұрақты жылдамдық, ең жоғары жад, сервер кірісіндегі орташа қуат және қателер. Ең нашар байқалған нәтижесіз орташа көрсеткіш пайдаланушы көретін ақауды жасырады.

Өрістетуді таза торапта стендті дайындамаған инженердің күшімен қайталаңыз. Бұл қарапайым амал құжатталмаған пакеттерді, қолмен енгізілген түзетулерді және автордың үй бумасынан алынған файлдарды табады. Екінші инженер нұсқаулық бойынша сол нәтижеге жете алмаса, сізде көрсетілім бар, бірақ платформа әлі жоқ.

Өту шарттарын алдын ала қойыңыз. Мысалы: модель таза өрістетуден кейін жүктеледі; бақылау жауаптарында бұзылған токендер жоқ; сервис жад шегінен шықпай қажетті параллельдікке төзеді; қайта іске қосу жұмысты қалпына келтіреді; алдыңғы бейне хостты қайта орнатпай қайтарылады. Сандар сервисіңізге тәуелді, бірақ әр тұжырым бір мағыналы «иә» немесе «жоқ» жауабын беруі керек.

Екі айнымалыны бір уақытта өзгертпеңіз. CUDA үміткері FP8 пішімімен, ал ROCm үміткері 4 биттік GGUF пішімімен жұмыс істесе, сіз әртүрлі қызмет көрсету модельдерін салыстырасыз. Алдымен бірдей пішім мен қозғалтқышқа қол жеткізіңіз. Содан кейін әр платформаның тиімді конфигурациясын бөлек зерттеп, қай айырмашылық жауап сапасын өзгертетінін ашық белгілеңіз.

Сервер жобасы үшін GSE.kz қолайлы үдеткіштері және Қазақстан бойынша қолдауы бар жергілікті өндірілген платформаны жинап, біріктіре алады. Бірақ қабылдау актісі сервер немесе GPU өндірушісінің логотипіне емес, сіздің бейнеңіз бен сынағыңызға сілтеме жасауы тиіс.

CUDA негізгі таңдау болып қалады, ROCm-ға себеп керек

PyTorch экожүйесімен барынша үйлесімділік, vLLM жаңа мүмкіндіктеріне жылдам қол жеткізу, модельдерді жиі ауыстыру немесе шағын пайдалану командасына ең аз салмақ керек болса, NVIDIA CUDA таңдаңыз. Бұл пайдалы мағынадағы сақ таңдау: әзірлеуші репозиторийі мен өндірістік сервер арасындағы белгісіздік аз.

Нақты қолдау көрсетілетін GPU жад немесе конфигурация бойынша айқын артықшылық берсе, жүктеме бекітілсе, Linux стегі ресми матрицаға кірсе және пилот қажетті функцияларды растаса, AMD ROCm таңдаңыз. Ұйым жинақтау тізбегін бұрыннан басқарып, бір жеткізушіге тәуелділікті азайтқысы келсе, ROCm әсіресе орынды. Тәуелсіздікке екінші біліктілік жиынтығы қажет, әйтпесе ол таныстырылымдағы жол болып қалады.

llama.cpp және бір квантталған модель үшін шешім AMD жағына жиірек ауысуы мүмкін. Жаңа кванттау әдістері бар vLLM мен зерттеуге арналған PyTorch үшін CUDA әлі де қауіпсіздеу. Бірнеше GPU көмегімен оқыту үшін коммуникация мен қалпына келтіруді бөлек тексеріңіз, өйткені жадтың қосындысы алмасу жылдамдығы туралы ештеңе айтпайды.

Пилот нәтижелері жақын болса, кезекші команда түнде жазылған нұсқаулық бойынша қалпына келтіре алатын платформаны таңдаңыз. Сәтті сынақтағы бірнеше пайыз жаңартудан кейінгі бір күндік тоқтап қалудың орнын толтырмайды. Энергия мен инженерлік сағаттың толық есебінен кейін ROCm ұтса, ROCm таңдаңыз. Ол тек GPU сатып алу бағасында ұтса, есеп әлі аяқталмаған.