Көптілді RAG сапасын тестілеу: метрикалар мен тестілер

Бір жүйеде көптілді RAG-та «сапа» деген не\n\nRAG — бұл тек іздеу де, тек чат-бот та емес. Іздеу құжаттардан қажетті фрагменттерді табуы тиіс, ал генерация солардан түсінікті жауап құрастыруы керек. Құжатсыз чат-бот сенімді сөйлей алады, бірақ қателесуі мүмкін. Сондықтан RAG сапасы әрдайым екі байланысқа қатысты: дұрыс тауып, дұрыс жауап беру.\n\nПрактикада қызметкерлер жиі «нашар модель» емес, нақты ақаулар туралы шағымданады:\n\n- қажетті құжатты немесе бөлімді таппау;\n- ұқсас, бірақ тақырыбы өзгеше құжат таңдау (мағыналық қате);\n- дұрыс мазмұн берілді, бірақ тіл дұрыс емес;\n- қазақша мен орысша терминдерді айыршыламай немесе араластырып жазу;\n- табылған мәтінге сүйенбестен сенімді жауап беру.\n\nЕкітілділік қарапайым тексерулерді бұзады. Сол сұрақты орысша, қазақша немесе араласып қоюға болады. «Дұрыстық» тек фактілерге ғана емес, сондай-ақ формаға байланысты: қай тілді күтеміз, лауазымдар мен аббревиатуралар қалай жазылуы тиіс, түпнұсқа цитаталар сақталуы керек пе.\n\nКөптілді RAG-ты тестілеуге кіріспес бұрын ережелерге келісу керек. Әйтпесе метрикалар адамдардың күтулерімен сәйкес келмеуі мүмкін:\n\n- жауаптың әдепкі тілі қандай және қашан өзгереді;\n- қандай дереккөздер «рұқсат етілген» (тек ішкі құжаттар ма, әлде басқа да базалар бар ма);\n- дереккөзге сілтеме қалай көрінуі тиіс: цитата, құжат атауы, дата;\n- RU мен KZ нұсқалары қайшы келгенде не істеу қажет (қайсысы «басым»);\n\nБұл шешімдер «сапа» ұғымын сезімнен тексерілетін критерийге айналдырады.\n\n## Тесттерге міндетті сұрау түрлері\n\nТексеру адал болуы үшін сұрақтар жиыны қызметкерлердің шынайы сөйлегенін қайталауы тиіс. Әйтпесе жүйе «оқу» сұрақтарында жақсы нәтиже көрсетіп, нақты диалогтарда қателеседі.\n\nБірінші міндетті класс — тілдер арасындағы кросс-сұраулар. Қызметкер орысша жазады, ал қажетті регламент немесе бұйрық қазақша болуы мүмкін, және керісінше. Мұндай тесттерде тек жауап фактісін ғана емес, жүйенің дұрыс фрагментті тапқанын да тексеру маңызды.\n\nЕкінші класс — аралас формулировкалар. Бір фразада жиі RU + KZ болады, транслит, қате және әңгімелік қысқартулар қосылады. Мысалы: «Маған керек акт сверки по контрагенту, где шаблон?» немесе «Сатып алу бойынша лимит кто утверждает?». Мұндай сұраулар токенизация мен сөздік қателерін тез ашады.\n\nРөлдік сценарийлерді бекіту пайдалы, әртүрлі тапсырмалар мен сұрақ стильдерін қамту үшін. Міндетті рөлдер минимумы:\n\n- бухгалтерия: акттар, шоттар, есеп айырысу мерзімдері;\n- HR: демалыс, іссапар, қабылдау мен қызметтен босату;\n- сатып алулар: шектер, келісімдер, типтік формалар;\n- техп қолдау: қолжетімділіктер, өтініштер, қауіпсіздік ережелері;\n- басшылық: саясаттар мен процестер бойынша жауапкершіліктер.\n\nТәуекел аймағы — таршол терминология мен аббревиатуралар. Бұл ішкі кодтар, жүйелер атауы, бөлімдердің қысқартулары, жабдық модельдері. Мысалы, GSE.kz тәрізді компанияда қызметкерлер «S200», «M200», «L200», «сервер стойка», «24/7 поддержка» туралы сұрауы мүмкін, ал құжаттарда олар RU және KZ нұсқаларда әртүрлі көрінуі ықтимал.\n\nМұндай жағдайларда дәл терминнің сәйкес келуі қажет тесттер пайдалы — термин бірнеше құжатта кездесетін және дұрыс жауап дәл сәйкестіксіз мүмкін емес болғанда жүйенің ұғымдарды ажырата алатынын көрсетеді.\n\n## Екітілді құжаттар корпусын қалай жинау керек\n\nҚазақша-орысша RAG үшін тест корпусы ұйымның нақты «құжаттық өмірін» көрсетуі тиіс, тек бірнеше PDF емес. Қызметкерлер жиі іздейтін құжаттардан бастаңыз: бұйрықтар, регламенттер, нұсқаулықтар, FAQ, хат үлгілері, ішкі хабарландырулар. Жүйелік интеграторлар және өндірушілер үшін бұл әдетте сатып алулар талаптары, сервистік процестер сипаттамалары, кепілдіктер мен эксплуатация ережелері де болады.\n\nСапа әр жаңартудан кейін «құбылмасын» десеңіз нұсқаларды бекітіңіз. Корпуста файлды ғана емес, оның датасын, редакция санын, қайнарын (мысалы, бөлім немесе жүйе) және қысқа сипаттамасын сақтаңыз. Құжат жаңартылар болса, жаңа нұсқасын қосыңыз, бірақ ескі нұсқаны бірден өшірмеңіз: регрессияларды табу және жауаптар неге өзгердігін түсіндіру жеңілдейді.\n\nЕкітілді жұптар мен «талғамалы аудармаларды» бөлек дайындаңыз. Нақты өмірде кейбір материалдар тек орысша, кейбірі тек қазақша, ал кейбірі аралас болуы мүмкін (тақырыптар KZ, мәтін RU немесе керісінше). Бұл құрылымды сол күйінде сақтау маңызды: ол терминология бойынша іздеуге және аралас сұрауларға әсер етеді.\n\nПрактикалық минимум корпус үшін:\n\n- 20–30 негізгі регламент пен нұсқаулық (KZ, RU, аралас);\n- 30–50 FAQ және қысқа анықтамалар;\n- 10–20 типтік хаттар мен формулировкалар;\n- 5–10 жартылай аударылған құжаттар;\n- 5–10 ескірген нұсқалар (актуалдылықты тексеру үшін).\n\nСоңында «алтын жиынтық» — индексті, эмбеддингтерді, сөздіктерді немесе модельді әр өзгерткен сайын жүгізілетін тұрақты шағын поднабор жасаңыз. Ол ең жиі сұралатын, маңызды саясаттарды және аралас тілдегі бірнеше күрделі жағдайларды жабуы тиіс.\n\n## Тест сұрақтары мен күтілетін жауаптарды қалай жасау керек\n\nТест сұрақтары қызметкерлер чатта қалай жазатынын көрсетуі керек: қысқа, қателермен, «дұрыс» терминдерсіз. Екітілді RAG үшін бұл әсіресе маңызды: нақты сұраулар жиі орысша мен қазақшаны араластырады, ал қажет фактілер әр түрлі тілдегі құжаттарда жатыр.\n\nАлдымен ең жиі жұмыс тақырыптарын қамтитын кішкентай жиынтықтан бастаңыз. Бастапқыда 30–50 сұрақ жеткілікті болуы мүмкін, егер олар шынымен «тірі» болса. Содан кейін жиынтықты апта сайын кеңейтіңіз: тарихтан жаңа сұрақтарды және жүйенің қателіктерін қосып отырыңыз.\n\nКүтілетін нәтижелерді бір «идеал жауаппен» емес, шарттар жиынтығымен белгілеңіз:\n\n- қандай дереккөздер міндетті табылуы тиіс (нақты құжаттар немесе бөлімдер) және қандайдары резерв ретінде жарамды;\n- қандай фактілер айтылуы керек (2–5 қысқа пункт) және қандай формулировкалар қабылданады;\n- қай тілде жауап күтіледі (сұрақтың тілі немесе диалогтағы соңғы реплика);\n- қандай шектеулер маңызды («мерзімдерді ойдан шығармау», «деректер жоқ болса — құжаттарда табылмады деп жауап беру»);\n- егер шынымен бірнеше нұсқа болса — 2–3 қабылданатын жауап нұсқасы.\n\nЕкітілді базадағы қарапайым мысал: қызметкер «Серверлер S200 бойынша кепілдік қалай беріледі? 24/7 қолдау бар ма?» деп сұраса, күту сипаттамасы былай болуы мүмкін: жүйе S200 сериясы және қолдауға қатысты материалдарға сілтеме жасауы керек; жауапта 24/7 техникалық қолдау мен сервистік желінің бар болуы айтылуы тиіс (егер құжаттарда кепілдік мерзімдері жоқ болса, ойдан шығармау).\n\nОсындай формат тесттерді адал етеді: сіз тек «әдемі мәтінді» емес, ассистенттің қажетті бөлімдерді тауып, мәнді бұрмағанын тексересіз.\n\n## Извлечение метрикалары: жүйенің қажеттілерін табуын тексеру\n\nRAG-та жиі генерация емес, іздеу сәтсіздік береді: модель сенімді жазып, бірақ басқа фрагменттерге сүйенеді. Сондықтан сапаны бағалау алдымен извлечение-ға назар аударады: дұрыс құжаттар табылды ма және жоғарғы нәтижелерде тұр ма.\n\nМұнда ең пайдалы метрика — Recall@K. Ол «егер дұрыс құжат базаға бар болса, ол алғашқы K нәтижелерге кірді ме?» деген сұраққа жауап береді. Екітілді база үшін бұл өте маңызды: орысша сұрау қазақша регламентті талап етуі мүмкін.\n\nPrecision@K картинаны толықтырады: алғашқы K нәтижелердің қаншасы шын пайдалы. Төмен дәлдік — «шумды» нәтижелерді білдіреді: жүйе сөзбе-сөз ұқсас, бірақ қате құжаттарды араластырады. Бұл тәжірибеде: қызметкер жұмыс станциясының кепілдігі туралы сұрағанда, нәтижелерде прайс, презентация және ескі спецификация пайда болады.\n\nДұрыс дереккөздердің қаншалықты жоғары тұрғанын бағалау үшін ранжирлеу метрикалары көмектеседі:\n\n- MRR: орташа алғанда бірінші дұрыс құжат қай орында шығады;\n- nDCG: бірнеше релевантты дереккөздің әрқайсысының «маңыздығын» есепке алады;\n- дереккөздердің қамтылуы: топ-K-те кем дегенде бір дұрыс құжат табылған сұрақтардың үлесі.\n\nMRR мен nDCG бірнеше құжат түрі болғанда және нормативті нұсқаның басымдығы маңызды болғанда әсіресе пайдалы.\n\nСонымен қатар іздеудің жылдамдығы мен тұрақтылығын бақылаңыз. Орташа ғана емес, медиана мен «құйрықтар» (мысалы, 95-ші перцентиль) пайдалы: пайдаланушылар сирек, бірақ баяу жауаптарды байқайды. Индекс жаңартылғаннан кейін құйрықтар ұлғайса, пайдаланушы тәжірибесі нашарлайды, тіпті Recall@K өзгермесе де.\n\n## Генерация метрикалары: жауаптың өзін тексеру\n\nТіпті извлечение жақсы болса да, көптілді RAG жауап фазасында жиі қателеседі: модель фактілерді ойдан құрастырады, тілді шатастырады немесе сұрақтың бір бөлігін қалдырып қояды. Тесттер үшін жауапты бірнеше қарапайым шкала бойынша бағалап, содан кейін жалпы ұпайға жинаған ыңғайлы.\n\n### Тек дереккөздерден алынған фактілер\n\nМұнда негізгі метрика — табылған фрагменттерге сәйкес фактикалық дұрыстық. Жауаптағы әрбір мәлімдеменің жүйе көрсеткен құжаттардан расталатынын тексеріңіз. Егер модель құжаттарда жоқ мәліметтер қосса (даталар, сандар, шарттар), бұл қате саналады, тіпті «шындығына ұқсаса» да. Галлюцинациясыз жауаптар үлесін бөлек есептеген пайдалы.\n\n### Толықтық, тіл және тексерімділік\n\nТексеру жылдам әрі біркелкі болу үшін қарапайым рубрика пайдаланыңыз (әр тармаққа 0–2 ұпай):\n\n- толықтық: жауап сұрақтың барлық бөлігін жауып отыр ма;\n- фрагменттерге байланыс: цитаталар немесе нақты мәтін бөлігіне сілтемелер бар ма;\n- жауаптың тілі: RU немесе KZ күтілген тіл ме, артық араласу жоқ па;\n- сақтық: егер құжаттарда ақпарат жоқ болса, модель адал «мәлімет табылмады» деп айтады және нақтылау ұсынады.\n\nМысал: қызметкер орысша сұрайды, ал құжатта термин қазақша кездеседі. Жақсы жауап орысша береді, бірақ ресми терминді дереккөздегі күйінде сақтап, қай жерде табылғанын көрсетеді. Нашар жауап терминді «өз бетінше» аударады да, жоқ талаптарды қосуы мүмкін.\n\n## Терминология мен сөздіктер: KZ және RU үшін бөлек тесттер\n\nКөптілді RAG-та терминология көбіне жауаптың «сұлулығынан» маңыздырақ. Бір объект RU мен KZ-да, сонымен қатар қысқартылған және әртүрлі жазылымдарда кездескенде іздеу бұзылады. Сондықтан сөздікке арналған бөлек тексерулер жасау керек.\n\nЕң алдымен нақты құжаттардан KZ және RU терминдер тізімін жинаңыз: лауазымдар, бөлімдердің атауы, құжат түрлері, өнімдер мен стандарттар. Әр термин үшін 2–3 нұсқасын бекітіңіз: аударма, синоним, жиі кездесетін жазылымдар (латиница/кириллица, жазылу нұсқалары, нүктемен/нүктесіз). Мысалы, ұйым ішінде «S200», «С200» және «сервер S200» болуы мүмкін, стандарттар үшін «ISO 9001» және «ИСО 9001» секілді.\n\nКішігірім «сөздік» тест жиынтығын жасап, дұрыс жауап дәл терминге тәуелді болатын сұрақтарды қосыңыз. Әдетте 30–80 маңызды термин жеткілікті.\n\n### Нені нақты тексеру керек\n\nЖүйенің бір ұғымды әртүрлі формаларда бірдей іздейтінін және жауап беретінін тексеріңіз:\n\n- синонимдер және жазылым нұсқалары (KZ/RU, кириллица/латиница);\n- аббревиатуралар және ішкі қысқартулар;\n- мәні ұқсас, бірақ шатастырмау керек сөздер (лауазым vs бөлім);\n- «шумды» сәйкестіктер, термин басқа контексте кездескенде.\n\n### Сөз формаларына шексіз талаптар қоймау\n\nСөздердің шырайы мен септелуіне қатысты қатты әдеби талаптар қоймаңыз, бірақ мағынаның сақталуын талап етіңіз. Практикалық ереже: септеу қателері рұқсат етіледі, егер (1) термин дұрыс танылған, (2) жауапта рөлдер мен жауапты тұлғалар өзгермеген, (3) дереккөзге сілтеме мағынасы бойынша сәйкес болса.\n\nЖай сценарий: «Кім жауапты за 24/7 қолдауды?» және «Кто отвечает за 24/7 поддержку?» сұрақтарында жүйе бірдей саясатты немесе регламент фрагментін табуы тиіс және «қолдауды» «енгізу» секілді ұқсас сөзбен алмастыруға болмайды.\n\n## Аралас сұраулар және диалог ішінде тіл ауысуы\n\nАралас сұраулар: «Еңбек қауіпсіздігі туралы бұйрықты тауып, қазақша қысқаша айт» немесе «Сколько гарантия на сервер S200? жауапты бөлім кім?». Мұнда күтілетін тәртіпті алдын ала бекіту маңызды: қай тіл басты, жауапта тілдерді араластыруға бола ма және қандай жағдай қате саналады.\n\nПрактикалық ереже: жауап тілін соңғы нақты сұраныс анықтайды («на казахском», «по-русски»). Егер өтініш жоқ болса, диалог бастаған тілде жауап беру керек. Аралас сұрауда бұл ереже маңызды, әйтпесе модель әр жолы әртүрлі таңдау жасауы мүмкін.\n\n2–3 репликадан тұратын тізбекте тіл ауысуын тексеріңіз. Мысалы: қызметкер алдымен орысша сатып алу формасы туралы сұрайды, кейін қазақша нақтылайды, содан соң қысқаша әрі орысша қайта сұрайды. Тестте финалдық жауаптан бөлек жүйенің контекстті сақтағанын да бағалаңыз.\n\nРесми атаулар, модель кодтары немесе құқықтық формулировалар қажет болғанда жартылай аударма рұқсат етіледі. Мысалы, «S200 Series», «ISO 9001» немесе бөлім атауы өзгеріссіз қалдырылып, жанында қарапайым түсініктеме беруге болады.\n\nТест-кейске қысқаша тексерулер:\n\n- жауап тілі ережеге сәйкес пе;\n- терминдер қажетсіз түрде аударылмады ма немесе бұрмаланбады ма;\n- құжаттан алынған цитаталар маңызды болса, олар қайта жазылмады ма;\n- тіл ауысқаннан кейін модель бұрынғы репликалардың мағынасын жоғалтпай ма;\n- жауапта себепсіз код-свитчинг жоқ па.\n\nРәсімдік материалдар үшін шекараны қатты қою керек: ішкі бұйрықтар мен реттелетін жауаптар осындай жағдайда бір тілде және минималды парафразамен берілуі тиіс.\n\n## Көптілді RAG сапасын тексеру қадамдық процесі\n\nТексеру «ұнады/ұнамады» дауына айналмас үшін сценарийлер мен қабылдау ережелерін бекітуден бастаңыз. Мысалы: қызметкер орысша сұрақ қояды, ал дұрыс жауап қазақша бұйрықта. Жүйе тиісті фрагментке сілтеме жасап, мәліметті ойдан шығармауы керек.\n\nДеректерді «мұрыншактап» сақтау маңызды. Индекстелетін құжаттардың нұсқаларын, даталарын, қайнарын және тілін сақтау керек. Әйтпесе қандай да бір өзгеріс — модельді жетілдіру ме немесе PDF мәтіні өзгерді ме — анық болмай қалады.\n\nПрактикалық процесс:\n\n- 8–12 сценарий мен «өту/өтпеу» критерийлерін анықтаңыз (дәлдік, толықтық, жауап тілі, міндетті дереккөз цитатасы);\n- корпусты жинап, оның нұсқасын бекітіңіз: файлдар, OCR, чанкталу, индекc баптаулары;\n- 50–150 сұрақ дайындаңыз, аралас (KZ+RU) және ішкі терминологиясы бар сұрақтарды қосыңыз; күтілетін құжаттар мен фрагменттерді белгілеңіз;\n- тесттерді жүргізіп, извлечение және генерация метрикаларын бөлек алыңыз;\n- сәтсіздіктерді категориялап, чанктер, тіл фильтрлері, сөздік, промпт немесе ранжирлеуде нүктелік түзетулер енгізіңіз.\n\nТүзетулерден кейін сол тест жиынтығында қайтадан өтіңіз. Егер метрикалар жақсарды, бірақ қолданушы тәжірибесі нашарласа, қабылдау критерийлері қате таңдалған деген сөз.\n\nGSE.kz тәрізді компания үшін шағын мысал: «S200 серверге кепілдік қанша?» сұрағы тиісті регламентке әкеліп, пайдаланушы тіліне сай жауап беріп, құжаттан нақты мерзімдерді сақтауы тиіс. Бұл кейс тіл ауысуы, терминология және адал цитаталауды бірден тексереді.\n\n## Екітілді RAG тестілеудегі жиі қателер мен тұзақтар\n\nЕң кең тараған қателік — жүйені жауаптың «әдемілігіне» қарап бағалап, извлечение сатысындағы сәтсіздікті өткізіп жіберу. Модель сенімді жазып, бірақ бейрелевантты фрагменттерге сілтеме жасауы мүмкін. Екітілді базада бұл орысша мен қазақша ұқсас формулировкалармен маскировка болуы ықтимал.\n\nТағы бір қате — тым кішкентай тест жиынтығы. 10–20 сұрақпен бағаласақ, промптты, прага және сөздіктерді дәл соларға «үйретесіз». Нақты сұраулар пайда болғанда тесттер сыртында жаңа тақырыптар шығып, метрикалар құлайды.\n\nАрнайы проблема — құжаттарды жаңарту. Регламент өзгерді ме, спецификация жаңартылды ма немесе нұсқа өзгереді ме — RAG әлі ескі жауаппен қалуы мүмкін: кэштен, ескі индекстерден, дұрыс дедупликация болмауынан немесе ескі құжат кілт сөздерге жақсы сәйкес келгендіктен.\n\nҚателерді айыра білу үшін:\n\n- тексерулерді бөлек жүргізіңіз: алдымен retrieval, кейін generation;\n- екі жиын ұстаңыз: шағын «жылдам» және үлкен регрессиялық жинақ, оны апталап өзгертпеңіз;\n- жаңартуларға арналған тесттер қосыңыз: бір сұрақты құжат жаңартудан бұрын және кейін тексеру;\n- тіл мен терминологияны бөлек тексеріңіз: KZ-терминдер, RU-терминдер және араластырылған сұраулар.\n\nЖәне алдын ала келісіп қойыңыз: құжаттарда жауап болмаса не істеу керек. Жақсы нәтиже — адал «деректер базасында жоқ» жауап және нақтылау сұрауы, ойдан шығарылған жауап немесе қате сілтеме емес.\n\n## Орнату алдындағы және әр жаңартудан бұрынғы жылдам чек-лист\n\nРелизден бұрын немесе деректер жаңартылғаннан кейін «жалпылама жұмыс істейді» деп емес, нақты тәуекелдерді тексеріңіз. Орысша мен қазақша бірдей сенімді болуы керек, біреуінің ғана жұмыс істеуі емес.\n\nАлдымен тесттер қызметкерлердің шынайы тілін қамтитынына көз жеткізіңіз: RU, KZ және кросс-тілдік сұраулар (сұрақ орысша, жауап қазақша келеді және керісінше). Аралас формулировкалар, транслит пен типтік қателерді қосыңыз — әдетте олар іздеуді генерациядан бұрын бұзады.\n\nТексеретін минимум:\n\n- retrieval пен generation үшін бөлек метрикалар бар;\n- тест жиынтығында RU, KZ және кросс-тілдік сұрақтар, сонымен қатар диалог ішінде тіл ауысуы бар;\n- аралас сұраулар, транслит, қателер және қысқа «телеграфтық» формулировкалар бар;\n- терминология сөздігі қолдау көрсетеді: аббревиатуралар, лауазымдар, формалар нөмірлері, жүйе атаулары және оларға тесттер жасалған;\n- құжаттар мен индекс нұсқалары бекітілген: не тексеріп жатқаныңызды білесіз және «жаңартудан кейін» бөлек тексеріс бар.\n\nКелесі — сапа шектері мен «релиз тоқтату» ережесін қойыңыз. Мысалы: негізгі тақырыптар бойынша извлечение толықтығы келісілген деңгейден төмендесе немесе расталатын дереккөздерсіз жауаптар саны өссе — жаңарту шығарылмайды.\n\nПрактикалық тәсіл: 20–30 сұрақтан тұратын smoke-жиынтықты сақтап, әр модель, индекс, сөздік немесе құжат өзгерісінен кейін жүргізіңіз. Бұл не бұзылғанын тез айқындауға көмектеседі — іздеу ме әлде формулировка ма.\n\n## Шынайы сценарий мысалы: қызметкерлерге арналған ішкі көмекші\n\nӨндірістік және ИТ ұйымында қазақша мен орысша құжаттар мен байланыс бар ішкі көмекшіді елестетіңіз. Ол регламенттер, сатып алулар мен ИТ-өтініштер бойынша тез жауап беру үшін қолданылады. Мұндай жағдайларда көптілді RAG тестілеуі жасырын проблемаларды жиі ашады.\n\nТиптік сұрақтар күнделікті болып көрінсе де, онда көптеген «тұзақтар» бар: түрлі формулировкалар, аббревиатуралар, тілдерді араластыру, жергілікті терминология. Мысалы:\n\n- «Қанша уақыт ішінде 1 млн теңгеге дейінгі сатып алу өтінішінің келісімі болады?»\n- «Маған ноутбук беру тәртібі қандай? Қандай құжат керек?»\n- «Service Desk-та өтініш мәртебесін қайдан қарауға болады және SLA қайсысы жауапты?"\n- «Егер бұл драйвер жаңартуы болса, ПО орнатуға ИБ келісімі керек пе?"\n- «Қоймаға қабылдау актісін кім бекітеді?»\n\nАралас сұраулар да кездеседі: «Жөндеу үшін RMA қалай ашамын и какие поля обязательны?» және «Для S200 серия серверов гарантия қанша жыл?».\n\nСәтсіздік қалай көрінеді: іздеу «ұқсас» құжатты береді (мысалы, жалпы регламент орнына ағымдағы нұсқаулықты таба алмайды), модель сенімді жауап береді, ойдан шығарған қадамдар қосады және нақты цитаталар көрсетпейді. Қолданушы ұсынылған нұсқауды орындап, келісімнен бас тартады.\n\nЖиі көмектесетіні: процедура қадамдары үзілмес үшін чанктеуді қайта жасады, терминология сөздігін толтырды (SLA, RMA, ИБ, KZ/RU нұсқалары), цитаталарды тексеруді күшейтті (дереккөзсіз жауаптар тәуекелді деп белгіленеді).\n\nСоңында извлечение метрикалары жақсарып, цитаталау дәлдігі артатыны көрінеді. Қызыл аймақта әдетте әңгімелік формалармен және сирек қазақша-орысша термин жұптарымен аралас сұраулар қалады — оларды бөлек тест-кейстер және сөздік жаңартулары арқылы жапқан дұрыс.\n\n## Келесі қадамдар: тестілеуді тұрақты процеске қалай айналдыруға болады\n\nТұрақтылық бір реттік тексеруден маңыздырақ. Көптілді RAG сапасы әдетте екі оқиғадан кейін «жылжиды»: білім қорын жаңарту (құжат қосу, чанктер, сөздіктер өзгеруі) немесе модель, ранжировщик, промпттың жаңа нұсқасы шыққанда.\n\nЖұмыс ережесі: сол тест прогонды (1) релиз алдында, (2) контент жаңартылғаннан кейін дереу және (3) апта сайын, мысалы бір рет жүргізіңіз, тыныш деградацияларды ұстау үшін.\n\nПроцессті бекіту үшін рөлдерді алдын ала тағайындаңыз:\n\n- пән иесі: қызметкерлердің типтік сұрақтарын RU және KZ тілдерінде ұсынады;\n- разметчик: күтілетін жауаптар мен қабылданатын формулировкаларды белгілейді, терминологияны көрсетеді;\n- инженер/аналитик: тесттерді жүргізіп, извлечение және генерация метрикаларын қарайды;\n- сапаны қабылдау: метрикалар төмендегенде өзгерістерді шығаруға рұқсат береді.\n\nМетрикалар тарихын «сапа паспорты» ретінде сақтаңыз: дата, не өзгертілді, метрика мәндері, сәтсіздік мысалдары. Осылай не бұзылғанын көруге болады: мысалы, іздеу қазақша фрагментті таппай жатыр, жауаптар орысша тым жалпы болды немесе аралас сұрауларда жүйе адасты.\n\nЖаңа қате қайталанса немесе жағдай өзгерсе, тест-жиынтықты кеңейтіңіз: жаңа аббревиатуралар, ішкі атаулар, құжат үлгілерінің пайда болуына сай әр категорияға 5–10 тар мақсатты кейс қосып, оларды «бұзбау» ретінде сақтаңыз.\n\nRAG пен оны қолдайтын инфрақұрылымды енгізуді жоспарласаңыз, деректердің қай жерде сақталатынын, есептеулерді қалай масштабтайтынын және қолдауды қалай ұйымдастыратынын алдын ала ойластырыңыз. Мұнда GSE.kz сияқты жүйелік интегратор көмек бере алады: серверлер мен платформаны жүктемеге сай таңдап, вендорға тәуелсіз шешім құрып, 24/7 қолдау қамтамасыз ету.\n