RAG үшін корпоративтік құжаттарды дайындау: чек‑тізім

Неліктен RAG алдында құжаттарды дайындау керек

RAG сіздің бастапқы құжаттарыңыз қаншалықты сапалы болса, соншалықты жақсы жұмыс істейді. Егер білім базасында скандар, әртүрлі форматтар, көшірмелер және «жоба» файлдар аралас болса, модель сенімді жауап бере алады, бірақ жиі қате болады. Сондықтан RAG үшін құжаттарды дайындау моделден емес, контент тәртібінен басталады.

Деректер «лаз» болғанда іздеу қажетті үзінді таба алмайды немесе контекстсіз бөліктерді шығарады. Нәтижесінде RAG тақырыбы жоқ кестені келтіруі, ескі редакцияны шығару немесе бір-біріне қайшы келетін екі ұқсас құжаттан жауап жинауы мүмкін.

Ол әдетте келесі қарапайым белгілер арқылы байқалады:

• «Табылмайды», ал құжат анық бар.\n- «Дұрыс емес дәйексөз», ұқсас абзацты басқа файлдан шығарады.\n- «Нұсқаларды шатастырады», ескі бұйрық немесе келісім бойынша жауап береді.\n- Өте жалпы жауаптар береді, өйткені OCR-дан кейін мәтін «қоқысқа» айналған.

Мысалы, қызметкер қолжетімділік саясаты мерзімі туралы сұраса. Папкада үш PDF бар: мөрленген скан, өңделетін DOCX және архивтегі финал. Дедупликация мен версионирлеусіз жүйе қате танылған сканды немесе екі жыл бұрынғы файлды таңдап алуы мүмкін. Жауап сенімді көрінеді, бірақ дұрыс шешімге әкелмейді.

Дайындау сол уақытта басқарылуын да жеңілдетеді. Жауаптар болжамды болуы тиіс болса, рөлдер мен жауапкершілікті алдын ала бекітіңіз: контент иесі не «шындық» екенін анықтайды; ақпарат қауіпсіздігі не индекстелетіні мен кімге көрсетілетінін белгілейді; архив немесе құжат айналымы "жоба/қолданыста/жойылды" статусын орнатады; IT OCR, тазалау, индексация және жаңартулар конвейерін баптайды.

Ережелер бекітілмесе, RAG «бәрін іздеу» жүйесіне айналып, дәлдік сәттілікке байланысты болады, деректерге емес.

Инвентаризация: не бар және қайда сақталған

RAG әдетте модельден гөрі сіз не бергеніңізден «сынып» жатады. Дереккөздердің картасын жасаңыз: қандай білім бар, кім жауапты және қай дереккөз ең сенімді деп есептеледі.

Құжаттар көбіне файл алмасу жүйелерінде, желілік дискілерде, поштада, ECM/EDM жүйелерінде, жеке папкаларда шашырап жатады. Тек орнын ғана емес, сонымен қатар жаңарту механизмін де тіркеу маңызды: кім файл қосады, қаншалықты жиі, келісімі бар ма.

Контентті типтер бойынша бөліп шығыңыз. Корпоративтік базаға көбіне бұйрықтар, регламенттер, келісімдер, нұсқаулар, қызметтік хаттар мен хат алмасу жатады. Әр топ үшін «шындық көзі» — қайғазба немесе канал қолданылады. Мысалы, бұйрыстар үшін ECM-те бекітілген PDF шынайы дереккөз болуы мүмкін, ал нұсқаулар үшін процедуралар базасындағы мақұлданған бет басты дереккөз болмақ.

Индексациялауға не жіберілетінін дереу шешіңіз. Тіркеуге қарапайым белгі қою ыңғайлы: «индекстеледі», «маскілеумен индекстеледі», «индексацияға тыйым». Бұл келісімшарттар, жеке деректер, қаржылық шарттар және ішкі хат алмасуды басқаруда өте маңызды.

Реестрді (кем дегенде кесте) базалық өрістермен жасаңыз: дереккөз және сақтау жолы (және қол жеткізу түрі), құжат түрлері мен шамамен көлемі, иесі және байланыс, «шындық көзі» және өзектілік ережесі, индексация статусы және шектеулер.

Мысал: өндірістік компанияда GSE.kz сияқты, сервис қолдау регламенттері және 24/7 процесстері желілік дискіде, ал бұйрықтар мен сатып алу құжаттары ECM-де болуы мүмкін. Егер шынайы дереккөз белгіленбесе, RAG жалпы папкадағы жоба нұсқасын бекітілген нұсқамен шатастыруы ықтимал.

Этап нәтижесі — не индекстелетіні, қайдан алынатыны және кімнің оны растайтыны түсінікті дереккөздер және жауапкершіліктер реестрі.

OCR: мәтінді іздеуге және дәйексөзге лайық ету

Егер база скандарға бай болса, RAG болжамсыз жауап бере бастайды: қажетті фразаны таба алмайды, цифрларды шатастырады немесе дәл дәйексөз келтіре алмайды. Жақсы OCR «суретті» мәтінге айналдырып, кейін іздеу, салыстыру және дәйексөз жасауға мүмкіндік береді.

OCR таңдау және бірізді ережелер орнату

Движокты демо бойынша емес, сіздің типтік құжаттарыңызға қарап таңдаңыз. RAG дайындауында тілдер (орыс, қазақ, ағылшын), кестелердегі сапа және аралас PDF-терді өңдеу маңызды.

Жүйені іске қоспас бұрын өңдеу стандарттарын келісіңіз, әйтпесе сапа «айнымалы» болады:

• Кіріс сапасы: көбіне 300 dpi жеткілікті; 200 dpi төмен болса, шағын қаріптерде қателер көп болады.\n- Беттің геометриясы: бұрылыс, иілу, өрістердің қиылғаны.\n- Шулар: фон, мөрлер, сканер сызықтары, сұр фон.\n- Көп бетті PDF-тер үшін ереже: не бір құжат саналады және беттер қалай сақталуы керек.\n- Кестелер: кем дегенде қатарлар мен бағандар деңгейінде құрылымды сақтап қалатын режим.

Мысалы, серверлерге арналған спецификациялар мен есеп қабылдау актілері болса, бір қате цифр модель, RAM көлемі немесе түйіндер санын өзгертеді. Кестелер мен сандарды қатты бақылау керек.

Не сақтау және сапаны қалай бақылау

Үш қабатты сақтау практикалық: бастапқы файл, индексацияға арналған танылған мәтін және визуалды тексеру үшін OCR қабаты бар PDF.

Сапаны қарапайым метрикалар арқылы тіркеу ыңғайлы: «қоқыс» символдардың үлесі, күдік тудыратын бос орындар, сандардағы қателер жиілігі (мысалы, 0/O, 1/I), беттерде мәтіннің өте аз болуы көрсеткіші.

Әр файл үшін минималды лог өңдеуді талдауға және өңдеуді бірдей қайталауға көмектеседі:

• Өңдеу күні мен уақыты.\n- OCR қозғалтқышының нұсқасы және профиль баптаулары.\n- Тану тіл(дер)i.\n- Статус (сәтті, жартылай сәтті, қате) және себеп.\n- Сапа бағасы (мысалы, «қоқыс» пайызы немесе «тексеру қажет» белgesi).

Осылайша OCR «қара жәшік» болмайды және іздеу мен дәйексөзге сүйенуге болатын бақылаулы кезеңге айналады.

Мәтінді тазалау: шуды азайтып, мағынаны арттыру

OCR кейін мәтін көбіне «кездейсоқ» күйде келеді: оғаш үзілістер, артық бос орындар, әр бетте қайталанатын шапкалар. Егер осыны қалдырсаңыз, іздеу шуды ұстанып, жауаптар болжамсыз болады. RAG үшін құжаттарды дайындаудың көп бөлігі мұқият тазалауға келіп тіреледі.

Біріншіден, мәтінді қалыпқа келтіріңіз: бір кодировкаға келтіру (мысалы, UTF-8), «бұзылған» символдарды жою, сөйлем ішіндегі шертулерді біріктіру (абзацты сақтау), бос орындар мен табтарды нормализациялау, бет нөмірі мен бөлгіштерді («Page 3 of 12») жою, тізім маркерлерін бір стильге келтіру.

Кейін қайталанатын қоқыстарды алып тастаңыз: колонтитулдар, әр бетте бірдей шапкалар, «Сканировано» мөрлері, әр бетте қайталанатын құпиялылық ескертулері. Әйтпесе модель мән орнына оларды цитаталау ықтималдығы жоғары. Қарапайым тест: фраза әр бетте кездеседі және құжаттың мәнін өзгертпесе — оны жою кандидаты деп санаңыз.

Кестелер, формалар мен қосымшаларды бөлек ережелер бойынша тазалау дұрыс. Кестелерде «көрсеткіш — мән» құрылымын кем дегенде бөлгіш арқылы сақтау маңызды, әйтпесе сандар мен белгілер араласып кетеді. Формаларда өріс белгілерін алып тастаңызба — жоқ, оларды көбіне қалдыру керек, өйткені адамдар бұл өрістер бойынша сұрақ қояды.

Екі тілде (мысалы, орыс және қазақ) құжаттар болғанда тілдерді бөлек сақтау немесе фрагмент деңгейінде тіл белгілерін қою туралы алдын ала шешім қабылдаңыз. Бір фрагментте екі тіл араласып қалмасын — іздеу нәтижелері жиі қате шығады.

Артық тазартпаңыз. Қолданушылар пайдалатын опорларды сақтаңыз: даталар мен құжат нөмірлері, «п. 4.2», редакция белгілері, кодтар мен инвентарлық нөмірлер, ерекшеліктер туралы жазбалар.

Мысалы, 40 беттік регламентте бөлімнің жоғарғы жағындағы шапка әр бетте қайталанса, және төменгі жағында «Бет X». Біз шапка мен «Бет» белгілерін алып тастаймыз, бірақ "Редакция 2 от 12.03.2024" пен «см. п. 3.1» сияқты сілтемелерді сақтаймыз. Содан кейін RAG нақты тармаққа сілтеп жауап береді.

Дедупликация: жауаптар бірдей қайталанбауы үшін

Бірдей файлдардың көшірмелері базаға түскенде RAG жиі бір мағынаны әртүрлі нұсқалардан цитаталап, қайталай береді. Сондықтан дедупликация — RAG дайындаудың міндетті қадамы.

Алдымен дубльді қалай анықтайтыныңызды шешіңіз. Көбіне кездесетін үш түрі бар: дәл көшірме (байт-бойынша), шамамен көшірме (мысалы, OCR кейін немесе формат өзгерген), және «үстік» шаблондар — дата немесе реквизиттер өзгеріп, қалған мәтін бірдей.

Көшірмелерді қалай табу керек

Бір әдіске сенбеу керек, бірнеше тәсілді біріктірген дұрыс:

• Файл хэші (дәл көшірмелер үшін).\n- Нормализацияланған мәтін хэші (OCR және тазалаудан кейін).\n- Мәтін ұқсастығын салыстыру («шамамен көшірмелер» үшін).\n- Негізгі өрістерді салыстыру (атауы, нөмірі, датасы, бөлім, автор).\n- Поштадағы тіркемелерді бөлек өңдеу.

Дубль табылғаннан кейін жай ғана алып тастамаңыз: «негізгі—көшірмелер» байланысын сақтаңыз. Қай жерде табылғаны, жүктеу даталары және құжат идентификаторларын сақтау пайдаланушыға неге сол файл көрсетілетіні түсіндіруге көмектеседі.

Қай файлды көрсету керек екенін қалай таңдау

Алдын ала приоритет ережелерін жасаңыз: мақұлданған, әрекеттегі нұсқа жобадан жоғары; DMS/ECM-тегі оригинал пошта көшірмесінен жоғары; метадеректері бар файл атаусыз сканнан жоғары; толық құжат жартылай құжаттан жоғары.

Пошталардағы тізбектер мен тіркемелер жиі кездеседі. Хат мәтіні ондаған рет қимылдағанмен қайталануы мүмкін, ал тіркеме біреу ғана болуы мүмкін. Хат денесі мен тіркемелерді бөлек дедупликациялау жауаптардың әр хаттан бірдей нұсқаны цитаталауын болдырмайды.

Версионирлеу: ескі құжаттар бойынша жауап бермеу

RAG дәл қашан пайдалы болатыны құжаттардың өзектілігіне байланысты. Егер базада түрлі редакциялар және бұйрық редакциялары бар болса және олардың арасындағы байланыс анық болмаса, модель ескі норманы цитаталайды. Сондықтан версионирлеуді индексация жасалардан бұрын шешкен жөн.

Алдымен компанияңызда «нұсқа» нені білдіретінін келісіңіз: кейбірі үшін бұл құжаттың жаңа редакциясы, басқалары үшін — өзгеріс бұйрығы, үшінші үшін — жаңа датамен файл. Бір тәсілді таңдап, барлық массив бойынша ұстаныңыз, әйтпесе процесс хаосқа айналады.

Минимальды версиялық өрістерді барлық құжаттар үшін бірдей ету ұсынылады (метадеректерде сақтау маңызды): нұсқа/редакция нөмірі, құжат идентификаторы, бекіту және күшіне ену датасы, статус (жоба, әрекеттегі, жойылды), иесі мен бекіту органы, өзгерістер тізбегі («ауыстырады»/«ауыстырылды").

RAG үшін маңызды мәселе — ескі нұсқаларды қатты маркировкалау. Жойылған және ауыстырылған құжаттар іздеуден шығарылуы немесе әдепкі бойынша тек «қолданыста» статусындағы құжаттар қалатындай сүзгі болуы тиіс. Әйтпесе жауаптар редакциялар арасында секіріп, пайдаланушылар сенімсіз болады.

Тарихты түсінікті тізбек ретінде сақтау тиімді: A құжаты B құжатымен ауыстырылды, ал B C арқылы ауыстырылды. Сонда «неліктен ереже өзгерді?» деген сұраққа жауап бергенде сіз актуал нұсқамен қоса не өзгергенін көрсете аласыз.

Мысал: IT бөлімі жұмыс станцияларын беру регламентін жаңартты. Егер базада «Reglament_2023» және «Reglament_2024» файлдары статус пен күшіне ену датасысыз жатса, RAG ескі мерзімдерді немесе жауапты тұлғаларды цитаталай алады. Ал егер 2023 нұсқасына «жойылды» және 2024-ке «қолданыста» белгі қойылып, «ауыстырады» өрісі толтырылған болса, жауаптар ұдайы және дұрыс болады.

Метадеректер: іздеуді болжамды ету үшін не қосу керек

Мәтін танылып, тазаланғаннан кейін метадеректер негізгі мәселені шешеді: неге бір сұрау бүгін дұрыс табылса, ертең табылмауы мүмкін. RAG үшін модель тек «не тапқанын» ғана емес, дұрыс дереккөзге сүйенуі тиіс.

Минимальды стандарт ретінде әр файлға бірдей базалық өрістерді енгізу ұсынылады: құжат түрі (регламент, нұсқаулық, келісім, хат, есеп), бөлім-дереккөзі мен иесі, шығару күні мен нұсқа, статус (жоба, қолдану, жойылды), идентификатор (нөмір, код).

Іздеуді жақсартатын өрістер бірізді болуы маңызды: тақырыптар, кілт сөздер, өнімдер мен жүйе атаулары, өңірлер мен объектілер. Егер компанияда үш өндірістік алаң бар болса, оларды барлық құжатта бірдей жазған дұрыс, әйтпесе іздеу әртүрлі нұсқаларға шашырайды.

Фильтрлер мен қолжетімділік ережелері үшін бөлек метадеректер ойластырыңыз. Олар RAG фрагменттерді таңдауды бастамай тұрып артық нәрсені алып тастауға мүмкіндік береді:

• қолжетімділік деңгейі (ішкі, тек бөлімге, тек басшылыққа);\n- құпиялылық классы (әдеттегі, ДСП, коммерциялық құпия);\n- сақтау мерзімі және қайта қарау күні;\n- қолданылу саласы (білім беру, қаржы, мемлекеттік сектор);\n- құжат тілі.

Хаостың ең жиі себебі — бір атаудың әртүрлі жазылуы. Бақыланатын сөздіктер (отделтар, жүйелер, өнімдер, өңірлер, құжат түрлері) бұл мәселені шешеді: "IT-департамент", "IT" және "ДИТ" үш бөлек сүзгіге айналмайды.

Толтыру ережелерін автоматты және қолмен жасалатындарға бөлу пайдалы. Жұмысқа жарамды минимум: автоматты түрде — жүктеу күні, дереккөз, формат, тіл, хэш бойынша көшірмелер; жартылай автоматты — құжат түрі және бөлім (папка, шаблон немесе мөр бойынша); қолмен — иесі, статус, қолданылу және құпиялылық; және жарияламас бұрын қысқа валидация.

RAG үшін фрагментация: модель қажетті үзінді табуы үшін

Фрагментация жеңіл мәселені шешеді: модельге бүтін құжат емес, жауап бар дәл үзінді көрсету керек, бірақ мағына жоғалмауы тиіс. Бұл дайындаудың ең әсерлі бөлшектерінің бірі.

Құжаттарды табиғи шекаралар бойынша бөліңіз: бөлімдер, тармақтар, кіші тармақтар, логикалық блоктар. Дұрыс фрагменттің жақсы белгісі — оны жеке оқысаңыз, мағынасы анық болуы. Егер абзац жоғарыдағы анықтамаларға сілтесе, фрагментке тақырып пен бір-екі сөйлем контекст қосыңыз.

Мағыналы элементтерге назар аударыңыз. Анықтамаларды олар қолданылатын тармақпен бірге сақтау дұрыс. Кестелерді баған тақырыптары немесе өлшем бірліктері жоғалмайтындай етіп кеспеңіз. Қосымшалар мен формалар бөлек фрагмент болғаны жөн, бірақ негізгі құжатқа айқын байланыспен.

Әр фрагментте тексеруге жеткілікті мәлімет сақтаңыз: құжат атауы мен түрі, нақты тармақ нөмірі (мысалы, 3.2.1), версия немесе бекіту күні, дереккөз (оригинал сақталған орын, файл идентификаторы), құпиялылық белгісі және қолжетімділік деңгейі.

Цитаталауды тексеру міндетті. Қарапайым тест: сұрақ қойып, жауап алып, ол нақты тармаққа сілтейтінін тексеріңіз. Егер сервер кабинеті туралы нұсқаулықтағы қызмет көрсету тәртібі берілсе, сілтеме нақты бөлім мен нұсқаға нұсқалуы тиіс, әйтпесе сіз ескі ережемен әрекет ету қаупі барсыз.

Кейде контент түрлері бойынша бөлек индекстер пайдалы: саясаттар мен бұйрықтар техникалық қолдау мен хат алмасудан бөлек, ал техникалық нұсқаулар сатып алу шаблондарынан бөлек ізделсе, шуды азайтады және жауап тұрақтылығын арттырады.

Қолжетімділік және қауіпсіздік: RAG тек рұқсат етілгенге жауап беруі үшін

Егер RAG бәрін аралап іздейтін болса, ол ерте ме, кеш пе пайдаланушы көрмеуі тиіс үзінді шығарады. Сондықтан қолжетімділікті тек интерфейсте емес, білім базасының өзінде ұйымдастыру керек: қорғалған үзінділер іздеу мен жауапқа мүлде түспеуі тиіс.

Қол жеткізу деңгейлерін алдын ала ойластырыңыз. Әдетте рөл (қызметкер, заңгер, бухгалтер), бөлім, жоба және құжат деңгейі (ашық, шектеулі, құпия) комбинациясы жеткілікті. Бір құжатты бәрі көре алса, оның қосымшасы тек қаржы бөліміне ғана көрінуі мүмкін. Құқықтар файл деңгейінде және қажет болса фрагмент деңгейінде қойылса да болады.

Үлкен қағида — метадеректер бойынша екі мәрте сүзу. Біріншісі — іздеуден бұрын, жүйе жабық көздерде іздемесін; екіншісі — генерация алдында, маркерлердегі қателерден шыққан даулы үзіндіді көрсетпеу үшін.

Арнайы категорияларды бөлек сақтау және индексациялау маңызды: жеке деректер, қаржы, медицина, қызметтік құпия. Оларға көбіне қатты қолжетімділік, қысқартылған сақтау мерзімі, өрістерді маскілеу (мысалы, ЖСН/телефон) немесе RAG-та толық пайдалануға тыйым сияқты ережелер қажет.

Инциденттерді талдау үшін журнал жүргізуді енгізіңіз. Қажет минимум: кім сұрау салды және қандай рөлмен, сұраудың мәтіні (немесе хеші құпия сұраулар үшін), қай құжаттар мен фрагменттер дереккөз болғаны, пайдаланушыға көрсетілген жауап.

Іске қоспас бұрын әртүрлі рөлдері бар тесттік аккаунттармен тексерулер өткізіңіз. Қарапайым сценарий: "A" жобасының қызметкері "B" жобасының бюджетін сұрайды. Дұрыс нәтиже — бас тарту немесе жалпы жауап, цифрларсыз және жабық көздерге сілтемесіз. Егер бірде-бір жабық үзінді «өтіп шықса», құқықтар, метадеректер немесе сүзгілер дұрыс бапталмағанын көрсетеді.

Дайындаудағы жиі қателіктер мен тұзақтар

Ең қымбат мәселелер көбіне құжаттарды қалай дайындағаныңыздан басталады, модельден емес. Егер база «как получилось» жинақталған болса, жауаптар бірде дәл, бірде оғаш болады, және неге екенін түсіндіру қиын болады.

Жиі кездесетін қате — OCR сапасын бақылаусыз қолдану. Мәтін пайда болды деп есептейсіз, бірақ сандар, даталар, бұйрық нөмірлері және кестелер қате танылған. Нәтижесінде іздеу құжатты таппайды, ал модель қате мәндерді цитаталайды. Скандарды бұру, нашар контраст, мөрлер, қолтаңбалар кедергі келтіреді.

Аралас нұсқалар да қауіпті. Папкаларда "final", "final2", "последний" сияқты файлдар бар, және RAG кез келгеніне сүйеніп жауап бере алады. Егер статус (жоба, қолданда, архив) және иесі белгіленбесе, жүйеде жетекшілік жоқ. Бұл сатып алулар, кадрлар және ақпарат қауіпсіздігі саласында ауыр салдар береді.

Тағы бір тұзақ — дұрыс ойластырылмаған тазарту. Агрессивті тазалау нөмірлеу, тармақтар мен қосымшаларға сілтемелерді жояды. Әртүрлі құжаттарды бір файлға жапсыру контекстті бүлдіреді, және модель талаптарды әртүрлі саясаттардан шатастырады. Кейде қайталанатын блоктарды алып тастағанда маңызды ерекшеліктер де жойылады.

Дайындау қате кеткенін көрсететін белгілер:

• әртүрлі файлдардан алынған әртүрлі дәйексөздермен бірдей жауаптар;\n- модель жиі "анықтаймын" деп, бірақ нақты тармақ көрсетпейді;\n- іздеу нақты формулировкалар бойынша құжаттарды таппайды;\n- дәйексөздерде бұзылған сөздер, ерекше символдар, сынған кестелер бар;\n- бір сұраққа ескі және жаңа тәртіп бір уақытта шығады.

Оны күрделі аналитикасыз да қарапайым тексерулермен ұстауға болады. 10–15 нақты пайдаланушы сұрағын өткізіп, нәтижелер көздері күткендерге сай ма екеніне көз жеткізіңіз. Содан соң таңдамалы қолмен тексеру жасаңыз.

Жиі 80% мәселелерді ұстауға көмектесетін жылдам тесттер:

• құжаттан нақтылы фраза бойынша сұрау жасап, табылған үзіндімен салыстыру;\n- құжат нөмірі, дата, ЖСН, сома бойынша іздеу және тануды тексеру;\n- бір құжатты үш жерде тексеру: оригинал, OCR-текст, RAG үшін жасалған фрагменттер;\n- бір регламенттің екі нұсқасын негізгі тармақтар бойынша салыстыру;\n- ең көп цитаталанатын топ-20 көздерді қарап, «қоқыс» пен көшірмелерді анықтау.

Ең бастысы: егер жаңарту процесі және жауапты адамдар белгіленбесе, сапа әр ай сайын төмендейді, тіпті бастамасы мінсіз болса да.

Чек‑тізім, мысал және келесі қадамдар

Индексацияға дейін қысқа жылдам тексеріс жасаңыз. RAG сканнан шыққан «қоқыс» не ескі нұсқаларды цитаталап, жөнге келтіруді көп уақыт жейтініне қарағанда, бұл бірнеше күндік тексеріс уақытын үнемдейді.

Индекске жүктемес бұрын қысқа чек:

• OCR тексерілді: мәтін көшіруге жарамды, кодировка дұрыс, кестелер мен тақырыптар оқылатын.\n- Тазалау жасалды: колонтитулдар, қайталанатын шапкалар, бос беттер, бұзылған символдар алынды.\n- Көшірмелер жойылды: дәл және шамамен бірдей файлдар бір көзге жинақталды.\n- Нұсқалар белгіленді: қай құжаттың қолданылатыны және қайсы архивте екені анық.\n- Метадеректер мен қолжетімділік бапталған: иесі, дата, бөлім, құжат түрі, құқық деңгейлері.

Кейін сапаны тез тексеріп алыңыз — қымбат емес кезеңде түзету оңай. 10–20 типтік пайдаланушы сұрағын алып, қай құжаттар мен бөлімдер жауап көзі болу керектігін алдын ала көрсетіңіз. Егер жауап басқа көзге сілтессе, мәселе әдетте OCR, фрагментация, метадеректер немесе нұсқаларда болады.

Мини-тест сұрақтарына мысалдар:

• «Сатып алу келісімін бекіту тәртібі қандай?»\n- «1 деңгей оқиғалары бойынша реакция мерзімдері қандай?»\n- «Кімді тағайындайды және демалысқа қандай құжаттар қажет?»\n- «Биыл парольге қойылатын талаптар қандай?»

Жауаптар ескірмеу үшін жаңарту регламентін енгізіңіз. Қайтаиндексация жиілігін анықтаңыз (мысалы, аптасына бір рет) және кестеден тыс сигналдар: жаңа бұйрық жарияланғанда, саясат жаңартылғанда немесе келісім шаблоны өзгергенде. Сондай-ақ иесі болуы керек, ол нұсқаның финал екенін және оны іздеуге беруге болатынын растайды.

Мысал сценарий: ИБ регламенті жаңартылды. Құжат OCR-тен өтіп, тазарту жасалып, метадеректер «ИБ, регламент, версия 3.2, дата» алды, ескі нұсқа архивке «неактуалды» деген белгімен өтті. Содан кейін қайтаиндексация іске қосылып, бақылау сұрағы парольдер туралы тек жаңа нұсқаға сілтеп жауап беруі тиіс.

Әрі қарай пилотты бір құжат түрінен (мысалы, саясаттар мен регламенттер) бастаған жөн, конвейерді сенімді етіп жасап, содан кейін келісімдер, хат алмасулар мен техникалық құжаттарға кеңейтіңіз. Егер RAG үшін инфрақұрылым (серверлер, сақтау, қауіпсіздік контурлары) пен 24/7 қызмет қажет болса, жүйелік интеграторды қосу әдетте жеңілдетеді: мысалы, GSE.kz инфрақұрылым мен қолдаудың бөлігін қамтамасыз ете алады, сонда пилот бөлектерге бөлінбейді.