Ішкі құжат айналымына арналған RAG: пайплайн архитектурасы
Ішкі құжат айналымына RAG-ты қалай құруға болатынын қарастырамыз: көздер, мәтінді шығару, индекс, цитаталы жауаптар және рұқсатты бақылау.

Ішкі құжат айналымының нақты проблемасы
Проблема әдетте құжаттардың аздығында емес. Мәселе — олар тым көп және әртүрлі жүйелерге шашырап орналасқан: әрбірінің нұсқасы, күні, бөлімшесі, ерекшеліктері, басқа регламенттерге сілтемелері бар. Нәтижесінде қызметкер іздеуге және салыстыруға уақыт бөліп, өз жұмысын істей алмай қалады.
Көбіне адамдар «құжат қайда» деп емес, «қазір қалай дұрыс жасау керек» деп сұрайды. Мысалы: тәртіпсіздікпен демалыс рәсімдеу, сатып алу өтініміндегі қандай өрістерді толтыру, жабу құжаттары бойынша мерзімдер, өтініш жоғалған жағдайда не істеу керек. Жауаптарды пошта, чаттар, жалпы папка, «білетін» әріптес арқылы немесе ешкімнің нені есте сақтағанын білмей іздейді.
Кілтсөз бойынша қарапайым іздеу жиі алдайды. Ол ұқсас атаулары бар 20 файл тауып береді, бірақ нақты жауап бермейді және контекстті түсіндірмейді. Регламенттерде формулировкалар, шарттар мен ерекшеліктер маңызды. Бір ғана сөйлемді көршілес абзацтарсыз алып тастасаңыз, мағына оңай бұрмалануы мүмкін.
Ішкі құжат айналымындағы RAG-та бөлек проблема — «бот артық көріп қойды» тәуекелі. Практикада бұл былай көрінуі мүмкін: HR қызметкері қаржылық есептен кеңес алады, бухгалтерия кездейсоқ персоналды деректерді көреді, немесе жаңа қызметкерге оған қол жетімді болмауы тиіс ішкі тарифтер ашылады.
Әдетте төрт талапты теңестіру қажет: дәлдік (жаңартылған нұсқаға сай жауап), жылдамдық (ұзақ күттірмеу), қауіпсіздік (бастапқы жүйелердегі сияқты қолжетімділік, айналып өтулерсіз) және аудит (цитатаның қайдан келгенін және кім не сұрағанын білу).
Егер бұны бастан бекітпесеңіз, чат-бот дәлелсіз «ақылды» жауап беріп қалады немесе дерек ағып кетудің көзіне айналады.
Құжат көздері: не қосамыз және қандай шарттармен
Жауаптардың сапасы модельден емес, оқуға рұқсат етілген көздерден басталады. Көп бірақ басқара алмайтын көздерді қосудан гөрі аздап және бақылаулы көздерді қосқан дұрыс — әйтпесе утечка, өзекті нұсқаларға дау және нұсқалар шатасуы пайда болады.
Көбіне пайдалы көздер: жалпы файл сақтау орындары (желі папкалары), арнайы пошта жәшіктері (мысалы, «regulations@»-қа ұқсас), білім базалары мен порталдар (вики, FAQ), скан және қағаз архивтері, келісім жүйелері мен документооборот жүйелері — соңғы бекітілген нұсқалар датасымен.
Әр көзге иені тағайындаңыз. Бұл «техникалық контакті» емес, мағына үшін жауап беретін адам немесе рөл: қандай нұсқа ресми саналады, кім өзектілікті растайды және құжаттар арасында қайшылық болғанда не істеу керек. Мысалы, GSE.kz деңгейіндегі компанияда HR демалыс пен командировка регламенттерінің иесі, бухгалтерия — бастапқы құжаттар мен айдың жабылуы саясатының иесі, IT — қол жетімділік нұсқауларының иесі.
Форматтар көбінесе аралас болады: PDF пен DOCX, презентациялар, суреттер (скан), кейде кестелер (XLSX) және жүйелерден шығарулар. Бұларды алдын ала бекітіп қойыңыз: скан үшін OCR қажет, кестелерге — жеке парсер логикасы, әйтпесе модель «жорамалдауға» көшеді.
Пайдалану шарттарын қарапайым ережелермен бекіткен оңай. Индекске тек бекітілген құжаттар (черновик емес) ғана түсуі тиіс. Жеке деректер мен коммерциялық құпия — тек айқын рұқсатпен және қолжетімділікті шектеумен. Әр құжат үшін мәртебесін (қолданыста/жойылған) және бекіту күнін сақтау маңызды. «Жеке папкаларды» және бейформальды хаттарды шығарыңыз. Әрбір көз үшін өшіру сұранысы бойынша анық процесс болуы тиіс.
Соңында жаңарту саясаты туралы келісіңіз: өзгерістерді қаншалықты жиі алу, не есептеледі «жою» (файл жойылған ба әлде «жарамсыз» деп белгіленді ме), және кім ескі нұсқаның енді жауаптарда қолданылмайтынын растайды. Олай болмаған жағдайда бот жойылған ақпаратты сенімді түрде цитаттауы мүмкін.
Мәтінді шығарып алу: PDF, офис файлдары, скан және кестелер
RAG-тың сапасы көбіне модельден емес, файлдардан шығарылған мәтіннің сапасына бәйлі. Егер кіріс «қисық» мәтін болса, ары қарай қате цитаталар, жіберілген тармақтар және тақырыптан алшақ жауаптар пайда болады.
«Қалыпты» офис файлдарымен (DOCX, PPTX, TXT) жұмыс істегенде сөздерді ғана емес, құрылымды сақтау маңызды: тақырыптар, тізімдер, нөмірлеу, тармақтар. Әйтпесе регламенттегі «3.2.1» сияқты нөмірлеулер жеке жолдарға айырылып, қай шартқа байланысты екені жоғалады.
Скан, PDF және OCR
PDF екі түрдегі болады: мәтін қабаты бар және «контейнердегі сурет». Екіншісіне OCR керек. Сапаны жалпы сөздер емес, жиі бұзылатын пункттер бойынша тексеріңіз: бұйрық нөмірлері, ИИН/БИН, сомалар, даталар, тармақтарға сілтемелер.
Тану сапасын қысқаша тексеру чек-листі:
- «қоқыс» символдар мен бос беттердің үлесі
- негізгі өрістердің сәйкестігі (күн, нөмір, қол)
- бір құжаттың ішінде қазақ және орыс мәтіндерінің тұрақтылығы
- сөз үзілуі мен жол буылғандарының дұрыстығы
Кестелер: бірліктер мен контекстті жоғалтпау
Кестелерде тек ұяшық мәнін емес, бағана тақырыптарын, өлшем бірліктерін және ескертпелерді сақтау маңызды. Әйтпесе «10» деген сан «күндерсіз» немесе «%сыз» түсініксіз болады. Практикада кестені айқын өрістермен мәтіндік жолға айналдыру ыңғайлы.
Соңында форматтарды (күндер, құжат нөмірлері, кодировкалар, тіл) нормализациялау және парсинг логтарын жүргізу керек. Егер құжат нөл символ берсе немесе күдікті түрде аз мәтін шықса, бұл деректі дереу байқау керек, пайдаланушы шағымынан кейін ғана емес.
Үзінділерге бөлу және сенімді цитаталар үшін метадеректер
Құжатты индексті толығымен орналастыру сирек дұрыс шешім. Модельге қысқа әрі нақты контекст керек, ал пайдаланушыға — тексерілетін цитата.
Үзінді өлшемі маңызды: өте кішкентай үзінді мағынаны жоғалтады, өте үлкені артық ақпарат тартады және іздеуді нашарлатуы мүмкін. Әдетте 1–3 абзац пайдалы, бірақ ең бастысы — үзінді мағыналы әрі тұтас болуы.
Мәтінді табиғи шекараларымен бөліңіз: тақырыптар, тармақтар, қосалқылар, қосымшалар. Құжат нөмірлеуі бар болса (3.1, 3.2...), құрылымды сақтаңыз және әр түрлі тармақтарды бір үзіндіге араластырмаңыз. Кестелер үшін астындағы жазба мен негізгі бағаналарды бірге ұстаңыз, әйтпесе цитата түсініксіз болады.
Цитаталардың сенімді болу үшін әр үзіндіге метадеректер қажет. Минималды жиынтық:
- көз және файл идентификаторы (source_id), сондай-ақ компания ішіндегі жол/хранилище
- құжаттағы орын: бет нөмірі, бөлімнің тақырыбы, тармақ нөмірі
- реквизиттер: күн, нұсқа, мәртебе (проект/қолданыста/жойылған)
- иесі және бөлімше
- құжат түрі (регламент, бұйрық, келісім, нұсқаулық)
Үзіндіні бастапқы файлмен байланыстыру аудитке мүмкіндік беруі тиіс: цитатадан нақты файл мен нақты орынды таба алуыңыз керек (бет пен тармақ), «шамамен қай жерде» емес. Сонда пайдаланушы түпнұсқаны ашып, жауап контексттен алынғанын тексере алады.
Нұсқалар мен дубликаттарға алдын ала келісім керек. HR нұсқаулығы 1.2-ден 1.3-ке жаңартылған болса, ескі үзінділерді «актуалды емес» деп белгілеп немесе іздеуден шығарып тастаған жөн, әйтпесе бот ескі ережелерді цитаттайды. Дубликаттарда мазмұн хешін қолдану және бір «каноникалық» көзді индекске енгізіп, қалғандарын метадеректерде көрсететін ереже көмектеседі.
Индекс және іздеу: сақтау мен жаңартуды қалай ұйымдастыру
Көбінесе екі бөлік қажет: жылдам іздеу үшін индекс және бастапқы файлдарды сақтау орны. Индексте үзінділер мен метадеректер орналасады, ал хранилищеде — түпнұсқа файлдар (PDF, DOCX, скан), оларды ашып, цитатаны тексеруге болады.
Іздеуді бір әдіспен жасамаған жөн. Векторлы іздеу мәнді ұғынады (мысалы, «командировканы қалай рәсімдеу»), бірақ нақты формулировкаларды өткізіп жіберуі мүмкін. Кілтсөздер мен фильтрлер нақты ақпаратты табуға жақсы (бұйрық нөмірі, форма коды, нақты термин). Сондықтан гибрид тәсілі жиі ұтады: алдымен метадеректер бойынша сүзгілеу, кейін мән бойынша ранжирование және кілтсөздермен нақтылау.
Қай өрістер бойынша мәнсіздерді шығару керектігін алдын ала шешіңіз:
- бөлімше немесе рөл (HR, бухгалтерия, сатып алулар)
- жоба немесе филиал
- құжаттың грифі/сыныбы (қоғамдық, ішкі, конфиденциал)
- қолданылу мерзімі мен нұсқа
- автор немесе регламент иесі
Іздеу сапасын бақылаудың ең оңай жолы — бақылау сұраулары жинағы. Мысалы: «жеке іс-құжаттарды сақтау мерзімі», «5 млн теңгеге төлемді кім мақұлдайды», «дерек утечкасы кезінде не істеу керек». Жақсы нәтиже — жоғарғы 1–3 орынға дұрыс үзінділердің түсуі, және ескі нұсқалар болмайды.
Индекс жаңартуын алдын ала жоспарлаңыз: жүйелі кесте бойынша (мысалы, түнде), оқиға бойынша (файл қосылды/өзгертілді) және маңызды регламенттерді жарияламас бұрын қолмен.
Үзіндінің —\u003e құжат —\u003e нұсқа байланысын сақтау маңызды. Құжат ауыстырылған кезде тек қатысы бар үзінділерді қайта индекстесе болады және жауаптар ескі ережелерге сілтемейді.
Контекст алу: модель жауапқа нақты не алады
Жауап сапасы көбіне модельдің «ақылдығынан» емес, оған берілген үзінділерден тәуелді. Сондықтан пайдаланушы сұрағынан индекске қандай іздеу сұрағы түсуін алдын ала шешу маңызды.
Әдетте сұрақты нормализациялап бастайды: артық сөздерді алып тастап, негізгі атауларды бөліп шығарады (құжат атауы, бөлімше, күн, өнім). Мысалы, «24/7 қолдау сұраныстары бойынша жауап мерзімі қандай?» сұрағын «SLA», «реакция», «24/7» және құжат түрі «регламент/келісім» фильтрімен сұрауға айналдыру пайдалы. Егер компанияда түрлі контурлар (HR, бухгалтерия, IT) болса, пайдаланушының рөлін мен бөлімін қосу тиімді.
Одан кейін қанша үзінді алу керектігін таңдайды. Көп үзінділер жауапты нашарлатады: модель бөлшектерге батып, әртүрлі ережелерді араластыра бастайды. Практика: бірнеше ең жақсы сәйкес келетін үзінді алып, 1–2 «сақтандыру» үзіндісін тек сол құжаттан немесе сол бөлімнен қосу.
Егер бірнеше көз болса (саясаттар, бұйрықтар, нұсқаулықтар, білік базасы), басымдықтарды анықтаңыз. Көбіне жаңалығы маңызды (жаңа құжат ескіге қарағанда маңызды), сенімділік (бекітілген — жобадан жоғары), контекст (пайдаланушының бөлімінің құжаты «жалпыға» қарағанда маңызды), көз түрі (саясат хаттан маңыздырақ, хат — әңгімеден маңыздырақ).
Құжаттар қайшы келсе, үнсіз ешкімнің «ақысын» таңбаңыз — конфликт көрсетіп, екі көзді де ұсыныңыз, және таңдау критериін айқындаңыз: бекіту күні, нұсқа статусы, иесі.
Журнал жүргізуді міндетті етіңіз: бастапқы сұрақ, жасалған іздеу сұрағы, қолданылған рұқсат фильтрлері, табылған үзінділер тізімі (релеванттық бағаларымен) және финалдық контекст. Бұл қателерді түзетуді жеделдетіп, бот неге дәл солай жауап бергенін дәлелдеуге көмектеседі.
Цитаталармен жауаптар: ақпарат қайдан алынғанын қалай көрсету
Сенімділік бір ережеге тәуелді: модель тек табылған үзінділер негізінде жауап беруі керек. Егер контексте растау жоқ болса, бот ойдан ештеңе қоспауы тиіс. Бұл пайдаланушыларға түсінікті және қауіпсіздік пен заң бойынша қорғалу оңайырақ.
Цитата тек декорация емес, тексерілетін болуы керек. Жақсы минимум:
- құжат (атауы, нөмірі)
- бөлім немесе тармақ (бар болса)
- нұсқаның күні немесе бекітуі
- бет және/немесе үзінді жолдарының диапазоны
Сонда пайдаланушы регламентті ашып, дәл соны көреді. Мысалы: «Командировка 3 жұмыс күн бұрын мақұлдануы керек» және жанында: «Командировка туралы ереже, бұйрық №12, п. 3.2, нұсқа 2024-09-01, б.4».
Егер мәлімет жеткіліксіз болса, ашық айтқан жақсы: «қолжетімді құжаттарда ақпарат жоқ» және нақтылау сұраңыз — кезең, бөлімше, келісім түрі. Бұл қателіктер қаупін азайтады және деректер базасында не жетіспейтінін көрсетеді.
Жауап форматын рөлдерге қарай бейімдеңіз. Қызметкерге 2–3 сөйлем мен бір цитата жеткілікті. Заңгер немесе комплаенс өкіліне — бірнеше цитата мен ескертулер қажет болуы мүмкін (мысалы, «осы жерде ерекшелік бар»), бірақ бәрі де табылған үзінділерден ғана тұруы тиіс.
Сапаны «жалпы қанағаттану» арқылы емес, нақтылықпен өлшеңіз: цитаттардың дәлдігі (мағына мен орын қаншалықты сәйкес), дұрыс түрде бас тартулардың үлесі, «цитата басқа нәрсе туралы» шағымдарының саны және пайдаланушылардың бір сұрақты қаншалықты жиі нақтылауы.
Құқықтарды бақылау: бот артық нәрсені көрмесін қалай ұйымдастыру
Басты қате — утечка тек бот «құпияны көрсеткенде» болатынын ойлау. Утечка әлдеқайда ертерек басталады: модельге пайдаланушы көрмеуі тиіс үзінділер контекстке түскен кезде немесе жауаптан құжаттың бар екеніне ғана көз жеткізуге болатын кезде.
Бастапқыда деректер типтерін анықтаңыз: жеке деректер, қаржы, сатып алу, ішкі тергеулер және кімге оқу құқығы барын, не есептеледі бұзылу (цитата, қорытынды, құжат атауларын санау, мазмұнға елеулі меңзеу).
Рұқсаттарды екі орында қолдану керек, әйтпесе айналып өтулер пайда болады:
- іздеуден бұрын: кандидаттарды құжаттар мен үзінділер бойынша рұқсатпен сүзу
- іздегеннен кейін: табылған нәтижені қайта тексеру, метадеректер не индекс қателерінен өтіп кетпеуі үшін
- жауап деңгейінде: пайдаланушының көзге құқығы жоқ болса, құжат атауларын және цитаталарды көрсетпеу
Рөлдер, топтар және ACL-дарды тек құжатқа ғана емес, жеке үзінділерге де байлаңыз. Мысалы, жалпы регламент бәріне ашылуы мүмкін, ал жалақы диапазоны бар қосымша тек HR мен қаржыға ғана көрінеді. Әр үзіндіде рұқсат тегтері (рөл, бөлімше, жоба, гриф) және бастапқы құжат идентификаторы болуы тиіс.
Промптқа «секретті көрсетпе» деп айтуға сенбеу керек. Модель рұқсаттарды тексермейді — ол жай ғана мәтінді жалғастырады. Бақылау кодта және сақтау жүйесінде болуы қажет.
Аудит болуы керек. Минимум: кім және қашан сұрақ қойғаны, қолданылған рұқсат сүзгілері, контекстке түскен құжаттар мен үзінділер, берілген жауап және жасырылған цитаталар. Бұл оқиғаларды зерттеуді және рұқсат ережелерін жүйені тоқтатпай жетілдіруді жеңілдетеді.
Мысал сценарий: HR және бухгалтерия регламенттері бойынша бот
Қызметкер чатта: «Командировка үшін жалғамамен билет сатып алуға бола ма және авансты қалай рәсімдеу керек?» деп жазады. Мәселе — ережелер өзгертілген: өткен жылы басқа лимиттер болған, биыл кей жобаларға ерекшелік енгізілді.
RAG бұл мәселені модель «естелігімен» емес, жауап алдында өзекті құжаттардан табылған үзінділер арқылы шешеді. Іздеу жүйесі метадеректерді ескереді: құжат түрі (саясат, бұйрық, қосымша), қолданыс күні, бөлімше, жоба, филиал.
Пайплайн әдетте осылай жүреді. Сұрақтан тақырыптар анықталады: командировка, аванс, билет сатып алу. Іздеу соңғы нұсқаларды және ресми қосымшаларды таңдайды, ескірген редакцияларды алып тастайды. Жауапқа 2–4 қысқа үзінді тартылады, әрқайсысы цитатамен (құжат атауы, бөлім, тармақ) көрсетіледі.
Цитаттар келісімді оңайлатады. HR немесе заң бөлімі боттың формулировкасымен дауламайды — олар нақты тармақты тексереді де: «Иә, бұл біздің ағымдағы регламент» немесе «қосымшаның формулировкасын нақтылау керек» деп шешеді.
Көрініс іздеуде шектеулі. Мысалы, филиал қызметкері тек өзінің филиалының құжаттарын көреді, ал бухгалтерия — қаржы саясатын. Жеке деректер (ФИО, ИИН, жалақылар) рөлдерге қарай қорғалады немесе маскирленеді.
Егер сұрақ бірнеше саясатқа тиісті болса (мысалы, командировка + сатып алу), бот бөлек бөліктерге жауап береді: билетке қатысты шарттар жеке, аванска қатысты — жеке. Әр бөлікте сәйкес цитаталар мен қай жерде келісу керек екендігі көрсетіледі.
Қадам бойынша: компанияға RAG-пайплайн қалай жинау керек
RAG ішкі құжат айналымы үшін мәңгі жобға айналмас үшін кішкентай пилоттан бастаңыз және пайда өлшемдерін алдын ала келісіңіз: жауап уақыты, дұрыс цитаталардың үлесі, қолдау сұраулары саны.
Алғашқы жұмыс контурын былай жинаңыз:
- 1–2 көзді және 20–30 типтік сұрақты таңдаңыз (мысалы, демалыс пен командировка регламенттері)
- мәтін шығару мен сапаны бақылауды орнатыңыз: танылған беттердің пайызы, кестелердегі үзілістер, сканнан шыққан OCR қателері
- метадеректер мен үзінділеу ережелерін анықтаңыз: құжат атауы, нұсқа, иесі, күні, бөлім, қолжетімділік деңгейі, цитата үшін беттік белгі
- индекс құрып, нақты қызметкерлердің сұрақтарымен тест жүргізіп, жауаптарды түпнұсқамен салыстырыңыз
- рұқсат пен аудитты қосып қойыңыз: кім сұрады, не табылды, қандай үзінділер контекске түсті және не себепті
Содан кейін көздерді біреуінен соң біреуіне қосып кеңейтіңіз, басқаруды жоғалтпау үшін. Практикада жиі модель емес, кіріс деректердің сапасы бұзылады: дубликаттар, ескі нұсқалар, әр түрлі шаблондар.
Жүйелі енгізу ретінде орнатсаңыз, масштаб үшін инфрақұрылымды бастаптан жоспарлаңыз: пилот және өндірістік орталар, журнал жүргізу, сапа тексерістері тұрақты түрде бірдей сұрақтар жиынтығында.
RAG енгізуде жиі кездесетін қателіктер мен тұзақтар
Ең жиі көңілге қонбайтын себеп — модельде емес, деректер мен рұқсат ережелеріндегі қателер. Сырттан бәрі «бот қателескен» сияқты көрінеді, ал іштен бұл әдетте пайплайнның ақауы: ескі индекс, OCR кейінгі нашар мәтін немесе дұрыс құрастырылмаған контекст.
Қиын тұзақ — индекс кесте бойынша жаңартылып тұрады, ал құжаттар жиі немесе «жаңыртусыз» өзгереді. Нәтижесінде ескі регламент жауапта шығып қалады да, пайдаланушы сенімін жоғалтады. Оны болдырмау үшін әр үзіндіде нұсқа күні, көз және чек-сумма болуы қажет, және переиндексация өзгеріс фактісіне байлануы керек.
Екінші ауыртпалық — OCR. Скандар қоқыспен танылса, модель сол қателерді сенімді түрде цитаттайды, өйткені ол үшін бұл — «шындық». Минимум: айқын шуды сүзу, тану сенімділігін сақтау және төмен сапалы үзінділерді жауапқа қолданбау керек.
Қателер көбінесе үзіндіге бөлу кезінен басталады. Өте үлкен үзінділер жауапты жалпылаштырып, «ескерусіз» цитаталар береді. Өте кішкентай үзінділер мағынаны жояды және іздеу дәлдігін төмендетеді. Ориентир: бір аяқталған саясат тармағы немесе бір процедура қадамы — оны адал түрде цитаттауға болады.
Ең қауіпті тұзақ — рұқсаттар дұрыс жерде тексерілмейді. Егер рұқсатты тек жауапты көрсеткен кезде тексерсеңіз, шын мәнінде контекст промптқа түсіп кетеді және утечка болады. Тексеру іздеуден бұрын және генерациядан бұрын орындалуы тиіс.
Логтар мен қайта жасау мүмкіндігі болмаса, оқиғаны түсіндіре алмайсыз. Сақталуы тиіс: қандай құжаттар ізделді, қандай үзінділер таңдалды, неге, қандай рұқсатпен және индекс нұсқасымен. Осы арқылы пайдаланушы «қысқаша цитата неліктен оғаш шықты» деген шағымды шұғыл тексеріп, себебін түзете аласыз.
Қысқаша тексеру парағы іске қосар алдында және келесі қадамдар
Іске қосарда «жауаптардың әдемілігін» емес, пайплайнды басқаруға тексеріңіз: бастапқыдан цитатаға дейін, рұқсаттан аудитке дейін. Егер бұны алдын ала бекітпесеңіз, бот сенімді, бірақ даулы жауаптар беріп, қателерді түзету қолданудан алынған үнемнен гөрі көп уақыт алуы мүмкін.
Өзіңізді келесі қысқа чек-лист арқылы тексеріңіз:
- көздер, иелер және жаңарту ережелері бекітілді ме: кім регламент үшін жауапты, бұйрықтар үшін кім, өзгерістерді қаншалықты жиі алуға және дубликаттарда не негізгі нүкте болатынын анықтаңыз
- мәтін шығару сапасын бақылау орнатылды: PDF пен офис файлдарға тұрақты парсер, скандар үшін OCR, және қателер есепке түседі (бос беттер, «символдық каша")
- метадеректер сүзгілеуге дайын: бөлімше, құжат түрі, нұсқа күні, қолжетімділік деңгейі, мерзім; олар арқылы сіз ескіргенін шығарасыз
- жауаптар әрдайым цитатамен келеді: модель нақты үзінділерді көрсетеді (құжат нөмірі, бөлім, беттер) және табылған контекстте жоқ нәрсені қоспайды
- аудит және даулы жағдайларды талдау қосулы: сұрау, табылған үзінділер, нәтижелік жауап және бас тарту себебі сақталады; дауды қарастыру процесі және құжат иесінің рөлі анық
Келесі қадамдар жаппай инфрақұрылым мен қолдауға тәуелді болады. Шешім қай ортада орналасатынын (сіздің контурда немесе бөлек аймақта), индекске және OCR-ге қанша ресурстың қажет екенін және индексті қалай үзіліссіз жаңартатыныңызды бағалаңыз.
Егер on-prem орналастыруды жоспарласаңыз, сервер базасы, резервтеу және ішкі рұқсат жүйелермен интеграцияны алдын ала ойластырыңыз. Бұған GSE.kz-тің сервер жеткізілімдері мен жүйелік интеграция қызметі көмектесе алады, егер деректер ұйым ішінде қалуы және 24/7 қолдау қажет болса.
FAQ
Жобада бойымнан шықпай, ішкі құжат айналымына RAG-ты қайдан бастаған жөн?
Бастапқыда кіші пилоттан бастаңыз: 1–2 анық көз, 20–30 типтік сұрақ және «тек табылған үзіндіден цитата арқылы жауап береміз» деген қатаң ереже. Бұл тез пайда әкеліп, пайплайн қай жерде бұзылып жатқанын — мәтінде ме, нұсқаларда ма, рұқсаттарда ма — айқындайды.
Алғаш қосатын құжат көздері қандай болуы керек?
Тек басқарыла алатын, қай құжаттың финал нұсқа екені анық және жауапкершілік анықталған көздерді қосыңыз. «Барлығын бірден» жинасаңыз — қайталанулар, даулы нұсқалар мен утечка тәуекелін арттырасыз.
Неліктен көзге иелігін тағайындау керек және ол кім болуы тиіс?
Көз иесі — бұл IT-админ емес, құжат мазмұны үшін жауап беретін адам немесе рөл: қай нұсқа әрекетте, қай жағдайда не істеу керек, қай кезде құжат ескірген саналады. Иесі болмаса, бот ескі ережелерді цитаттап, даулар туындатуы мүмкін.
Неліктен кілтсөздер бойынша іздеу жиі жеткіліксіз?
Кәдімгі кілтсөздік іздеу сұраққа нақты «қазір қалай жасау керек» деген жауап бермейді және ерекшеліктерді ескермейді. RAG нақты релевантты үзінді алып, оны тексерілетін цитата ретінде көрсетеді — модельдің «естелігіне» сүйенбейді.
DOCX/PDF-тен мәтінді дәл алу үшін неге мән беру керек?
Мұнда маңыздысы құрылымды сақтау: тақырыптар, тармақ нөмірлері, қосалқы тармақтар және ерекшеліктер мен шарттардың байланысы. Егер жай ғана «жазбаша» мәтінді алсаңыз, контекст жоғалады да, цитаттар басқа тармаққа қатысы бар сияқты көрінуі мүмкін.
Скандар үшін OCR жеткілікті жақсы екенін қалай түсінуге болады?
PDF-та мәтін қабаты болмаса, OCR қажет. Сапаны тек жалпы сөздер бойынша емес, жиі «бұзылатын» орындармен тексеріңіз: бұйрық нөмірлері, ИИН/БИН, сандар, даталар, тармақтарға сілтемелер. Егер OCR «қоқыс» берсе, модель оны шынайы дерек деп санайды.
Құжаттарды индекске бөлу қалай дұрыс жүргізілуі керек?
Таблицаларды табиғи шекараларымен бөліп, баған тақырыптары, өлшем бірліктері мен ескертпелерді сақтаңыз. Практикада кестені анық өрістермен мәтін жолдарына түрлендіру ыңғайлы: «датасы: 10 күн», «өлшем: %» сияқты.
Цитаталар тексерілетін болуы үшін қандай метадеректер міндетті?
Минимум: бастапқы көз және идентификатор; құжаттағы орын (бет, тармақ); нұсқаның күні мен статусы; иесі; рұқсат деңгейі. Бұл цитатаны тексеруге, ескі нұсқаларды сүзуге және аудит жүргізуге мүмкіндік береді.
Пайдаланушыға рұқсаты жоқ құжаттарды бот қалай көрсете алмайтын етіп жасауға болады?
Рұқсаттарды іздеуден бұрын және жауап жасау алдында қолдану керек, сол кезде ғана тыйым салынған үзінділер модель контекстіне түспейді. Промпта «жасыр» деп сенуге болмайды — қауіпсіздік кодта және ACL-да орындалуы тиіс.
Құжаттар бір-біріне қайшы келсе не істеу керек?
Әдетте жаңа және мақұлданған құжатты таңдау — дұрыс бастама, бірақ даулар болса, оларды жасырып қалмаңыз: конфликтіні көрсетіп, қолданылған критерийді (ұсыным күні, нұсқа статусы, құжат иесі) айқындаңыз, сонда тез келісімге келуге болады.