ИИ-іздеу архивтегі скандар мен PDF бойынша: пайплайнды қалай құруға болады

Неліктен архивтегі скандар мен PDF бойынша ИИ-іздеу қажет\n\nҚалыпты файл атаулары мен папкалар бойынша іздеу уақыт өте келе артықшылығын жоғалтады. Бір келісімшарт «договор_финал.pdf», «scan_1234.pdf» немесе «IMG_0007.jpg» деп аталуы мүмкін. Қажетті сома не дата файл атауында емес, беттің ішінде жасырылған болуы ықтимал. Соңында сіз құжатты іздемей, оны қандай атпен атағандарын болжаумен айналысасыз.\n\nАрхивтегі скандар мен PDF бойынша ИИ-іздеу файлды емес, мазмұнды іздеген кезде керек: бұл қандай құжат, онда қандай реквизиттер бар және олар қай жерде орналасқанын анықтайды. Көбіне бұл келісімшарттар, қосымша келісімдер, шоттар мен актілер, кіріс хаттар, өтініштер, кадрлық құжаттар, медициналық формалар. Барлығында мақсат бір: құжат тек скан болса да қажетті фактіні тез табу.\n\nЕң көп уақыт әдетте «папканы табуға» емес, қолмен тексеруге кетеді. 5–10 ұқсас PDF ашып, беттерді парақтап, ИИН/БИН, нөмірлер, даталар, сомаларды салыстыру және деректерді кестеге немесе хатқа көшіру қажет болады. Қиық скан немесе көпбеттік құжат болса, маңызды жолды байқамай қалу оңай.\n\nЕнгізуді сәттілікпен бағалау практикалық метрикалар арқылы жүреді: жауапқа дейінгі уақыт, дәлдіктің көрсеткіші, «табылмады, ал шындығында бар» жағдайларының саны және қаншалықты сирек адамдар PDF-ті қолмен ашып, реквизиттерді қайта жазатыны.\n\nМысал: бухгалтерге бірнеше минут ішінде шот қай келісімшартқа сәйкес берілгенін және сома актпен сәйкес келетінін растау қажет. Ақылды іздеу болмаса — бірнеше файл ашып көзбен тексеру. Мазмұн бойынша іздеуде нөмір немесе контрагент сұрауы жеткілікті: жүйе сәйкес құжаттарды көрсетіп, соманың мен датаның жолдарын ерекшелейді.\n\n## Қандай құжаттар бар және одан не алу керек\n\nӨңдеуді бастамас бұрын папкаларда нақты не жатқанын және не іздейтінін түсіну пайдалы. Бір «келісімшарт» сандық PDF-те дәл мәтін болуы мүмкін немесе беттер қисайып, бүктеме көлеңкесі мен мөрлер бөліп тұрған скан болуы мүмкін. Бұл OCR сапасына, реквизиттерді алу дәлдігіне және қанша қолмен тексеру қажет екеніне әсер етеді.\n\nКішігірім таңдау (мысалы, 100 файл) алып, түрлерге бөліңіз: келісімшарттар, шоттар, актілер, хаттар, өтініштер, куәліктер, хаттамалар. Мәтін сурет пе (скан), әлде «тірі» мәтін бе (сандық PDF) екенін бөлек белгілеңіз. Көбіне гибридтер кездеседі: негізгі бөлігі — мәтін, қосымшалар — скандар.\n\nТілдер де маңызды. Қазақстанда бір файлда орысша және қазақша кездесуі жиі, ал кейде реквизиттер мен мөрлерде екі әліпби аралас болады. Бұл ФИО, мекенжайлар және ұйым атауларын танып-білуге әсер етеді.\n\nҚандай өрістер шығатынын шешіңіз. Әдетте бастапқы жиынтық: ИИН/БИН, құжат не келісімшарт нөмірі, дата, сома мен валюта, контрагент (ФИО және мекенжай — қажет болса).\n\nҚұпиялықты дереу ойластырыңыз. Барлық қызметкерлерге барлық құжаттарға толық кіру қажет емес. Рөлдерді бөлу ыңғайлы: кім іздей алады және түпнұсқаларды ашады, кімге метадеректер жеткілікті, қай жерде толық файлға рұқсатсыз тек үзінді көрсету жеткілікті.\n\nОдан бөлек «күрделі» элементтерді тіркеңіз: мөрлер мен қолтаңбалар мәтінді жабуы мүмкін, кестелер жолдарды бұзады, қолжазба жазбалар тұрақсыз танылады. Егер мұндай жерлер критикалық болса (мысалы, кестедегі сомалар), оларды міндетті талап деп санау дұрыс.\n\n## Өңдеуден бұрын архивті дайындау\n\nІздеудің сапасы көбіне модельдің «ақылдығында» емес, файлдардың OCR-ға дейін қаншалықты таза дайындалғанында жатыр. Егер кіріс кривой скандар, аралас беттер және хаотикалық атаулар болса, әрі қарай распознавание, реквизиттер мен нәтижелерде қателіктер пайда болады.\n\nСкандаудан бастаңыз. Көбінесе келісімшарттар, шоттар мен хаттар үшін 300 dpi жеткілікті. Қаріп ұсақ болса, мөрлер мен қолтаңбалар көп болса — 400–600 dpi жақсы. Печатьтер, штамптар және маркерлер маңызды болса, түсін сақтаңыз. Басқа жағдайларда қара-ақ немесе сұр реңк шу мен файл өлшемін азайтады. Қарсы контрастқа көңіл бөліңіз: тым қара скан жұқа сызықтарды «жоюы» мүмкін.\n\nКелесі — базалық кескін тазалау. 90 градусқа бұрылу, перекос, үлкен шеттер мен шаң распознавание-ды нашарлатады. Қарапайым ереже: адамға бетті оқу қиын болса, OCR та қателеседі.\n\nКөпбеттік құжаттар мен қосымшалар бөлек тақырып. «Келісімшарт + қосымшалар + актілерді» бір файлда, файлдар тізбегінде немесе гибрид ретінде қалай сақтайтыныңызды алдын ала шешіңіз. Бұл подсветка мен контекст сақтау мәселелеріне әсер етеді.\n\nКіріс форматты кейін шатаспау үшін минималды стандарт енгізген дұрыс: түсінікті файл атаулары (дата, тип, нөмір), көзін көрсету (қағаз архиві, e-mail, жүйеден шығару), папка/іс идентификаторы, тіл және «скан» немесе «сандық PDF» белгісі.\n\nМысал: бухгалтерия 2019 жылды көтеріп, актілердің бір бөлігін тәртіпсіз беттің жеке парақтары ретінде тапты. Егер оларды өңдеуге дейін дұрыс жинап, көзі мен кезеңін белгілесеңіз, сома мен дата бойынша іздеу бірден қажетті актіні тауып береді, ал онсыз 20 ұқсас бет арасынан табуға тура келеді.\n\n## OCR: сканнан іздеуге жарамды мәтінге айналдыру\n\nOCR (мәтінді тану) кескінді мәтінге айналдырады. Бұл негізгі қадам: құжат әлі сурет күйінде тұрса, іздеу тек файл атаулары мен аз метадеректер бойынша жұмыс істейді.\n\nOCR қателері әдетте типтік: ұқсас символдарды (0/О, 1/І) шатастыру, пробелдердің жоғалуы, сөздердің жабысып қалуы, даталар мен нөмірлердің дұрыс оқылмауы. Скан ухудш болса (қисайған бет, көлеңке, бұлыңғырлық), қолмен тексеру көбірек қажет болады.\n\nҚалыпты распознавание жақсы контрастты баспа келісімшарттары мен хаттар үшін жеткілікті. Күрделірек макеттерде — екі баған, ерекше қаріптер, мөрлер мен қолтаңбалар, формалар — баптаулар қажет: беттің құрылымын ескеретін режимдер қолдану керек.\n\nЕң қиын — кестелер мен ұсақ қаріп. Мұнда алдын ала өңдеу (туралау, фонды жою) және құрылымды ескеретін режимдер көмектеседі. Мөрлер мен штамптарды толық «жою» керек емес: кейде ішінен дата немесе нөмір шығады. Бірақ мұндай аймақтарды сенімсіз деп белгілеу дұрыс.\n\nСапаны таңдау бойынша емес, таңдамалы тексеріңіз. 50–100 бет әртүрлі түрден алып, негізгі өрістерді (даталар, сомалар, нөмірлер) түпнұсқаға салыстырыңыз. Қай шаблондарда критикалық қателер жиі болатынын белгілеңіз.\n\nФрагменттерді бөлектеу үшін распознанный мәтінмен бірге сөздердің беттегі координаттарын (bounding boxes) және беттің нөмірін сақтау маңызды. Сонда жүйе дәл үзінді көрсетіп, онсыз жүздеген PDF парақтарын парақтауға мәжбүрлемейді.\n\n## Құжаттарды классификациялау: бәрін бір орынға қоспау үшін\n\nOCR-дан кейін «барлық мәтінді іздеуге салу» деген ой келеді. Бірақ классификациясыз нәтиже тез шулы болады: бір нөмір келісімшартта, шотта және актідеде кездесуі мүмкін, ал оларда реквизиттерді алу ережелері әртүрлі.\n\nКлассификация екі пайда береді. Біріншіден, түрлер бойынша іздеуге болады: «шотты тап» немесе «ай ішіндегі сенімхаттарды көрсет». Екіншіден, әр түрге өз ережелерін қолдануға болады: шотта сома мен ҚҚС маңызды, келісімшартта мерзімдер мен тараптар, өтініште — ФИО мен дата.\n\nБастапқыда 5–10 ең жиі кездесетін түр жеткілікті (мысалы: келісімшарт, шот, акт, сенімхат, өтініш) және «басқа» класы.\n\nБөлек мәселе — «аралас пакеттер», бір PDF-те әртүрлі құжаттардың болуы немесе бір топ беттердің бір файлда скандалуы. Мұнда парақтар бойынша классификация көмектеседі: жүйе әр беттің түрін белгілеп, логикалық құжаттарды жинайды. Мысалы, бірінші 2 бет — шот, одан кейінгі 3 бет — акт.\n\nҰқсас құжаттарды ұқыпты ажырату маңызды: шаблондар жылдарға қарай өзгереді, филиалдар өз жақтауларын қосады, формалардың нұсқалары бір абзацпен ерекшеленуі мүмкін. Күткендей, мәтіндік маркерлер (кілт сөздер), құрылым (кесте, өрістер), визуал белгілер (мөр, қолтаңба) және метадеректер (филиал, кезең) бірге көмектеседі.\n\n## Реквизиттерді шығару: ИИН/БИН, нөмірлер, даталар, сомалар\n\nРеквизиттер — қолданушылар жиі іздейтін және құжатты түгел оқымай-ақ салыстыратын қысқа өрістер. Бухгалтерияға — шот нөмірі мен сома, заңгерге — келісімшарт датасы мен қосымшаның нөмірі, кадрға — ИИН, сатып алуларға — поставщиктің БИН-і мен накладной нөмірі.\n\nПрактикада реквизиттер бірнеше тәсілмен алынады. Қарапайым жағдайларда шаблондар жеткілікті (мысалы, ИИН/БИН — 12 цифр). Формат өзгергіш болғанда, көрші сөздер ("ИИН", "БИН", "Сумма", "Итого", "№", "от") көмектеседі. Күрделі формаларда контекст қажет: модель көрші сөздерге қарап «төлемге» жақын жерде әдетте сома болатынын, ал «от»-қа жақын жерде — датаны анықтайды.\n\nӘртүрлілік процесті бұзбас үшін мәтінді алдын ала нормализациялау пайдалы: переностарды біріктіру, артық пробелдарды тазалау, ұқсас символдарды теңестіру (O/0, I/1), даталарды бір форматқа келтіру. Түрлі қысқартуларды да ескеріңіз: «№», «N», «номер», «тенге», «тг», 01.02.24 және «1 ақпан 2024» тәрізді.\n\nСапаны тексеру міндетті болуы тиіс. ИИН/БИН — дәл 12 цифр. Даталар — рұқсат етілген форматтар мен орынды жыл аралығы. Сомалар — валюта, бөлгіштер және орынды диапазон. Номералар — рұқсат етілген символдар және переностан кесілуге қарсы қорғаныс.\n\nМәнмен бірге оның қайдан алынғанын сақтау қажет: бет пен координаттар немесе алынған жол. Сонда жүйе «сома 1 250 000» ғана емес, оны құжаттан нақты бөлігін көрсете алады, қолданушы тез тексере алады.\n\n## Индексация: жылдам әрі ыңғайлы іздеу қалай ұйымдастырылады\n\nИндексация өңделген архивті жылдам іздеуге айналдырады: сұрау енгізгенде сіз сәйкес құжаттарды бірден көресіз, жүйе барлық PDF-терді қайта оқымайды.\n\nПрактикалық түрде екі қабат жасаған жөн. Біріншісі — реквизиттер бойынша дәл іздеу (дата, нөмір, ИИН/БИН, сома, контрагент). Екіншісі — OCR-дан кейінгі толық мәтін бойынша іздеу, формулировкалар мен сирек детальдарды табу үшін. Бірге олар қатал және семантикалық сұрауларды жабады.\n\nИндекске әдетте распознанный мәтін беттерге байланған түрде, алынған өрістер мен олардың варианттары (мысалы, нөмір пробелсіз), құжат түрі, негізгі даталар мен сомалар, сондай-ақ қол жетімділік контексті (бөлімше, жоба, иесі) салынады.\n\nҚол жетімділік құқықтарын нәтижеде ескерген дұрыс. Қолданушы тек оған рұқсат етілген нәрсені табуы тиіс, тіпті нақты нөмірді білсе де.\n\nІздеу қателерінен сақтану үшін нормализация қолданыңыз: бірдей регистр, пробелдарды тазалау, атаулардың баламалы формалары (мысалы, «ТОО Ромашка» және «Romashka LLP»), пернетақта раскладкасына сезімтал болмау және жеңіл түзету қатесін түзету.\n\nЕң пайдалы функциялар: құжат түрі және дата диапазоны бойынша сүзгілер, тырнақша ішіндегі дәл фраза іздеу және табылған бетке тез өту.\n\n## Үзінділерді бөлу арқылы жауаптар: PDF-ті қолмен ашуды азайту\n\nБөлудің мақсаты қарапайым: жүйе тек «құжат табылды» деп қана емес, сәйкестіктің қысқа үзіндісін жарықпен белгілеп көрсетуі керек. Қолданушы неге құжат нәтижеге түскенін түсініп, жиі PDF ашпай-ақ жұмысын істей алады.\n\nКөбіне 1–3 сөйлемді қоршап көрсететін «сниппет» және қай файл мен беттен алынғаны жеткілікті. Контекст маңызды: валюта белгісіз сома немесе түсініктеме жоқ дата қате түсінік беруі мүмкін.\n\nАрнайы режим — сұрақтар: адам сөз емес, мән сұрайды: «қанша сома», «мерзімі қандай», «кім қол қойған». Жақсы жауап «мән + растама» түрінде: мысалы, «Сома: 1 250 000 KZT» және жанында құжаттан алынған дәйексөз.\n\nСенімді, бірақ қате жауаптардың алдын алу үшін қатты ереже қойыңыз: жауап тек табылған үзінділерге сүйенгенде беріледі. Жақсы тәжірибе: беттің және координаттардың сақталуы; бірнеше үзінді болса — 2–3 үздігін көрсету; сенім деңгейі төмен болса — дереу құжатты сәйкес бетте ашуды ұсыну.\n\nUX-те бөлшектер шешеді: ерекшеленген бет алдын ала қарау, сәйкес жерге бір рет басумен өту және реквизиттерді бір рет басумен көшіру.\n\n## Пайплайнды енгізудің қадамдық жоспары\n\nБәрін түгел өңдеуден бастаудың орнына 2–4 аптада өлшенетін нәтиже беретін пилотпен бастаңыз. 1–2 анық сценарий таңдаңыз: нөмір мен дата бойынша келісімшартты тез табу немесе белгілі мерзімдегі шоттарды шығару.\n\n### Пилот жоспары\n\n1) Мақсат пен құжат жиынтығын бекітіңіз. Қайсысы іздейді, қандай белгілер бойынша және қандай жауапты сәтті деп санайтынын сипаттаңыз: тиісті құжат пен оның ішіндегі нужный үзінді табылуы.\n\n2) OCR баптап, сапаны таңдамалы тексеріңіз. 200–500 әртүрлі сападағы файл (скан, фото, PDF) алыңыз және «распознавание пайызы» емес, ИИН/БИН, нөмірлер, даталар, сомалар мен ұйым атауларының табылуын тексеріңіз.\n\n3) Классификация мен реквизиттерді шығару қосыңыз. Бастапқыда 5–10 ең жиі кездесетін түрден бастап, әрқайсына дұрыс ережелер қолданылатын болсын.\n\n4) Индекс жасап, іздеуді шектеулі топқа ашыңыз. 10–20 күнделікті архивпен жұмыс істейтін қолданушы жеткілікті. Бірден реквизиттер бойынша сүзгілер мен мәтін бойынша іздеуді беріңіз.\n\n5) Үзінділерді қосып, кері байланыс жинаңыз. "Дұрыс/қате" деп белгілеуді, не жетпейтінін, қай жерде OCR қателескенін сұраңыз. Бұл сапаны жақсартуда ең жылдам әсер етеді.\n\nПилоттан кейін қамтуды кеңейтіңіз: құжат түрлері мен өрістер қосыңыз, жаңа бөлімдерді қосыңыз. Мониторинг енгізіңіз: OCR-дан кейін мәтіні жоқ құжаттар үлесі, негізгі өрістерді шығару дәлдігі, іздеу жауап уақыты, нәтиже бермейтін сұраулар пайызы.\n\n## Жиі кездесетін қателіктер және тұзақтар\n\nЕң жиі көңілі түсетін жағдай — бәрін бірден мінсіз жасауға тырысу. Жүйе жиі модельден емес, кіріс деректердің сапасы мен ұйымдастырушылық ұсақ-түйектен «сынып» қалады.\n\nБірінші тұзақ — бірден барлық құжат түрін алу. Келісімшарттар, шоттар, бұйрықтар мен актілер — әрқайсысы түрлі шаблондар, өрістер мен лексикаға ие. 1–2 ең маңызды сыныппен бастап, дәлдікті қабылданатын деңгейге жеткізіңіз, содан кейін ғана кеңейтіңіз.\n\nЕкінші тұзақ — OCR барлық нашар скандарды «жөндейді» деп үміттену. Қисайған беттер, мөрлер мәтіннің үстіне қабаттасуы, ұсақ қаріп, көшірме көшірме — барлығы сапаны қатты төмендетеді. Көбінесе бір рет скандау процесін дұрыстау немесе архивтің бір бөлігін қайта скандау ұзақ түзетуден арзанырақ болады.\n\nҮшінші — тек алынған өрістерді сақтау және бастапқы дерекпен байланысын жоғалту. Қолданушы нақты қайдан алынғанын бір қарағанда көруі керек. Бет пен координаттарсыз сенім болмайды.\n\nБастаптан тесттік және жұмыс деректерін бөлу, реквизиттерді тексерулер (ИИН/БИН ережелері мен сома диапазондары), қол жетімділікті нәтижеде есепке алу, сұраулар мен нәтижелер логы, және «күмән туындаса — қажетті бетте түпнұсқаны көрсет» деген ереже енгізу пайдалы.\n\nПрактикалық мысал: бухгалтерия «12.03 күнгі шот» деп іздеп, көбікті печатьтан күңгірт шыққан датадан шамамен дұрыс нәтиже ала алады. Тексерулер мен үзінді сілтемелері болмаса, бұл нәтиже есепке түсіп кетуі мүмкін. Сілтемелер барда мұндай қателер тез ұсталады.\n\n## Бастау алдындағы жылдам чек-лист\n\nБастамас бұрын қысқа тексеріс жасаңыз — сағат не екі алады, бірақ апталар бойы қайта істеуден ұтады.\n\nАлдымен не ізделетінін және қандай жауап «дайын» деп саналатынын келісіңіз. Біреулерге келісімді тез табу маңызды, басқаларға — минут ішінде шоттардың сомасы мен даталарын жинау.\n\nКелесі пункттерді тексеріңіз: құжат түрлері мен бастапқы 3–5 реквизит анықталған (нөмір, дата, сома, ИИН/БИН, контрагент); қол жетімділік пен құпиялылық ережелері айқын; жетістік метрикалары таңдалған (жауап уақыты, реквизиттер дәлдігі, қолмен тексеру үлесі); пилоттық жиын (200–500 файл) және эталондық жауаптар дайын; OCR-ды бет пен координаттармен сақтау жоспарланған.\n\nПроцестің иесін тағайындаңыз — сапаны қабылдайтын және даулы жағдайларды шешетін адам немесе рөл қажет.\n\nПилот алдында қарапайым тест: 20 түрлі типтегі құжат алыңыз және екі қызметкерден бір реквизитті табуды сұраңыз. Егер олар әртүрлі жолмен істесе, ережелерді алдын ала нақтылау керек.\n\n## Реалистичный пример және келесі қадамдар\n\nМысалы, бухгалтерия: жеткізушімен келісімшартты және өткен жылдың барлық растайтын актілерін тез табу қажет. Келісімшарт нөмірі мен шамамен сома белгілі, бірақ құжаттар скандар мен PDF-терде папкаларда шашылып жатыр — қолмен іздеу сағаттарға созылады.\n\nЖұмыс сценарийі: қызметкер «договор № 18/07 сумма 12 500 000» немесе «18/07 12,5 млн» деп сұрайды да, нәтижені мерзім, контрагент және құжат түрі бойынша тарылтады. Нәтижелерде ол бірден сәйкес файлдарды және номер, сома мен датаның бөлектелген үзінділерін көреді. Қажет болса, реквизиттер кестеге экспортталады және қолмен қайта жазудың қажеті қалмайды.\n\nАдамдар әдетте оннан астам PDF ашады келесі үш сұраққа жауап табу үшін: мерзімі немесе төлем мерзімі қай жерде көрсетілген, соңғы сома мен валюта қандай, кім қол қойған және мөр/қолтаңба бар ма. Үзінділер бұл сұрақтарды ең жылдам жабады.\n\nӘсерді санмен есептеген дұрыс: іздеу уақыты орташа до және кейін, реквизиттерді қолмен көшіргендегі қателер саны, қызметкер жасаған сұраулар саны және нәтижені табуға дейін қайта қаралған файлдар саны.\n\nКелесі қадамдар: шектеулі архивте пилот (1–2 құжат түрі, 3–6 ай), өрістерді шығару баптау, сапаны тексеру және тек кейін толық архивқа кеңейту. Егер шешімді өз инфрақұрылымында орналастыру және корпоративтік жүйелермен байланыстыру керек болса, жүйелік интегратордың тәжірибесі көмектеседі. Мысалы, GSE.kz серверлік бөлігін таңдап, құжаттарды өңдеу инфрақұрылымын құрып, 24/7 қолдауды қамтамасыз ете алады.