OCR салыстыруы: ABBYY, Tesseract және Google Document AI

Нені жақсартқыңыз келеді: мәтін, өрістер немесе процесс

Көптеген адамдар «OCR керек» дейді, бірақ астында әртүрлі міндеттер жатады.

Біріншісі — тек сканнан оқылатын мәтін алу: іздеу үшін және үзінділерді көшіру үшін.

Екіншісі — нақты өрістерді шығару: ЖСН/БСН, шот нөмірі, дата, сома, мекен-жай, ФИО.

Үшіншісі — бүкіл процесті жақсарту: кім скандайды, қалай тексереді, деректер әрі қарай қайда кетеді және қате болғанда не болады.

Бір жүйе әртүрлі бланктарда әр түрлі дәлдік көрсете алады. Себептері қарапайым: скан сапасы, тіл мен шрифтар, мөр мен қолтаңба мәтін үстінде, кестелер, беттің қисайып кетуі, жеткізушілердегі әртүрлі вёрстка. Сондықтан ABBYY, Tesseract және Google Document AI-ды салыстырғанда тек "құжат түрін" ғана емес, оның вариацияларын да тіркеңіз.

Сапаны өлшермес бұрын өзіңізге маңыздысын шешіңіз: толықтық па (мүмкіннің бәрін шығару), дәлдік пе (қателер аз, кейбір нәрсені жіберіп алуға болады) немесе жылдамдық па. Мәселен, мұрағат үшін мәтін толықтығы маңызды, бухгалтерия мен келісімшарттар үшін — өрістердің дәлдігі.

Алдын ала бірнеше сұраққа жауап беріңіз:

• Шығармада не керек: барлық мәтін бе немесе өрістер мен олардың сенімділік бағасы ма?
• Қандай өрістер критикалық, ал қайсысын қолмен енгізуге қалдыруға болады?
• Қате қай жерде ең қымбатқа түседі: ақша, уақыт немесе тәуекелдер ме?
• Қанша құжатты тексеруге жіберуге болады?

OCR қателері операциялық жұмыста пайда болғанда нақты шығындарға әкеледі. Қате сома қайтарулар мен есеп-қисапқа әкеледі, қате дата — мерзімнің бұзылуына, ЖСН/БСН қатесі — өтініштің кері қайтарылуына. Сондықтан OCR дәлдігін бағалау нәтижелерге байланысты болуы керек, тек жарқыраған пайызға ғана емес.

Сізге арналған шаблондар мен талаптар: тапсырманы бекіту

Әділ салыстыру үшін қай құжаттарды танитыныңызды және қандай нәтиже күтетінін алдын ала бекітіңіз. "98% дәлдік" деп айту аз нәрсе білдіреді: шоттар, актілер және анкеталар үшін тәуекелдер әр түрлі және қатенің бағасы өзгеше.

Бастапқыда кіріс ағымының қарапайым картасын жасаңыз: қандай типтегі құжаттар келеді, қандай форматта (скан, фото, PDF), қай тілдерде, бет саны, мөр мен қолтаңба қаншалықты жиі кездеседі. Бұл пилот үшін «ең жақсы» таңдау жасамас бұрын маңызды.

Содан кейін құжаттарды «шаблондарға» бөліңіз. Бұл тек бірдей вёрстка туралы емес, сонымен қатар болжамдылық туралы. Бір жеткізушіден келетін шоттар көбіне ұқсас. 50 жеткізушіден келген шоттар — бұл өрістер әр түрлі жерлерде орналасуы мүмкін құжаттар класы.

Келесі қадам — өрістер мен тексеру ережелерін сипаттау. Әдетте 1–2 беттік қысқа спецификация жеткілікті:

• Құжат түрі және шаблон (мысалы, «шот, жеткізуші А» немесе «анкета, әртүрлі көздер»)
• Міндетті өрістер (ЖСН/БСН, дата, сома, құжат нөмірі, атауы)
• Формат пен шектеулер (ЖСН — 12 цифр, дата — КК.АА.ЖЖЖЖ, сома теріс болмауы керек)
• Рұқсаттар (бос орындар, үтірлер, сома ішіндегі "," немесе " «O» орнына "0")
• Қателіктердің приоритеті (не критикалық, не қабылданатын)

Сонымен қатар табысты деп нені санайтыныңызды анықтаңыз. Анкета үшін «барлық міндетті өрістер толтырылған және валидациядан өткен» болуы мүмкін, шоттар үшін — «сома, дата және ЖСН дәл танылған». Мысал: 1 000 құжаттың 20-сы ЖСН тексеруден өтпесе, бұл жай 2% ғана емес — 20 жағдай, олар қолмен өңдеуге түсіп, процесс бағасына әсер етеді.

Қалай дәл өлшеу керек, сонда сандар шыншыл болады

OCR дәлдігін «жақсартуға» болады, егер дұрыс нәрсені өлшемесеңіз. Алдымен не бағалайтыныңызды айқындаңыз: мәтін бе (мысалы, келісімшарт), жеке өрістер ме (шот) немесе соңғы нәтиже ме (құжат қайтарымсыз есепке өту). Өлшемдер соған байланысты әділ болады.

Салыстыру үшін әдетте үш деңгей жеткілікті:

• Символ бойынша (character accuracy): мәтін сапасын көрсетеді, бірақ бір өрістегі маңызды қатені жасыруы мүмкін.
• Сөз бойынша (word accuracy): адамның қабылдауына жақын, бірақ «1 000,00» мен «1000,00» бірдей сөз ретінде есептелуі мүмкін.
• Өрістер бойынша (field accuracy): деректер енгізу үшін ең пайдалы, өйткені жүйеге түсетін нақты мәндерді бағалайды.

Қате деп нені есептейтініңізді келісіңіз. Жоғалту, артық символ немесе алмастыру — айқын. Практикада дәлдікті әдетте ұсақ нәрселер бұзады: үтірдің орны, минустың шатасуы, ЖСН-дегі "0" орнына "O" болуы. Өрістер үшін валидациядан өтпеген немесе мағынаны өзгертетін кез-келген нәтиже қате деп есептеген тиімді.

Бұдан бөлек форматтау ережелерін бекітіңіз: даталар (01.02.2026 vs 1/2/26), валюталар, мыңдарға пробелдар, бастапқы нөлдер, әріп регистрі. Мысалы, «000123» сақталуы керек болса, «123» — қате болады, тіпті мағынасы бойынша дұрыс болса да.

Confidence (сенімділік) пайдалы ретінде қолданылсын, бірақ оған соқыр сенбеу керек. Жоғары сенімділік қате нәтижеде де болуы мүмкін. Сенімділік өрістерді бақылауға триггер ретінде пайдалану жақсы: сенімділік төмен немесе қарапайым валидациядан өтпеген өрістер операторға жіберілсін.

Тест жиынтығын және эталонды дайындау

OCR салыстыруы көбіне моделде емес, деректерде «су кетеді». Тест жиынтығы кішкентай немесе тек «идеал» сканнан тұрса, жұмысқа шыққанда осындай әдемі нәтиже қайталанбайды.

Әр шаблон бойынша таңдау жасаңыз. Егер 5 тип құжат болса (шот, акт, өтініш, келісімшарт, накладная), әр типке бірнеше ондаған құжат алу керек. Олар нақты ағыннан алынғаны маңызды: әртүрлі бөлімдер, әртүрлі МФУ мен сканерлер, әр түрлі жылдар, әр түрлі басылым сапасы.

Разметка алдында кескін сапасын бағалаңыз. Тіпті жақсы OCR да қатты қисайған бетті, бүктелген жердегі көлеңкені, шу, төмен DPI немесе аздап буланған суретті нашар өңдейді. «Проблемалы» құжаттарды бөлек белгілеп қойыңыз — олар жүйенің төзімділігін көрсетеді.

Жиынның шынайы екеніне көз жеткізіңіз: әр түрлі скан сапалары бар ма, шаблондардың нұсқалары (ескі бланкілер, жаңа логотип, жаңа шрифт) бар ма, құжаттарда қолтаңбалар кездеседі ме және әр файл қай шаблонға қарайтыны анық көрсетілген бе.

Егер құжаттарда жеке деректер болса, оларды анонимдеңіз, бірақ разметканы бұзбаңыз: мәндерді жабыңыз, бірақ ұзындығы мен форматты сақтаңыз (мысалы, ЖСН мен телефонға маска). Әйтпесе өрістер бойынша метрикалар әділ болмайды.

Келесі кезең — эталон (ground truth) — дұрыс мәтін мен өрістер мәні. Рәміздеуді кім жасайтынын айқындаңыз: операторлар, бухгалтерия, архив немесе бөлек топ. Практикалық тәсіл — қосарлы тексеру: біреу разметка жасайды, екіншісі дау тудырған жерлерді аралықта қайта тексереді.

Мысалы, егер өтініштен ЖСН, сома және датаны тестілеп жатсаңыз, қандай формат дұрыс саналады (дата форматы, мыңдар бөлгіші, валюта, дөңгелектеу) анықтап алыңыз. Бұл ережелерсіз екі адам әртүрлі «дұрыс» жасап, нәтижелерге сенім азаяды.

Сіздің құжаттарыңыз бойынша қадамдық салыстыру жоспары

Бастапқыда бірдей файлдар жиынтығын әр OCR-да тоналусыз прогон жасаңыз. Бұл бастапқы деңгейді көрсетеді және қай жерде сапа түсетінін жылдам ашады: скан, шрифт, мөр немесе телефоннан түсірілген фото себеп пе.

Содан кейін «мәтінді тануға» өткендей, қажетті өрістерді алу деңгейіне өтіңіз. Шоттар, өтініштер, накладные және медформалар үшін нақты мәндер маңызды (нөмір, ЖСН/БСН, дата, сома, кесте жолдары). Баптау әртүрлі болуы мүмкін: бет аймақтары, кілтсөздер бойынша іздеу, даталар мен сомалар үшін ережелер, кестелерді талдау. Мағынасы — жүйеге не түсетінін тексеру.

Салыстыруды қайталау үшін шарттарды тіркей отырыңыз:

• бірдей тест жиынтығы және бірдей предобработка (аудару, шуды жою, DPI)
• қозғалтқыштардың немесе модельдердің нұсқалары, тіл параметрлері, қосылған режимдер
• бірдей постобработка ережелері (даталарды, пробелдарды, бөлгіштерді нормализациялау)
• бірдей шығару форматы (JSON, CSV, кесте)

Нәтижелерді екі деңгейде салыстырыңыз: жалпы метрикалар және критикалық өрістер бойынша сапа. Жалпы метрикалар түсінік береді, бірақ шешімді жиі бірнеше өріске қарап қабылдайды: егер сома немесе дата қателессе, процесс жалпы жақсы болғанымен бұзылады.

Нәтижелерді қарапайым кестеге жинақтаңыз: шаблондар бойынша, өрістер бойынша және қателер типтері бойынша. Мысалы: «0 мен O-ны шатастырады», «мөр астындағы мәтінді көрмейді», «кестені қисайтады», «ЖСН мен құжат нөмірін шатастырады». Осылай не баптаумен шешілетінін, не скан сапасын жақсарту керек екенін көруге болады.

Егер құжат енгізуді ұйымға енгізіп жатсаңыз (мемлекеттік органдар, банктер, білім), бұл протоколды ИТ және сапа қызметімен алдын ала келісіп алу уақытың азайтады.

Эксплуатациядағы сапа бақылауы: толық қолмен тексерудісіз

Жақсы OCR адамды толықтай алып тастайды деп ойламаңыз. Сапа бақылаудың мақсаты — тек күмәнді жерлерді тексеруге жіберіп, қателер себептерін жылдам анықтау және олар қайталанбауын қамтамасыз ету.

Сенімділік шегі: не блоктап, не өткізу

Көптеген OCR қозғалтқыштары символ, сөз немесе өріс бойынша сенімділік береді. Практика — өрістің маңыздылығына қарай шекті мәндер орнату.

ЖСН/БСН, шот нөмірі, сома және дата үшін жоғары шек керек: сенімділік төмен болса, операторға жіберіледі. Көмекші өрістер үшін порогты төмендетуге немесе оларды тек қауіп ретінде белгілеп, ағынды блоктамай өтуге болады.

Жұмыс істеуі үшін екі контурлы тексеру қолданыңыз:

• Контур 1: автоматты валидация және сенімділік порогтары.
• Контур 2: оператор тек қауіп белгісі бар өрістерді көреді, бүкіл құжатты емес.

Валидация ережелері: операторсыз қателерді табу

Сенімділік көмектеседі, бірақ логикалық қателерден сақтамайды. Сондықтан қарапайым ережелер қосыңыз, олар мәннің мағынасына тексеру жасайды.

Жылдам нәтиже әдетте формат пен ұзындық тексерулерінен келеді (ЖСН/БСН — 12 цифр), диапазондар (дата болашақта емес, сома 0-ден үлкен), контрольдық сандар (бар болса), справочниктер (кодтар, МФО, БИК, ұйым атаулары) және өрістер арасындағы сәйкестік.

Мысал: OCR сомадағы "8" мен "3"-ті шатастырса да сенімділігі жоғары болуы мүмкін. Бірақ "итог = жолдар қосындысы" ережесі ажыратып, дәл сол өрісті операторға жолдайды.

Сапа журналы және хаоссыз жаңартулар

Эксплуатацияда тек қателерді түзету емес, олардың пайда болу себептерін түсіну маңызды. Сапа журналы жүргізіңіз: қолмен тексеруге кеткен құжаттар үлесі, ең жиі қате болатын өрістер, себептері (нашар скан, жаңа шаблон, ерекше шрифт). Соңынан 1–3% таңдамалы тексерулерді қосып отыру пайдалы.

Ережелер мен шаблондарды жаңарту өнім өзгерісі ретінде жүргізілсін: бөлек нұсқа, аз көлемде тест, метрикаларды салыстыру және содан соң ғана толық раскатка. Осылай дәлдік өседі және күтпеген сәтсіздіктер азаяды.

1 000 құжатқа шығынды қалай есептеу

Әділ салыстыру үшін тек прайс емес, бірдей көлем және бірдей сапа шарттарындағы толық өзіндік құнды есептеңіз. Ыңғайлы бірлік — 1 000 құжат (немесе құжаттар әр түрлі ұзындықта болса, 1 000 бет). Есепке мақсатты SLA-ны бастапқыда енгізіңіз: сағатына қанша құжат және бизнестің жауап уақыты қандай қажет.

Шығындарды бір шаблонға жинаңыз. Әдетте төрт блок жеткілікті: провайдерге төлемдер, инфрақұрылым, адам еңбегі және қателіктерден келетін шығындар.

Распознавание төлемдеріне лицензия немесе жазылым, бет бойынша тарификация, API шақырулары, өрістерді шығару немесе классификацияға қосымша төлемдер кіреді.

Инфрақұрылым — серверлер немесе бұлт, скандарды және нәтижелерді сақтау, резервтік көшіру, желі және мониторинг. On‑prem болса амортизация мен әкімшілендірімді ескеріңіз.

Адамдар — тест үшін разметка, шаблондарды баптау, іске қосқаннан кейін қолдау, таңдамалы операторлық тексеру, ерекшеліктерді өңдеу.

Өңдеу жылдамдығы тікелей бағаға әсер етеді. Жылдам керек болса параллель ағындар, қуатты машиналар немесе API тарифтері қымбаттайды. Күтсеңіз шығындар кемиді, бірақ кезектер пайда болып, мерзім бұзылу қаупі өседі.

Практикалық формула:

Нәтиже (1 000 құжат) = распознавание төлемдері + сол көлемге арналған инфрақұрылым + адам сағаттары × ставка + қателіктер құны.

Үш сценарий есептеп көріңіз:

• Бюджет: минимум баптау, көбірек қолмен тексеру, төмен жылдамдық.
• Негізгі: шаблондар бапталған, таңдамалы тексеру 5–10%, қалыпты жылдамдық.
• Премиум: өрістер бойынша максималды дәлдік, қатаң SLA, минимум қол еңбегі.

Осылай 1 000 құжатқа нақты сапа мен уақыт талаптары бойынша толық шығын көрінеді.

ABBYY, Tesseract және Google Document AI: нақты өмірде қандай нюанстарға қарау керек

Салыстырудың мәні — демодан гөрі шешімнің сіздің скандарыңызда, өрістеріңізде және ағымыңызда қалай жұмыс істейтіні.

Сапа және шаблондармен жұмыс

ABBYY көбіне дайын компоненттері мен формаларға ыңғайлы баптауы арқылы жеңіске жетеді. Егер көп типтік бланктеріңіз (өтініштер, шоттар, анкеталар) болса және өрістер маңызды болса, тұрақты нәтиже алу оңайырақ: ережелер, тексеру және түзету құралдары бар.

Tesseract қарапайым мәтіндер, түсінікті шрифттер және таза скандар үшін жарайды. Бірақ кестелер, мөрлер, көп тілдер және өрістер шығару қажет болса, доработканың құны өседі. Көбіне алдын ала өңдеу, аймақтарды белгілеу, постобработка, сөздіктер және қате бақылау қажет болады. Бұл шешімді ішкі командаңызбен қолдасаңыз тиімді.

Google Document AI іске қосуды жылдам жүргізгісі келгендерге ыңғайлы және кейбір құжат түрлеріне дайын модельдері бар. Бірақ сапаны өз құжаттарыңызда тексеріңіз: модель бір шаблонда жақсы жұмыс істеуі мүмкін, ал жергілікті, ерекше вёрстка немесе аралас тілдерде нашарлау қаупі бар.

Деректер, орналастыру және баға

Алғашқы практикалық сүзгі — құжаттарды қай жерде өңдейсіз және кім оларға қол жеткізеді. Деректерді сақтау және жеткізу талаптары бар ұйымдар үшін on‑prem немесе бұлт таңдау шешуші болуы мүмкін.

Бизнес пен ИБ-ге қысқа сұрақтар қойыңыз:

• Қандай өрістер критикалық және әрқайсысының қатенің бағасы қандай?
• Құжаттарды бұлтқа жіберуге бола ма және сақтау аймақтары бойынша шектеулер бар ма?
• 24/7 жұмыс керек пе және ақау кезінде тез жауап қажет пе?
• Аудит қалай өтеді: логтар, қолжетімділіктер, исходник пен нәтижелерді сақтау?
• Күткен көлем қандай: айына 1 000 құжат па әлде 100 000?

Бағаларды қарап жатқанда тек бетке төлемге қарамаңыз. Дайындау, разметка, шаблондарға қолдау және интеграция нақты TCO-ны анықтайды.

Пилот кезінде жиі кездесетін қателіктер

Ең жиі кездесетіні — пилотты «формальды» өткізу: 10 құжат алып, 2–3 қозғалтқыштан өткізіп, бірден «ең жақсыны» таңдау. Кішкентай таңдау нәтижені кездейсоқ түрде көтереді.

Екінші қате — әртүрлі типтер мен көздерді бір тестке араластыру. Офистік МФУ-дан скан, телефоннан фото және архивтен алынған PDF әр түрлі мінез көрсетеді. Егер тестті шаблондар мен каналдар (сканер, мобильді фото, жүйеден шыққан PDF) бойынша бөлмесеңіз, қай жерде мәселе екенін түсінбейсіз.

Тағы бір қате — бәрін бір «точность OCR» санына түсіру. Мәтінді тану мен өрістерді шығару — әр түрлі міндеттер. Абзацтарды жақсы тану арқылы ЖСН немесе шот нөмірінде үнемі қате жіберуге болады. Бизнесте критикалық өрістердің сапасы маңызды.

Көп командалар нашар скандарды «шу» деп ескеріп, оларды елемейді. Шын мәнінде дәл солар қолмен өңдеуге кезек тудырады. Кейде скан үрдісін (контраст, обрезка, бұру, бірдей сканер баптаулары) жақсарту OCR-ды үздіксіз реттеуден артық тиімді.

Соңында, жиі баға тек распознавание тарифи бойынша есептеледі. Әділ бағалау үшін оператор уақыты, қолмен енгізу пайызы, қателіктерден келетін шығындар және шаблондарды баптау мен қолдау уақытын қосыңыз.

Мысал: 1 000 шоттан 12% сома мен БСН бойынша қолмен тексеруді талап етсе, бұл минуттар есепке алынбаса, «арзан» қозғалтқыш жалпы процесс бойынша қымбатқа түсуі мүмкін.

Салыстыруды бастамас бұрын чек-лист

Пилотты дайындаусыз бастасаңыз, нәтижелер шулы болады: әртүрлі типтер араласады, қателер әртүрлі есептеледі, ал баға тек лицензияда есептеледі.

Бастамас бұрын ең азын анықтаңыз:

• Шаблондар тізімі: пилотқа қандай құжаттар кіретінін және олардың қай өрістері критикалық екенін анықтаңыз.
• Эталон және ережелер: кім разметка жасайды, даталар мен сомалардың форматы, не қате саналады.
• Үш сценарий: базалық (қазіргі күй), мақсатыңыз (жүйені іске қосуға қажет сапа), ең жаман (шаблондардың бір бөлігі нашарласа не істейміз).
• Сенімділік порогтары мен тексерулер: қайда автоматты түрде сенуге болады, қай жерде оператор қажет және қай жерде қайта өңдеуге немесе қолмен енгізуге жіберіледі.
• Сапа иесі іске қосылғаннан кейін: кім метриканы бақылайды, кім шаблондарды жаңартады және жаңа формалар пайда болғанда қаншалықты тез әрекет етеді.

Қысқа мысал: шоттар мен актілерді өңдеуде тек ЖСН/БСН және сома сәйкес келсе ғана автопроведениеге рұқсат беру, ал дата мен құжат нөмірі төмен сенімділікпен тексеруге жіберілсін.

Егер жоба есеп жүйелері мен таратылған қолдауды қамтитын болса, алдын ала шешіңіз — шаблондарды және сапаны ішкі команда ұстай ма әлде SLA бар интегратор ма.

Мысал сценарий мен келесі қадамдар

Пилотты елестетіңіз: 1 000 шот 5 жеткізушіден. Әр шоттың өз шаблоны бар, бірақ сізге бірдей 12 міндетті өріс керек: ЖСН/БСН, нөмір және дата, жеткізушінің атауы, сома НДС-сыз, НДС, итог, валюта, келісімшарт нөмірі, период, банктік реквизиттер және төлем тағайындалуы. Мақсат — жай мәтінді тану емес, өрістерді қолмен түзетусіз алу.

Салыстыру әділ болсын десеңіз, таңдау мен разметка ережелерінде келісіңіз. Құжаттарды нақты үлестемен алыңыз: мысалы, 600 шот ең жиі жеткізушіден, 200 екінші жеткізушіден және қалғандары 100-дан. Нашар скандарды бөлек белгілеңіз (смаз, көлеңкелер, телефоннан фото) — солар жүйенің ең нашар жұмысын көрсетеді.

Разметканы сенімді етіп ұйымдастырыңыз:

• 12 өрістің эталон мәндерін нақты ережелер бойынша қолмен белгілеңіз (дата форматы, дөңгелектеу, пробелдар, нөлдер).
• Құжаттардың кем дегенде 10–15% қосарлы разметкасы болсын және айырмашылықтарды талдаңыз.
• Қате деп нені есептейтініңізді бекітіңіз: ЖСН-дегі артық пробел, жоғалған тиын, валюта қатесі және т.б.
• Қателер себептерін бөлек тіркеңіз: тану қателігі, өрісті шығару қатесі, бизнес-логика қатесі.

Нәтижені бір көрсеткішпен емес, себептер бойынша қараңыз. Егер қайталанып қателер бір орында болса (мысалы, «Итого» мен «Сумма к оплате» шатастырылады), шаблондар мен ережелерді жақсартыңыз. Егер қателер скан сапасымен байланысты болса, скан процесін түзету тиімдірек.

Пилоттан өндірістік іске көшу SLA ретінде өрістерге арналған нақты талаптармен жүруі тиіс, жалпы "OCR дәлдігі" емес. Міндетті жиын:

• 12 өрістің әрқайсысы бойынша мақсатты дәлдік пен қолмен тексеруге болатын құжаттар үлесі
• 1 000 құжатты өңдеу уақыты және пиктік жүктеме
• Сапа төмендегенде эскалация ережелері (мысалы, жаңа жеткізуші пайда болғанда)

Келесі қадам — 200–300 құжатқа қысқа пилот жүргізіп, гипотезаларды жылдам тексеріп, содан кейін қажетті жылдамдық пен сақтау көлеміне инфрақұрылымды есептеңіз.

Егер шешімді on‑prem орналастырып, интеграция мен қолдауды бірге жоспарласаңыз, бұл жүйелік интегратормен бірге жоспарлауға ыңғайлы. Мысалы, GSE.kz (gse.kz) жұмыс станциялары мен серверлерді қамтамасыз етіп, интеграцияны тездетуі мүмкін.