Датасетті қосымша оқытуға дайындау: сапа және құпиялылық

Неліктен сапа мен құпиялылықты алдын ала ойлану керек

Қосымша оқыту (дообучение) нөлден оқытудан ерекшеленеді: сіз модельді қайта жасамай, дайын әрекет ету тәсілін өз міндеттеріңіз бен стильге қарай түзетесіз. Сондықтан деректер ойлағаннан да үлкен әсер етеді: бірнеше мың қате немесе «шулы» мысал жауаптарды айтарлықтай өзгерте алады, тіпті базалық модель күшті болса да.

Деректердегі қателер көбінесе модель қателеріне айналады. Біркелкі емес разметка бірдей сұраныстарға әртүрлі жауаптар береді. Шаблондық формулировкалар жауаптарды бірқалыпты етеді. Ескірген ережелер немесе терминдер модельді дұрыс емес ұсыныстарды сенімді түрде беруге итермелейді.

Сапа мен құпиялылықты бірге тексерген дұрыс, жеке-жеке емес. "Күдік тудыратын" фрагменттер (телефон нөмірлері, мекенжайлар, аттар-жөні, ішкі идентификаторлар) жиі ең құнды мысалдарда — нақты хат алмасулар мен өтініштерде кездеседі. Алдымен разметка жасап, содан кейін тазалау мәні мен контекстін бұзуы мүмкін. Ал ережесіз тазарту маңызды сигналдарды алып тастап, перекос тудыруы ықтимал.

Мәселелер әдетте жүйеге енгізгеннен кейін байқалады, сол кезде түзету қымбатқа түседі: модель күтпеген жерден жеке немесе ішкі мәліметтерді ашады, жауаптар бір командаға немесе өңірге қарай «қисайып» кетеді, сенімді бірақ дұрыс емес ұсыныстар көбейеді, датасеттен алынған қайталанулар пайда болады және "жаттап алған" фразалар сезімі қалыптасады.

Датасетті қосымша оқытуға дайындау — формальдылық емес. Бұл беделдік және құқықтық тәуекелдерден, сондай-ақ сапаның бірте-бірте нашарлауынан қорғаныс.

Мақсат пен талаптарды нақтылау

Деректер жинамасынан бұрын модель не істеуі керектігін бекітіңіз. Бірдей мәтіндер массиві классификацияда жақсы нәтиже бере алады, ал чат форматы үшін сәтсіз болуы мүмкін: әр тапсырмаға әртүрлі мысалдар, құрылым мен тексерістер қажет.

Бір абзацпен тапсырманың қысқаша сипаттамасынан бастаңыз: пайдаланушы кім, қандай сұраныс жасайды және модель не қайтаруы тиіс. Одан кейін тапсырма түрін анықтаңыз: классификация (метка беру), шығару (өрістерді алу), генерация (жауап жазу), іздеу және ранжирование (ең жақсы үзінді табу). Содан кейін енгізу форматын анықтаңыз: жол, диалог, кесте немесе құжат және дұрыс нәтижені не құрайтынын көрсетіңіз (метка, JSON өрістері, үлгіге сай мәтін, құжат ішіндегі дереккөзіне сілтеме).

Табыс критерийлерін алдын ала жазып қойыңыз. Классификацияда бұл әдетте дәлдік пен толықтық, шығару тапсырмаларында — дұрыс толтырылған өрістердің үлесі. Чат жауаптары үшін чек-лист ыңғайлы: пайдалығы, ойдан шығармауға (hallucination болмауы), дұрыс тон және ұқсас сұраныстарға тұрақтылық.

Сондай-ақ қандай деректер пайдаланылмайтынын бекітіңіз: құқықтық және келісім-шарт талаптары бойынша қай дереккөздер рұқсат етілген, қандай категориялар қолдануға тыйым салынған (жеке, медицина, қаржы), қандай ішкі құжаттар шығарылмайды, сақтау мерзімі мен қолжетімділік кімде болатынын анықтаңыз.

Реттеулері бар ұйымдарда (соның ішінде мемлекеттік сатып алуларда) талаптар туралы құжат жиі алғашқы деректен де маңызды: ол жобаны қайта жасаудан және тәуекелді утечкеден қорғайды.

Деректер жинау және пайдалану құқықтарын тексеру

Қосымша оқытуға арналған деректер көбінесе компанияда бар, бірақ әртүрлі жүйелерге шашыраңқы: қолдау тикеттері, электрондық хаттар, ішкі құжаттар, оқиға журналдары, анкета жауаптары. Экспорт жасамас бұрын қай дереккөздер нақты тапсырмаға пайдалы және қай жерлерде құпиялылық тәуекелі жоғары екенін анықтаңыз.

Келесі қадам — пайдалану құқықтары. Әрбір деректің иесі болады: клиент, қызметкер, мердігер немесе ұйым өзі. Файл корпоративтік дискіде жатқаны оларды оқытуға пайдалануға болатынын білдірмейді. Машиналық оқытуға рұқсат беретін келісім немесе шарт бар-жоғын және деректерді мердігерлерге немесе бұлтқа жіберуге шектеулер бар-жоғын тексеріңіз. Мемсекторда, қаржы және медицинада бұл жиі маңызды: кейде тек периметр ішінде жұмыс істеуге рұқсат етіледі.

Сақтау мерзімі мен қолжетімділік ережелерін бөлек анықтаңыз: кім «шикі» деректерді көреді, кім тек анонимделген нұсқасын, қайда және қалай сақталады, экспорттар қалай тіркеледі. Жақсы тәжірибе — датасет үшін бөлек сақтау орнын бөлу және рұқсаттарды бекітетін жауапты тағайындау.

Әрбір жол қайдан шыққанын кейін білетін болу үшін датасет сипаттамасын жүргізіңіз және өзгерістерге қарай жаңартыңыз: дереккөзі мен жүйесі, кезең мен таңдау критерийлері, иесі және пайдалану негізі, қолжетімділік пен берілуге шектеулер, белгілі тәуекелдер (жеке деректер, коммерциялық құпия).

Разметка процесі: ережелер, мысалдар, біртұтас тәсіл

Разметка көбінесе «нашар разметчиктерден» емес, анықталмаған ережелерден ығысады. Бастамас бұрын не разметкалайтыныңызды анықтаңыз: класстар (мысалы, өтініш түрі), өрістер (тақырып, өнім), атаулар (ұйым, құрылғы моделі), тональность немесе себептер. Бұл қосымша оқытуға арналған датасетті дайындаудың негізгі қадамы, себебі модель дәл сіз көрсеткен әрі атаған нәрсені үйренеді.

Оқығанда шынымен оқитын қысқа нұсқаулық

Нұсқаулық қысқа және практикалық болуы керек: 1–2 бет, аз теория және көбірек мысалдар.

Әр метканы қарапайым сөздермен сипаттап, шекараларын көрсетіңіз: қандай жағдайлар жарайды, қайсысы жарамайды. Әр метка үшін 3–5 мысал беріңіз, соның ішінде «ұқсас, бірақ қате» мысалдарын қосыңыз. Күшік жағдайларда қайсысы қай класка жіберілетінін көрсететін ереже қойыңыз, өрістерді толтыру форматын нақтылаңыз және бос мәндермен не істеу керектігін жазыңыз. Жеке деректерді разметкалауға немесе көшіруге тыйым салатын тізімді бөлек көрсетіңіз.

Техподдержка үшін мысал: "сервер мәселесі", "жұмыс станциясы мәселесі", "доступ/учеткі" және "басқа" категорияларының нақты шекарасын алдын ала келісіңіз. Контрмысал беріңіз: "компьютер баяу жұмыс істейді" — бұл міндетті түрде "желі" емес, тіпті Wi‑Fi туралы айтылса да.

Дау тудыратын жағдайлар және біртұтас позиция

Даулы категориялардан құтылу мүмкін емес. Ыңғайлы ереже: разметчик метка қояды және жазбаны "күдікпен" белгілейді, тимлид күн сайын әлгі жазбаларды қарап, шешім қабылдайды.

Нұсқаулық нұсқаларын сақтаңыз (v1, v2, v3) және шешімдер журналы жүргізіңіз: күн, сұрақ, қабылданған ереже, екі мысал. Осылайша адамдарды қайтадан оқыту қажет болмайды, ал разметка логикасын заңгерлерге, қауіпсіздікке немесе аудитке түсіндіруге болады.

Разметка сапасын қарапайым бақылау

Разметка сапасы жиі датасет өлшемінен маңыздырақ. Тіпті аз пайыз қате метка бизнес үшін маңызды жағдайларда модельді шатастыруы мүмкін.

Практикалық тәсіл — таңдалған бөлікті қосарлап разметкалау. 5–10% жазбаны алып, оларды екі разметчикке тәуелсіз беріңіз. Содан кейін келіспеушіліктерді салыстырыңыз және "кім дұрыс" деп айуан іздемеңіз. Пайдалысы — қай ережелер екіұштылық тудыратынын және қай жерде мысалдар жетіспейтінін анықтау.

Қай жерде дау жиі туындайды

Разметчиктер көбінесе шеткі жағдайларда келіспейді: аралас ниеттер, толық емес хабарламалар, сарказм, қысқартулар, бірнеше тілдегі мәтін. Қолдау сұраныстарында бір хабарлама бір мезгілде "жұмыс істемейді" және "орнату қажет" болуы мүмкін. Егер таңдаудың ережесі жазылмаған болса, модель дәл осындай күрделі сұраныстарда қате жауап береді.

Қабылдау шегі және тұрақты аудит

Қандай қателер қабылданатындығы және қандай қателер датасетті қайтаруға әкелетіндігін алдын ала келісіңіз. Қателерді критикалық және критикалық емес деп бөлу ыңғайлы, содан кейін бақылау жиынтығында критикалық қателер белгіленген деңгейден асса — разметканы түзетуге қайта жіберіңіз.

Әрі қарай ритм көмектеседі: әр партиядан таңдамалы аудит, типтік қателерді талдау, разметчиктерге қысқа кері байланыс. Әр раундтан кейін даулы мысалдардан алынған әшекейлермен нұсқаулықты жаңарту сапаны тез көтереді.

Дубликаттарды және ұқсас жазбаларды бақылау

Дубликаттар тек бірдей көшірмелер ғана емес. Көбінесе бір‑дей жазбалар, сондай-ақ айырмашылығы тек өтініш нөмірі, дата немесе аттарда болатын шаблондық жауаптар кездеседі. Қосымша оқытуға дайындық кезінде бұл оқытуды кездейсоқ бұзудың ең жылдам тәсілдерінің бірі.

Дубликаттар датасетті үлкейтіп, сапа туралы жалған сезім туғызады. Модель қайталанатын формулировкаларды жаттап алады, валидация метрикалары көтерілгендей көрінеді, өйткені оқыту мен тексеруде өте ұқсас жазбалар бар. Нәтижесінде нақты жұмыста жауаптар бірқалыпты және жаңа формулировкаларға төзімсіз болады.

Дубликаттарды қалай табуға болады

Практикада бірнеше қарапайым тексеруді біріктіру пайдалы: толық сәйкестіктер (мәтінді нормализациялап хэштерді салыстыру), өте ұқсас жазбалар (n-грамма ұқсастығы немесе құрал метрикасы бойынша шекті мән), шаблондық хабарламалар (ID, даталар, аттарды алып тастаңыз да қайта салыстырыңыз), сондай-ақ ұқсас жазбаларды кластерлеп, топтап қарау.

Мысал: "ПК қосылмайды, шұғыл" және "ПК қосылмайды, шұғыл" — модель үшін іс жүзінде бірдей. Ондай ондаған қайталанулар оқытуды бұрмалауы мүмкін.

Табылған қайталанулармен не істеу керек

Стратегияны таңдаңыз: артық көшірмелерді жою, өрістері маңызды болса жазбаларды біріктіру немесе "жиі кездесетін шаблон" ретінде белгілеу, өз кезегінде мұндай жазбалардың оқытудағы үлесін бақылау. Ең бастысы — бірдей немесе өте ұқсас жазбалар оқыту мен валидацияға бірдей түспеуі тиіс.

Бұл жиі "әдемі" метрикалардың және практикалықта әлсіз модельдің себебі.

Сезімтал деректерді жою және құпиялылықты қорғау

Егер деректерде жеке ақпарат немесе құпиялар бар болса, модель оларды есте сақтап, кейін кездейсоқ бере алады. Сондықтан датасетті дайындау кезінде құпиялылық мәселесі датасет мөлшері туралы дау‑кездекте бұрын шешілуі тиіс.

Сезімтал деп мыналар есептеледі: ЖСН, телефондар, мекенжайлар, туған күндер, медициналық мәліметтер, жалақы мен қарыз туралы ақпарат, құжат нөмірлері, есеп шоттары мен реквизиттер. Сондай‑ақ парольдер, API кілттері, токендер және ішкі клиент/құрылғы идентификаторлары секілді "құпиялар" қатты қауіпті. Тіпті егер бұл жеке дерек болмаса да, утечка бұзылуға әкелуі мүмкін.

Қандай тәсілді қолдану керек екенін тапсырмаға қарай анықтайды. Кейде фрагментті толығымен жою дұрыс болады. Кейде маскілеу жеткілікті (ЖСН‑ні "[ЖСН]" деп ауыстыру) немесе токендеу ("[ТЕЛЕФОН_1]") жеткілікті — бұл құрылымды сақтауға көмектеседі. Аналитика үшін жалпылау пайдалы: нақты мекенжайдың орнына қала, туған күннің орнына жас тобын қолдану.

Мысал: серверлер мен жұмыс станциялары бойынша өтініштерде бір хатта инженері телефон нөмірі, IP, сериялық нөмір және есептік жазбаның скриншоты болуы мүмкін. Алдын ала қандайны сақтайтыныңызды (құрылғы түрі, симптом, нәтиже) және нені маркерлерге ауыстыратыныңызды шешіңіз.

Оқытуға жібермес бұрын жылдам тексеру жасаңыз: шаблондарға (ЖСН, телефондар, email, "password" сияқты кілтсөздер) қарап шығу, әртүрлі көздерден 50–100 жазбаның қолмен таңдауы, қоса салынған файлдарды (скан, сурет, CRM‑дан экспорт) тексеру, "сирек кездесетін жолдар" (ұзын бірегей нөмірлер мен токендер) іздеу және тазалаудан кейін қайта тексеру.

Дұрыс бөлу: утечканы қалай болдырмауға болады

Тіпті жақсы жинақталған датасет те деректер дұрыс бөлінбесе "өзінен тым жақсы" метрикалар береді. Негізгі қате — өте ұқсас жазбалардың оқыту мен тексеруде болуы. Онда модель үйренбейді, жаттайды, және релизден кейін сапасы түседі.

Сенімді принцип — жолдарды емес, көздер мен топтарды бөлу, сонда ұқсас мәтіндер жиындар арасында қиылыспайды. Кәдімгі нұсқалар: уақыт бойынша (өткенге оқыту, жаңасына тексеру), қолданушылар бойынша, ұйымдар немесе филиалдар бойынша, инциденттер немесе сұраулар тізбегі бойынша (бір инциденттің барлық хаттары бір жиында болуы қажет).

Утечка шаблондар мен цитаттарда жиі жасырынады. Тикеттерде операторлар бірдей жауаптарды көшіреді, пайдаланушылар бұрынғы хаттарды қайта жіберуі мүмкін. Егер тізбек бөліктері train‑те, ал бөліктері test‑те болса, тест әділ болмайды. Бөлмес бұрын мәтінді нормализациялап (қолтаңбалар, автожауаптар, ұзын дәйексөздерді алып тастау) ұқсас жазбаларды қарапайым ережелер бойынша топтау (тақырып, өтініш нөмірі, мәтін жақындығы) пайдалы.

Бөлуді қандай кілтпен жасайтыныңызды жазбаша бекітіңіз: қандай кілт қолданылды, уақыт бойынша шекара қалай таңдалды, қандай ерекшеліктерге рұқсат бар. Сондай‑ақ әр жиынға түскен идентификаторлар тізімін сақтаңыз.

Перекос пен репрезентативтілікті тексеру

Перекос — датасет бір тип жағдайларды тым көп көрсетіп, қалғандарын мүлде қамтымайтын кезде пайда болады. Жиі мысал — бір класстың тым көп болуы (80% «парольді қалпына келтіру», 5% «төлем қатесі»). Тағы бір түрі — көз бойынша перекос: деректер тек бір каналдан немесе бір мерзімнен (маусымдық шың) алынған.

Мәселені күрделі статистикасыз анықтауға болады: қарапайым агрегаттар жасап, оларды жаңа көзқараспен қараңыз. Пайдалысы — кластар мен көздер бойынша жиіліктер, кластарға бөлінген топ‑тақырыптар мен кілтсөздер, мәтін ұзындығының таралуы, "прочее" үлесі және сирек кластар бойынша қолмен тексеріс.

Перекос байқалса, үш жол көмектеседі: жетіспейтін мысалдарды жинау, кластарды тарылту немесе біріктіру, даулы мысалдарды қайта разметалау. Қосымша оқыту датасетін дайындауда ең алдымен нақты жұмыста қандай қателер ең зиян екенін анықтап, сол аймақтарды күшейту дұрыс.

Метрикаларды қолмен «жақсарту» мақсатында кластарды жасанды түрде теңестіруге тырысудың қажеті жоқ — модель сирек жауаптардың тым жиі болуын үйреніп алуы мүмкін. Қауіпсіз шешім — шынайы таралу сақталған бөлек тестті сақтау және оған өзгерістер енгізгеннен кейін тексеру.

Мысал сценарий: пайдаланушы өтініштері бойынша дообучение

Мысалы, қолдау қызметінде пайдаланушы сұраныстарының базасы жиналды: пайдаланушылардың хабарламалары, оператордың нақтылау сұрақтары және соңғы жауаптар. 24/7 қолдауы бар интеграторда мұндай диалогтар көп келеді және модельді операторға жауаптың жоба нұсқасын ұсыну үшін дообучить ету керек.

Практикада үш типтік проблема тез көрініс табады: "копипасттар" (шаблондық жауаптар мен бір инцидент туралы қайталанатын тикеттер), мазмұнсыз репликалар («ок», «принято», «спасибо») датасетті үлкейтеді, және жеке деректер (аттар, телефондар, мекенжайлар, ЖСН, шарт нөмірлері, сериялық нөмірлер, кейде реквизиттер мен логиндер).

Мән мен шуды сақтау үшін разметкадан бұрын сүзгіден өткізу пайдалы: сигнал жоқ жазбаларды (2–3 сөзден қысқа) жою; маңызды диалог үшін қысқа растауларды алдыңғы мазмұнды репликамен біріктіру; контекстті сақтау (кем дегенде 1–2 алдыңғы хабарламаны); сезімтал өрістерді бірізді токендерге ауыстыру ([ТЕЛЕФОН], [ЖСН], [ШАРТ]); дубликаттар мен өте ұқсас жазбаларды алып тастау, ең жақсы мысалды қалдыру.

Тест жиынтығын ойластырған жөн. Ол нақты ағын бойынша сапаны тексеруі керек, «әдемі» мысалдар бойынша емес. Ыңғайлы тәсіл — бір бөлігін уақыт бойынша бөліп қою (мысалы, соңғы апта) және тестте жиі сұрақтар, сирек бірақ критикалық жағдайлар, толық емес сипаттамалары бар өтініштер және оператордың нақтылау сұрақтары бар күрделі жағдайлардың болуы.

Осылайша дообучение жұмыста қаншалықты көмектесетінің және модель шу, құпиялардың утечкасы немесе шаблондарға артық бейімдіктен нашарламағанын көресіз.

Датасетті дообучениеге дайындаудың қадамдық жоспары

Жақсы дайындық кейін модельді түзетуден әлдеқайда арзан болады.

1. Тапсырманы бекітіңіз: модель не істеуі керек, табысты қалай өлшейсіз (жауаптың дәлдігі, қателер үлесі, өңдеу уақыты) және қандай деректерді пайдалануға болмайтынын көрсетіңіз. Бұл тіл мен тонға қатысты шектеулерді де қамтиды.

2. Деректерді жинаңыз және көздердің реестрін жасаңыз: әр массив қайдан алынған, кім иесі, келісім бар‑е жоқ және оқытуға пайдалануға бола ма — бұл қауіпсіздік пен заңгерлер сұрақтары туындағанда уақыт үнемдейді.

3. Барлығын бір форматқа келтіріп, шудан тазалаңыз: зақымдалған жазбалар, техникалық құйрықтар, регистр айырмашылықтары, артық бос орындар. Бұл қадамда сезімтал өрістерді де алып тастаңыз немесе ауыстырыңыз (аттар, телефондар, ЖСН, карта нөмірлері, мекенжайлар, ішкі идентификаторлар). Қажет болса байланыстарды тұрақты псевдонимдерге алмастырыңыз.

4. Разметка нұсқаулығын дайындап, мысалдар беріңіз. Кішігірім тест разметкасын өткізіп, келіспеушіліктерді салыстырыңыз және ережелерді нақтылаңыз. Бірнеше қысқа итерация бір үлкен қателерге толы айналымнан тиімдірек.

5. Қайталанулар мен бөлуді тексеріңіз. Дубликаттарды және өте ұқсас жазбаларды жойыңыз. Деректерді train, validation және test‑ке бөліп, ұқсас кейстердің әртүрлі бөлікке түспеуін қадағалаңыз (мысалы, бір клиенттің барлық өтініштері бір жиында болсын).

Оқытуға жібермес бұрын перекосты соңғы рет тексеріңіз: өңірлер, тілдер немесе сұраныс түрлері бойынша кемшіліктер бар‑е және біршама шулы класс басқа кластарды "ұмыттырмай" ма. Егер өтініштерде көп шаблондық "интернет жұмыс істемейді" сұрақтары болса, модель біртүрлі жауап беріп, сирек бірақ маңызды инциденттерге нашар әрекет етуі мүмкін.

Қысқа чеклист, жиі кездесетін қателер және келесі қадамдар

Дообучение басталардан бұрын жылдам тексеріс жасау пайдалы — ол 1–2 сағат алады, бірақ апталарды үнемдеуі мүмкін.

Үш нәрсені тексеріңіз: дубликаттар табылып, өңделді ме; сезімтал деректер бірдей тәсілмен жойылды немесе маскіленді ме; train/val/test тәуелсіздігі сақталды ма (пайдаланушылар, кейстер, құжаттар бойынша қиылыс жоқ). Содан кейін перекосты қараңыз: қандай тақырыптар, тілдер, өңірлер немесе класстар шамадан тыс немесе тым аз көрсетілген. Қажет болса нұсқаларды тіркеңіз: бастапқы файлдар, тазалау скрипттері, разметка ережелері, экспорт күндері және жиындардың соңғы мөлшері.

Егер разметка бар болса, қосымша тексеріңіз: нұсқаулық қысқа және мысалдармен, даулы жағдайлар сипатталған, шағын аудит өткізілген (таңдамалы тексеріс және келіспеушіліктер талданған), және жаңа тип деректерге арналған ережелер меткалардың мәнін кейін өзгерте алмайтындай келісілген.

Типтік қателер, нәтижені бұзатындар: тест пен оқытуды бірге тазалау/фильтрлеу; жеке деректерді тек бір бөліктен жою; ескі және жаңа нұсқалар разметкасының араласып кетуі; модельдің "көрген" деректерінде метрикаларды тексеру (қайталанулар мен шаблондар себеп болады).

Келесі қадам — датасеттің қайда және қалай сақталатынын бағалау (шифрлау, резервтік көшірмелер, қолжетімділік журналы), кімде оқу және экспорттау құқығы бар, оқытуды қалай іске қосасыз және артефактілерді (модульдер, логтар, конфигтер) қалай сақтайсыз. Егер сізге жабық контур және оқыту мен деректерді сақтау инфрақұрылымына көмек керек болса, бұл туралы GSE.kz-пен талқылауға болады — мысалы, S200 серверлері, жұмыс станциялары және жүйені интеграциялау қызметтері арқылы қолжетімділік бақылауы мен қолдау көмегімен.