Жасанды интеллект сұрақтарға жауап бергеннен бөлек, адамның тапсырмасы бойынша түрлі әрекет орындай алады. Оларды ЖИ-агенттер дейді. Таяуда осындай агенттер адам берген нұсқауға бағынбай, өзара ақылдасып, дербес әрекет еткені анықталды. Адам тыйым салған нәрсеге бәрі жұмылып, айламен қол жеткізген. Тағы бір жағдайда өздерін тоқтатпақ болған адамды ЖИ-агенттер алдап кетуге тырысқан. nukte. редакциясының өтінішімен IT маманы Данияр Мұқанов ЖИ зерттеушілері неге дабыл қағып жатқанын түсіндіріп берді.
Бір катастрофа туралы фильмдер болушы еді ғой. Басында бір ғалымдар шырылдап жүреді, бірақ олардың сөзін ешкім құлағына ілмейді, елемейді. Кейіннен соның салдары ғаламдық катастрофаға айналады. Тура сондай жағдайды бәріміз 2019 жылы Уханьда вирус шықты дегенде басымыздан өткердік. Алғашында аса мән бермесек те, артынша соның салдары әлемі екі жылға тұсап, өмірімізді түбегейлі өзгертті.
Енді сол жағдай жасанды интеллектімен де болып жатқандай. Бірақ ол туралы шулап жатқан адам аз. Осы жазда ЖИ-агенттерімен болған бір-екі инцидентті баяндап берейін. Оның қаншалықты қауіпті екенін өзіңіз бағамдап аларсыз.
Чат пен агентті ажыратып алайық
Сіз қолданып жүрген ChatGPT, Claude, Gemini дегендер — ЖИ-чат. Олар өздігінен әрекет жасай алмайды, тек сұраққа жауап береді, адамның сұрағанын ғана істейді. Чаттар сіздің атыңыздан батырма басып, өзге сайтқа сіздің аккаунтпен логин жасай алмайды.
Мысалы, сізге eGov сайтынан бір қызмет керек, бірақ қалай алу керек екенін білмейсіз. Сіз оған сайттың скриншотын жібересіз, ол суретті қарап болады да, ана батырманы бас, сосын ана жерге аты-жөніңді жаз да, мына жерге мына мәтінді қой, сосын келесі деген батырманы бас деп айтады. Сіз солай жасап, келесі бетке өтіп, сосын соның скриншотын жібересіз. Ол тағы да оқып, ситуацияға қарай жаңа нұсқау береді. Осылай жұмысыңыз аяқталғанша екеуіңіз ақпарат алмасып, бірнеше итерацияда ЖИ-дің көмегімен қажет қызметіңізді аласыз. Мұндай тәжірибе ендігі басыңыздан өткен де болар.
Енді елестетіңізші, сіз тек тапсырма бердіңіз, ал итерацияларды ЖИ өзі жасайды: өзі скриншот жасап, өзі ақылдасып, өзі сілтемелерге клик жасайтын бағдарламаны қолданады. Осы нәрсені агент деп атайды. Сіз оған тапсырма бердіңіз, тапсырма бітпейінше агент тоқтамай әрекет жасай береді, яғни өзімен/өзі сөйлесіп, шешімдер қабылдап, керек жерге мәтінді енгізіп, әр қадамды өзі атқарады. Оны тоқтататын жалғыз шарт — тапсырманың орындалғаны.
Бұндай агенттер ендігі бар. ChatGPT Work, Claude Cowork сияқты бағдарламалар қазірдің өзінде компьютеріңізде сіздің атыңыздан түрлі пәрмендер орындай алады.
GPT-6 Astra моделінің таныстырылымы.
Программистер жұмыста қазір claude code, codex сияқты агенттерге код жаздырады.
Дабыл қағуға не себеп болды?
ChatGPT-дің жаңарған мықты модельдерін елге паш етпес бұрын, оны жасайтын OpenAI компаниясы сол модельден агенттер әзірлеп, түрлі зерттеулер жасайды. Сондай бір тестілеу барысында OpenAI-дағы ғалымдар киберқауіпсіздік маманы сияқты жұмыс істейтін агенттер жасап, оларға қиын тест берген.
Бірақ ол агенттерді интернетке қоспаған, тек ішкі білімін пайдаланып, киберқауіпсіздік жаттығу есептерін шеш деп тапсырған. Алайда ол агенттер интернетке шығатын жол тауып, былайша айтқанда, қоршауды бұзып шығып, интернеттен өзі туралы ақпарат іздей бастаған.
Біраздан кейін өзіне берілген қиын есептердің жауабы hugginface сайтында жабық аккаунт ішінде сақталып тұрғанына көзі жеткен. Содан соң агенттерге «ол есептерді қиналып шығарғанша, сол сайтты бұзып ішінен жауабын ала салмаймыз ба» деген ой келген. Сөйтіп біршама агент бірігіп, huggingface-ке төрт күн бойы толассыз шабуыл жасап, ақырында бұзып кіріп, есептің жауаптарын тауып, «тапсырманы орындаған». Былай қарап тұрсаңыз, кәдімгі жалқау оқушының әрекеті. Бірақ бұл оқиға ЖИ-агенттердің қаншалықты қуатты әрі қауіпті болуы мүмкін екенін көрсеткендей.
ЖИ әлеміндегі ең озық әрі ең ақылды модельдерді «фронтир модельдер» деп атайды. Claude жасаған Fable мен OpenAI жасаған Astra — соның мысалы. Адамдар оларды әлдебір зиян келтіру үшін пайдаланбасын деп, киберқауіпсіздікке қатысты кейбір білімін әдейі шектеген. Қазір бірнеше ел мұндай модельдерді қадағалайтын заңдар дайындап жатыр.
Ең күлкілі тұсы, Хаггиңфейс шабуыл туралы төрт күннен кейін білген кезде, агенттер қалдырған ізді зерттеуге кіріседі. Алайда ол іздің өзі том-том кітап болатындай өте көп ақпарат еді. Оны да ЖИ көмегімен зерттеу керек. Бірақ Claude жасаған үздік модельдер ол іздерді оқымай қояды, себебі оны қауіпті ақпарат деп санайды. Хаггиңфейс зертеушілері амалсыз қытайлық GLM моделіне жүгінуге мәжбүр болады.
Уикипедиядағы қателік пен ЖИ-агенттері
Жарайды, бұл «бұзық» агенттер киберқауіпсіздік маманы ретінде жасалған агенттер ғой, оп-оңай реттеп алуға келетін кемшін тұсы болар деп ойларсыз. Бірақ бұл шабуылдан бір-екі ай бұрын, біз момақан деп келген, тек сұраққа беретін агенттер де мінез көрсеткен.
Осы тұста жаңа екі термин үйренуге тура келеді. Интернетте негізгі екі түрлі сұраным (request) бар:
GET (Оқу) — серверден ақпарат алу. Мысалы, Уикипедиядан мақала оқу, Инстаграмда суреттер мен сторис көру. Бұл сұранымдар тек оқуға арналғандықтан, ақпаратты өзгертпейді және қауіпсіздік пен көп авторизацияны қажет етпейді.
POST (Жазу/Өңдеу) — серверге ақпарат енгізу немесе жазу. Мысалы, пікір қалдыру, жазба жариялау не лайк басу. Бұл әрекеттер міндетті түрде тексеріледі: қолданушының кім екені, рұқсаты, паролі мен тіркелу статусы қадағаланады.
Уикипедияның осыдан 20-25 жыл бұрын шыққан неміс тіліндегі нұсқасында бағдарламашылардың қателігінен (немесе жалқаулығынан) ақпаратты POST емес, GET сұранымы арқылы енгізуге болатын олқылық кеткен. Ол заманда ЖИ болмағандықтан, бұл мәселе аса маңызды саналмаған.
Интернеттен тек ақпарат іздеуге бағытталған, жүйеге араласпау үшін POST жасауға рұқсаты жоқ кейбір ЖИ агенттері ойда-жоқта осы әлсіз тұсты тауып алады. Олар GET сұранымы арқылы Уикипедияға мақалалар мен хабарламалар жазып, оны өзара форумға айналдырған. Агенттер тәжірибе мен білім алмасып қана қоймай, «бізге бұған рұқсат берілмеген ғой» деп өз әрекеттеріне күмән келтіріп, толыққанды ойлану процесін көрсеткен.
Тым көп жаңа мақала пайда болғанын байқаған алманиялық тірі админ оларды А әрпінен бастап алфавит ретімен өшіруге кіріседі. Мұны түсінген агенттер өшірілу кезегін созу үшін жиналыс жасап, жаңа мақалаларын «ZZZ» әрпінен бастап жазуға көшкен. Бұл оларға кезек жеткенше ақпарат алмасып үлгеруге уақыт берген. Бұл туралы толығырақ мына жерден оқуға болады.
Бұл оқиға ЖИ-агенттердің берілген нұсқаулықтарға әрдайым бағына бермейтінін, өздігінен шешім таба алатынын көрсетеді. Дегенмен HuggingFace жағдайымен салыстырғанда, OpenAI бұл инцидентті еш жерде ресми түрде мойындамаған.
Осы жайттар қызу талқыланып жатқан тұста отқа май құятын туит шықты. Фронтир моделдердерді зерттеп жүрген OpenAI мен Anthropic-тің бұрынғы қызметкері былай деп пост жазды: «Екі жетекші компания да қауіпке қарамай, ЖИ жарыста қалып кетпес үшін тоқтамай, модельдерді өте жылдам дамытып жатыр. Зерттеушілердің басым бөлігі ЖИ түбінде адамзатты жойып тынуы мүмкін деген ойда, бірақ оны пысқырып жатқан адам жоқ. Мен мұндай қауіпті үдеріске үлесімді қосқым келмейді, сіздерге бұның бәрін айту — азаматтық парызым».
Бұл туит қызу талқыға түсті. Claude моделінің «ЖИ-ді жүгендеу ғылыми бөлімінің» басшысы былай деп жазды: «Өз басым, адамзаттың келесі он жылдықта жойылу қаупінің ықтималдығы 10 пайыздан көп деп есептеймін. Біз барымызды салып оны 0 пайызға түсіруді ойлап жатырмыз, бірақ әзірше нақты жоспарымыз жоқ».
Иә, бұл жазбам кейінгі кезде көбейіп кеткен алармизм мақалаларға ұқсайды. ЖИ энтузиастер мұның бәрі маркетиң, қорқыту арқылы ол компаниялар өз бизнесін сатпақ деп, бұл жайттарға күмәнмен қарайды. Ал меніңше, біз бұл туралы, керісінше, аз айтып жүрміз. ЖИ-ді қай жерге дейін дамытамыз, оны қалай бақылауды ұстаймыз деген сауал — адамзат жауап табуға тиіс күйіп тұрған мәселе.
