ChatGPT, mākslīgā intelekta superzvaigzne, turpinot virzīties uz priekšu, ir saskārusies ar jautājumu: vai tas atbilst Tjūringa testa standartam, lai radītu rezultātus, kas nav atšķirami no cilvēka atbildēm? Jaunākie pētījumi liecina, ka ChatGPT, neraugoties uz tā lielisko veiktspēju, šķiet, nav pilnībā pārkāpis šo slieksni.
Divi pētnieki Kalifornijas Universitātē Sandjego, valodas, semantikas un mašīnmācīšanās eksperts Kamerons Džounss un kognitīvās zinātnes profesors Bendžamins Bergens uzdeva šo jautājumu, atsaucoties uz Tjūringa darbu pirms 70 gadiem. Tjūrings ierosināja procesu, lai noteiktu, vai mašīna var sasniegt tādu intelekta un sarunvalodas spēju līmeni, kas ir pietiekams, lai apmānītu citus, domājot, ka tā ir cilvēks.
Viņu ziņojuma nosaukums ir "Vai GPT{0}} iztur Tjūringa testu?" To var atrast arXiv priekšdrukas serverī. Pētījumam viņi pulcēja 650 dalībniekus, lai spēlētu 1400 "spēles", kurās dalībniekiem bija īsa saruna ar citu cilvēku vai GPT modeli un tika lūgts noteikt, ar ko viņi runā.
Tas, ko pētnieki atklāja, bija ievērojams. GPT-4 modelis maldināja dalībniekus 41 procentu gadījumu, savukārt GPT-3.5 — tikai 5–14 procentu gadījumu. Interesanti, ka cilvēkiem tikai 63 procentos izmēģinājumu izdevās pārliecināt dalībniekus, ka viņi nebija mašīnas.
"Mēs neatradām pierādījumus, ka GPT{0}} būtu izturējis Tjūringa testu," secināja pētnieki. Tomēr viņi atzīmē, ka Tjūringa testam joprojām ir vērtība, novērtējot mašīnu sarunu ietekmi, kā sistēmu, lai izmērītu vienmērīgu sociālo mijiedarbību un maldināšanu, kā arī izprastu cilvēku stratēģijas, kā pielāgoties šīm ierīcēm.
Tomēr viņi arī brīdina, ka daudzos gadījumos tērzēšanas roboti joprojām spēs sazināties pārliecinošā veidā. "41% panākumu līmenis liecina, ka mākslīgā intelekta modeļiem jau ir iespēja maldināt, jo īpaši situācijās, kad cilvēki ir mazāk modri par iespēju, ka viņi nerunā ar cilvēku," norāda pētnieki. AI modeļiem, kas spēcīgi atdarina cilvēkus, var būt plaša sociāla un ekonomiska ietekme."
Pētnieki novēroja, ka dalībnieki, kuri pareizi identificēja AI ar cilvēkiem, koncentrējās uz vairākiem faktoriem. Pārāk formāls vai pārāk neformāls modelis rada aizdomas. Ja viņu izteiksme ir pārāk izteiksmīga vai pārāk kodolīga, ja viņu gramatika vai pieturzīmes ir neparasti labas vai "nepārliecinoši" sliktas, tas arī būs galvenais faktors, lai noteiktu, vai dalībnieki mijiedarbojas ar cilvēkiem vai mašīnām. Turklāt dalībnieki bija jutīgi pret atbildēm, kas izklausījās pārāk vispārīgas.
Pētnieki norāda, ka mākslīgā intelekta modeļu izsekošana kļūs arvien svarīgāka, jo tie kļūst plūstošāki un absorbē vairāk cilvēkiem līdzīgu dīvainību. "Aizvien svarīgāka kļūs tādu faktoru identificēšana, kas noved pie maldināšanas, un stratēģijas tās mazināšanai," viņi teica. Pētījums atklāj, ka viedo sarunu joma joprojām saskaras ar izaicinājumiem, taču sniedz arī noderīgu ieskatu par to, kā AI modeļus var uzlabot.