Psihologii de la Universitatea din California, Los Angeles (UCLA) au arătat că GPT-3-urile au rezultate la fel de bine – uneori mai bune – decât majoritatea studenților la testele standardizate de inteligență și raționament. Aceste descoperiri conduc la considerații dacă AI imită gândirea umană sau folosește un nou tip de proces cognitiv.

Cu toate acestea, în prezent, din cauza lipsei de acces la mecanismele interne ale GPT-3 proprietarului OpenAI, oamenii de știință nu pot spune.

Oamenii au capacitatea de a face față unor probleme și probleme complet noi, deoarece le raportează la experiențele și expertiza lor din trecut, trag concluzii din acestea și le transferă la problema actuală. Acest proces se numește gândire analogică și a fost mult timp considerat o abilitate unică umană.

Un studiu recent de la UCLA a arătat că modelul de limbaj GPT-3 AI funcționează bine cu studenții când vine vorba de rezolvarea problemelor care necesită gândire. Acest lucru este confirmat de testele de inteligență și testele SAT standardizate, care sunt echivalente cu un examen de matriculare în Polonia.

„Rezultatele noastre sunt uimitoare, dar este important să ne amintim că acest sistem are încă limitări serioase”, a spus dr. Taylor Webb, autorul principal al studiului. Poate gândi în mod analog, dar nu poate face lucruri care vin ușor oamenilor, cum ar fi modificarea instrumentelor pentru a rezolva probleme cu spațiul fizic. Când i-am dat genul de sarcini pe care chiar și copiii le pot face fără probleme, el a propus soluții care nu aveau sens.

Webb și colegii au însărcinat unui model AI să rezolve testul Raven Matrices, care necesită ca o persoană să prezică următoarea imagine într-un aranjament complex de forme. Pentru a permite GPT-3 să „vadă” forme, imaginile au fost convertite într-un format de text care modelul a fost capabil de procesare. Această abordare asigură, de asemenea, că AI nu s-a confruntat niciodată cu întrebările pe care le-a primit înainte.

Cercetătorii au cerut, de asemenea, 40 de studenți să susțină același test.

„În mod surprinzător, GPT-3 nu numai că a funcționat la fel de bine ca oamenii, dar a făcut și erori similare”, spune coautorul lucrării, Prof. Hongjing Lu.

GPT-3 a rezolvat 80 la sută corect. Probleme – mult peste scorul mediu obținut de oameni (care a fost puțin sub 60%).

Cercetătorii au cerut apoi AI să răspundă la întrebări selectate din testul SAT. Trebuie remarcat faptul că aceste întrebări nu au fost niciodată publicate online, ceea ce înseamnă că cu siguranță nu au făcut parte din datele de antrenament GPT-3. Sarcinile incluse la alegerea perechilor de cuvinte care indică același fenomen, de exemplu pentru cuvântul „dragoste” perechea este „ura”, iar soluția pentru cuvântul „bogat” este „sărac”.

Compararea scorurilor GPT-3 cu scorurile publicate de la candidații la facultate a arătat că primii s-au descurcat mai bine decât majoritatea.

Într-un experiment recent, cercetătorii au însărcinat AI și studenții să rezolve asemănările pe baza poveștilor. Trebuia să citești o parte din text și apoi să selectezi o altă poveste cu aceeași morală (mesaj). De data aceasta, tehnologia s-a descurcat mai rău decât oamenii. Cu toate acestea, cercetătorii adaugă că noua paradigmă de limbaj GPT-4 a depășit aceste limitări și are performanțe mult mai bune decât GPT-3 în același test.

Studiul a mai arătat că modelul AI este complet incapabil să rezolve probleme care necesită o înțelegere a spațiului fizic. De exemplu, dacă lui GPT-3 i s-a oferit o descriere a unui set de instrumente – un tub de carton, foarfece și bandă – și i s-a dat sarcina de a descrie modul în care ar putea fi folosite pentru a transfera guma de mestecat dintr-un recipient în altul, a sugerat bizar și irațional. solutii.

Oamenii de știință doresc să investigheze dacă modelele de inteligență artificială încep cu adevărat să „gândească” ca oamenii sau dacă logica lor este ceva complet diferită, care doar imită gândirea umană. „Poate că GPT-3 poate gândi ca un om”, spun ei. – Totuși, pe de altă parte, oamenii nu învață consumând întregul Internet, așa că metoda de antrenament este neapărat foarte diferită. Ne-ar plăcea să știm cum se face cu adevărat, așa cum facem noi, sau într-un mod cu adevărat nou și inteligent, ceea ce ar fi foarte tare.”

Cu toate acestea, psihologii UCLA vor trebui să acceseze software-ul și datele utilizate pentru a antrena modelul pentru a determina acest lucru. „Va fi foarte util nouă și altor cercetători”, spun ei.

Katarzyna Czykovic

picurare / bar /