Ar AI gali rašyti mokslinės apžvalgos straipsnius?

Mokslinės literatūros apžvalgos yra svarbi tobulėjančių studijų sričių dalis: jose pateikiama dabartinė sąjungos padėtis, visapusiškai išanalizavus esamus tyrimus, ir nustatomos žinių spragos, į kurias gali būti sutelktas būsimos studijos. Tačiau parašyti gerai atliktą apžvalginį straipsnį yra puikus dalykas.

Tyrėjai dažnai šukuoja daugybę mokslinių darbų. Jie turi pasirinkti tyrimus, kurie nėra pasenę, tačiau vengia naujausio šališkumo. Tada ateina intensyvus darbas vertinant studijų kokybę, ištraukiant svarbius duomenis iš darbų, kurie atlieka pjūvį, analizuojant duomenis, kad būtų galima gauti įžvalgų, ir rašant įtikinamą pasakojimą, apibendrinantį praeitį, žvelgiant į ateitį. Mokslinių tyrimų sintezė yra pati studijų sritis, ir net puikūs mokslininkai gali neparašyti puikių literatūros apžvalgų.

Įveskite dirbtinį intelektą. Kaip ir daugelyje pramonės šakų, atsirado daugybė naujų įmonių, kurios gali panaudoti dirbtinį intelektą, kad pagreitintų, supaprastintų ir pakeistų mokslinės literatūros peržiūros procesą. Daugelis šių startuolių laikosi AI paieškos varikliais, kurių pagrindinis dėmesys skiriamas moksliniams tyrimams – kiekvienas iš jų skiriasi produktų ypatybėmis ir tikslinėmis auditorijomis.

„Elicit“ kviečia ieškotojus „analizuoti mokslinius darbus superžmonišku greičiu“ ir pabrėžia, kad jį naudoja ekspertai tyrėjai tokiose institucijose kaip „Google“, NASA ir Pasaulio bankas. „Scite“ teigia, kad sukūrė didžiausią citatų duomenų bazę, nuolat stebėdama 200 milijonų mokslinių šaltinių, ir siūlo „protingas citatas“, kurios skirstomos į pagrindžiančius ar prieštaraujančius įrodymus. „Consensus“ yra pagrindinio puslapio demonstracinė versija, kuria, atrodo, siekiama padėti žmonėms geriau suprasti duotą klausimą, paaiškinant produktą kaip „Google Scholar atitinka ChatGPT“ ir pateikiant konsensuso matuoklį, kuris apibendrina pagrindinius dalykus. Tai tik keletas iš daugelio.

Bet ar AI gali pakeisti aukštos kokybės, sistemingą mokslinės literatūros apžvalgą?

Tyrimų sintezės ekspertai linkę sutikti, kad šie AI modeliai šiuo metu puikiai atlieka kokybinę analizę, kitaip tariant, sukuria mokslinės literatūros aprašomąją santrauką. Kai jie nėra tokie geri, yra sudėtingesnis kiekybinis sluoksnis, dėl kurio peržiūra yra tikrai sisteminga. Ši kiekybinė sintezė paprastai apima statistinius metodus, tokius kaip metaanalizė, kuri analizuoja skaitinius kelių tyrimų duomenis, kad padarytų tvirtesnes išvadas.

„AI modeliai gali būti beveik 100 procentų tokie pat geri kaip žmonės, apibendrindami pagrindinius dalykus ir parašydami sklandų argumentą“, – sako Joshua Polanin, Amerikos tyrimų instituto Sintezės ir integracijos metodų centro (MOSAIC) įkūrėjas. „Tačiau kiekybinės sintezės srityje nesame net 20 procentų“, – sako jis. „Tikra metaanalizė atliekama pagal griežtą procesą, kaip jūs ieškote tyrimų ir įvertinate rezultatus. Šie skaičiai yra įrodymais pagrįstų išvadų pagrindas. AI nėra artimas tam, kad galėtų tai padaryti.

Bėda su kiekybiniu nustatymu

Kiekybinio įvertinimo procesas gali būti sudėtingas net apmokytiems ekspertams, aiškina Polaninas. Ir žmonės, ir dirbtinis intelektas paprastai gali perskaityti tyrimą ir apibendrinti viską: A tyrimas nustatė poveikį, o tyrimas B nerado poveikio. Sudėtinga dalis yra skaičiaus reikšmės pateikimas pagal efekto mastą. Be to, dažnai yra įvairių būdų išmatuoti poveikį, o mokslininkai turi nustatyti tyrimus ir matavimo planus, kurie atitiktų jų tyrimo klausimo prielaidą.

Polaninas sako, kad modeliai pirmiausia turi identifikuoti ir išgauti atitinkamus duomenis, o tada jie turi pateikti niuansus, kaip juos palyginti ir analizuoti. „Net kaip žmonių ekspertai, nors mes stengiamės sprendimus priimti iš anksto, jums gali tekti greitai apsigalvoti“, – sako jis. „Tai nėra kažkas, ką kompiuteris sugebės.”

Atsižvelgiant į tai, kad dirbtinio intelekto srityje ir paleidimo kultūroje aptinkama nuojauta, galima tikėtis, kad šiuos AI modelius kuriančios įmonės protestuos prieš Polanino vertinimą. Bet jūs nesulauksite argumentų iš Erico Olsono, „Consensus“ įkūrėjo: „Tiesą sakant, aš negalėjau daugiau sutikti“, – sako jis.

Polanino nuomone, „Consensus“ yra sąmoningai „aukštesnio lygio nei kai kurios kitos priemonės, suteikiančios žmonėms pagrindines žinias greitoms įžvalgoms“, – priduria Olsonas. Jis mato esminį vartotoją kaip absolventą: žmogų, turintį vidutinių žinių bazę, kuris stengiasi tapti ekspertu. Konsensusas gali būti viena iš daugelio priemonių tikram dalyko ekspertui arba padėti nemokslininkui būti informuotam – kaip konsensuso naudotojui Europoje, kuris neatsilieka nuo tyrimų apie retą savo vaiko genetinį sutrikimą. „Jis šimtus valandų praleido „Google Scholar“ kaip netyrėjas. Jis mums pasakė, kad apie kažką panašaus svajojo 10 metų, ir tai pakeitė jo gyvenimą – dabar jis juo naudojasi kiekvieną dieną“, – sako Olsonas.

„Elicit“ komanda orientuojasi į kitokį idealų klientą: „Kažkas, dirbantis pramonėje mokslinių tyrimų ir plėtros kontekste, galbūt biomedicinos įmonėje, bandantis nuspręsti, ar tęsti naujos medicininės intervencijos kūrimą“, – sako Jamesas Brady. , inžinerijos vadovas.

Turint galvoje šį didelį susidomėjimą turintį vartotoją, „Elicit“ aiškiai parodo vartotojų teiginius apie priežastinį ryšį ir juos patvirtinančius įrodymus. Įrankis suskaido sudėtingą literatūros peržiūros užduotį į valdomas dalis, kurias gali suprasti žmogus, taip pat suteikia daugiau skaidrumo nei įprastas pokalbių robotas: Tyrėjai gali pamatyti, kaip dirbtinio intelekto modelis gavo atsakymą, ir gali jį patikrinti pagal šaltinį.

Mokslinės peržiūros priemonių ateitis

Brady sutinka, kad dabartiniai AI modeliai neteikia išsamių Cochrane stiliaus sisteminių apžvalgų, tačiau jis sako, kad tai nėra esminis techninis apribojimas. Greičiau tai yra būsimos AI pažangos ir geresnės greitos inžinerijos klausimas. „Nemanau, kad mūsų smegenys gali ką nors padaryti, ko iš principo negalėtų kompiuteris“, – sako Brady. „Ir tai taip pat taikoma sistemingam peržiūros procesui.”

Romanas Lukjanenko, Virdžinijos universiteto profesorius, besispecializuojantis tyrimų metodų srityje, sutinka, kad ateityje pagrindinis dėmesys turėtų būti skiriamas būdų, kaip padėti pradiniam greitam procesui, siekiant gauti geresnius atsakymus, kūrimas. Jis taip pat pažymi, kad dabartiniai modeliai dažniausiai teikia pirmenybę žurnalų straipsniams, kurie yra laisvai prieinami, tačiau už mokamų sienų yra daugybė aukštos kokybės tyrimų. Vis dėlto jis baisiai žiūri į ateitį.

„Manau, kad dirbtinis intelektas yra didžiulis – revoliucinis daugeliu lygių – šioje erdvėje“, – sako Lukjanenko, kartu su Geritu Wagneriu ir Guy Paré parengusi 2022 m. „ChatGPT“ tyrimą apie AI ir literatūros apžvalgą, kuri išpopuliarėjo. „Turime informacijos laviną, bet mūsų žmogaus biologija riboja tai, ką galime su ja daryti. Šios priemonės turi didelį potencialą.

Jis sako, kad mokslo pažanga dažnai kyla iš tarpdisciplininio požiūrio, ir čia AI potencialas gali būti didžiausias. „Turime terminą „Renesanso žmogus“, ir man patinka galvoti apie „Renesanso AI“: tai, kas turi prieigą prie didelės mūsų žinių dalies ir gali užmegzti ryšius“, – sako Lukjanenko. „Turėtume labai stengtis padaryti netikėtus, nenumatytus, tolimus atradimus tarp laukų.