A nagy nyelvi modellek, mint például a ChatGPT, fellendítik a papírgyártást, különösen a nem angol anyanyelvű tudósok számára. Sok mesterséges intelligencia által írt dolgozat azonban kisebb valószínűséggel megy át a szakértői értékelésen.
Mivel a tudósok egyre inkább a mesterséges intelligenciára hagyatkoznak az ötletek írása, kódolása és generálása során, egy új tanulmány azt vizsgálja, hogy a mesterséges intelligencia hogyan alakítja át az akadémiai kutatást.
Ami egykor akadémiai pletykáknak hangzott, most a tudományos publikálásban valós és mérhető változást tükröz.
Az egyesült államokbeli Cornell Egyetem kutatói azt találták, hogy a nagy nyelvi modellek (LLM), mint például a ChatGPT, fellendítik a papírtermelést, különösen azon tudósok számára, akik nem angol anyanyelvűek.
A tanulmány azonban arra figyelmeztet, hogy a mesterséges intelligencia által támogatott dokumentumok növekvő száma megnehezíti a bírálók, finanszírozók és a döntéshozók számára, hogy különbséget tegyenek az értelmes tudományos hozzájárulások és az alacsony színvonalú munka között.
„Ez egy nagyon elterjedt minta a tudomány különböző területein – a fizikai és számítástechnikai tudományoktól a biológiai és társadalomtudományokig” – mondta Yian Yin, a tanulmány megfelelő szerzője és a Cornell Ann S. Bowers Számítás- és Információtudományi Főiskola információtudományi adjunktusa.
„Jelenlegi ökoszisztémánkban nagy változás történt, ami nagyon komoly áttekintést igényel, különösen azok számára, akik arról döntenek, hogy milyen tudományt kell támogatnunk és finanszíroznunk” – tette hozzá Yin.
Hogyan tanulmányozták a kutatók az AI által támogatott papírok megjelenését?
A Science folyóiratban megjelent tanulmány több mint kétmillió kutatási cikket elemzett, amelyeket 2018 és 2024 között tettek közzé három nagy online preprint szerveren.
Ezek a platformok a tudományos közlemények korai verzióinak adnak otthont a hivatalos szakértői értékelés előtt, így valós időben betekintést nyújtanak a kutatók munkájába.
A mesterséges intelligencia tudományos írásra gyakorolt hatásának felmérésére a kutatók egy mesterséges intelligencia-rendszert képeztek ki, amely képes észlelni a valószínűleg LLM-ek által generált szöveget. Összehasonlították a 2023 előtt írt tanulmányokat, amikor az olyan eszközöket, mint a ChatGPT széles körben elterjedték, a későbbi tanulmányokkal pedig az AI segítségnyújtás egyértelmű jeleit mutatták.
Ezzel a megközelítéssel a csapat azonosította a valószínűleg mesterséges intelligencia eszközöket használó kutatókat, felmérte, hogyan változott publikációik eredménye, és nyomon követték, hogy később elfogadták-e ezeket a dolgozatokat a tudományos folyóiratok.
A mesterséges intelligencia támogatása a termelékenység megugrásához vezet
Elemzésük nagy, mesterséges intelligencia által vezérelt termelékenységi ugrást mutatott ki.
Azok a tudósok, akik úgy tűnt, használnak mesterséges intelligencia eszközöket, sokkal több közleményt tettek közzé, mint azok, akik nem.
Az egyik jelentős, fizikára és számítástechnikára összpontosító nyomtatás előtti szerveren az AI-felhasználók körülbelül egyharmadával több papírt készítettek. A biológiában és a társadalomtudományokban még nagyobb, több mint 50 százalékos volt a növekedés.
A legnagyobb nyereséget azok a kutatók tapasztalták, akiknek anyanyelve nem angol.
Egyes ázsiai intézményekben a tudósok a tudományágtól függően 40–90 százalékkal több tanulmányt publikáltak az AI íróeszközök átvétele után.
Úgy tűnik, hogy az AI eszközök is segítenek a kutatóknak jobb referenciák megtalálásában. A tanulmány megállapította, hogy a mesterséges intelligencia által hajtott keresőeszközök nagyobb valószínűséggel jelentek meg újabb kutatási cikkeket és releváns könyveket, mint a régebbi, gyakran idézett tanulmányokat, amelyeket a hagyományos keresési módszerek kedveltek.
„Az LLM-t használók sokrétűbb tudáshoz kapcsolódnak, ami kreatívabb ötletekhez vezethet” – mondta Keigo Kusumegi, a tanulmány első szerzője és a Cornell Egyetem Információtudományi Tanszékének doktorandusza.
Minőségi aggályok a mesterséges intelligencia által írt papírokkal kapcsolatban
De a termelékenység növekedésének van egy árnyoldala is. Sok mesterséges intelligencia által írt dolgozat lenyűgözőnek tűnt a felszínen, de kisebb valószínűséggel ment át a szakértői értékelésen.
Mindhárom nyomtatás előtti oldalon valószínűleg emberek által írt, az írási összetettségi teszten magas pontszámot elért dolgozatokat nagy valószínűséggel elfogadták egy tudományos folyóiratba.
Ám a valószínűleg LLM-ek által írt, magas pontszámot elért dolgozatokat kevésbé fogadták el, ami arra utal, hogy a meggyőző nyelvezet ellenére a bírálók úgy ítélték meg, hogy ezek közül a dokumentumok közül sok kevés tudományos értékkel bír.
A tanulmány mögött álló kutatók úgy vélik, hogy a mesterséges intelligencia iránti növekvő függőség hatása valószínűleg szélesedni fog, és a döntéshozóknak új szabályokat kellene alkotniuk a gyorsan fejlődő technológiai környezet szabályozására.
„Már most nem az a kérdés, hogy használtál mesterséges intelligenciát? A kérdés az, hogy pontosan hogyan használtad az AI-t, és hogy hasznos-e vagy sem? – mondta Yin.
