В научных статьях участилось использование ИИ: как ChatGPT искажает науку?

Искусственный интеллект значительно повлиял на развитие науки, и его разработка — это однозначный прорыв. Однако, современная наука столкнулась с вопросом: как использованием искусственного интеллекта, такого как ChatGPT, влияет на процесс рецензирования научных работ?

Недавнее исследование, опубликованное на сервере предварительных печатей arXiv, вызвало острую дискуссию в академических кругах. Учёные анализировали, как чат-боты, в частности ChatGPT, могли изменить рецензии на статьи. Результаты показывают, что до 17% отчётов были значительно изменены с помощью этих инструментов.

По словам Вейсина Ляна, компьютерного ученого из Стэнфордского университета и ведущего автора исследования, “наличие определённых прилагательных значительно увеличилось с момента становления ChatGPT общедоступным”. Эти результаты особенно заметны в рецензиях, которые были поданы в последний момент.

«Похоже, что когда людям не хватает времени, они, как правило, используют ChatGPT», — говорит Лян.

В рамках исследования было проанализировано свыше 25 тысяч рецензий на около 10 тысяч статей, опубликованных в пятнадцати журналах портфолио Nature с 2019 по 2023 год. Анализ не выявил значительного увеличения использования одних и тех же прилагательных после запуска ChatGPT в ноябре 2022 года.

Согласно результатам исследования, в 2023 году авторы не менее 60 тысяч научных статей, что составляет чуть более 1% от общего числа публикаций за год, использовали чат-боты при подготовке своих работ в той или иной мере.

Эндрю Грей, сотрудник библиометрической поддержки в Университетском колледже Лондона, отметил, что действительно значительно участились случаи использования определённых слов в научных обзорах после появления ChatGPT, что он назвал «поразительным». Грей проанализировал, насколько часто те же прилагательные и некоторые наречия встречаются в научных работах, опубликованных с 2015 по 2023 год. Результаты, опубликованные arXiv 25 марта, показали заметное увеличение использования прилагательных терминов таких как «commendable» (похвальный), «meticulous» (дотошный) и «intricate» (сложный) после введения ChatGPT. Согласно исследованию, авторы не менее 60 000 статей, опубликованных в 2023 году — что составляет чуть более 1% всех научных работ за год — использовали чат-боты в той или иной мере.

Грей отмечает, что рецензенты могут применять чат-боты лишь для редактирования текстов или перевода. Однако, по его словам, недостаток прозрачности со стороны авторов усложняет точное определение способов использования этих инструментов. “Мы видим признаки того, что они применяются, но точно не понимаем, как именно”, — говорит он.

Дебора Вебер-Вульф, ученый з Университета прикладных наук HTW в Берлине, выразила серьезную обеспокоенность по поводу этих находок. “Идея, что чат-боты могут писать рецензии на неопубликованные работы, шокирующа, учитывая, что такие системы часто выдают вводящую в заблуждение или выдуманную информацию”, – говорит Вебер-Вульф.

Учеными рекомендуется не загружать рукописи в подобные чат-боты, так как они могут содержать конфиденциальную информацию. Вместе с тем, сейчас рассматривается возможность предоставления рецензентам безопасных инструментов ИИ для помощи в оценке их научных работ.