Исследование: в научных статьях всё больше текста, написанного ИИ
Частоту использования искусственного интеллекта (ИИ) авторами научных статей исследовали ученые из Чикагского университета, 1 июня сообщает сайт новостей науки EurekAlert со ссылкой на пресс-службу Медицинского центра Чикагского университета.
Всплеск популярности инструментов искусственного интеллекта, таких как ChatGPT, наблюдаемый в последнее время, заставляет научное сообщество задуматься о своем месте в научной литературе. Престижные журналы, такие как Science и Nature, пытались ограничить или запретить использование ИИ в публикациях, но им трудно добиться этого из-за того, что становится всё сложнее распознавать текст, созданный машиной.
Поскольку искусственный интеллект становится всё более совершенным в имитации человеческого языка, исследователи Медицинского центра Чикагского университета под руководством доктора медицинских наук Фредерика Ховарда решили узнать, как часто ученые используют его и насколько хорошо ИИ может создавать убедительные научные статьи.
Результаты исследования они представили в статье «Обнаружение содержимого, написанного машинным способом, в научных статьях», опубликованной 1 июня в журнале Clinical Cancer Informatics.
Ученые проанализировали тексты из более чем 15 000 тезисов ежегодного собрания Американского общества клинической онкологии (ASCO), опубликованных с 2021 по 2023 год, с помощью нескольких коммерческих детекторов контента, созданного с использованием искусственного интеллекта.
Они обнаружили, что в 2023 году было примерно в два раза больше рефератов, содержащих ИИ-контент, по сравнению с 2021 и 2022 годами, и это может служить четким сигналом, что ученые используют инструменты ИИ в научной работе.
Одновременно исследователи установили, что детекторы контента гораздо лучше отличали текст, сгенерированный старыми версиями чат-ботов с искусственным интеллектом, от текста, написанного человеком, но были менее точны в выделении текста, созданного более новыми и более точными моделями ИИ, а также текста, содержащего контент, написанный и человеком, и сгенерированный ИИ.
В своей статье Говард и его коллеги предупреждают, что с развитием более эффективных языковых моделей ИИ в ближайшие годы использование ИИ в научной литературе, вероятно, будет расширяться. Поэтому очень важно обеспечить гарантии того, что в научную работу будет включена только фактически точная информация. Необходимость таких гарантий возникает из-за того, что модели ИИ могут сочинять правдоподобные, но неверные утверждения.
Авторы статьи также пришли к выводу, что даже при условии, что детекторы контента с использованием искусственного интеллекта никогда не достигнут идеальной точности в его выделении, их всё равно можно использовать в качестве инструмента проверки. Они способны указать на то, что проверяемый контент требует дополнительной проверки со стороны рецензентов.
Однако, отмечают они, такие детекторы не следует использовать в качестве единственного средства выявления в научных работах контента, созданного с использованием искусственного интеллекта.
