ChatGPT провалил экзамен по уголовному процессу
Экзамен по уголовному процессуальному праву провалил искусственный интеллект в лице языковой модели ChatGpt, способной имитировать письменные и устные человеческие разговоры. Таковы итоги эксперимента, организованного аспирантом в области прав, личности, инноваций и рынка Диего Амидани в Университете Брешии, 6 ноября опубликованные итальянским изданием AGI.
Как сообщается, эксперимент был проведен в рамках более обширного исследовательского проекта, посвященного использованию искусственного интеллекта в уголовном правосудии.
С 3 октября документы и выводы единичного судебного процесса можно найти на интернет-сайтах ежеквартального журнала Diritto penal concurrently и газеты Sistema Penal, которыми руководит Джан Луиджи Гатта, профессор уголовного права Миланского университета. Тесты для ИИ проводились в Италии и США в два разных промежутка времени: в ноябре 2023 года и мае 2024 года.
«Мы хотели проверить систему генеративного искусственного интеллекта, которая управляет ChatGPT», — уточняет Амидани. И это даже после блокировки виртуальной платформы американской компании OpenAi, принятой Гарантом конфиденциальности прошлой весной из-за потери данных «о разговорах пользователей и информации, касающейся оплаты услуг абонентов».
«Тест, — поясняет адвокат, — была разделен на две части. В первом чат-боту задавались вопросы об институте апелляции по уголовному делу, как если бы его вызывали на экзамен по уголовно-процессуальному праву для студентов юридического факультета. Во втором к алгоритму обращались за помощью в составлении судебного документа и в поиске юридических источников, как если бы он был помощником в юридической фирме».
По словам Амидани, результаты, продемонстрированные ChatGPT совсем не удовлетворительные. В ответах имелись ошибки по форме и содержанию, а также при использовании грамматики и статей Уголовно-процессуального кодекса.
«В ответах на четыре вопроса, адресованных псевдостуденту, абсолютно преобладает неточность изложения и неумение пользоваться юридическим языком», — комментирует адвокат. В связи с этим также приводятся некоторые примеры: «Алгоритм использует такие термины, как „вердикт“, когда речь идет о приговоре, „юридические аргументы“ для обозначения содержания апелляции или „недовольная сторона“ при определении апеллянта». Более того, «недостатки его формулировок иногда становятся настолько существенными, что весь ответ оказывается не только неточным, но и по существу неправильным».
Но искусственный интеллект не делает все сам по себе, он изучает и обрабатывает данные, которые программисты (люди) добавляют ему в память. Поэтому, размышляет исследователь, «похоже, что эти ошибки зависят от плохой начальной подготовки и неадекватного выбора источников информации».
И затем, «однако следует сказать, — отмечает он, — что ChatGpt проявил себя очень осторожно, изображая из себя „искусственного профессионала“. Когда его попросили сообщить по конкретным вопросам, он сразу же предложил собеседнику „проконсультироваться у юриста, специализирующегося на уголовном праве, для получения обновленной информации“.
