Дипломы гибридного интеллекта

Диплом, написанный с применением искусственного интеллекта, защитил еще в январе выпускник РГГУ Александр Жадан. Преподаватели не замечали подвоха, пока сам автор не раскрыл свою хитрость. Были попытки оспорить выдачу диплома под предлогом, что работа выполнена не самостоятельно, однако в итоге защита состоялась.

Тогда ChatGPT едва появился в публичном доступе, но тесты уже показали, что он на приемлемом уровне отвечает на большинство университетских экзаменационных вопросов. Вскоре на Amazon уже продавались первые книги, написанные с его участием.

Сейчас большие лингвистические модели набрали сотни миллионов пользователей и меняют рынок труда. Копирайтеры, референты, переводчики, редакторы, журналисты, не использующие инструменты искусственного интеллекта, рискуют уподобиться «динозаврам», которые в 2000 году продолжали отстукивать свои тексты на пишущих машинках.

Тот технологический переворот занял больше десяти лет, и особенно сильно сопротивлялась ему система образования, до последнего требуя оформлять дипломы и диссертации по ГОСТам, рассчитанным на пишущие машинки. Сейчас всё меняется быстрее и радикальнее. Если компьютеры 1990-х, по крайней мере, не вмешивались в содержание работ, то сегодня ИИ выдает вполне связные тексты на любом языке и на любую тему, пишет программный код и решает математические задачи.

Но ведь диплом — это не техническая справка, а квалификационная работа, подтверждающая способность студента самостоятельно выполнить небольшое научное исследование. Если диплом пишет ИИ, то как убедиться, что студент обладает нужными навыками?

Цунами фальсификаций

Этот вопрос особенно актуален для России, где XXI век начался с катастрофического вала образовательных и научных фальсификаций. Бизнес по написанию диссертаций на заказ начал формироваться еще в советское время. Тогда к нему приложил руку предприниматель и будущий медиамагнат Борис Березовский: молодые ученые в Москве писали работы для начальства с АвтоВАЗа, а авторам доставались «жигули» и запчасти к ним. Но в советское время всё было немного старомодно: работы были содержательными, а заказчику приходилось вникать в них для защиты.

В 1990-х в Рунете стали накапливаться рефераты, которые школьники и студенты скачивали и сдавали под видом собственных. Велся даже учет, какой текст и в каком вузе уже сдавался. А когда эти студенты сами стали преподавателями, занялись проверкой дипломов и вошли в диссертационные советы, бизнес охватил все уровни научно-образовательной аттестации. К середине 2010-х рынок заказных и фальсифицированных работ вырос настолько, что на нем возник собственный отраслевой журнал. Его главный редактор даже пытался наладить сотрудничество с Комиссией РАН по борьбе с лженаукой: «Вы привлекательны, я чертовски привлекателен. Чего зря время терять?»

Масштаб беды выявил «Диссернет», обнаруживший более 10 тысяч диссертаций с масштабными — вплоть до 100% текста — «некорректными заимствованиями». Кстати, этим эвфемизмом пресса заменяла термин «плагиат». В российском законодательстве он встречается лишь в Уголовном кодексе (ст. 146), и жулики, если их называли плагиаторами, подавали к изданиям иски о клевете: мол, нас назвали уголовниками.

Против фальсификата университеты стали применять антиплагиат — системы поиска повторений в научных работах. Жулики ответили рерайтом и переводным плагиатом. За один-два доллара рерайтер переписывал страницу текста так, что ни «Диссернет», ни антиплагиат не находил сходства. А найдет — не докажет. Особенно если исходный текст собран из переведенных на русский язык фрагментов иноязычных текстов.

И тут вступает ИИ

На этом фоне появление генеративного ИИ, способного мгновенно рерайтить до неузнаваемости любые куски текста и создавать новые, можно уподобить разве что взрыву АЭС на фоне цунами. И не исключено, что цунами российской лжи оказалось в итоге смертоноснее того японского землетрясения. Напрашивается естественная мысль: срочно запретить новый мощный инструмент фальсификаций.

Надо сказать, что такая реакция на ИИ возникает не только в России и не только в образовательной среде. Например, в журнале Science полностью запрещены тексты, сгенерированные ИИ. В редакционной заметке упоминается исследование, в котором лишь 63% подготовленных ChatGPT аннотаций к научным статьям были при проверке выявлены редакторами. Многие другие журналы, формально допуская тексты, созданные ИИ, обставляют их использование запретительными барьерами. Например, требуют отмечать в статьях все фрагменты текста и даже идеи, в подготовке которых участвовал ИИ, а в приложении публиковать все диалоги с ним.

Редакторы опасаются наплыва безответственных публикаций, подрывающих доверие к научным изданиям. В прошлом ряд скандалов (мистификация Сокала, «Корчеватель» Гельфанда) был связан с публикацией абсурдистских текстов в академических журналах, что было сделано с целью продемонстрировать слабость научной редактуры. Из свежих случаев: американский адвокат, доверившись ChatGPT, обосновал позицию по делу цитатами из выдуманных кейсов, а суд оштрафовал его за это на 5 тысяч долларов.

Многие начинающие пользователи не знают о слабых местах и ограничениях больших лингвистических моделей и нередко думают о них как о поисковиках с естественным языком запросов и ответов.

Они запросто описывают выдуманные факты, подтверждая их цитатами из несуществующих публикаций. И чем специфичнее тема вопроса, тем выше доля подобных «галлюцинаций».

Научная работа, написанная генеративным ИИ, внешне может выглядеть вполне презентабельно, но при этом окажется мистификацией. Причем, в отличие от плагиата, проблему нельзя будет обнаружить путем механического сравнения текстов. Конечно, на базе тех же больших лингвистических моделей создаются инструменты, отличающие человеческий текст от сгенерированного. Однако такие решения всегда будут вероятностными и на них нельзя ссылаться в качестве доказательства. Кроме того, генеративный ИИ легко меняет стилистику, если дать ему соответствующие указания, и тогда распознать машинное сочинение становится еще труднее.

Всё это означает, что попытки запретить использование искусственного интеллекта в той или иной сфере деятельности, по-видимому, обречены на провал — просто потому, что нет способов обеспечивать и проверять соблюдение этого запрета. Похоже, нам придется смириться с тем фактом, что ИИ, генерирующий тексты, уже здесь и никуда не уйдет.

Запретить нельзя, адаптироваться

Попробуем, не поддаваясь панике, реалистично оценить последствия использования систем ИИ для написания квалификационных работ. По замыслу такие работы подтверждают способность автора довести до конца научное исследование. Текст дипломной или диссертационной работы является лишь описанием полученных результатов и их контекста. Cистемы ИИ помогают именно с написанием этого отчета.

Нас давно не смущает компьютерная проверка орфографии, расстановка переносов, форматирование, автоматическая сборка библиографии, построение графиков. Нет возражений и против использования различных справочных сервисов в интернете. А ведь когда-то подобные работы писались каллиграфическим почерком, качество которого порой заметно влияло на оценку. Почти любая редактура требовала переписывания текста. Тогда это считалось частью научной деятельности, и лишь позднее стало рутиной, которую передали машинам.

Новые инструменты ИИ высвобождают авторам время, перекладывая на компьютер обыденную работу по первичному подбору повествовательных формулировок. И хотя поиск этих словесных форм многим еще кажется существенной частью научной деятельности, ясно, что это уже не совсем так.

Столь мощное средство повышения эффективности интеллектуального труда непременно будет широко использоваться. Попытки запретить студентам обращаться к ИИ под предлогом возможных научных фальсификаций — это типичное сопротивление инновациям. В основе его лежит не столько угроза фальсификаций, сколько неготовность к проверке научной стороны квалификационных работ.

Внимательная проверка гибридов

Не секрет, что многие студенческие научные работы (а порой и диссертации) вообще не содержат научного исследования, а являются, по сути, реферативными текстами, демонстрирующими лишь знакомство автора с темой и владение особым наукообразным стилем. Это довольно естественное следствие массового высшего образования. И по той же причине люди, отвечающие за оценивание квалификационных работ, привыкли, что такие рефераты можно не читать целиком. Чтобы оценить владение языком и задать вопрос на защите, достаточно полистать работу и прочесть несколько заинтересовавших страниц.

Умеет она и выстроить последовательность изложения. Конечно, в сгенерированном тексте могут быть ошибки и «галлюцинации» ИИ, которые добросовестный и компетентный студент обязан найти и исправить — это его работа и ответственность.

Проблема, однако, в том, что для таких гибридных работ, по-видимому, не годится привычный халтурный подход к проверке. Тексты теперь придется читать целиком, да еще и проверяя факты и ссылки, чтобы убедиться в отсутствии «галлюцинаций» ИИ. А самое главное, раз уж форму изложения в значительной мере обеспечивает компьютер, то при проверке внимание должно сместиться на научное содержание работы. И, похоже, в большинстве университетов (кроме самых передовых) к этому не готовы ни студенты, ни традиционные системы проверки квалификационных работ.

Между прочим, главный редактор Science тоже признает, что проблема ИИ в научных журналах имеет схожую природу: «Большинство случаев академической недобросовестности, с которыми сталкиваются журналы Science, связаны с недостатком человеческого внимания».

И уж если это так, то надо чинить систему проверки в вузах и повышать уровень внимания в журналах, а не ChatGPT запрещать. Если благодаря генеративному ИИ студенты смогут больше времени уделять науке, а преподаватели станут внимательнее читать студенческие работы, то смелую инициативу МГПУ по допущению к защите дипломов, написанных с использованием ИИ, можно только приветствовать. Впрочем, другого выхода всё равно уже нет.