По мнению экспертов по предметам и инсайдеров Национального тестирующего агентства (NTA), в основе спора вокруг UGC-NET лежит «безрассудное использование ИИ» при подготовке и переводе экзаменационных материалов, а также необъяснимая шестинедельная задержка с отменой трех ошибочных тестов. В связи с этим NTA было вынуждено назначить повторные экзамены по английскому языку, коммерции и социологии.
Однако само тестирование агентство категорически отвергло утверждение о том, что генеративный ИИ использовался для создания спорных материалов. Эксперты сообщили изданию TOI на условиях анонимности, что ИИ применялся широко при подготовке этих тестов. Бывшие эксперты, ранее связанные с NTA, утверждают, что ИИ использовался не только для составления вопросов UGC-NET, но и для перевода материалов NEET-UG. Они объяснили масштаб и характер ошибок недостаточным контролем со стороны человека.
Этот инцидент привлек внимание к тому, насколько глубоко NTA интегрировало искусственный интеллект в процесс подготовки экзаменационных материалов, особенно в переводе. Один старший источник в министерстве образования рассказал, что они вели несколько встреч с двумя высокопоставленными сотрудниками NTA, которые признавали, что не могли опубликовать ключи ответов, поскольку тесты были разработаны «ad hoc», на что, когда его спросили, что это значит, они ответили «ничего». Когда его спросили, почему эксперты не проверили тестовые задания, источника просто не было.
Зависимость агентства от технологий сама по себе не является доказательством того, что ошибки в отмененных экзаменах были вызваны ИИ. Другой источник отметил, что обычно панель из четырех-пяти экспертов составляет тестовое задание. Он задался вопросом, как тогда были выбраны многочисленные вопросы из прошлогодних тестов, и как экзаменаторы могли не знать ответов на те вопросы, которые они сами разработали.
Тем не менее, генеральный директор NTA Абхишек Сингх опроверг использование генеративного ИИ при создании оспариваемых материалов. Он заявил изданию TOI, что после составления тестов проводился «человеческий контроль». Когда его спросили о том, как ошибки могли остаться незамеченными, он не смог добавить ничего нового.
Под пристальным вниманием также оказалась реакция NTA после обнаружения расхождений. Чиновники Министерства образования и источники в NTA сообщили, что министерство выступало за отмену тестов и начало повторного тестирования к концу июля или первой неделе августа. Однако NTA не последовало этому совету, ожидая почти шесть недель и объявив об отмене только после публикации предварительных ключей ответов по 84 из 87 предметов.
Социологический экзамен вызвал сильную критику. Кандидаты жаловались на неправильно написанные имена всемирно известных ученых, искаженную терминологию, неуклюжие переводы, а также на то, что вопросы мало напоминали предписанную учебную программу. Сообщается, что Джордж Ритцер был записан как «Putzer», Талкотт Парсонс — как «Parsow», Г. С. Гурье — как «Ghunye», а имя Марты Нуссбаум также было искажено.
Английский экзамен поднял отдельную проблему, связанную с массовым повторением материала. Кандидаты утверждали, что около 67 из 150 вопросов встречались в предыдущем экзамене UGC-NET, причем некоторые заявляли, что даже последовательность вариантов ответов была сохранена. Кандидаты по коммерции также сообщили о повторении нескольких вопросов из старых экзаменов, включая вопросы, касающиеся налогообложения, анализа точки безубыточности, структуры капитала и сервисного маркетинга. То, как произошли эти повторения, не установлено окончательно.
Преподаватель из JNU заявил, что «более крупная проблема заключается в степени использования автоматизированных систем для перевода, организации и сборки национальных экзаменов высокого уровня и в том, был ли проведен адекватный человеческий академический обзор после завершения этого процесса». Поскольку UGC-NET определяет право на академическую и исследовательскую карьеру в университетах Индии, надежность процесса экзамена особенно важна.
Новые заявления углубляют спор за пределы плохого составления тестов. Они ставят под сомнение, кто авторизовал использование ИИ, какие инструменты были задействованы, проверяли ли квалифицированные эксперты каждый вопрос и почему NTA задержало отмену, несмотря на мнение министерства. Центральный вопрос теперь не просто в том, как так много ошибок попало в три национальных экзамена. Эксперты считают, что вопрос в том, какая часть процесса экзамена была передана машинам и достаточно ли квалифицированных людей проверяли то, что производили машины. Для экзамена, определяющего право на преподавательскую и исследовательскую карьеру, вопрос в том, разрешена ли автоматизация заменять академическое суждение и ответственность.