Профессор университета устроил студентам ИИ-экзамен, чтобы проверить их знания

Профессор дата-сайенс Панос Ипейротис из бизнес-школы Нью-Йоркского университета столкнулся с новой проблемой: письменные работы студентов выглядели идеально, как консалтинговые отчеты McKinsey, но при устной защите выяснялось, что они не понимали собственные решения.

Чтобы бороться с последствиями использования ИИ в учебе, профессор вернул устные экзамены, но в масштабируемом формате - с помощью ИИ. Вместе с коллегой он создал ИИ-экзаменатора на базе технологии ElevenLabs.

Экзамен состоял из двух частей: ИИ сначала расспрашивал студента о выпускном проекте, затем выбирал кейс из курса и проверял способность рассуждать в реальном времени. За девять дней система провела 36 экзаменов по 25 минут каждый, потратив всего около $15 на вычисления - значительно дешевле очных экзаменов.

Оценку выполнял ИИ-консилиум из моделей Claude, Gemini и ChatGPT. Результаты показали, что ИИ-экзамен строг, но справедлив, а обратная связь для студентов качественнее, чем при традиционной проверке. Студенты признали устные экзамены более стрессовыми, но эффективными для проверки реального понимания материала.

Профессор считает, что студенты слишком часто "аутсорсят" мыслительную работу ИИ, вместо того чтобы использовать его для усиления собственных способностей. Эта инициатива отражает более широкий кризис оценки знаний в эпоху ИИ: традиционные методы проверки становятся недостаточными, а устные экзамены с ИИ могут стать новым стандартом, считают эксперты и лидеры индустрии, включая сооснователя LinkedIn Рида Хоффмана.