Нейросеть ГигаЧат сдала экзамен по математике и компьютерным наукам для магистрантов

Нейросеть Сбера ГигаЧат подтвердила уровень знаний, достаточный для успешной сдачи экзамена по направлению «Математика и компьютерные науки» на уровне выпускника магистратуры, сообщает пресс-служба компании.

В ходе аттестационного испытания, проведенного на базе Сколтеха, работа модели была оценена аттестационной комиссией на оценку 4 («хорошо»).

Аттестация проходила в два этапа. Сначала модель прошла тестирование на 500 уникальных вопросах закрытого типа в формате MMLU (Measuring Massive Multitask Language Understanding, в переводе с английского – Измерение понимания языка в условиях массовой многозадачности), которые были разработаны преподавателями Сколтеха. Они охватывали девять тем в области компьютерных наук: алгоритмы и структуры данных, базы данных, кибербезопасность, программное обеспечение, программирование, сети и оборудование, специализированное ПО, управление и искусственный интеллект. Средний показатель правильных ответов модели на вопросы составил 76,9%.

Второй этап – очный экзамен с участием аттестационной комиссии, состоящей из восьми докторов технических и физико-математических наук. Эксперты комиссии выбрали три билета из 45, по которым проводили оценку знаний ГигаЧат. Каждый билет содержал два задания – теоретическое (проверка фундаментальных знаний в предметной области) и практическое (прикладная задача). Все задачи были разработаны специально для этого испытания и отсутствовали в открытых базах, что исключало возможность поиска готовых ответов и требовало от нейросети применения реальных знаний. Для объективной оценки глубины компетенций эксперты не только проверяли ответы, но и задавали уточняющие вопросы, просили объяснить ход рассуждений и анализировали работу модели с нестандартными формулировками.

Оценка проводилась по профильному принципу, например, при оценке ответов модели на задания по программированию решающий голос принадлежал соответствующему эксперту. Применение весовых коэффициентов позволило обеспечить максимальную объективность аттестации. По итогам очного экзамена модель набрала 7 из 10 баллов по шкале Сколтеха, что соответствует итоговой оценке 4 («хорошо»).

Ранее ГигаЧат успешно сдал ЕГЭ по обществознанию, профильные экзамены по медицине, финансам, экономике, музыковедению и другим направлениям в ведущих вузах страны.

Реклама Байкальский Банк ПАО Сбербанк, Erid: 2VfnxwXzt5f