Нейросеть Сбера «Гигачат» успешно прошла аттестацию по направлению «Математика и компьютерные науки», подтвердив знания, соответствующие уровню выпускника магистратуры. По итогам испытания, организованного на базе Сколтеха, работа модели была оценена аттестационной комиссией на «хорошо», сообщила пресс-служба Сбера.«В ходе аттестационного испытания, проведенного на базе Сколтеха, работа модели была оценена аттестационной комиссией на оценку 4 (»хорошо")", — говорится в сообщении.Аттестация проходила в два этапа. На первом этапе модель ответила на 500 уникальных вопросов закрытого типа в формате MMLU, разработанных преподавателями Сколтеха. Тестирование охватывало девять тем в области компьютерных наук. Средний показатель правильных ответов модели на вопросы составил 76,9%.В ходе второго, очного, этапа аттестационная комиссия, состоящая из восьми докторов технических и физико-математических наук, оценивала ответы «Гигачата» по трем случайным билетам из 45. Каждый билет содержал два задания — теоретическое и практическое. Все задачи были разработаны специально для этого испытания и отсутствовали в открытых базах, что исключало возможность поиска готовых ответов и требовало от нейросети применения реальных знаний.Для объективной оценки глубины компетенций эксперты задавали уточняющие вопросы, просили объяснить ход рассуждений и анализировали работу модели с нестандартными формулировками. Оценка проводилась по профильному принципу.