Может ли машина решать академические проблемы машинного обучения (ML)? Исследовательская группа из Массачусетского технологического института и Университета Ватерлоо утверждает, что да, и доказывает это с помощью модели машинного обучения, способной решать задачи из курса 6.036 Introduction to Machine Learning Массачусетского технологического института. Предложенная модель достигла общей точности 96 процентов для вопросов с открытым ответом и 97 процентов для вопросов с несколькими вариантами ответов, что улучшило средний балл студентов Массачусетского технологического института на 93 процента.
Впечатляющее развитие современных методов обработки естественного языка (NLP) наделило модели ML способностью решать вопросы математического рассуждения, предсказывая связанные уравнения. Но даже сильные модели имеют тенденцию бороться с проблемами, связанными с базовой линейной алгеброй и исчислением, которые являются предпосылками для ML.
Команда говорит, что их исследование Решение проблем с машинным обучением — первое успешное решение таких проблем машинного обучения с помощью машинного обучения. Предложенная ими модель может решать проблемы, связанные с персептронами, логистической регрессией, сверточными нейронными сетями, конечными автоматами, обучением с подкреплением и многим другим. Их модель также является первой, в которой задачи машинного обучения решаются с использованием деревьев выражений, и она может даже автоматически генерировать подсказки, которые могут помочь учащимся в обучении.
Команда резюмирует ключевые компоненты, способствующие успеху их подхода: 1) набор данных вопросов ML, аннотированных деревьями выражений, представляющими их решения; 2) метод увеличения данных, который позволяет автоматически генерировать новые и связанные вопросы; 3) Использование преобразователей и графовых нейронных сетей для генерации деревьев выражений для решения задач, а не просто предсказания числовых ответов.
Наборы данных были созданы на основе упражнений курса 6.036 Intro to ML, домашних заданий и викторин. Команда расширила набор данных, добавив дополнительные деревья выражений, представляющие, как ответ рассчитывается на основе информации в вопросе, и дополнила каждую проблему перефразированием исходного текста вопроса.
Модель получает вопросы, для решения которых требуется математическое выражение, и возвращает ответы на вопросы. Каждый входной вопрос кодируется моделью преобразователя и передается в граф, который разбирает вопрос на слова и числовые компоненты. Вложения преобразователя и графа вопроса передаются вместе в нейронную сеть графа (GNN) для создания нового вложения, которое затем обрабатывается декодером дерева для создания дерева выражений. Наконец, модель оценивает сгенерированное дерево выражений и выводит соответствующее вычисленное значение.
Команда оценила производительность своей модели, используя точность выражения, представляющую количество ответов с правильным выражением; и значение точности, представляющее количество ответов с правильным числовым значением.
В экспериментах предложенная модель достигла общей средней точности выражения 95 процентов, точности значения 96 процентов для вопросов с открытым ответом и точности 97 процентов для вопросов с несколькими вариантами ответов — оценка A. Более того, модель работала со сверхчеловеческой скоростью, отвечая на каждый вопрос всего за миллисекунды.
Эта работа демонстрирует способность машин решать задачи машинного обучения на уровне бакалавриата с высокой точностью. Исследователи считают, что способности их модели предоставлять методы решения проблем и генерировать подсказки могут помочь продвинуть будущие исследования в области объяснимого ИИ.
Статья Решение проблем машинного обучения находится на arXiv.
Автор: Геката Хе | Редактор: Майкл Саразен, Чейн Чжан
Мы знаем, что вы не хотите пропустить ни одной новости или научного открытия. Подпишитесь на нашу популярную рассылку Synced Global AI Weekly, чтобы получать еженедельные обновления AI.
