Искусственный интеллект и машинное обучение завоевывают каждый аспект сегодняшней жизни чудесами. Языковые модели обладают исключительными характеристиками в задачах на естественном языке. Действительно, урок из многих работ, в том числе БЕРТ, GPT-3, Суслик и т.д. нейронные сети, обученные на очень разнообразных данных в больших масштабах без присмотра, хорошо справляются с множеством задач. Математика — самое прекрасное и могучее творение человеческого духа. Количественное мышление — это одна из областей, в которых языковые модели пока не могут превзойти человеческий интеллект.
Количественное рассуждение
Применение математических понятий и навыков для решения реальных задач количественного мышления. Решение математических и научных задач требует сочетания навыков:
- Правильный разбор вопроса с использованием естественного языка и математической записи
- Вызов соответствующих формул и констант
- Генерация пошаговых решений, включающих численные расчеты и символьные манипуляции
Считается, что из-за этих проблем решение этих проблем с помощью машинного обучения требует значительных достижений в архитектуре моделей и методологиях обучения.
Минерва
Недавно исследователи искусственного интеллекта Google представили Minervaв «Решении задач количественного мышления с помощью языковых моделей», которая представляет собой языковую модель, способную решать математические задачи. и научные проблемы шаг за шагом. Был собран соответствующий обучающий набор данных (количественное обоснование), обучена модель (Minerva) в определенном масштабе и реализован лучший в своем классе вывод, что привело к впечатляющим результатам. на различные сложные задачи на количественные рассуждения.
Minerva решает такие проблемы шаг за шагом, генерируя решения, включающие символьные манипуляции и численные вычисления. Модель анализирует математические вопросы и отвечает на них, используя сочетание естественного языка и математических обозначений. Давайте посмотрим на простой пример, приведенный ниже.
Вы также можете изучить выходные данные Minerva с помощью интерактивного проводника сэмплов!
Минерва с количественным мышлением
Minerva основана на Языковой модели Pathways (PaLM) с дальнейшим обучением на наборе данных научных работ, а также веб-страниц, содержащих математические выражения с использованием LaTeX, MathJax или другого математического набора. форматы. Обычные процедуры очистки данных удаляют специальные символы, выражения, стоп-слова и т. д., но эта информация сохраняется для обучения Минервы, чтобы модель могла научиться общаться, используя стандартную математическую запись. . Посмотрите разницу между обычной обработкой и обработкой Minerva:
Minerva также использует новейшие методы подсказок и оценок, чтобы лучше решать математические вопросы. Как и большинство языковых моделей, Minerva присваивает вероятности всем возможным результатам, а не принимает единственное решение. Все решения представляют собой разные (не идентичные) шаги, но часто приводят к одному и тому же окончательному ответу. Минерва использует большинство голосов для завершения решения.
Минерва Оценки
Minerva оценивается с использованием контрольных показателей STEM, уровень сложности которых варьируется от задач уровня начальной школы до курсовой работы выпускников.
- MATH: задачи уровня школьной олимпиады по математике
- MMLU-STEM: подмножество теста Massive Multitask Language Understanding с такими темами, как инженерное дело, физика и т. д.
- GSM8k: математика на уровне начальной школы с базовыми арифметическими операциями.
Ниже приведены результаты оценок, и Minerva иногда получает самые современные результаты со значительным отрывом.
Ограничения Минервы
Minerva анализирует вопрос и генерирует решение, используя комбинацию естественного языка и математических выражений, но автоматическая проверка логических шагов, предпринятых для получения окончательного ответа, отсутствует. Модель может прийти к окончательному ответу через неправильные логические шаги, но нет никакого способа обнаружить это.
Заключение
Minerva — это большой шаг в области решения задач количественного мышления с помощью машинного обучения. С учетом ограничений производительность модели по различным вопросам впечатляет. Дальнейшие исследования в этой области могут помочь исследователям, а также предоставить новые возможности для студентов. Minerva представлена Google AI как небольшой шаг в направлении решения задач количественного мышления с использованием машинного обучения, и со временем к Minerva в этой области присоединятся новые чудеса.
Если вам нужно больше узнать и поэкспериментировать с Minerva, посетите здесь.