Искусственный интеллект и машинное обучение завоевывают каждый аспект сегодняшней жизни чудесами. Языковые модели обладают исключительными характеристиками в задачах на естественном языке. Действительно, урок из многих работ, в том числе БЕРТ, GPT-3, Суслик и т.д. нейронные сети, обученные на очень разнообразных данных в больших масштабах без присмотра, хорошо справляются с множеством задач. Математика — самое прекрасное и могучее творение человеческого духа. Количественное мышление — это одна из областей, в которых языковые модели пока не могут превзойти человеческий интеллект.

Количественное рассуждение

Применение математических понятий и навыков для решения реальных задач количественного мышления. Решение математических и научных задач требует сочетания навыков:

  • Правильный разбор вопроса с использованием естественного языка и математической записи
  • Вызов соответствующих формул и констант
  • Генерация пошаговых решений, включающих численные расчеты и символьные манипуляции

Считается, что из-за этих проблем решение этих проблем с помощью машинного обучения требует значительных достижений в архитектуре моделей и методологиях обучения.

Минерва

Недавно исследователи искусственного интеллекта Google представили Minervaв «Решении задач количественного мышления с помощью языковых моделей», которая представляет собой языковую модель, способную решать математические задачи. и научные проблемы шаг за шагом. Был собран соответствующий обучающий набор данных (количественное обоснование), обучена модель (Minerva) в определенном масштабе и реализован лучший в своем классе вывод, что привело к впечатляющим результатам. на различные сложные задачи на количественные рассуждения.

Minerva решает такие проблемы шаг за шагом, генерируя решения, включающие символьные манипуляции и численные вычисления. Модель анализирует математические вопросы и отвечает на них, используя сочетание естественного языка и математических обозначений. Давайте посмотрим на простой пример, приведенный ниже.

Вы также можете изучить выходные данные Minerva с помощью интерактивного проводника сэмплов!

Минерва с количественным мышлением

Minerva основана на Языковой модели Pathways (PaLM) с дальнейшим обучением на наборе данных научных работ, а также веб-страниц, содержащих математические выражения с использованием LaTeX, MathJax или другого математического набора. форматы. Обычные процедуры очистки данных удаляют специальные символы, выражения, стоп-слова и т. д., но эта информация сохраняется для обучения Минервы, чтобы модель могла научиться общаться, используя стандартную математическую запись. . Посмотрите разницу между обычной обработкой и обработкой Minerva:

Minerva также использует новейшие методы подсказок и оценок, чтобы лучше решать математические вопросы. Как и большинство языковых моделей, Minerva присваивает вероятности всем возможным результатам, а не принимает единственное решение. Все решения представляют собой разные (не идентичные) шаги, но часто приводят к одному и тому же окончательному ответу. Минерва использует большинство голосов для завершения решения.

Минерва Оценки

Minerva оценивается с использованием контрольных показателей STEM, уровень сложности которых варьируется от задач уровня начальной школы до курсовой работы выпускников.

  • MATH: задачи уровня школьной олимпиады по математике
  • MMLU-STEM: подмножество теста Massive Multitask Language Understanding с такими темами, как инженерное дело, физика и т. д.
  • GSM8k: математика на уровне начальной школы с базовыми арифметическими операциями.

Ниже приведены результаты оценок, и Minerva иногда получает самые современные результаты со значительным отрывом.

Ограничения Минервы

Minerva анализирует вопрос и генерирует решение, используя комбинацию естественного языка и математических выражений, но автоматическая проверка логических шагов, предпринятых для получения окончательного ответа, отсутствует. Модель может прийти к окончательному ответу через неправильные логические шаги, но нет никакого способа обнаружить это.

Заключение

Minerva — это большой шаг в области решения задач количественного мышления с помощью машинного обучения. С учетом ограничений производительность модели по различным вопросам впечатляет. Дальнейшие исследования в этой области могут помочь исследователям, а также предоставить новые возможности для студентов. Minerva представлена ​​Google AI как небольшой шаг в направлении решения задач количественного мышления с использованием машинного обучения, и со временем к Minerva в этой области присоединятся новые чудеса.

Если вам нужно больше узнать и поэкспериментировать с Minerva, посетите здесь.