Алгоритмы есть везде. В них подробно описаны конкретные инструкции, необходимые компьютерам для выполнения задач, от беспилотных автомобилей до рекомендательных систем и даже для вашей микроволновой печи. Способность алгоритмов автоматизировать и проектировать системы этого разума сделала их краеугольным камнем современного общества. Хотя полные модели нейронных сетей также могут служить в качестве решателей задач и использовать дополнительную информацию из данных для адаптации существующих алгоритмов к реальным проблемам, компромисс заключается в том, что эти системы жертвуют способностью к обобщению.

В новой статье исследовательская группа из DeepMind исследует, как нейронные сети могут быть объединены с алгоритмическими вычислениями, и демонстрирует элегантный нейронный сквозной конвейер, который идет прямо от исходных входных данных к общим выходным данным при внутренней эмуляции алгоритма.

Алгоритмы обычно имеют строгие общие гарантии и являются основой разработки программного обеспечения в бесчисленных областях. Инвариантность алгоритма может быть указана как предварительное условие (укажите, какой тип ввода он ожидает) и как постусловие (что алгоритм может гарантировать в отношении своих выходных данных после выполнения). Несмотря на свои гарантии, алгоритмы негибкие по отношению к решаемой проблеме. И наоборот, нейронные сети, которые работают с данным экземпляром проблемы, не могут гарантировать обобщение для некоторых более крупных экземпляров, но могут адаптироваться к более широкому кругу проблем.

Чтобы получить лучшее из обоих миров, предыдущие исследования пытались объединить алгоритмы и глубокое обучение. Подходы включают обучение моделей глубокого обучения с использованием существующих алгоритмов в качестве фиксированных внешних инструментов; обучение глубоких нейронных сетей имитации работы существующего алгоритма путем получения того же результата; и использование нескольких известных алгоритмов и абстрактных общих черт между ними, чтобы можно было вывести алгоритмы.

Как правило, реальная проблема сначала будет соответствовать известному классу проблемы, а затем будет выбран соответствующий алгоритм для решения проблемы. Алгоритмы используются для рассуждений о проблемах в абстрактном пространстве, чтобы упростить построение теоретических собраний между целевой проблемой и известным классом проблемы. Однако такая абстракция часто влечет за собой значительную потерю информации, что снижает способность системы точно отображать динамику реального мира. Чтобы обойти эту проблему, исследователи DeepMind применили глубокое обучение для замены ручного извлечения функций из необработанных данных, что привело к значительному увеличению производительности.

Идея алгоритмических рассуждений состоит в том, чтобы создавать нейронные сети, основанные на алгоритмах, которые могут выполнять алгоритм на основе абстрактных входных данных. Следуя этой схеме, предлагаемый нейронный сквозной конвейер предназначен для внутренней имитации алгоритма и перехода прямо от необработанных входных данных к общим выходам. Более конкретно, учитывая естественные входные данные, которые часто являются многомерными, зашумленными и склонными к быстрому изменению, предлагаемый метод сначала обучает алгоритмического рассуждающего, чтобы имитировать алгоритм. Это дает функции кодера и декодера, которые могут передавать данные в скрытое пространство процессорной сети и из него. Затем настраиваются соответствующие нейронные сети кодировщика и декодера для обработки необработанных данных и получения ожидаемых результатов. Наконец, функции кодера и декодера меняются местами от алгоритмического модуля рассуждений на соответствующие нейронные сети кодера и декодера, соответственно, и изучают их параметры с помощью градиентного спуска.

Исследователи говорят, что их нейроалгоритмический конвейер рассуждений предлагает сильный подход к применению алгоритмов на естественных входных данных. Такой план нейроалгоритмического мышления уже доказал свою полезность во многих областях, включая обучение с подкреплением и сборку генома. Команда считает, что предлагаемые нейроалгоритмические рассуждения обладают преобразующим потенциалом для запуска классических алгоритмов на входах, ранее считавшихся недоступными.

Статья Нейроалгоритмическое мышление посвящена arXiv.

Автор: Геката Хе | Редактор: Майкл Саразен

Мы знаем, что вы не хотите пропустить какие-либо новости или научные открытия. Подпишитесь на нашу популярную рассылку Synced Global AI Weekly, чтобы получать еженедельные обновления AI.