Несколько недель назад на работе я переходил от одного проекта к другому. Это предоставило прекрасное временное окно, чтобы прочитать некоторые из давно нерешенных интересующих тем. Машинное обучение возглавило этот список. Это область, которая уже глубоко проникла в мир технологий, но я не понимал, что это такое. Всего несколько недель чтения с поверхностного уровня с тех пор (и экспериментов с некоторыми инструментами) убедили меня в том, что мы быстро приближаемся к общему искусственному интеллекту. Достижения в области глубокого обучения наряду с ускорением обработки огромных объемов данных с быстро распространяющихся устройств IOT гарантируют, что это будущее скорее близко, чем далеко. Но для целей этого эссе я остановлюсь на своих гипотезах о том, что все вокруг нас является глубокой нейронной сетью, и о метафизических последствиях, которые возникают, если мы примем эту точку зрения.

Передача обучения

Как новичок в машинном обучении (МО) (скорее, подражатель), мое первое знакомство с машинным обучением было довольно волшебным. Новая библиотека машинного обучения Google под названием TensorFlow [1] позволила мне обучить модель глубокой нейронной сети (DNN), которая может очень точно маркировать различные типы изображений комнат в доме, всего за несколько часов обучения на моем собственном наборе данных изображений, извлеченных из Google. и это тоже на моем обычном MacBook Pro. Я был вне себя от радости от этой новой магической силы и не мог уснуть той ночью от волнения :). Прочитав еще немного, и когда первоначальная эйфория утихла, ключевым словом, которое осталось у меня, была эта интересная концепция «трансферного обучения». Как говорит Google: «Трансферное обучение - это метод, в котором мы начинаем с модели, которая уже была обучена по другой проблеме. Затем мы переобучаем только несколько слоев модели по новой проблеме, чтобы полученная новая модель точно работала для решения новой проблемы. Глубокое обучение с нуля может занять несколько дней, но трансферное обучение может быть выполнено в очень короткие сроки ».

Глубокое обучение получило свое название от алгоритмов, которые оно использует для обучения, называемых глубокими нейронными сетями (DNN). Они «глубокие», потому что в них много слоев нейронных сетей. Каждый слой нейронных сетей (или их набор) создает выходные данные, на которых может строить следующий слой (и) [3]. Итак, в моем случае, предварительно обученная модель изображения Google уже имела нижние уровни, которые идентифицировали простые компоненты изображения, такие как края и углы, и промежуточные слои, которые могли определять формы. Это был только последний слой, который я переобучил, который выполнил работу верхнего уровня по объединению всего, чтобы дать окончательную интерпретацию и обозначение изображения.

Наш разум как глубокая нейронная сеть

Через несколько дней после вышеупомянутого эпизода я наткнулся на удивительную лекцию Рэя Курцвейла на тему «Ускоряющееся будущее» [2], где он говорит о человеческом мозге как о распознавателях паттернов DNN, а также о том, что есть части нашего мозга (старый мозг), которые точно так же, как у ящериц.

В сочетании с концепцией «трансферного обучения» это представило DNN как отличную архитектуру, которая может объяснить передачу обучения от поколения к поколению одного и того же вида, а также передачу между видами. (Я согласен с тем, что это может быть очевидным, учитывая, что архитектура нейронных сетей основана на работе самого мозга. Но ключевой концепцией, на которой следует сосредоточиться здесь, является глубокая часть DNN.)

Итак, наш разум - это DNN (или их серия), основанная на моделях обучения предыдущих видов, от которых мы произошли. Мы также должны иметь в виду модели, генетически переданные от наших родителей и других предков. Помимо базовых знаний о мире и рецептов выживания, эти модели, вероятно, также содержат наше чувство правильного и неправильного (мораль), отрегулированное в течение миллионов лет экспериментов.

Даже обучение в течение одной жизни кажется процессом создания модели DNN. На этапе обучения наш разум усердно работает над созданием правильной модели (путем запуска различных типов нейронных паттернов), которая последовательно дает желаемые результаты, такие как хорошая игра на гитаре. После создания модели / паттерна DNN становится быстрее в вычислительном отношении запустить обученную модель в реальной жизненной ситуации или сыграть следующую новую песню на гитаре. Это причина того, что сам процесс обучения труден, но однажды усвоенный навык становится легко реализуемым.

Опыт тогда может быть просто увеличением глубины наших различных нейронных сетей.

А креативность может быть результатом концепции трансферного обучения. Креативщики, вероятно, работают над тем, чтобы постоянно переобучать верхние уровни своих DNN, продолжая использовать базовые модели, обученные в другой области. С другой стороны, эксперты в определенной области обучили свои DNN намного глубже, чтобы решить конкретную проблему с максимальной детализацией.

Что делает глубокие нейронные сети особенными

Я думаю, что важной особенностью DNN является то, что они могут действовать как машина, так и как хранилище. Поэтому, когда через них течет энергия, они становятся живыми машинами, направляющими энергию для создания динамических паттернов, которые оптимизируются для получения желаемого результата. И когда энергия перестает течь, они становятся статическими паттернами, которые мы называем моделями (модели DNN).

Так мы DNN?

Одна интересная концепция - рассматривать семена (растений, животных и т. Д.) Как модели DNN. Таким образом, семена - это, по сути, обученные модели (изученные и сохраненные шаблоны DNN), передаваемые из поколения в поколение, при этом каждое поколение пытается улучшить предыдущую модель, давая ей больше обучения и оптимизируя, чтобы процветать в среде, в которую она помещена.

Продвинув эту мысль еще дальше - если семена являются моделями, то мы, вероятно, машины.

Модель (семена) + Оптимальная среда + Энергия = Машина на основе DNN

Итак, растение, выросшее из семени, является проявлением обученной модели. Это физическое проявление, по сути, является обучающейся машиной DNN, которая работает над новыми экспериментами, чтобы извлечь уроки из своего текущего существования, чтобы улучшить базовую модель, из которой она была создана. И он добавляет к нему новые нейронные слои, если находит новую информацию, которая помогает его следующему поколению адаптироваться лучше, чем позволяет текущая модель.

Если углубиться в эту мысль, возможно, что все вокруг нас на самом деле представляет собой глубокий нейронный паттерн в пространстве и времени. На самом деле вся вселенная - это, наверное, гигантская машина DNN :). Эти DNN, хотя теоретически построены друг над другом (слой за слоем), физически также могут находиться друг в друге. Это соответствует фрактальной природе вещей вокруг нас. Мы DNN внутри DNN внутри DNN. Единственная проблема с этой теорией заключается в том, что неясно, для чего оптимизируется гигантская универсальная DNN. Потому что, если мы сможем достичь этой цели, мы, вероятно, получим четкое представление о назначении всего во Вселенной.

Цель жизни

Теперь, если мы являемся машинами DNN внутри других машин DNN (таких как Земля), то в чем может быть наша цель. Я думаю, что наша цель, вероятно, не более чем цель электрического сигнала в нашем мозгу. Цель состоит в том, чтобы течь, течь в направлении, которое может быть, а может и не быть частью выигрышного нейронного паттерна (или модели). Наша цель - не более чем цель частицы воды, которая является частью текущей воды. Мы как единое целое не имеем значения. Важно то, что эмерджентное поведение (нейронный паттерн) является результатом коллективной работы всех, кто находится на этом уровне космической глубокой нейронной сети. Виды, социальные конструкции, культуры, религии, страны, языки, окружающая среда, такая как засушливая пустыня и обильные тропические леса, - все это по сути экспериментальные динамические паттерны, пытающиеся вместе оптимизировать себя на службе возникающего мега универсального паттерна, который сам пытается оптимизировать "что-то". Это кое-что мне до сих пор непонятно. Но наше индивидуальное существование без мега-машин, в которых мы находимся, по сути бессмысленно.

Следующие шаги

Это первый набросок этой концепции мышления, и он далек от того, чтобы быть очень последовательным. Но есть несколько ключевых элементов, которые прочно укоренились в этой мысли:

  1. Глубокие нейронные сети предоставляют исчерпывающую основу для объяснения механики нашего существования.
  2. Все вокруг нас (включая нас) - это эксперимент или часть другого эксперимента. Эксперименты продолжаются до тех пор, пока не будет найдено оптимальное решение проблемы, для которой они оптимизируются. Как только эксперимент завершится успешно, он будет сохранен в качестве модели для улучшения следующих поколений.
  3. Глубоким нейронным сетям требуется время, чтобы прийти к решению, и большая часть энергии используется в течение этого периода проб и ошибок. Запуск самой модели - гораздо более быстрый процесс, поскольку данные просто должны проходить по заданному пути, который, хотя и может быть структурно сложным, но представляет собой единый путь, поэтому перемещаться по нему быстрее.
  4. Сложность возникает из-за того, что одна модель строится поверх другой, которая затем формирует основу другой модели, и так далее. Сложные модели - это иерархические коллекции более простых моделей.
  5. Поведение появляется на свет. Отдельные нейроны / единицы работают над определенными приобретенными наборами правил, полученными из их базовых моделей, но не осознают общую цель или результат, которому они способствуют.

Учитывая несколько вышеупомянутых концепций, я затем намерен применить эту структуру к некоторым метафизическим концепциям, таким как карма, жизнь и смерть, мораль и многое другое, чтобы посмотреть, есть ли что-то интересное, что можно там найти. Скоро еще!

Использованная литература:

[1] Tensorflow для поэтов - https://codelabs.developers.google.com/codelabs/tensorflow-for-poets/index.html?index=..%2F..%2Findex# 0

[2] Выступление Рэя Курцвейла - Ускоряющееся будущее - https://www.youtube.com/watch?v=DIIUNtUVDPI

[3] Вот что происходит, когда у нейронных сетей глубокого обучения появляются галлюцинации - http://thenewstack.io/deep-learning-neural-networks-google-deep-dream/