Иерархическая временная память: обзор

Иерархическая временная память (HTM) - это теория обучения, предложенная Джеффом Хокинсом и разработанная Numenta. Он призван отразить функционирование неокортекса человека, что напоминает энтузиазм раннего ИИ, и на этот раз может быть успешным благодаря достижениям в исследованиях нейробиологии. Каждый день неокортекс человека изучает структуру мира на основе временных данных, проходящих через наши органы чувств, и каждую секунду делает многочисленные прогнозы, напрямую влияя на наше поведение - будь то поймать брошенный в нас мяч или спланировать, в какое время уйти. утром приходить на работу вовремя. Следовательно, основная область интереса в теории HTM - это ее применение для изучения последовательностей неконтролируемым образом из потоковой передачи данных, подобно тому, что наш мозг делает каждый день.
В этом посте будут рассмотрены основные концепции моделей HTM, а в последующих постах будут подробно рассмотрены алгоритмы и реализация сквозной модели HTM с использованием API NuPIC.

Части:

1. Иерархическая временная память: обзор (этот пост)
2. HTM Algorithmic Soup (скоро)
3. Создание HTM (скоро)

Пейзаж машинного обучения

Глубокое обучение было сосредоточено на построении на Простом нейроне - базовом строительном блоке искусственных нейронных сетей (ИНС) - что привело к похвальным моделям, которые могут захватывать временные последовательности (RNN / LSTM) и иерархию функций в изображениях и тексте (CNN). ).
Один из самых популярных и успешных подходов к последовательной памяти в глубоком обучении основан на ячейке LSTM / RNN, которая сохраняет состояние ячейки по временным входам (вы можете узнать больше о RNN в известном блоге Андрея Карпати и подробное объяснение Рохана и Ленни здесь).

HTM использует новейшие исследования нейробиологии (которых, возможно, не было при концептуализации ИНС), и они отличаются от подхода глубокого обучения по своей сути, поскольку моделируют пирамидальный нейрон - их строительный блок для биологических нейронных сетей. Еще одно существенное отличие состоит в том, что HTM моделируют иерархию регионов, поскольку регионы в неокортексе человека связаны в логическую «иерархию» из 6 уровней (чтобы упростить это, вы можете представить себе уровень 1, изучающий представления более низкого уровня, и уровень 6, обучающийся на более высоком уровне). -уровневые представления). В этом посте мы рассматриваем только один слой.
Изучение того, как неокортекс человека может идентифицировать тысячи уникальных последовательностей, привело к включению следующих концепций в теорию HTM (будет объяснено ниже):

1. Тысячи синапсов на разных дендритных кластерах
2. Совместная активация синапсов действует как детектор совпадений
3. Редкость нейронной активности
4. Прогнозы на каждый нейрон
5. Единый корковый алгоритм на каждом этапе

Примечание: Poirazi et. др. ранее предложили реализовать пирамидные нейроны в виде многослойного перцептрона.

Структура HTM

Пирамидные нейроны и дендритные сегменты

Примечание: слова нейрон и клетка отныне используются как синонимы.

В неокортексе человека нейроны имеют тысячи возбуждающих синапсов, сгруппированных в набор дендритов (Примечание: дендрит содержит группу синапсов). Эти синапсы могут срабатывать вместе по разным схемам, вызывая всплеск (высокий потенциал действия) в клетке,

1. Проксимальные дендриты - он получает прямой входной сигнал из входного пространства и других ячеек на более низких уровнях. Эти синапсы имеют большое влияние на потенциал действия нейрона и, следовательно, определяют «рецептивное поле» нейрона.
   Совместная активация синапсов способствует потенциалу действия нейрона, и если входы в синапсы редко активны, нейрон может распознавать несколько уникальных паттернов прямой связи.
2. Базальные синапсы - они получают контекстную информацию от соседних клеток в той же области и распознают шаблоны, предшествующие срабатыванию клетки. Эти синапсы деполяризуют клетку, внося свой вклад в потенциал действия, но недостаточно велики, чтобы генерировать потенциал действия, как это делают проксимальные синапсы. Они действуют как механизм прогнозирования для следующего ввода с прямой связью.
3. Апикальные синапсы - они обеспечивают обратную связь сверху вниз (от клеток на более высоких уровнях) и деполяризуют клетку, подобно базальному синапсу (они также не могут генерировать потенциал действия). Они могут прогнозировать несколько элементов одновременно и действовать как механизм прогнозирования для всей последовательности.

Следовательно, входные данные с прямой связью (проксимальные дендриты) активируют клетки, в то время как базальные и апикальные входы (базальные синапсы) генерируют прогнозы.

Примечание: деполяризация в основном вызывает всплеск NMDA в нейробиологии (просто чтобы прояснить любую путаницу, если вы видели это в документации / документах HTM)

Это более сложная модель нейрона по сравнению с простым «точечным» нейроном, используемым в искусственных нейронных сетях, в котором используется упрощенная модель дендритов, в которой он вычисляет единую взвешенную сумму всех своих синапсов.

Мини-колонки и нейроны

Захват памяти последовательностей высокого порядка требует, чтобы модель динамически решала, сколько исторического временного контекста необходимо, чтобы делать наилучшие прогнозы. Мы увидим, как мини-столбцы позволяют HTM фиксировать временной контекст.

Сравнение памяти последовательностей высокого порядка HTM с современными подходами:

Термин высокого порядка относится к «цепям Маркова высокого порядка», которые имеют контекст использования, например, цепь Маркова первого порядка предсказывает следующее состояние в зависимости только от текущего состояния. Аналогичным образом, цепь Маркова n-го порядка будет смотреть на текущее и предыдущие n состояний, чтобы предсказать следующее состояние.
Ячейка RNN получает текущий ввод и может запоминать исторический контекст, используя скрытое состояние ячейки, в то время как LSTM расширяют его, запоминая более длительный период в прошлом.
В HTM последовательности высокого порядка изучаются с помощью комбинации входов с прямой связью и временной контекст ввода с прямой связью (была ли последовательность ввода замечена ранее).

Временной контекст

Например. Если даны две последовательности ABCD и XBCY, HTM узнает, что, когда он увидит

• ABC → D предсказывается
• XBC → Y предсказывается

Обратите внимание, что BC часто встречается в последовательностях, но модель HTM узнает, что BC, которому предшествует A, приводит к другим прогнозам, чем если бы ему предшествовал X.

Мини-столбец в HTM содержит набор ячеек (структура ячейки описана в разделе выше), которые:

1. Используйте одни и те же поля восприятия прямой связи
2. Ячейка в мини-столбце становится активной, если
   a) ввод непредвиден / новый - все ячейки в мини-столбце становятся активными
   б) Если ячейка была ранее деполяризованные своими предсказательными дендритами (базальные синапсы), активными будут только эти деполяризованные клетки в мини-колонке.
3. Базальные дендриты каждой ячейки в мини-столбце распознают разные шаблоны, даже если рецептивные поля / входные данные прямой связи для ячеек одинаковы, как упоминалось выше в разделе 1. Это означает, что ячейки в мини-столбце будут реагировать однозначно в разных временных контекстах.
4. Прогнозы базальных дендритов основаны на латеральных связях (клетки в одной и той же области) и предсказывают следующий вход, в то время как апикальные дендриты состоят из нисходящих обратных связей (клетки в более высоких областях) и могут предсказывать несколько элементов последовательности одновременно.

Во всей модели концепция разреженности гарантирует, что клетки могут идентифицировать множество уникальных паттернов.

Приведенная ниже диаграмма, взятая из статьи Numenta Почему нейроны имеют тысячи синапсов, теория памяти последовательностей в неокортексе Джеффа Хокинса и Субутаи Ахмада, объясняет, как мини-столбец изучает и предсказывает последовательности.

Обучение

В HTM обучение происходит путем изменения значений постоянства его синапсов (входов в ячейку), что, в свою очередь, влияет на вес этого соединения. Это немного похоже на то, как точечный нейрон в искусственной нейронной сети обновляет свою матрицу весов на своих входящих соединениях, однако он делает это на уровне нейрона (из-за упрощенного дендритного режима). Модель HTM имеет 3 дендритные зоны.

1. Проксимальный - входные веса с прямой связью
2. Базовый - контекстный прогнозирующий вес
3. Апикальный - прогнозирующий вес сверху вниз

и использует обучение Хебба для обновления синапсов на каждом дендрите (на синаптическом уровне), а не на всем нейроне.

Синаптическое обучение

Нейрон учится распознавать паттерн, когда набор синапсов формируется вместе в дендритном сегменте. Каждый дендрит содержит набор «потенциальных синапсов» - возможных связей между нейроном и другими нейронами в сети - которые связаны со «значением постоянства», представляющим рост этого синапса (значение постоянства 1,0 представляет собой большой, полностью сформированный синапс). Вес синапса назначается пороговым значением его постоянства - если значение больше порога, вес устанавливается на 1, а если значение меньше или равно порогу, вес синапса равен 0.
Следовательно, новый ввод может быть

• Шум - синапс может образоваться с меньшим весом и его легко забыть
• Часть новой последовательности, которая видна снова - синапс в конечном итоге сформируется с более высоким весом, и его нелегко забыть. Это обучение по-хеббийски.

Следовательно, вес зависит от значения постоянства, но отличается от него, что делает модель более устойчивой к шумам.

Далее:

Здесь мы не упомянули о роли разреженности в HTM, но подробнее остановимся на ней в следующем посте. В следующем посте также будут рассмотрены алгоритмы HTM, разработанные Numenta для реализации вышеуказанных концепций в сквозной модели HTM.

использованная литература

Https://numenta.com/assets/pdf/biological-and-machine-intelligence/BAMI-Complete.pdf