[Добро пожаловать в серию Мозг и ИИ: серию, в которой нейробиология сравнивается с искусственным интеллектом! Серия будет посвящена разным темам, воплощенным в разных главах. Каждая глава состоит из нескольких статей. Каждую статью можно читать отдельно. Пожалуйста, перейдите в мой блог для более подробной информации :) ]

В этой статье проводится параллель между человеческим обучением (подробнее о памяти для человека читайте в статье 1) и машинным обучением на основе искусственного интеллекта.

Введение

«Несмотря на то, что во многих областях ИИ лучше, люди по-прежнему имеют преимущество, когда задачи зависят от гибкого использования эпизодической памяти» (тип памяти, который связан с событиями нашей жизни), — сказал Мартин. Чедвик, исследователь DeepMind.

Искусственный интеллект (ИИ) претерпел множество достижений с середины двадцатого века. Хорошо известны многие публичные успехи, такие как победа Deep Blue — компьютера IBM — над Гарри Каспаровым — чемпионом по шахматам — в партии, сыгранной в 1997 году (см. изображение 1). Но область ИИ часто черпала вдохновение из нейронауки. Сложность мозга и его невероятная способность к запоминанию и обучению являются источником создания алгоритмов. Таким образом, на историю систем обучения повлияла биомимикрия. Таким образом, нейронаука вносила и продолжает вносить свой вклад в улучшение ИИ двумя разными способами: во-первых, помогая в создании новых алгоритмов; во-вторых, как проверка методов искусственного интеллекта.

Появление первых нейронов

Термин «искусственный интеллект» появился в 1955 году и был произнесен Марвином Мински, известным участником ИИ. Но интерес к ИИ проявился на несколько лет раньше. В 1943 году Уоррен МакКаллок и Уолтер Питтс опубликовали статью о «искусственных нейронах», вдохновленных биологическими нейронами (2). Шесть лет спустя работа канадского психолога и нейропсихолога Дональда Хебба сыграла большую роль в усовершенствовании этих искусственных нейронов. Он опубликовал в 1949 году книгу «Организация поведения: нейропсихологическая теория» (3). Он взялся за идею о том, что человеческое обучение заключается в прочности связей между нейронами. Кроме того, он определил следующее правило обучения: при совместном возбуждении двух нейронов эффективность связи, соединяющей их, возрастает (за счет создания новой связи между этими нейронами или за счет усиления текущей связи). С другой стороны, несинхронная активация этих двух нейронов вызывает снижение эффективности этой связи.

Персептрон или первая машина с навыками обучения

Работа Маккаллоха, Питтса и Хебба вдохновила на создание в 1957 году одной из первых обучающих систем: Персептрон (4). Персептрон был аналоговым компьютером, созданным Фрэнком Розенблаттом, состоящим из нейронов Маккаллоха и Питтса. Этот компьютер мог справляться с простыми обучающими задачами (например, узнавать букву А против буквы С). Персептрон был бинарным линейным классификатором: он мог определять принадлежность объекта к одному классу, а не к другому. Другими словами, после обучения он может ответить «Да» или «Нет» в зависимости от данной записи (например, сказать, что это не «А», если вы представите ему «В»). Для этого система вычисляла взвешенные суммы, а именно вычисляла общую сумму поступающих данных с учетом их весов в решении. Возьмем, к примеру, изображение 3-C. Входные данные — пиксели. На диаграмме все пиксели имеют одинаковый вес в решении (0,25). Если загораются пиксели 1 и 3 и сумма этих пикселей, умноженная на их веса, превышает заданный порог, система загорается («ярко»). Если персептрон дает неверный ответ (например, он дает ответ «Яркий», когда реальный ответ был «Темный»), мы должны исправить его, изменив вес рассматриваемых пикселей, чтобы получить правильный ответ. В этом случае мы можем уменьшить синаптический вес пикселей 1 и 3 так, чтобы результат был ниже установленного порога.

Это чрезвычайно упрощенная модель вычислений, выполняемых биологическими нейронами. На самом деле в мозгу нейрон может передавать информацию другому нейрону тогда и только тогда, когда этот первый нейрон активируется после определенного порога. Для этого он должен предварительно получить набор возбуждений, сумма которых превышает рассматриваемый порог. Таким образом, каждый нейрон обладает способностью синтеза (например, вычисления суммы синаптических весов нейронов персептрона) для получения положительного или нейтрального ответа (т. е. без возбуждения). Но персептрон имеет только один слой нейронов. Это ограничивает его решение очень простых задач (например, он не может распознать почерк).

Более связанный персептрон: нейронные сети

Поскольку в мозгу около 100 миллиардов нейронов, быстро становится понятно, что персептрон для нервной системы то же, что открытие огня для инноваций. Этот большой аналоговый компьютер в настоящее время можно описать в 5 строках кода! Вот почему примерно в 1985 году появились искусственные нейронные сети. Они перенимают архитектуру нейронных связей, увеличивая количество синапсов и количество исходных слоев персептрона. Между входным и выходным слоями могут существовать скрытые слои. Это показывает более высокий уровень сложности, который приближается к функционированию мозга. Таким образом, искусственные нейронные сети представляют собой персептрон с несколькими слоями нейронов.

Эти нейронные сети определили коннекционистское течение, которое сейчас стало очень известным. «Глубокое обучение» также относится к коннекционистскому течению. Эти маркетинговые слова подчеркивают повышенную сложность искусственных нейронных сетей по сравнению с персептроном («глубокий»: минимум примерно 3 слоя нейронов). Для простоты представьте машину с несколькими кнопками, способными зажечь светодиод. Эти ручки могут быть установлены на разную интенсивность. Каждое изменение этих интенсивностей воздействует на реакцию. Например, если вы хотите, чтобы машина включала светодиод, вам придется несколько раз изменять настройки кнопок, пока не будет найдена идеальная комбинация, обеспечивающая точное срабатывание (т. е. светодиодную подсветку). Искусственные нейронные сети работают так же: вам нужно адаптировать веса каждого входа для обучения машины (см. мою великолепную диаграмму — изображение 5). Это возможно благодаря «обратному распространению градиента», статистическому методу расчета градиента ошибки для каждого нейрона от одного слоя к другому. В настоящее время искусственные нейронные сети особенно используются для целей распознавания лиц.

Вы можете развлечься, обучая нейронную сеть, рисуя здесь: https://quickdraw.withgoogle.com.

Как распознать изображение собаки с помощью сверточных сетей

История продолжается созданием сверточных сетей (или CNN для «Сверточных нейронных сетей»). Эти искусственные нейронные сети были созданы Яном Ле Куном в годы сказочной «Лаборатории Белла», исторической лаборатории, где было зафиксировано множество успехов в области ИИ. Вдохновленные архитектурой зрительной коры головного мозга, CNN представляют собой тип многослойных искусственных нейронных сетей. У них есть особенность фильтрации изображений путем извлечения различных характеристик. Как и зрительная система, нейроны CNN имеют рецептивные поля: они захватывают только часть изображения и фильтруют это изображение, чтобы создать более «меньшее» (более легкое для обработки). Этот шаг называется сверткой. Существует несколько фильтров или ядер, и каждое из них специализируется на распознавании образов. Например, первый фильтр может распознавать контуры, второй — яркость и так далее. Нейроны выполняют этот шаг свертки для каждого отдельного фильтра, создавая одно новое изображение для каждого фильтра. Сгенерированные изображения будут снова обработаны с помощью другой математической операции, называемой этапом "объединения". Эта новая операция нацелена на пиксели с наибольшим значением (чтобы узнать больше: (пояснительное видео: 8, демонстрация сверточных сетей: 9)). Таким образом, этапы свертки и объединения продолжаются один за другим до окончания обработки изображения. В отличие от традиционных искусственных нейронных сетей, этот метод устраняет необходимость совместной обработки множества пикселей. Поэтому распознавание более сложных образов — распознавание фотографии собаки, а не буквы «А» — становится возможным!

CNN появились в конце 1980-х годов, но через 10 лет были забыты из-за невозможности применения метода при малой мощности компьютеров. Тем не менее, CNN снова стали известны с 2012 года после подавляющей победы команды, использующей этот метод, над другой системой обучения («System Vector Machine» или «SVM») в соревновании ImageNet. В 2016 году CNN еще раз продемонстрировали свою эффективность, когда машина AlphaGo выиграла игру в го у профессионального игрока (Ли Седол проиграл со счетом 4–1 против AlphaGo, машины, принадлежащей DeepMind). Жертвы своего успеха, CNN теперь используются для распознавания изображений, речи и обработки естественного языка. Они позволили использовать множество приложений, таких как машинный перевод, беспилотные автомобили или системы анализа медицинских изображений.

Когда обучающие системы пытаются механизировать мышление

Многие системы обучения, помимо нейронных сетей и CNN, появились во второй половине двадцатого века. Это случай «символического ИИ»: движение, которое достигло своего апогея с 1970 по 1980 год в период отсутствия интереса к нейронным сетям. В отличие от коннекционистского течения, которое начинает с восприятия для создания более сложной системы обучения, символическое течение пытается механизировать мыслительные процессы. Этот подход «сверху вниз» известен как «экспертные системы»: системы, которые переводят все мыслительные процессы в правила. Например, если мы хотим механизировать диагностику, мы начнем фазу создания правил с врачами, чтобы определить «протоколы» принятия решений (выполнить определенный анализ крови в соответствии с пациентом или принять решение о конкретном диагнозе в зависимости от результатов). Подобно человеческому мозгу, все эти бизнес-правила обрабатывались и интерпретировались центральной системой, называемой механизмом логического вывода. Несмотря на успех этих методов в 1970-х и 1980-х годах, экспертные системы пришли в упадок. Действительно, сведение всего к набору правил и тестов остается сложным и ненадежным. Сегодня эти методы мало используются, и у населения в целом остаются раздражающие воспоминания о скрепке Windows.

Почему ребенок учится лучше, чем самая мощная машина в мире

Почему при всех достижениях в области искусственного интеллекта до сих пор невозможно создать систему обучения, столь же эффективную, как человеческий мозг? Сегодня все самоотверженные усилия ИИ могут воспроизвести только процесс, выполняемый в нашем мозгу менее чем за 1 секунду. Действительно, искусственные сети имитируют базовое визуальное распознавание нашей центральной нервной системы, от восприятия глазами до распространения сигнала в зрительной коре.

Ответ на этот вопрос следующий: машине нужны данные, и она не может учиться без присмотра, наблюдая за миром. Действительно, необходимо размечать данные, чтобы машина обучалась. Однако ребенок учится, наблюдая за миром, не нуждаясь в названиях всех предметов. С другой стороны, у людей есть две системы обучения: восходящая система и нисходящая система. Первый обычно используется машинами: мы учимся на данных, которые нас окружают (сенсорные данные («снизу»), и обрабатываем эти данные в нашей центральной нервной системе («наверху»). Система дауна - это система вывода. Это байесовская вероятностная система, которая позволяет нам делать гипотезы о мире. Эти гипотезы устанавливаются в соответствии с опытом каждого человека. Благодаря этим предположениям наш мозг становится предсказательным: машина, способная предвидеть каждой ситуации. Если ситуация становится неожиданной и не была предусмотрена нашими предположениями, мы корректируем нашу систему предположений, интегрируя ошибку. Например, ребенок выдвигает гипотезу о том, что птицы летают, увидев, что несколько из них летят. Однако, если он увидит страуса, его обучающая система предупредит его и изменит гипотезу, созданную для птиц (т. е. включит в его гипотезу, что некоторые птицы не летают).

Кроме того, возникают интересные дискуссии относительно вклада врожденной системы в обучение. Во время публичных дебатов с Гэри Маркусом, психологом из Нью-Йоркского университета, и Яном Ле Куном, научным руководителем исследовательской лаборатории искусственного интеллекта в Facebook, был поднят следующий вопрос: какую дозу врожденной структуры мы должны добавить в системах искусственного интеллекта для нового интеллекта? Чтобы ответить на этот вопрос, мы можем сосредоточиться на мозге младенцев. Мозг ребенка дезорганизован? Ребенок рождается с пустой нервной системой, которая должна учиться с нуля, как машины? Оказывается нет. Мозг младенцев имеет уже хорошо зарекомендовавшие себя сети, принимающие форму областей мозга, которые специфичны для различных когнитивных функций (слуховая область, зрительная область, тактильная область и т. д.). Например, если ребенок слушает свой родной язык, слуховая информация будет транскрибироваться в языковую сеть, такую ​​же, как и у взрослого. Таким образом, мозг имеет предварительно смонтированную архитектуру и будет оставаться гибким на протяжении всей жизни.

Итак, от байесовской системы вывода до врожденной роли в интеллекте мы все еще далеки от разумных машин, способных учиться учиться.

Спасибо за чтение ! Если вам понравился мой пост, можете поставить лайк ;).

Обо мне

🧠Кто я:🇫🇷Ученый по данным в IBM, специалист по творческой мастерской. 🤓Какое у меня образование: степень магистра неврологии (Университет Пьера и Марии Кюри, Париж) и степень магистра предпринимательства (Калифорнийский университет, Беркли). 📖Чем я занимаюсь: я популяризирую Nевронауки и искусственный интеллект для всех посредством статей и подкастов в своем блоге. Вы также можете подписаться на меня в Instagram, Facebook, Twitter, Linkedin, Github и Tiktok.

БИБЛИОГРАФИЯ:

  1. https://qbi.uq.edu.au/brain/intelligent-machines/history-artificial-intelligence
  2. Маккаллох, В., и Питтс, В. (1943). Логическое исчисление идей, имманентных нервной деятельности. Бык. Мат. Биофиз. 5, 115–133.
  3. Хебб, Д.О. (1949). Организация поведения (John Wiley & Sons).
  4. Розенблатт, Ф. (1958). Персептрон: вероятностная модель хранения и организации информации в мозгу. Психол. Откр. 65, 386–408.
  5. https://news.cornell.edu/stories/2019/09/professors-perceptron-paved-way-ai-60-years-too-soon
  6. https://towardsdatascience.com/what-the-hell-is-perceptron-626217814f53
  7. https://en.wikipedia.org/wiki/Искусственный_нейрон
  8. https://www.youtube.com/watch?v=kFcviv7p2_s
  9. http://cs231n.github.io/assets/conv-demo/index.html
  10. Сэвидж, Нил. Как искусственный интеллект и нейробиология продвигают друг друга вперед. Природа 571, вып. 7766 (24 июля 2019 г.): S15–17. https://doi.org/10.1038/d41586-019-02212-4.
  11. La plus belle histoire de l’intelligence, С. Деэн, Ю. Ле Кун, Дж. Жирардон, Роберт Лаффон, 2018 г.
  12. Хассабис, Демис, Дхаршан Кумаран, Кристофер Саммерфилд и Мэтью Ботвиник. Искусственный интеллект, вдохновленный нейронаукой. Нейрон 95, вып. 2 (19 июля 2017 г.): 245–58. https://doi.org/10.1016/j.neuron.2017.06.011.
  13. Искусственный интеллект: персептрон на первом Macintosh, предыстория революции. Le Monde.fr, 17 июля 2018 г. https://www.lemonde.fr/series-d-ete-2018-long-format/article/2018/07/17/du-perceptron -au-premier-macintosh-la-prehistoire-d-une-revolution_5332451_5325928.html.
  14. https://towardsdatascience.com/the-fascinating-relationship-between-ai-and-neuroscience-89189218bb05
  15. https://theconversation.com/neuroscience-and-artificial-intelligence-can-help-improve-each-other-110869