Это часть серии, описывающей развитие Moviegoer, междисциплинарного проекта по науке о данных, цель которого - научить машины смотреть фильмы и интерпретировать эмоции и антецеденты (поведенческие причины / следствия). / em>

Постоянный прогресс помог прояснить общие цели проекта - мы выделили четыре широкие категории знаний, которые Moviegoer должен идентифицировать и распознавать. Эти категории не привязаны к какому-либо конкретному аспекту технологического стека, и достижения в одной категории могут поддержать другую. Как и человек-зритель, машина должна уметь разбирать четыре категории понимания, чтобы «посмотреть фильм»: структура фильма; символы; сюжет и события; эмоционально-стилевые особенности.

Структура

Отдельная сцена - это гранулированный, самодостаточный компонент каждого фильма. Он имеет фиксированное местоположение, заданное количество персонажей и передает один или несколько сюжетов. Сцену можно анализировать индивидуально или сравнивать с другими сценами. Ранее в проекте мы создали алгоритм для определения определенного типа сцены: сцены диалога с двумя персонажами. Но нам нужно иметь возможность разделить весь фильм на отдельные сцены.

Мы также хотим разделить фильм на восемь последовательностей. Во многих фильмах используется восьмиступенчатый подход, который можно рассматривать как более детальную разбивку трехактной структуры. Эти восемь эпизодов, каждая из которых длится примерно 15 минут в двухчасовом фильме, обозначают (в широком смысле), когда должны разворачиваться основные моменты сюжета и когда могут быть представлены новые персонажи. Каждая из восьми последовательностей заканчивается кульминацией - это может быть важным ключом к определению основных моментов сюжета.

Персонажи

Нам нужно будет постоянно отслеживать персонажей на протяжении всего фильма, чтобы отслеживать их события и эмоциональные изменения. Мы можем искать векторизацию их лица и голоса на протяжении всего фильма, определяя, в каких сценах они появляются. Нам также нужно будет приписать диалог каждому персонажу, используя НЛП в субтитрах, чтобы понять, о чем они говорят.

Фильмы вызывают реакцию через эмоции своих персонажей, и нам также необходимо отслеживать их эмоции на протяжении всего фильма. Мы можем отслеживать их взлеты и падения, анализируя выражение их лиц, тон голоса и выбор слов, а также узнавать, какие предшествующие события вызвали эти эмоциональные изменения.

Сюжет и события

Сюжет состоит из множества разных событий и происшествий. Нам потребуется использовать контекст, чтобы понять, где и что происходит. Может быть, сцену на открытом воздухе на лодке можно будет распознать по звуку разбивающихся волн. Диалог с ранее неизвестным персонажем о закусках или основных блюдах может намекать, что персонаж делает заказ с официантом в ресторане.

Эта конкретная категория может быть самой сложной для заполнения, и ее выводы могут быть заполнены определителями и «наилучшими предположениями».

Эмоциональные и стилевые особенности

Эмоциональные и стилевые особенности в некоторой степени «неосязаемы» и подлежат интерпретации. Это режиссерский выбор, используемый для того, чтобы вызвать у аудитории определенные эмоции. Музыкальная партитура является наиболее ярким примером - хотя мы понимаем, что этой музыки на самом деле нет в сцене, она была наложена поверх нее, чтобы заставить аудиторию почувствовать грусть, возбуждение, напряжение или множество других эмоций.

Цвет и яркость легко измерить с помощью компьютерного зрения. Мрачные сцены могут быть угрюмыми или тревожными. Сцена с синим оттенком считается «крутой», а место или ситуация могут быть негостеприимными или чужими.

Кинематографию или выбор кадра также можно тщательно изучить. Лицо персонажа может заполнять рамку, чтобы подчеркнуть реакцию лица, или мы можем видеть все его тело издалека, чтобы подчеркнуть одиночество или эмоциональную дистанцию. Выстрел может смотреть на персонажа сверху вниз, чтобы заставить его казаться бессильным, или смотреть на нее снизу вверх для противоположного эффекта.

Эта категория понимания одновременно и самая сильная, и самая спорная. Распознавание этих ключей (и кодирование их в проекте) во многом зависит от знания предметной области в кинопроизводстве. Эти эмпирические правила возникли в результате более чем столетних достижений кинопроизводства и требуют глубокого понимания этого ремесла. В то же время некоторые режиссеры будут сознательно пренебрегать этими правилами как художественным выбором, и Moviegoer должен быть готов принять эти сценарии. Но если правило стиля помогает нам интерпретировать эмоции в 99% фильмов всех жанров, это очень поможет в интерпретации фильмов.

Хотите узнать больше?