Может ли нейронная сеть решить, является ли произведение искусства подлинным?

Боб Росс был одним из самых плодовитых художников и преподавателей живописи 20-го века. За свою жизнь он написал более 30 000 работ. Многие знают его по телешоу Радость живописи, которое транслировалось на канале PBS с 1983 по 1994 год. многим любителям и профессионалам, изучающим его стиль. Несмотря на его плодотворную карьеру, публично известно, что относительно немногие картины находятся в собственности или проданы. Согласно этой статье в New York Times, многие его картины в настоящее время хранятся в штаб-квартире Bob Ross Inc., а некоторые даже являются частью коллекции Смитсоновского института.

Этот проект пытается аутентифицировать работы Боба Росса и классифицировать их по сравнению с работами других художников, использующих его стиль и инструкции, а также лучше понять проблему аутентификации произведений искусства в целом.

Почему Боб Росс?

Официальных удостоверяющих подлинность работ и картин Боба Росса нет, но из-за его популярного процесса рисования и обучения по телевидению тысячи картин, сделанных любителями и профессиональными имитаторами его процесса. Некоторые подделки и многие имитации продаются через Интернет, но есть ли способ аутентифицировать оригинального Боба Росса с помощью машинного обучения?

Мы все согласны с тем, что существует только один Боб Росс.

Обнаружение подделок произведения искусства — сложная задача машинного обучения. Из-за сходства между настоящими произведениями искусства и подделками может быть трудно найти различия между изображениями. В этом проекте используется сверточная нейронная сеть, обученная распознавать работу Боба Росса от любой имитации. Кроме того, теоретически его можно использовать для проверки подлинности любого произведения искусства или обнаружения аномалий в медицинских изображениях или во многих других областях анализа изображений в машинном обучении.

Данные

Боб Росс нарисовал более 30 000 работ за свою жизнь, но относительно очень мало изображений общедоступно для скачивания в Интернете. В сериале Радость рисования было 403 эпизода, и для каждого эпизода Боб рисовал картину, которая была снята на видео. Twoinchbrush.com — это веб-сайт, посвященный творчеству Боба Росса, на котором собраны все картины, нарисованные в прямом эфире, а также изображения, присланные людьми, рисующими под руководством Боба.

Набор данных включает 403 картины, которые Боб нарисовал на Joy of Painting, снятые со скриншотов Youtube, а также любые дополнительные картины, которые можно подтвердить как принадлежащие Бобу, найденные в Интернете. В дополнение к оригинальным работам я включил полный набор фан-артов, собранных на Twoinchbrush.com, для сравнения.

Проблемы и возможные решения

Когда дело доходит до аутентификации произведений искусства, идеально использовать изображения работы с очень высоким разрешением, чтобы увидеть все детали в цветовой информации каждой картины. Несмотря на то, что обработка таких изображений с высоким разрешением требует больших вычислительных ресурсов, при уменьшении их дискретизации мы теряем важную информацию.

Кроме того, у художника может быть всего несколько общедоступных изображений своих работ или даже всего несколько сохранившихся работ. Этот обучающий набор, в частности, очень мал для стандартов машинного обучения, и существует огромный дисбаланс классов между реальными картинами Боба Росса и картинами фанатов. Образцов гораздо меньше, чем требуется для уверенной аутентификации работы с использованием нейронной сети.

Чтобы создать большую обучающую выборку и повысить точность и эффективность модели, я реализовал идею из этой статьи, которая нашла возможное решение проблемы дисбаланса классов и маленькой обучающей выборки для аутентификации произведений искусства. Для этого нам нужно будет использовать энтропию.

"Никто на самом деле не знает, что такое энтропия на самом деле, поэтому в споре у вас всегда будет преимущество", — Клод Шеннон

Энтропия в теории информации — это мера состояния случайности или неопределенности, которую содержит сигнал. Если набор данных имеет более высокий диапазон различных значений, он будет иметь более высокое значение энтропии. По сути, энтропия — это количество информации в любой группе данных.

Разбив каждое изображение на маленькие плитки, мы можем измерить энтропию этой плитки и оставить только те части картины, которые содержат наибольшее количество информации. Используя формулу энтропии Клода Шеннона для информационного содержания, мы можем вычислить энтропию для каждой плитки картины и добавить эту плитку в набор для обучения и тестирования.

Срезы, созданные конвейером предварительной обработки этой модели, также ближе к целевому размеру, который должен быть у изображения при вставке в нейронную сеть, и поэтому они более оптимальны для точной классификации произведения искусства.

Используя подмножества информации о каждой картине, модель фокусируется на деталях каждой картины. Нейронная сеть не преобразовывает всю картину с высоким разрешением в маленькое изображение, а обучается на большей части информационного содержания картины. По сути, мы используем только те части картины, которые содержат больше всего информации, а также многократно умножаем размер обучающего набора.

Модель

Для этого эксперимента я использовал довольно неглубокую многослойную сверточную нейронную сеть с 4 сверточными слоями, за которыми следовали максимальные объединяющие слои. После сверточных слоев я использовал один полносвязный слой перед последним слоем с одним узлом, который классифицирует каждое изображение. Кроме того, я добавил слой отсева 10% после первого сверточного слоя.

Окончательная модель имеет точность проверки около 95% для определения того, принадлежит ли произведение Бобу Россу или нет.

В качестве прямых примеров тестирования я использовал некоторые арты, которые не использовались в обучающем наборе. Одно из использованных изображений нарисовано Стивом Россом, сыном Боба Росса, и алгоритм правильно классифицировал его как не работу Боба.

Полученные результаты

Согласно тестовому набору, модель смогла правильно классифицировать, является ли картина оригинальной картиной Боба Росса, с точностью более 85%, даже если картина выполнена в стиле Боба Росса или написана по его указанию.

Подобная модель может доказать, что стиль художника и его уникальный способ творчества невозможно воспроизвести, и что машинное обучение можно использовать для обнаружения подделок произведений искусства и подтверждения их подлинности. Даже когда произведение искусства очень похоже на оригинальное произведение искусства или художника, эта модель может классифицировать работу художника со значительной степенью точности.

Кроме того, этот метод имеет широкое применение в области анализа изображений. Подобная техника предварительной обработки с разделением изображения на секции и сохранением наиболее важной информации, как описано в этой статье, может быть использована как общая модель для обнаружения подделок произведений других художников, а также как инструмент для правильной классификации аномалий. в любых изображениях, например, в области анализа медицинских изображений.

Конечно, есть только один Боб Росс, и эта модель пытается это доказать. Возможно, это также напоминает нам о том, что мы никогда не копируем какой-либо стиль, а всегда создаем свой собственный.

Весь код, используемый для этого проекта, можно найти на моей странице GitHub.