Недавно компания QuantumBlack сотрудничала с художником и исследователем искусственного интеллекта Соугвеном Чангом, чтобы помочь нам изучить концепцию гибридного интеллекта, подпитываемого данными.

На протяжении десятилетий пересечение искусства и данных было увлекательной областью творчества и инноваций. Генеративное искусство — концепция, при которой часть или все произведения искусства создаются автономной системой — может проследить свои корни до 1960-х годов, в то время как движение алгористов 1990-х годов породило волну компьютерного искусства, основанного на коде. . Эта связь сохранилась по мере развития технологий расширенной аналитики и машинного обучения, и сегодняшние специалисты по работе с данными, которые часто работают вместе с дизайнерами, обычно глубоко ценят привлекательный дизайн.

Искусство было неотъемлемой частью QuantumBlack с самого начала. Красивые картины всегда висели на стенах наших офисов. Наряду с уважением к искусству сочетание передовых технологий с человеческим пониманием или гибридным интеллектом также было центральным принципом с самого начала. Недавно мы сотрудничали с художником и исследователем искусственного интеллекта Соугвеном Чангом, чтобы помочь нам изучить концепцию гибридного интеллекта, и Соугвен продолжал создавать двухмерные картины в сотрудничестве с роботизированными руками, работающими на данных.

Сегодня эта картина висит в лондонском офисе QuantumBlack, демонстрируя возможности гибридного интеллекта. Чтобы отпраздновать и то, и другое, мы хотели поделиться историей, стоящей за произведением искусства. Мы рассмотрим, как алгоритм структурного обучения восполняет пробелы в неполных речных данных за десятилетия, как человеческий опыт помог создать каузальную байесовскую сеть и как эта сеть направляет роботизированные руки для создания мазков кисти, неотличимых от мазков человека.

Подготовка палитры проекта

Мы начали с того, что задались вопросом, какие методологии мы могли бы использовать, чтобы подпитывать жесты и мазки роботов Соугвена. Вскоре стало ясно, что лучший способ сделать это — развернуть CausalNex, нашу библиотеку с открытым исходным кодом. CausalNex использует байесовские сети, которые по своей сути не являются причинными, однако в сочетании с человеческим знанием предметной области они могут показать, как различные точки данных взаимодействуют друг с другом и влияют друг на друга.

Конечно, методология потребует данных. Наряду с Sougwen мы решили создать иллюстрацию на основе данных о реке недалеко от родного города художника — экология реки будет содержать множество разнообразных наборов данных, которые будут в некоторой степени взаимозависимы друг от друга, и мы были рады использовать эту естественную петлю обратной связи для топливо автоматизированное арт.

Изучая общедоступную информацию мониторинга, мы смогли собрать серию открытых наборов данных, которые отслеживали исторические уровни pH реки, количество обнаруживаемого растворенного кислорода в воде, электропроводность, речной сток, температуру и количество осадков в этом районе.

Вместе мы пришли к выводу, что наилучшим подходом будет построение байесовской модели, которая будет понимать взаимосвязь между этими измерениями рек, подгонять условные распределения вероятностей и наблюдать за эффектом возможных вмешательств. Мы хотели, чтобы Соугвен наблюдала, как изменение одного набора данных повлияет на другие: если она изменит количество осадков или уровень pH, что произойдет с речным течением и температурой? Это позволило бы ей эффективно создавать свою собственную гипотетическую реку и влиять на нее, а причинное направление этой реки будет влиять на направление мазков кисти роботизированными руками.

Преодоление разрыва в данных

Вскоре мы столкнулись с проблемой. Несмотря на то, что в некоторых случаях данные о мониторинге рек были датированы десятилетиями, они были крайне неполными. Чтобы заполнить пробелы, нам нужно будет обучить модель на небольших данных, которые были целыми, чтобы понять структурные отношения между данными, прежде чем использовать эту частично обученную модель для прогнозирования отсутствующих исторических точек данных.

Мы следовали довольно стандартному алгоритмическому подходу к изучению байесовской сети. Сначала мы применили алгоритм структурного обучения к графику, чтобы определить структуру, и попытались определить самые сильные связи между переменными, основываясь исключительно на самих данных. Стоит отметить, что по своей сути это не причинно-следственная модель, пока не добавлена ​​экспертиза предметной области.

В традиционном проекте у нас был бы доступ к эксперту организации и развертывание визуализации CausalNex, чтобы показать им, как меняются переменные, чтобы они могли затем предоставить отраслевую информацию. Например, эксперт в области андеррайтинга кредитов может изучить интерфейс, увидеть изменения процентных ставок и номеров заявок и объяснить причинно-следственные связи между ними. Здесь наша команда представила свой собственный опыт в предметной области, проведя исследование, чтобы лучше понять взаимосвязь между наборами данных — что происходит с уровнями pH во время проливных дождей, как растворенный кислород влияет на температуру воды и так далее. Это знание позволило нам скорректировать график полученных данных в CausalNex, пока мы не достигли причинно-следственного представления того, как эти переменные взаимодействовали друг с другом.

Поняв эти взаимосвязи, мы перешли к заключительному этапу обучения, подбирая условные распределения вероятностей и наблюдая за эффектом возможных вмешательств. CausalNex применяет Do-исчисление для анализа воздействия вмешательства, создавая вероятностные формулы для эффекта вмешательства с точки зрения наблюдаемых вероятностей.

После обучения мы смогли использовать модель для заполнения исторических данных, используя то, что она знала о причинно-следственных связях между переменными. Например, если бы мы знали рН, температуру и уровень растворенного кислорода за один день, модель могла бы предсказать статистическую вероятность того, что накануне шел дождь, или вероятность изменения речного стока в последующие дни.

Байесовские мазки

Мы дали художнику предварительно обученную модель со структурой графа, обученной гибридным методом, с подгонкой всех вероятностей. Это позволило бы ей проводить наблюдение и анализ байесовской сети, самостоятельно запрашивать модель и создавать свои собственные контрфактические ситуации.

Соугвен доработала модель, добавив свои собственные показания электроэнцефалограммы и связав причинное направление своей гипотетической реки, чтобы направлять два своих роботизированных устройства. Применяя это сочетание выходных данных со своей собственной системой искусственного интеллекта, она переплела собственные мазки кисти с мазками роботов, чтобы создать красивое закрученное произведение искусства. С каждым слоем данных она придавала единицам разные оттенки, от темно-синего и сапфирового до сланцевого.

Это был проект, совершенно не похожий ни на один другой, и окончательный результат воплощает нашу страсть к гибридному интеллекту: он сложный, красивый, основанный на данных и, в конечном счете, дополненный человеческим творчеством. После восьми лет роста мы переходим в новую фазу под названием QuantumBlack, AI by McKinsey, и, хотя наши возможности и команда будут продолжать расти, наши руководящие принципы останутся прежними. Мы хотим привлечь лучших технологов мира, и хотя мы рады видеть, как будут развиваться аналитические технологии в ближайшие годы, нас больше всего интересует то, что происходит на стыке технологий и творческих усилий человека.

Дополнительную информацию о CausalNex можно найти на GitHub и в Документации CausalNex.