Часто говорят, что «картинка лучше тысячи слов». Однако большинство детекторов объектов, используемых в современных мультимодальных системах понимания, могут идентифицировать только фиксированный словарь объектов и атрибутов во входном изображении. Эти независимо предварительно обученные детекторы объектов представляют собой черные ящики с возможностью восприятия, ограниченной обнаруженными объектами, а не всем изображением. Более того, такие системы ограничивают любое совместное..