ARKit Фотограмметрия

В течение последнего месяца я исследовал способы создания трехмерных реконструкций из живого видео. Мне кажется, что единственный вариант - использовать сторонний сервис, такой как Agisoft или Autodesk Capture. Однако после выпуска ARKit 2.0 я увидел этот твит. В этом твите Тим Филд утверждает, что использовал фотограмметрию ARKit для создания 3D-моделей. Насколько я знаю, это невозможно. Я использовал ARKit только для сканирования 3D-объектов и создания облаков точек. Фактически, это то, что точно сказано в документации ARKit:

ARReferenceObject содержит только информацию о пространственных объектах, необходимую ARKit для распознавания реального объекта. , и не является отображаемой трехмерной реконструкцией этого объекта.

Если то, что говорит Тим ​​Филд, правда, как я могу использовать ARKit для создания 3D-моделей с помощью фотограмметрии?


person Nikhil Sridhar    schedule 11.07.2018    source источник
comment
Вы могли заметить, что указанный твит предшествовал анонсу ARKit 2. Скорее всего, эта демонстрация использует изрядное количество настраиваемой обработки поверх того, что предоставляет ARKit, пытаясь сопоставить покадровые пиксельные буферы с точками функций и интегрировать их с течением времени.   -  person rickster    schedule 30.07.2018


Ответы (1)


У Apple RealityKit 2.0 есть API захвата объектов < / а>. Он предоставляет нам долгожданные инструменты фотограмметрии. На выходе получаем модель USDZ с соответствующей текстурой.

ARKit 5.0 and 4.0 позволяет делать Scene Reconstruction в режиме реального времени, если вы используете устройство со сканером LiDAR. Реконструкция сцены происходит с наносекундной скоростью. Дальность действия до 5 метров (иногда и больше). Подробнее см. в этом видео.

Одна из ключевых особенностей сканера LiDAR: он помогает устранять повседневные проблемы, с которыми вы сталкиваетесь на этапах отслеживания и понимания сцены. Например: при слежении с помощью LiDAR нет необходимости в физическом движении и качественных условиях освещения.

Когда реконструированная сцена готова, вы получаете многоугольную геометрию с Occlusion Material, которую вы можете немедленно использовать для перекрытия объекта, моделирования физики и оценки освещенности.

В дополнение к вышеупомянутому ARKit 5.0 / 4.0 предоставляет вам API глубины для управления высококачественным каналом глубины, который теперь работает со скоростью 60 кадров в секунду. Дополнительную информацию см. На этой веб-странице.

person Andy Fedoroff    schedule 28.06.2020