Переподготовил модель RESNET50 для повторной идентификации на EDGE TPU. Однако, похоже, нет способа получить пакет изображений в EDGE_TPU.
Я придумал решение запускать несколько одинаковых моделей для изображений.
Однако есть ли способ ускорить вывод модели для нескольких моделей? Распределение потоков теперь даже медленнее, чем вывод одной модели
Да, архитектор edgetpu не разрешает обработку в размере партии. Вы пробовали конвейерную обработку моделей? https://coral.ai/docs/edgetpu/pipeline/
К сожалению, сейчас доступно только на C ++, но мы планируем расширить его до Python в середине четвертого квартала.
Поскольку пакетный вывод сейчас недоступен, конвейерная обработка является еще одним второстепенным вариантом. Однако, испытав мою модель, мы можем сделать псевдо-пакет, подав несколько одиночных входных данных для EDGE_TPU в качестве другого варианта.
