Torchscript против TensorRT для вывода в реальном времени

Я обучил модель обнаружения объектов для использования в производстве для приложений реального времени. У меня есть два варианта. Может ли кто-нибудь предложить, как лучше всего выполнить вывод на Jetson Xavier для лучшей производительности? Также приветствуются любые другие предложения.

  1. Преобразуйте модель в формат ONXX и используйте с TensorRT
  2. Сохраните модель как Torchscript и выполните вывод на C ++.

nvidia nvidia-jetson tensorrt torchscript
person Akshay Kumar    schedule 08.02.2021    source источник

Ответы (1)


arrow_upward
0
arrow_downward

На оборудовании Jetson, по моему опыту, использование TensorRT определенно быстрее. Вы можете конвертировать модели ONNX в TensorRT с помощью ONNXParser от NVIDIA. Для оптимальной производительности вы можете использовать смешанную точность. Как преобразовать ONNX в TensorRT объясняется здесь: TensorRT. Раздел 3.2.5 для привязок Python и Раздел 2.2.5 для привязок C ++.

person joostblack    schedule 10.02.2021