Я хочу установить размер пакета при создании движка TensorRT.
Я использую TensorRT 7 и Python API. Я конвертирую модель ResNet50 в формат onnx.
Я хочу установить размер пакета при создании движка TensorRT.
Я использую TensorRT 7 и Python API. Я конвертирую модель ResNet50 в формат onnx.
Я не смог сделать это в API Python. Однако я использовал инструмент trtexec
, который по умолчанию поставляется с tenorrt. Инструмент конвертирует модели onnx в тензорные движки.
Чтобы преобразовать модель, используйте следующую команду:
trtexec --explicitBatch --onnx=model.onnx --minShapes=input:min_batchxsample_size --maxShapes=input:max_batchxsample_size --optShapes=input:opt_batchxsample_size --saveEngine=model.engine
Для получения дополнительной информации о trtexec
используйте эту страницу GitHub.